Resumen Técnico: Fusión Vertical (VFusion) para la Clasificación Robusta de ViT

1. Planteamiento del Problema

Los Vision Transformers (ViTs) han alcanzado un rendimiento de vanguardia en visión por computadora, pero se despliegan predominantemente como extractores de características de caja negra donde solo se utiliza la representación de la última capa para tareas posteriores. Esta convención se basa en la suposición implícita de que la última capa condensa de manera óptima toda la información relevante para la tarea. Sin embargo, observaciones recientes sugieren que las capas intermedias suelen codificar información complementaria, particularmente en lo que respecta a la robustez ante cambios de distribución y la dificultad de las muestras.

Las estrategias de ensamble actuales (ensamble horizontal) mejoran el rendimiento combinando las predicciones de múltiples modelos independientes, pero incurren en altos costos computacionales e ignoran la señal "vertical" disponible dentro de la jerarquía interna de un solo modelo. Además, aunque las capas intermedias en las Redes Neuronales Convolucionales (CNN) han mostrado utilidad para corregir errores, su aplicación en los ViT es menos comprendida debido al perfil representacional más uniforme y la alta redundancia inherente en las arquitectas de los ViT. La cuestión central abordada es si las capas intermedias de los ViT contienen señales recuperables capaces de corregir fallos de la última capa y, de ser así, cómo agregar eficazmente estas señales sin depender de la diversidad predictiva (desacuerdo) entre las capas.

2. Metodología

2.1. Análisis de Recuperabilidad

Los autores cuantifican primero la recuperabilidad de las capas intermedias, definida como la capacidad de las sondas intermedias para clasificar correctamente las muestras clasificadas erróneamente por la sonda de la última capa. A través de 16 conjuntos de datos diversos, encontraron que las sondas intermedias recuperan entre el 18% y el 76% de los errores de la última capa.

Crucialmente, el análisis revela que esta ganancia no es impulsada por la diversidad predictiva (es decir, capas que cometen diferentes tipos de errores). En su lugar, proviene de una correspondencia de redundancia-corrección: las capas internas actúan como sondas estables y ligeramente perturbadas de una señal discriminativa compartida. Una alta recuperabilidad se correlaciona con una alta "entropía de corrección" (capacidad de corrección distribuida a través de la profundidad) pero negativamente con el desacuerdo geométrico (distancia de coseno entre los logits de las muestras mal clasificadas). Esto implica que las capas están correlacionadas pero no son idénticas, ofreciendo un rastro redundante pero informativo de la frontera de decisión correcta.

2.2. Arquitectura VFusion

Para explotar esta redundancia, los autores proponen VFusion, una estrategia de agregación vertical que sintetiza las características a través de la jerarquía interna del ViT en un token global robusto. El marco consta de tres componentes:

1. Selección de Capas: Se selecciona un subconjunto de capas $S$ de la columna vertebral (backbone) congelada. Las estrategias incluyen holística (todas las capas), mitad-final (last-half) y escalonada (strided). Los autores recomiendan la estrategia holística para preservar el rastro completo de información.
2. Fusión de Capas: Las representaciones de las capas seleccionadas (específicamente los tokens [CLS]) se concatenan en un vector $v$. Un codificador de fusión aprendible $E$ (un perceptrón multicapa) mapea este vector de alta dimensión en un espacio latente de baja dimensión $z$. Este codificador actúa como un filtro de supresión de ruido, descartando los residuales irrelevantes para la tarea ($r^{(\ell)}$) para aislar la señal compartida relevante para la tarea ($s^{(\ell)}$).
3. Entrenamiento Supervisado: El codificador de fusión y un cabezal de clasificador ligero se entrenan conjuntamente sobre la columna vertebral congelada. El objetivo de entrenamiento combina la pérdida de entropía cruzada estándar ($L_{CE}$) con un regularizador de ortogonalización ($L_{orth}$). Este regularizador penaliza las dependencias lineales en las dimensiones latentes, fomentando que el modelo aprenda componentes complementarios y decorrelacionados de la representación fusionada.

3. Contribuciones Clave

• Cuantificación de la Recuperabilidad: El artículo introduce y mide el concepto de recuperabilidad en los ViT, demostrando que las capas intermedias pueden corregir entre el 18% y el 76% de las clasificaciones erróneas de la última capa en 16 conjuntos de datos.
• Identificación del Mecanismo: Establece empíricamente que las señales correctivas surgen de una correspondencia de redundancia-corrección (señales estables y compartidas) en lugar de la diversidad predictiva, desafiando la suposición de que las ganancias de ensamble requieren el desacuerdo de modelos independientes.
• Propuesta de VFusion: Un método de agregación vertical ligero y basado en principios que sintetiza las características de la jerarquía interna en un único token global, superando a las líneas base de agregación establecidas (por ejemplo, Super Learner, Neural Logit Controller, Mixture of Experts) tanto en entornos de distribución interna (ID) como de distribución externa (OOD).
• Generalización y Eficiencia: El método se generaliza a través de tamaños de modelo (ViT-S, B, L), familias de backbones (Supervised IN21k, Self-supervised DINOv2, Multimodal CLIP) y regímenes de pre-entrenamiento. Logra estas ganancias con una sobrecarga computacional mínima en comparación con el ensamble horizontal.
• Guías Empíricas: El estudio proporciona guías para la selección de capas, mostrando que la selección de capas holística (contigua) ofrece el mejor rendimiento, mientras que la selección escalonada es menos efectiva.

4. Resultados Experimentales

• Rendimiento de Distribución Interna (In-Distribution): En 16 tareas de clasificación, VFusion alcanzó una precisión promedio del 91.4%, superando a la mejor sonda de capa individual por un 1.9% y a la línea base más fuerte (Super Learner) por un 1.7%. Notablemente, VFusion cerró el 45% de la brecha de precisión entre la mejor capa individual y el oráculo teórico (donde una muestra es correcta si cualquier capa predice correctamente).
• Robustez de Distribución Externa (Out-of-Distribution): Bajo cambios de covariable y de subpoblación (5 conjuntos de datos), VFusion alcanzó la precisión promedio más alta (84.6%), superando a la mejor capa individual hasta en un 1.3% en tareas de grano fino como C-100C e IN-200C.
• Estudios de Ablación:
  • Selección de Capas: La selección holística funcionó mejor; restringirla a la mitad final causó una caída menor (0.3%), mientras que la selección escalonada causó una caída mayor (0.9%).
  • Generalización del Backbone: Las ganancias fueron consistentes a través de las escalas ViT-S, B y L y diferentes paradigmas de pre-entrenamiento. Las mayores mejoras se observaron con backbones auto-supervisados (DINOv2) y multimodales (CLIP).
  • Horizontal vs. Vertical: Aunque la fusión horizontal a través de diferentes backbones (HFusion) produjo los mejores resultados absolutos, VFusion (fusión vertical dentro de un solo backbone) se mantuvo competitiva, superando a los métodos de agregación a nivel de logit como Super Learner por un 0.5% en promedio.

5. Significado y Reivindicaciones

El artículo sostiene que la redundancia latente en los ViT es un activo beneficioso en lugar de una limitación. Al tratar la jerarquía interna como una serie de sondas estables y redundantes, VFusion condensa eficazmente esta información para formar un token global que a menudo supera la capacidad predictiva de cualquier capa individual.

Los autores enfatizan que VFusion ofrece una alternativa robusta y eficiente a los métodos de ensamble horizontal. A diferencia del ensamble horizontal, que requiere el acceso a múltiples modelos pre-entrenados diversos (a menudo no disponibles en dominios especializados como la imagen médica) e incurre en altos costos computacionales, VFusion opera dentro de una única columna vertebral congelada. Proporciona una forma fundamentada de maximizar la utilidad de los modelos pre-entrenados listos para usar sin requerir cambios arquitectónicos o un ajuste fino extensivo de la columna vertebral.

El trabajo concluye que la "señal vertical" dentro de un solo ViT es sustancial y que agregar estas representaciones mediante la compresión a nivel de características es una estrategia superior a la simple selección de capas o el promedio de logits, particularmente para tareas de imágenes degradadas o de grano fino.