Resumen Técnico: Restauración del Margen Local para la Adaptación en Tiempo de Prueba de Modelos de Visión y Lenguaje

1. Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés), como CLIP, demuestran capacidades de cero disparos (zero-shot) notables, pero sufren una degradación severa del rendimiento cuando se despliegan en entornos dinámicos con cambios inesperados en la distribución en el tiempo de prueba (por ejemplo, corrupciones de imagen). Aunque la Adaptación en Tiempo de Prueba (TTA) ofrece una solución al adaptar los modelos sobre flujos de imágenes no etiquetadas, los métodos actuales enfrentan desafíos fundamentales cuando se aplican a los VLM:

• Vulnerabilidad Geométrica a Nivel de Muestra: Los métodos de TTA convencionales suelen depender de la minimización de la entropía o del autoentrenamiento con etiquetas pseudo, que agudizan agresivamente la predicción del top-1. Bajo cambios de distribución severos, la clase de la verdad de terreno (ground-truth) frecuentemente permanece dentro de un conjunto de candidatos "plausibles cercanos al top-1", separados de la predicción top-1 incorrecta por una estrecha brecha de similitud. Las actualizaciones estándar comprimen este margen local, suprimiendo prematuramente candidatos de la verdad de terreno recuperables y reforzando errores.
• Acumulación de Sesgo a Nivel de Flujo: Los VLM poseen sesgos de salida inherentes que favorecen clases específicas. Las actualizaciones continuas y confiadas sobre estas etiquetas pseudo sesgadas crean un bucle de retroalimentación destructivo. Esto conduce a una acumulación progresiva de sesgo, donde las clases dominantes secuestran el proceso de adaptación, causando eventualmente un "colapso de modo" (colapso total de clases) a lo largo del flujo de prueba.

Los enfoques existentes o bien no logran acomodar la estructura de representación bimodal de los VLM, o carecen de mecanismos para prevenir estas vulnerabilidades acopladas, lo que conduce a una adaptación inestable o degradada.

2. Metodología: Restauración del Margen Local (LMR)

Los autores proponen la Restauración del Margen Local (LMR), un marco de TTA ligero de un solo paso diseñado para abordar las vulnerabilidades acopladas de la geometría a nivel de muestra y el sesgo a nivel de flujo. El marco consta de tres componentes principales:

A. Restauración de Margen Protegido (PMR)

PMR opera a nivel de muestra para recuperar la geometría semántica local sin forzar un compromiso excesivamente confiado hacia una única predicción top-1.

• Conjunto de Candidatos Protegidos: En lugar de tratar la predicción top-1 como el único positivo, PMR construye un conjunto de candidatos plausibles cercanos al top-1 ($P_i$) basado en un umbral de brecha de puntuación ($\delta$). Las clases dentro de este conjunto son protegidas de ser tratadas como negativas.
• Separación de Negativos Difíciles: El método restaura explícitamente el margen semántico solo contra "competidores externos difíciles" (las clases top-$K$ fuera del conjunto protegido).
• Objetivo: La función de pérdida ($\mathcal{L}_{PMR}$) tiene como objetivo restaurar el margen entre la puntuación agregada del conjunto protegido y los negativos difíciles, protegiendo efectivamente las verdades de terreno potenciales de una supresión prematura mientras se alejan los distractores irrelevantes.

B. Estabilización a Nivel de Flujo

Para prevenir la degradación a largo plazo y el colapso de modo, LMR introduce un mecanismo de estabilización de dos etapas:

1. Controlador de Margen Adaptativo (AM): Este mecanismo del lado de la actualización regula dinámicamente el margen de optimización objetivo basado en la acumulación histórica de etiquetas pseudo. Si una clase ha sido favorecida repetidamente (alta masa de pseudo-clase), el controlador AM reduce el margen objetivo para esa clase, debilitando su posterior refuerzo. Esto actúa como un bucle de retroalimentación negativa para interrumpir la acumulación progresiva de sesgo.
2. Módulo de Corrección de Sesgo (BC): Este módulo del lado de la salida aborda las preferencias persistentes de clase en los logits emitidos. Mantiene un promedio móvil de las predicciones y aplica un vector de corrección aditivo a los logits. Esto compensa directamente la sobre-puntuación sistemática de clases específicas que persiste incluso después de que la concentración del lado de la actualización es controlada.

C. Detalles de Optimización

• Alcance de la Adaptación: El método actualiza únicamente los parámetros afines de las capas de LayerNorm en la rama visual del VLM. El codificador de texto y los prototipos de texto permanecen congelados.
• Eficiencia: Realiza un único paso de gradiente por cada lote entrante, lo que lo hace adecuado para entornos estrictamente en línea sin necesidad de buffers de repetición o datos de origen.

3. Contribuciones Clave

El artículo detalla cuatro contribuciones principales:

1. Análisis de Fallos: Un análisis empírico riguroso que expone dos modos de fallo acoplados en la TTA de VLM: la vulnerabilidad geométrica de las clases candidatas cercanas al top-1 bajo corrupción y la acumulación progresiva de sesgo a nivel de flujo que conduce al colapso de modo.
2. Restauración de Margen Protegido (PMR): Un objetivo novedoso que preserva los candidatos plausibles cercanos al top-1 y restaura su separación de los negativos difíciles, evitando los inconvenientes del afilamiento de la distribución global.
3. Estabilización de Dos Etapas: Un mecanismo ligero que combina un controlador de Margen Adaptativo y un módulo de Corrección de Sesgo para regular dinámicamente el refuerzo de clases y calibrar el sesgo de salida, asegurando una adaptación robusta a largo plazo.
4. Superioridad Empírica: Una validación extensa que muestra que LMR supera significativamente a los baselines de TTA del estado del arte en benchmarks de corrupción (CIFAR-C, ImageNet-C) y diversos cambios de dominio (ImageNet-Variants), particularmente en regímenes desafiantes de lotes pequeños.

4. Resultados Experimentales

Los autores evaluaron LMR en CIFAR-10-C, CIFAR-100-C, ImageNet-C y ImageNet-Variants (A, R, V2, Sketch) utilizando el backbone ViT-B/16.

• Rendimiento en Corrupciones Comunes: LMR logró la mejor precisión media en los tres benchmarks de corrupción (77.91% en CIFAR-10-C, 53.29% en CIFAR-100-C y 36.08% en ImageNet-C). Superó a los baselines competidores más fuertes (por ejemplo, BATCLIP, BITTA, MINT) por márgenes significativos (por ejemplo, +5.35 puntos en ImageNet-C).
• Rendimiento en Variantes de ImageNet: El método logró la mejor precisión promedio (60.74%) a través de ImageNet-A, R, S y V2, ocupando el primer lugar en tres de los cuatro conjuntos de datos.
• Robustez de Lote Pequeño: En entornos estrictamente en línea con un tamaño de lote de 1, LMR mantuvo un rendimiento robusto, superando a MINT y BATCLIP por 4.40 y 17.14 puntos, respectivamente. Esto demuestra que el método no depende de lotes grandes para actualizaciones efectivas.
• Eficiencia: LMR es computacionalmente eficiente, actualizando solo los parámetros de LayerNorm. Opera con menor latencia y sobrecarga de memoria en comparación con los métodos que adaptan tanto los parámetros visuales como los de texto (por ejemplo, BATCLIP, BITTA).

5. Significado y Reivindicaciones

El artículo sostiene que una TTA efectiva para los VLM requiere un cambio de paradigma de "afilamiento global" a "preservación de la geometría local". Al adherirse a los principios de preservar los candidatos plausibles cercanos al top-1 y calibrar dinámicamente los márgenes para interrumpir la acumulación de sesgo, LMR proporciona una solución robusta para adaptar los VLM en entornos reales y dinámicos.

Los autores enfatizan que sus hallazgos sobre la restauración del margen local y la estabilización a nivel de flujo abordan cuellos de botella fundamentales en la investigación actual de TTA. Afirman que su método es particularmente significativo para escenarios que involucran cambios de distribución severos y tamaños de lote limitados, donde los métodos existentes suelen fallar debido al refuerzo de errores y al colapso de modo. El trabajo se presenta como un paso hacia el despliegue más confiable de los modelos de visión y lenguaje en entornos no estacionarios.