Resumen Técnico: USE – Un Marco de Auto-Ensamble Unificado para el Ajuste de Prompts en Tiempo de Prueba

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs), como CLIP, han demostrado una fuerte generalización en entornos zero-shot, pero siguen siendo vulnerables a los cambios de distribución en tareas de dominio descendente (downstream). Aunque la Adaptación en Tiempo de Prueba (TTA) ofrece una solución mediante el aprovechamiento de muestras de prueba no etiquetadas, los métodos existentes suelen sufrir de inconsistencias entre sus etapas de optimización e inferencia.

Específicamente, el pionero método de Ajuste de Prompt en Tiempo de Prueba (TPT) optimiza los prompts textuales minimizando la entropía marginal sobre las predicciones promediadas de vistas aumentadas. Sin embargo, TPT y sus variantes suelen depender de un aumento "débil" (la imagen original) para la inferencia final, mientras que la etapa de optimización utiliza un promedio de aumentos "fuertes". Esta discrepancia crea un desalineamiento entre las etiquetas pseudo (pseudo-labels) utilizadas para la optimización y la estrategia de predicción final. Además, los enfoques existentes suelen infravalorar o excluir la imagen de prueba original durante la construcción de las etiquetas pseudo, a pesar de la evidencia de que la imagen original puede ser más fiable que ciertas vistas aumentadas en la clasificación zero-shot.

2. Metodología

El artículo propone USE (Unified Self-Ensembling), un marco que unifica las etapas de optimización e inferencia a través de una estrategia de auto-ensamble consistente.

2.1 Reinterpretación de TPT como Auto-Entrenamiento

Los autores primero reinterpretan el objetivo de TPT. Al introducir una distribución auxiliar $q$ (una versión con parada de gradiente de la predicción promedio), el objetivo de minimización de la entropía marginal se descompone en un término de Entropía Cruzada Inversa (RCE) y un término de divergencia KL. Dado que el término KL se optimiza cuando $q$ es fijo, el objetivo se reduce efectivamente a minimizar la RCE. Esto revela que TPT aprende implícitamente de etiquetas pseudo autogeneradas, donde la etiqueta pseudo se construye promediando las predicciones de las vistas aumentadas con baja entropía seleccionadas.

2.2 Estrategia de Auto-Ensamble (SE)

Para mejorar la calidad de estas etiquetas pseudo, los autores introducen una estrategia de Auto-Ensamble (SE). El análisis empírico muestra que, si bien los aumentos fuertes son útiles, el aumento débil (la imagen de prueba original) posee un valor distintivo y no debe descartarse.

La estrategia SE agrega dinámicamente las predicciones tanto de las aumentaciones débiles ($p_w$) como de las fuertes ($p_s$). Emplea un coeficiente de ponderación basado en la entropía $\beta$ para ajustar adaptativamente la contribución de la imagen de prueba:

1. Ranking: Se calcula el rango de auto-entropía relativa $\delta$ del aumento débil frente al conjunto de aumentos fuertes.
2. Ponderación: Una función lineal reescala $\delta$ en un peso $\beta$ (restringido entre 0.3 y 0.7). Si el aumento débil tiene una entropía menor (mayor confianza) que la mayoría de los aumentos fuertes, recibe un peso mayor.
3. Construcción de la Etiqueta Pseudo: La etiqueta pseudo final $q(x)$ se calcula como:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 El Marco Unificado (USE)

USE asegura la consistencia entre las dos etapas de TTA:

• Etapa de Optimización: El prompt textual se optimiza utilizando la pérdida RCE, donde la etiqueta pseudo objetivo $q(x)$ se genera mediante la estrategia SE.
• Etapa de Inferencia: A diferencia de TPT, que predice únicamente sobre el aumento débil, USE aplica la misma estrategia SE para generar la predicción final $\hat{p}(x)$. Esto unifica el objetivo de estimación de la etiqueta pseudo y la inferencia final.

Adicionalmente, los autores introducen una técnica de salto (skip technique) para reducir el costo computacional. Si la predicción del aumento débil es idéntica a las aumentaciones fuertes seleccionadas, se omite el paso de optimización, ya que la predicción se considera fiable.

Notablemente, la estrategia SE puede funcionar independientemente como un método de TTA libre de optimización, sin requerir retropropagación (backpropagation).

3. Contribuciones Clave

• Reinterpretación de TPT: El artículo revela que TPT aprende implícitamente de etiquetas pseudo autogeneradas, enmarcando el objetivo de entropía marginal como una pérdida de Entropía Cruzada Inversa contra un objetivo de parada de gradiente.
• Auto-Ensamble (SE): Una estrategia simple y efectiva que pondera adaptativamente los aumentos débiles y fuertes para generar etiquetas pseudo más fiables. Sirve como un método de TTA independiente y libre de optimización.
• Marco Unificado (USE): Un marco de TTA que alinea el objetivo de optimización con el objetivo de inferencia aplicando la estrategia SE en ambas etapas, asegurando la consistencia.
• Capacidad Plug-and-Play: Se demuestra que SE es un módulo ligero que puede integrarse en métodos de TTA existentes para mejorar consistentemente el rendimiento sin un costo computacional significativo.

4. Resultados Experimentales

Los autores evaluaron USE y SE en ImageNet, sus variantes de Distribución Fuera de Serie (OOD) (ImageNet-A, V2, R, Sketch) y diez conjuntos de datos de grano fino (ej., DTD, Flowers102, EuroSAT) utilizando backbones ViT-B/16 y ResNet-50.

• Rendimiento:
  • Libre de Optimización: SE logró los mejores o segundos mejores resultados entre los métodos libres de optimización, superando a CLIP, MTA y ZERO. En el backbone ResNet-50, SE alcanzó una precisión promedio del 47.80% en conjuntos de datos OOD, superando a muchos métodos basados en optimización.
  • Basado en Optimización: USE superó consistentemente a los baselines como TPT, C-TPT, R-TPT y STS. En conjuntos de datos de grano fino con ViT-B/16, USE mejoró la precisión promedio de 64.84% (TPT) a 65.35%.
  • Robustez: Al ser inicializado con CoOp (una inicialización de prompt más fuerte), tanto SE como USE mantuvieron un rendimiento de primer nivel, demostrando robustez ante diferentes configuraciones preentrenadas.
• Integración: Integrar SE como un módulo plug-in en métodos existentes (TPT, C-TPT, R-TPT, STS) produjo ganancias de precisión constantes. Por ejemplo, añadir SE a C-TPT aumentó su precisión IN&O de 61.09% a 64.27%.
• Eficiencia:
  • SE es altamente eficiente, requiriendo solo 0.059 segundos por muestra y 1.06 GB de memoria, comparable a 64 pasadas hacia adelante (forward passes) de CLIP pero con mayor precisión.
  • USE, utilizando la técnica de salto, redujo el tiempo de prueba promedio a 0.144 segundos por imagen. Más del 60% de las muestras de prueba fueron omitidas sin degradación de la precisión.

5. Significado y Reivindicaciones

El artículo afirma que la principal significancia de USE radica en su unificación de los objetivos de optimización e inferencia. Al asegurar que las etiquetas pseudo utilizadas para la adaptación se construyan utilizando la misma estrategia que la inferencia final, USE elimina la brecha de rendimiento que suele encontrarse en los métodos de TTA.

Los autores enfatizan que:

1. La Consistencia es Clave: Las ganancias de rendimiento se atribuyen en gran medida a la consistencia proporcionada por la estrategia SE a través de ambas etapas.
2. Simplicidad y Efectividad: La estrategia SE es un mecanismo de ponderación basado en la entropía que no requiere objetivos de entrenamiento complejos ni parámetros adicionales, pero produce mejoras sustanciales de rendimiento.
3. Versatilidad: El marco es versátil, funcionando eficazmente tanto como un método independiente libre de optimización como una mejora consistente para métodos basados en optimización.

El artículo concluye que, si bien el método introduce cierta carga computacional debido a la generación de múltiples aumentos (un rasgo común de la TTA episódica), el uso de la técnica de salto y las altas ganancias de precisión lo convierten en un enfoque práctico y efectivo para mejorar la robustez de los VLMs frente a cambios de distribución.