Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

Resumen Técnico: ADTE para Adaptación en Tiempo de Prueba

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión (VLMs), como CLIP, han demostrado una gran capacidad de generalización. Sin embargo, sufren de degradación del rendimiento cuando se enfrentan a distribuciones de datos de prueba diferentes a las de entrenamiento (desplazamiento de dominio).

• Limitación de los métodos actuales: La mayoría de los métodos de Adaptación en Tiempo de Prueba (TTA) utilizan la Entropía de Shannon (SE) para medir la incertidumbre y seleccionar vistas de alta confianza (augmented views) para ajustar el modelo.
• El problema de sesgo: Los VLMs están preentrenados en datos web masivos y desbalanceados, lo que genera un sesgo inherente de predicción. Las clases "cabeza" (frecuentes) tienen alta confianza y precisión, mientras que las clases "cola" (raras) tienen baja confianza y precisión.
• Fallo de la Entropía de Shannon: Dado que la SE asume una distribución uniforme en su cálculo ($-\sum p \log p$), no puede distinguir ni corregir los diferentes grados de sesgo entre clases. Esto provoca que la estimación de incertidumbre sea sesgada, llevando a la selección incorrecta de vistas de alta confianza durante el proceso de TTA.

2. Metodología Propuesta

Los autores proponen ADTE (Adaptive Debiasing Tsallis Entropy), un enfoque que generaliza la entropía para manejar distribuciones sesgadas mediante dos componentes clave:

A. Uso de la Entropía de Tsallis (TE)
En lugar de la Entropía de Shannon, se utiliza la Entropía de Tsallis, definida como:
$$H_{TE}(P) = \frac{1}{1-q} \left( \sum_{l=1}^{L} P(y=l|x)^q - 1 \right)$$
Donde $q$ es un parámetro no extensivo.

• Propiedad Teórica: Cuando $q \to 1$, la TE se convierte en la SE.
• Corrección de Sesgo: Los autores demuestran teóricamente y empíricamente que cuando $q < 1$, la TE es capaz de mitigar el impacto del sesgo inherente en las clases de cola. La TE asigna un peso diferente a las probabilidades bajas, permitiendo una mejor selección de vistas confiables que la SE.

B. Entropía de Tsallis de Debiasing Adaptativo (ADTE)
Un desafío de la TE estándar es que el parámetro $q$ suele ser un hiperparámetro fijo que requiere ajuste manual, lo cual es impráctico en entornos de flujo continuo de datos.

• Solución: ADTE introduce un parámetro específico por clase ($q_l$) para cada categoría $l$.
• Mecanismo de Adaptación:
  1. Estimación de Sesgo: Se estima el sesgo de predicción para cada clase utilizando un banco de memoria con instancias de prueba entrantes y pseudo-etiquetas (basado en el método de Frolic). Se calcula la probabilidad a priori estimada $\tilde{p}_l$.
  2. Normalización: El sesgo estimado se normaliza (min-max) para derivar el parámetro $q_l$.
  3. Relación Inversa: Las clases con mayor sesgo (típicamente las de cola, donde la probabilidad predicha es muy baja) reciben un valor de $q_l$ más bajo (cerca de 0), lo que maximiza la corrección del sesgo. Las clases con bajo sesgo reciben valores de $q_l$ más altos.
• Flujo de Trabajo:
  1. Se generan vistas aumentadas de la imagen de prueba.
  2. Se calcula la entropía ADTE para cada vista utilizando los parámetros $q_l$ actualizados.
  3. Se seleccionan las vistas con menor entropía (mayor confianza).
  4. Se promedian las distribuciones de probabilidad de estas vistas para obtener la predicción final.

3. Contribuciones Clave

1. Identificación del Sesgo en TTA: Demostración de que la Entropía de Shannon es insuficiente para VLMs debido a su incapacidad para manejar distribuciones sesgadas, estableciendo que el rendimiento de la SE es un límite inferior para la TE.
2. Generalización Adaptativa: Desarrollo de ADTE, que automatiza la selección del parámetro de Tsallis ($q$) por clase, eliminando la necesidad de ajuste manual de hiperparámetros específicos del dominio.
3. Integración Sin Costo: ADTE se integra perfectamente con estrategias de ajuste de logits (Logit Adjustment) y no introduce sobrecarga computacional significativa más allá de la estimación del sesgo.
4. Validación Teórica y Empírica: Pruebas matemáticas que muestran cómo $q < 1$ corrige el sesgo en probabilidades bajas y análisis exhaustivos que confirman la superioridad sobre métodos basados en SE.

4. Resultados Experimentales

El método fue evaluado en múltiples benchmarks de vanguardia:

• Benchmarks OOD (Fuera de Distribución): En ImageNet y sus variantes (ImageNet-A, -V2, -R, -K), ADTE superó consistentemente a los métodos más avanzados (SOTA) como Zero, TPT, Frolic y BCA.
  • Ejemplo: Con CLIP ViT-B/16, ADTE logró un promedio de 67.5% en ImageNet y variantes, superando a Zero (66.2%) y Frolic (66.0%).
• Benchmarks Cross-Domain: En 10 conjuntos de datos de diferentes dominios (objetos, escenas, texturas, satélites, etc.), ADTE alcanzó el mejor rendimiento promedio en todos los casos, independientemente de la arquitectura del modelo (ViT-B/16 o ViT-L/14) o el tipo de prompt (plantillas manuales o generadas por GPT).
• Rendimiento en Clases de Cola: El análisis específico mostró mejoras drásticas en las clases de cola (tail classes). Por ejemplo, clases que tenían 0% de precisión con CLIP base mejoraron hasta un 56.5% con ADTE, aumentando simultáneamente la confianza de la predicción.
• Robustez: ADTE demostró ser robusto ante ruido en las pseudo-etiquetas y en escenarios de desplazamiento de dominio gradual o continuo.

5. Significado e Impacto

Este trabajo es significativo porque:

• Replantea la incertidumbre en TTA: Mueve el paradigma de la Entropía de Shannon (estándar en la comunidad) a la Entropía de Tsallis adaptativa, reconociendo que la incertidumbre en modelos preentrenados no es uniforme.
• Solución Práctica: Ofrece una solución que no requiere reentrenamiento ni ajuste manual complejo, funcionando de manera "plug-and-play" en entornos de inferencia en tiempo real.
• Mejora la Equidad: Al corregir el sesgo hacia las clases de cola, ADTE mejora la equidad y la fiabilidad de los VLMs en aplicaciones del mundo real donde las clases raras son críticas.

En conclusión, ADTE establece un nuevo estado del arte en la adaptación de modelos de visión y lenguaje en tiempo de prueba, demostrando que la corrección adaptativa del sesgo mediante entropía generalizada es esencial para el despliegue robusto de IA en entornos dinámicos.