Respect Your Zero-Shot Uncertainty: Conservative Calibration for Test-Time-Adapted Vision-Language Models

Resumen Técnico: Respete su Incertidumbre de Zero-Shot

Declaración del Problema
La adaptación en tiempo de prueba (TTA, por sus siglas en inglés) permite que los modelos de visión y lenguaje (VLM) mejoren la precisión del reconocimiento bajo cambios de distribución utilizando datos objetivo no etiquetados. Sin embargo, los métodos de TTA existentes suelen degradar la calibración del modelo, haciendo que la confianza predictiva sea poco fiable para la toma de decisiones en aplicaciones posteriores. El artículo identifica un modo de fallo específico denominado afilamiento preservador de la predicción (prediction-preserving sharpening): la TTA puede aumentar significativamente la confianza predictiva y reducir la entropía incluso cuando la predicción del top-1 (y, por lo tanto, su corrección) permanece sin cambios en comparación con la línea base de zero-shot.

Los autores argumentan que los enfoques de calibración sin etiquetas existentes son insuficientes. Los métodos acoplados a prompts se limitan a mecanismos de adaptación específicos, mientras que los métodos de inserción (plug-in) como SaLS dependen de estadísticas del rango de los logits. El artículo demuestra que el rango de los logits (la diferencia entre el máximo y el mínimo de los logits) no logra capturar la distribución de la masa de probabilidad entre las clases restantes y no se correlacionó fuertemente con el error de calibración. En consecuencia, existe la necesidad de una señal sin etiquetas y específica para cada muestra que capture los cambios en la distribución predictiva completa.

Metodología: Calibración de Entropía Anclada a Zero-Shot (ZAEC)
Para abordar esto, los autores proponen ZAEC, un método de calibración post-hoc sin etiquetas que utiliza la entropía zero-shot de una muestra como una referencia de incertidumbre conservadora y específica de la muestra.

1. Identificación de la Señal: El método identifica muestras donde la distribución predictiva adaptada está "afilada" en relación con la línea base zero-shot. Específicamente, se dirige al subconjunto de muestras $I^-$ donde la entropía adaptada $H(p^{TTA}_i)$ es estrictamente menor que la entropía zero-shot $H(p^{ZS}_i)$.
2. Corrección Selectiva: Para las muestras en $I^-$, ZAEC aplica un factor de escalado de temperatura mínima $T^*_i \geq 1$ a los logits adaptados. La temperatura se elige de tal manera que la entropía resultante coincida exactamente con la entropía zero-shot original: $H(\text{softmax}(z^{TTA}_i / T^*_i)) = H(p^{ZS}_i)$.
3. Preservación: Para las muestras donde la entropía no se ha reducido (es decir, $H(p^{TTA}_i) \geq H(p^{ZS}_i)$), no se aplica ninguna corrección ($T^*_i = 1$).
4. Propiedades: El método se basa en la relación monotónica entre la temperatura y la entropía. Crucialmente, el escalado de temperatura positivo preserva el orden completo de las clases y la predicción del top-1. Por lo tanto, ZAEC corrige la confianza sin alterar la precisión de la clasificación o el orden de las clases. No requiere datos de calibración etiquetados y no introduce parámetros aprendibles.

Contribuciones Clave

• Identificación del Modo de Fallo: El artículo revela el "afilamiento preservador de la predicción" como una fuente primaria de degradación de la calibración en TTA, mostrando que las ganancias de confianza a menudo superan a las ganancias de precisión en muestras donde la clase de la predicción permanece sin cambios.
• Análisis de Correlación: Los autores demuestran una fuerte correlación negativa entre la reducción de la entropía relativa a zero-shot y el Error de Calibración Esperado (ECE) a través de diversos métodos y conjuntos de datos de TTA. Demuestran que la alineación del rango de logits es insuficiente para caracterizar la calidad de la calibración.
• Algoritmo ZAEC: Introducen un método post-hoc agnóstico al mecanismo que restaura selectivamente la entropía zero-shot mediante un escalado de temperatura mínima. Se demuestra que el método preserva los rankings de clases y la precisión de la clasificación.
• Desempeño Empírico: Experimentos extensos muestran que ZAEC logra consistentemente el ECE promedio de nivel de método más bajo entre los métodos post-hoc evaluados.

Resultados Experimentales
Los autores evaluaron ZAEC a través de cinco métodos representativos de TTA (TPT, TPS, TDA, DPE, DLAE) y 15 conjuntos de datos (incluyendo variantes de ImageNet y conjuntos de datos de clasificación de grano fino) utilizando arquitecturas CLIP (ViT-B/16 y RN50).

• Reducción de ECE: En ViT-B/16, los métodos TTA brutos exhibieron ECEs promedio macro que oscilaban entre 7.47% y 28.47%. ZAEC redujo estos valores a un rango de 3.84% a 8.19%, logrando el ECE promedio más bajo para cada método TTA y grupo de benchmark comparado contra TTA bruto, Temperature Scaling y SaLS.
• Consistencia: Tendencias similares se observaron en la arquitectura RN50, confirmando la robustez del método a través de diferentes arquitecturas de modelos.
• Estudios de Ablación:
  • Corregir solo las muestras con reducción de entropía (ZAEC) produjo mejores resultados que corregir todas las muestras o solo las muestras con aumento de entropía.
  • La restauración completa de la entropía zero-shot ($\lambda=1$) produjo un ECE menor que la restauración parcial.
  • Caso Límite: Los autores señalan una limitación en el conjunto de datos Caltech101. En casos donde el modelo zero-shot es subconfiado y la TTA afila correctamente la distribución para que coincida con la precisión empírica, la restauración conservadora de la entropía zero-shot de ZAEC puede reintroducir la subconfianza, aumentando ligeramente el ECE.

Significado y Reivindicaciones
El artículo sostiene que la adaptación efectiva de los VLM debe mejorar el rendimiento del reconocimiento sin sacrificar la fiabilidad de la confianza predictiva. Al anclar la calibración a la incertidumbre zero-shot, ZAEC proporciona una solución conservadora y sin etiquetas para la sobreconfianza inducida por la TTA. Los autores enfatizan que su método preserva la utilidad del modelo adaptado (precisión y rankings) al tiempo que mitiga el riesgo de errores de alta confianza. Concluyen que el trabajo futuro debería explorar anclajes adaptativos para escenarios donde la subconfianza zero-shot hace que el enfoque conservador actual sea subóptimo.