SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

Resumen Técnico: Calibración Ortogonal Semántica para el Ajuste de Prompts en Tiempo de Prueba (SoC)

Enunciado del Problema
Los Modelos Visuales-Lingüísticos (VLM), como CLIP, han demostrado capacidades zero-shot sólidas, pero enfrentan desafíos significativos al desplegarse en escenarios del mundo real que involucran datos fuera de distribución o categorías novedosas. Si bien el Ajuste de Prompts en Tiempo de Prueba (TPT) ha surgido como un método para adaptar los VLM a nuevas tareas sin datos etiquetados mediante la optimización de prompts de texto a través de la minimización de la entropía, este enfoque a menudo induce predicciones sobreconfiadas, lo que lleva a una mala calibración de la incertidumbre.

Los métodos recientes más avanzados, específicamente O-TPT (Ajuste de Prompts en Tiempo de Prueba Ortogonal), intentan mitigar esta sobreconfianza imponiendo ortogonalidad completa entre pares de incrustaciones de prompts de texto. La intuición es que los prototipos ortogonales mejoran la separabilidad de clases. Sin embargo, este artículo argumenta que imponer una ortogonalidad estricta es teórica y empíricamente defectuoso para clases semánticamente relacionadas. Al empujar agresivamente todos los prototipos de clase separados, O-TPT altera la estructura semántica inherente del espacio de incrustaciones (por ejemplo, forzando a "cultivo anual" y "cultivo permanente" a ser ortogonales a pesar de su superposición conceptual). Esta separación artificial resulta en una inflación sistemática de la confianza de predicción, incluso cuando la predicción del modelo es incorrecta, degradando así la calibración en lugar de mejorarla.

Metodología
Los autores proponen la Calibración Ortogonal Semántica (SoC), un regularizador novedoso diseñado para imponer la separación de prototipos preservando la proximidad semántica.

1. Regularización Basada en Huber: En lugar de la penalización cuadrática utilizada en O-TPT (que aplica una fuerza repulsiva fuerte proporcional al cuadrado de la similitud), SoC utiliza una función de pérdida de Huber. Esta pérdida es cuadrática para residuos pequeños (pares de baja similitud) pero transiciona a una penalización lineal para residuos más grandes (pares de alta similitud).
2. Preservación Semántica: La formulación de Huber limita la fuerza de repulsión para pares de clases altamente similares. Esto asegura que las clases correlacionadas semánticamente (que poseen naturalmente una alta similitud coseno en el espacio de incrustaciones) no sean separadas tan agresivamente como en O-TPT. El regularizador se define como:
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   donde $s_{ij}$ es la similitud coseno entre los prototipos de clase $i$ y $j$, y $\delta$ es un umbral de margen.
3. Análisis Teórico: El artículo deriva un límite inferior para la confianza softmax basado en la similitud de clase en el peor caso ($\mu$). El análisis demuestra que la ortogonalidad completa (O-TPT) reduce agresivamente $\mu$ en un solo paso de gradiente, lo que lleva a un límite inferior de confianza estrictamente más alto. En contraste, el regularizador propuesto basado en Huber aplica una repulsión más suave a los pares de alta similitud, evitando aumentos excesivos de confianza y manteniendo una mejor calibración.

Contribuciones Clave

• Regularizador SoC: Introducción de un regularizador basado en Huber para TPT que produce gradientes más suaves que las restricciones de ortogonalidad completa. Preserva efectivamente la estructura semántica entre clases relacionadas mientras mitiga los efectos de sobre-separación de la ortogonalidad estricta.
• Perspectiva Teórica: Una derivación de un límite inferior de confianza que vincula la similitud de clase en el peor caso con la incertidumbre de predicción. Este análisis revela que la ortogonalidad completa infla sistemáticamente la confianza al reducir agresivamente la similitud, incluso para categorías correlacionadas semánticamente, mientras que el método propuesto evita esto al limitar la repulsión.
• Validación Empírica: Experimentos exhaustivos en 11 conjuntos de datos diversos (incluyendo clasificación de granularidad fina, cambios de dominio natural e imágenes satelitales) demuestran que SoC mejora consistentemente las métricas de calibración (Error de Calibración Esperado - ECE) en comparación con las líneas base más avanzadas (TPT, C-TPT, O-TPT) mientras mantiene un rendimiento discriminativo competitivo.

Resultados

• Rendimiento de Calibración: En 11 conjuntos de datos, SoC logró las mejores puntuaciones de ECE en todos menos uno en comparación con O-TPT. La mejora media de ECE sobre O-TPT fue de 2.3, con ganancias significativas observadas en tareas de granularidad fina (por ejemplo, una reducción de 14.5 puntos en ECE en EuroSAT).
• Fiabilidad: Los diagramas de fiabilidad muestran que, mientras que O-TPT exhibe una sobreconfianza pronunciada (probabilidades predichas que superan consistentemente la precisión observada), SoC produce curvas más planas más cercanas a la diagonal, indicando una mejor alineación entre confianza y precisión.
• Robustez:
  • Actualizaciones Multi-paso: Al aplicar dos actualizaciones de gradiente (un escenario donde la calibración de O-TPT se deteriora en un 39%), SoC mostró un deterioro significativamente menor (23%), alineándose con el hallazgo teórico de que la reducción aguda de similitud de O-TPT es inestable.
  • Variaciones de la Arquitectura Base: SoC superó a O-TPT tanto en precisión como en ECE en diferentes arquitecturas base ViT (ViT-B/16 y ViT-L/14).
  • Sensibilidad al Prompt: SoC demostró un ECE más bajo en 18 prompts de texto iniciales diferentes en comparación con O-TPT, indicando una menor sensibilidad a la inicialización del prompt.
• Eficiencia Computacional: La complejidad computacional de SoC es $O(n^2)$, mientras que O-TPT implica transformaciones de Householder con una complejidad de $O(n^3)$, lo que hace que SoC sea más eficiente para conjuntos de datos con un gran número de clases.

Significado y Afirmaciones
El artículo afirma que la limitación principal de los métodos de calibración basados en ortogonalidad actuales es su incapacidad para distinguir entre la separación geométrica y la proximidad semántica. Al reemplazar la repulsión rígida de O-TPT con un mecanismo más suave y consciente de la semántica, SoC permite que los VLM se adapten a nuevas tareas sin sacrificar la fiabilidad de sus estimaciones de incertidumbre. Los autores posicionan este trabajo como un paso hacia métodos de calibración más conscientes de la semántica para VLM, particularmente cruciales para aplicaciones críticas para la seguridad como la atención médica y la conducción autónoma, donde las predicciones incorrectas sobreconfiadas son inaceptables. El estudio sugiere que preservar la estructura de variedad de clases semánticamente similares es esencial para lograr una calibración verdadera, en lugar de simplemente maximizar la separación geométrica.