🤖 machine learning

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

Este artículo propone la Calibración Consciente del Desplazamiento (SAC, por sus siglas en inglés), un método que no requiere entrenamiento y que aprovecha la discrepancia entre los logits de CLIP originales y los ajustados para recalibrar eficazmente la confianza del modelo tanto en clases vistas como no vistas bajo diversos desplazamientos de distribución.

Autores originales: Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden mirar una imagen y "saber" instantáneamente qué es, no solo memorizando una lista de etiquetas, sino comprendiendo la historia detrás de la imagen y las palabras que la describen. Esta es la magia de los Modelos de Visión-Lenguaje (VLM, por sus siglas en inglés), un tipo de inteligencia artificial que aprende leyendo miles de millones de libros y mirando miles de millones de fotos simultáneamente. Piensa en ello como un estudiante que ha leído toda la biblioteca del conocimiento humano; puede adivinar cómo es un "pingüino" incluso si nunca ha visto uno en un salón de clases, simplemente porque entiende el concepto de un ave que nada en aguas frías.

Sin embargo, hay un inconveniente. Cuando enseñamos a estos estudiantes súper inteligentes un truco nuevo y específico —como identificar flores raras en un jardín—, a veces se vuelven demasiado seguros de sí mismos. Podrían empezar a gritar: "¡Estoy 99% seguro de que esto es una rosa!", cuando en realidad es un diente de león, o podrían perder la calma y decir: "Solo estoy 10% seguro", incluso cuando tienen razón. Este desajuste entre qué tan segura se siente la computadora y qué tan correcta es realmente se llama "descalibración". Es un gran problema porque, si no puedes confiar en la confianza de una computadora, no puedes confiar en sus decisiones, ya sea diagnosticando una enfermedad o conduciendo un automóvil. Los científicos han intentado arreglar esto, pero la mayoría de sus herramientas solo funcionan con las lecciones específicas que la computadora ya estudió, fallando estrepitosamente cuando la computadora se enfrenta a algo completamente nuevo.

Aquí entra un nuevo estudio de los investigadores Song-Lin Lv, Yu-Yang Chen, Zhi Zhou y Lan-Zhe Guo, quienes proponen un arreglo ingenioso que no requiere entrenamiento llamado Calibración Sensible al Desplazamiento (SAC, por sus siglas en inglés). En lugar de intentar reenseñar a la computadora o memorizar nuevas estadísticas, se dieron cuenta de que la propia "memoria" de su yo original, preentrenado, contiene el secreto para arreglar su confianza.

Así es como funciona su idea, usando una analogía simple: Imagina que la computadora es un músico que ha practicado una canción perfectamente durante años (el modelo original, preentrenado). Luego, intenta aprender un remix (el modelo ajustado o fine-tuned) para tocarla más rápido o con un ritmo diferente. A veces, en su entusiasmo por tocar el remix, se dejan llevar tanto que empiezan a tocar demasiado fuerte o demasiado bajo, perdiendo el ritmo. Los investigadores notaron que la distancia entre el ritmo original y constante y el nuevo y salvaje remix es una pista perfecta. Si el remix es muy diferente al original (un gran "desplazamiento de logit"), esto suele significar que el músico está volviéndose excesivamente confiado o confundido.

El método del equipo, SAC, actúa como un inteligente control de volumen. Mide exactamente cuánto se ha desviado la nueva interpretación del ritmo constante original. Si el desplazamiento es enorme, baja suavemente el volumen para calmar el exceso de confianza. Si el desplazamiento es pequeño pero el músico parece demasiado tímido, sube el volumen solo un poquito. Crucialmente, este control solo cambia el volumen (la puntuación de confianza); nunca cambia las notas (la predicción real). Así que, si la computadora piensa que es una rosa, sigue pensando que es una rosa, pero ahora dice: "Estoy 85% seguro", lo cual es mucho más honesto que decir "99% seguro".

Los investigadores probaron esta idea en 11 conjuntos de datos diferentes y cinco formas distintas de entrenar los modelos. Descubrieron que SAC funciona de maravilla, no solo con las flores que la computadora estudió, sino también con las flores salvajes y no vistas que nunca había visto antes. Incluso funcionó cuando la computadora fue probada en tipos de jardines completamente diferentes (generalización de dominio y de conjunto de datos). De hecho, su método superó a las mejores herramientas actuales, incluyendo un método popular llamado DAC, que intenta adivinar la confianza basándose en descripciones textuales, pero que a menudo se queda estancado cuando el mundo visual cambia.

Lo que hace que este descubrimiento sea particularmente genial es que no requiere entrenamiento adicional ni matemáticas complejas. Es un arreglo "libre de entrenamiento", lo que significa que puedes aplicarlo instantáneamente a cualquier modelo que haya sido ajustado. Los autores sugieren que la clave del problema no es solo mirar la respuesta final, sino observar cómo la respuesta se desplaza desde el estado original y bien alineado. Al usar el modelo original como un "ancla de calibración", SAC mantiene a la computadora honesta, asegurando que su confianza coincida con su realidad, ya sea que esté mirando un gato familiar o una extraña criatura alienígena nueva. El estudio muestra que este enfoque simple y sensible al desplazamiento es robusto, funcionando bien en diferentes modelos y entornos sin necesidad de ser ajustado para cada nueva tarea.

Resumen Técnico: Calibración Consciente del Desplazamiento para CLIP Ajustado (Fine-Tuned)

Declaración del Problema
Los modelos de visión y lenguaje (VLMs) como CLIP demuestran una fuerte capacidad zero-shot y una sólida alineación imagen-texto. Sin embargo, cuando se ajustan (fine-tuned) en tareas específicas de seguimiento mediante el aprendizaje de prompts o métodos de eficiencia de parámetros (por ejemplo, LoRA), estos modelos suelen sufrir de una desalineación de confianza. Si bien el ajuste fino mejora la precisión en las clases de entrenamiento, frecuentemente conduce al sobreajuste, causando que el modelo olvide las predicciones bien calibradas y la robusta alineación imagen-texto adquirida durante el pre-entrenamiento. Esto resulta en una discrepancia significativa entre los puntajes de confianza predichos y la precisión real, particularmente en clases no vistas y en configuraciones de generalización de dominio o de cruce de conjuntos de datos (cross-dataset).

Los métodos de calibración existentes enfrentan limitaciones críticas en este contexto:

Los métodos tradicionales (por ejemplo, Escalamiento de Temperatura, Agrupamiento por Histogramas) dependen de estadísticas de la distribución de entrenamiento, lo que los hace ineficaces para clases no vistas.
Los métodos específicos para VLMs, como la Calibración Consciente de la Distancia (DAC), derivan pesos de las representaciones textuales, pero están diseñados principalmente para clases no vistas dentro del mismo conjunto de datos. No logran modelar directamente el desplazamiento visual a nivel de muestra requerido para evaluaciones de generalización de dominio o de cruce de conjuntos de datos.

Metodología: Calibración Consciente del Desplazamiento (SAC)
Los autores proponen la Calibración Consciente del Desplazamiento (SAC), un método de calibración post-hoc, libre de entrenamiento y por muestra. La idea central es que el "desplazamiento de logits" (ello es, la discrepancia entre los logits de salida del CLIP pre-entrenado original y el CLIP ajustado) sirve como una señal informativa para la calibración.

Definición del Desplazamiento de Logits ( $z$ ):
SAC define una métrica $z$ como la distancia L1 entre los logits del modelo ajustado ( $\hat{P}$ ) y el CLIP pre-entrenado original ( $P$ ) para una muestra dada:
$z = \frac{1}{N} \sum_{i=1}^{N} |P_i - \hat{P}_i|$
Aquí, $N$ es el número de clases. El CLIP original actúa como un "ancla de calibración", reteniendo la amplia alineación imagen-texto del pre-entrenamiento. La métrica $z$ se mide en el espacio de predicción (logits) en lugar del espacio de características ocultas, sirviendo como un proxy observable de cuánto ha alejado el ajuste fino a una muestra de la alineación original.
Mapeo al Factor de Escalamiento ( $\gamma$ ):
El desplazamiento de logits $z$ se mapea a un coeficiente de escalamiento positivo $\gamma$ utilizando una función de decaimiento exponencial:
$\gamma = \alpha \cdot e^{-kz}$
- Correlación Negativa: Los desplazamientos grandes ( $z$ ) indican una desviación significativa del ancla, asociada frecuentemente con la sobreconfianza. El decaimiento exponencial asegura que un $z$ grande produzca un $\gamma < 1$ pequeño, suavizando los logits.
- Corrección de Subconfianza: Los $z$ pequeños (muestras cercanas al ancla) pueden producir un $\gamma > 1$ (si $\alpha > 1$ ), agudizando los logits para las predicciones subconfiadas.
- Punto Neutral: El mapeo asegura un punto neutral donde $\gamma = 1$ , preservando los logits originales cuando el desplazamiento es insignificante.
- Parámetros: $k$ controla la sensibilidad a la magnitud del desplazamiento, y $\alpha$ controla el factor de escalamiento máximo y la ubicación del punto neutral.
Refinamiento Opcional (SAC-Plus):
Un refinamiento opcional, SAC-Plus, aplica una operación de potenciación al cuadrado a los coeficientes alejados de 1 (es decir, $\gamma < \lambda_1$ o $\gamma > \lambda_2$ ) para fortalecer las correcciones en casos extremos, mientras deja sin cambios los coeficientes moderados. Esto no introduce parámetros aprendibles.
Inferencia:
Durante la inferencia, los logits ajustados $P_i$ se reescalan: $P^{SAC}_i = \hat{\gamma}_i \cdot \tau_{temp} \cdot P_i$ . Dado que $\hat{\gamma}_i > 0$ , el orden relativo de las probabilidades de clase se preserva, asegurando que la clase predicha permanezca sin cambios mientras se ajusta la confianza.

Contribuciones Clave

Identificación del Desplazamiento de Logits: El artículo identifica que el principal motor del desequilibrio de confianza en el CLIP ajustado es la discordancia entre el grado de desplazamiento de los logits y los cambios correspondientes en la precisión. El alejamiento excesivo del ancla original de CLIP se correlaciona con un aumento del error de calibración incluso después de que la precisión se satura.
Nuevo Método de Calibración (SAC): Se propone SAC como un método a nivel de muestra y libre de entrenamiento que aprovecha el CLIP original como un ancla. Corrige la confianza sin comprometer la precisión de la salida del modelo ni requerir datos de entrenamiento adicionales.
Generalizabilidad: Al depender de la alineación del CLIP original en lugar de estadísticas específicas del conjunto de datos, SAC extiende la aplicabilidad de la calibración a escenarios de vocabulario abierto, evaluaciones de cruce de conjuntos de datos y generalización de dominio, superando las limitaciones de los métodos existentes.
Robustez: El método demuestra un sólido desempeño a través de 11 conjuntos de datos y 5 métodos de ajuste fino diferentes con un conjunto fijo de hiperparámetros, mostrando insensibilidad a las variaciones en los disparos (shots) de entrenamiento, backbones y configuraciones de evaluación.

Resultados Experimentales

Desempeño: A través de 11 conjuntos de datos y cinco métodos de ajuste fino (CoCoOp, KgCoOp, MaPLe, ProGrad, PromptSRC), SAC mejora consistentemente la calibración (medida por el Error de Calibración Esperado - ECE) tanto en clases de entrenamiento como en clases no vistas.
Comparación: SAC supera a los métodos de calibración existentes, incluyendo las técnicas estándar de escalamiento/agrupamiento, el método específico para VLM llamado DAC, y el método general MIR.
Análisis de Información Mutua (MI): Los autores proporcionan evidencia empírica mediante el análisis de MI, mostrando una dependencia estadística entre la señal de desplazamiento de logits ( $z$ ) y el ECE a través de diversos métodos y conjuntos de datos. Esto respalda la afirmación de que la señal de desplazamiento es informativa para la calibración.
Robustez: El método mantiene su efectividad en diversas configuraciones de hiperparámetros y escenarios de evaluación (incluyendo cruce de conjuntos de datos y generalización de dominio), donde otros métodos suelen fallar o requieren reajuste.

Significado
El artículo afirma que SAC proporciona una referencia fiable para abordar la calibración de confianza en los VLMs ajustados. Al utilizar el modelo pre-entrenado original como un ancla fija, SAC restringe eficazmente los límites de generalización de los modelos descendentes (downstream) sin requerir entrenamiento adicional o datos de validación etiquetados para la selección de parámetros. El trabajo destaca que el monitoreo del "desplazamiento de logits" ofrece un enfoque práctico y teóricamente fundamentado para mantener predicciones bien calibradas en escenarios de vocabulario abierto y de generalización.

Más como este