Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

Resumen Técnico: Texto como Restricción Parcial (TPC)

Planteamiento del Problema
El alineamiento visión-lenguaje es la base del reconocimiento de vocabulario abierto, la recuperación y los Modelos de Lenguaje de Gran Escala (LVLM). Sin embargo, la supervisión de lenguaje natural es inherentemente incompleta: los pies de foto suelen omitir detalles, dependen de contextos compartidos o varían significamente en su formulación. Los métodos existentes suelen tratar cada pie de foto como un objetivo completo, forzando a los modelos a alinearse con detalles específicos de la vista que pueden estar ausentes en otras descripciones válidas. Esto conduce a un emparejamiento "frágil" (donde el rendimiento cae ante una paráfrasis), predicciones "sobreconfiadas" (donde el modelo muestra una alta certeza incluso cuando la restricción textual es débil) y alucinaciones en modelos descendentes (downstream) de tipo LVLM. El artículo identifica que los modelos actuales se comprometen excesivamente con los residuos "no dichos": desviaciones específicas de la vista que no están consistentes en múltiples vistas de texto para una misma imagen.

Metodología: Texto como Restricción Parcial (TPC)
Los autores proponen TPC, un marco de alineamiento núcleo-residuo que redefine los pies de foto naturales como restricciones parciales en lugar de objetivos completos. El método opera bajo la premisa de que múltiples vistas de texto de una imagen comparten un "núcleo de consenso" estable mientras divergen en un espacio residual "no dicho".

El marco consta de cuatro componentes clave:

1. Núcleo de Consenso Multivista: Para una imagen con $K$ vistas de texto, un núcleo de consenso $c_i$ se define como la dirección media normalizada de los embeddings de texto. Este núcleo representa la semántica compartida e invariante a la vista.
2. Filtro de Núcleo de Vista Única: Para permitir el despliegue con un solo texto de consulta, se entrena un filtro lineal ligero $\psi_\theta$ para predecir el núcleo de consenso $c_i$ a partir de un embedding de vista única $t_{i,k}$. Esto asegura que el modelo pueda recuperar el objetivo semántico robusto durante la inferencia sin requerir múltiples pies de foto.
3. Supresión de Residuos No Dichos: El embedding de texto se descompone en el núcleo predicho y un residuo ortogonal "no dicho" $r_{i,k}$. Un regularizador de no compromiso penaliza explícitamente el alineamiento entre el embedding de la imagen y estos residuos, evitando que el modelo se sobreajuste a detalles específicos de la vista.
4. Alineamiento Contrastivo Consciente de la Incertidumbre: Se computa una métrica de incertidumbre $u_i$ basada en el desacuerdo (varianza) entre las $K$ vistas de texto respecto al consenso. Esta incertidumbre modula la temperatura $\tau_i$ en la pérdida InfoNCE. Cuando los textos discrepan (alta incertidumbre), el alineamiento se "suaviza" para reducir las actualizaciones sobreconfiadas; cuando coinciden, el alineamiento se agudiza.

El objetivo total de entrenamiento combina la pérdida de alineamiento del núcleo, una pérdida de acuerdo para asegurar que el filtro de vista única coincida con el consenso, y la pérdida de no compromiso para suprimir los residuos.

Contribuciones Clave

1. Formalización de la Subespecificación del Lenguaje: El artículo formaliza la variación de las vistas de los pies de foto como una forma de subespecificación del lenguaje e identifica el compromiso excesivo con los residuos "no dichos" como un mecanismo primario detrás de la fragilidad y la alucinación.
2. Marco Núcleo-Residuo: Introduce un principio de entrenamiento que prioriza la semántica invariante a la vista y produce puntuaciones de confianza que rastrean la fuerza de las restricciones textuales, manteniendo la capacidad de despliegue con una sola consulta.
3. Justificación Teórica: Los autores proporcionan límites teóricos que muestran que la robustez mejora al aumentar el alineamiento del núcleo y disminuir la sensibilidad del residuo. También demuestran que el consenso multivista actúa como un mecanismo de eliminación de ruido para la supervisión textual incompleta, con garantías estadísticas de generalización.

Resultados Experimentales
TPC fue evaluado en reconocimiento zero-shot, robustez adversarial y transferencia a LVLM:

• Reconocimiento Zero-Shot: En ImageNet, TPC logró un 81.42% de precisión Top-1 limpia y un 64.05% robusta, superando al baseline robusto más fuerte (Adv-W2S) por +5.58/+5.75. En la suite de transferencia Avg-14, alcanzó un 76.19% de precisión limpia y 52.03% robusta.
• Transferencia a LVLM: Al usarse como codificador de visión para LLaVA-1.5-7B, TPC mejoró las métricas de alucinación de objetos, logrando un promedio de 85.16 POPE F1 (superando a Adv-W2S por +1.36) y 59.57 de precisión en OKVQA.
• Análisis de Robustez: TPC demostró una menor sensibilidad a la elección del pie de foto (menor volatilidad de rango) y una mejor calibración bajo restricciones de texto débiles. En pruebas de estrés que involucran eliminaciones controladas de pies de foto, TPC mantuvo una mayor precisión y un menor Error de Calibración Esperado (ECE) en comparación con el ajuste fino estándar de CLIP.

Significancia y Reivindicaciones
El artículo sostiene que modelar el texto como una restricción parcial es una ruta práctica y fundamentada hacia representaciones visión-lenguaje más fiables. Al separar explícitamente el núcleo semántico estable de los residuos inestables y específicos de la vista, TPC aborda la causa raíz de la fragilidad en la supervisión de lenguaje subespecificada. Los autores enfatizan que este enfoque no requiere cambiar la arquitectura de los LVLM descendentes, sino que proporciona un "backbone perceptual" más robusto que reduce el compromiso excesivo con señales débiles. El método se presenta como un reemplazo directo para los codificadores de visión que complementa las correcciones existentes a nivel de decodificación y de conector para la alucinación.