VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning

Resumen Técnico: VL-Calibration

1. El Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han demostrado capacidades impresionantes en el razonamiento multimodal, pero sufren de un problema crítico: alucinaciones con alta certeza. A menudo generan respuestas factualmente incorrectas con una confianza verbalizada excesiva, lo que limita su uso en dominios de alto riesgo (como la salud o el derecho).

Las soluciones existentes de calibración de confianza verbalizada, diseñadas principalmente para LLMs de texto, presentan dos fallos fundamentales al aplicarse a LVLMs:

1. Confusión de fuentes de error: Utilizan una única puntuación de confianza holística. Esto mezcla errores de percepción visual (no ver o malinterpretar la imagen) con errores de razonamiento lógico (entender bien la imagen pero fallar en la deducción). Una sola puntuación no permite localizar la fuente del error.
2. Dominio de los priores lingüísticos: La incertidumbre visual intrínseca suele quedar oscurecida por los priores lingüísticos del modelo, lo que lleva a una calibración global incorrecta donde el modelo parece seguro incluso cuando su percepción visual es débil.

2. Metodología: VL-Calibration

Los autores proponen VL-Calibration, un marco de aprendizaje por refuerzo (RL) que descompone explícitamente la confianza en dos componentes: Confianza Visual y Confianza de Razonamiento.

El marco se estructura en tres componentes clave:

A. Desacoplamiento de la Confianza Verbalizada
En lugar de pedir un solo score de confianza, el modelo se entrena para generar:

• Un racionamiento visual ($z_{vis}$) seguido de un token de confianza visual ($c_{vis}$).
• Una cadena de razonamiento lógico ($z_{reas}$) seguida de un token de confianza de razonamiento ($c_{reas}$).
• La confianza holística final ($\Phi$) se calcula mediante la media armónica de ambos scores. Esta elección es conservadora: si cualquiera de las dos confianzas es baja, la confianza global se reduce drásticamente, evitando que un razonamiento sólido enmascare una percepción errónea.

B. Estimación Intrínseca de Certeza Visual (VCE)
Dado que no existen etiquetas de "verdad fundamental" para la percepción visual durante el entrenamiento, el método introduce una métrica compuesta para estimar la certeza visual sin supervisión externa:

1. Anclaje Visual (Visual Grounding): Se mide mediante la divergencia KL entre la distribución de salidas del modelo con la imagen original y una versión perturbada (con parches enmascarados aleatoriamente). Una alta divergencia indica que el modelo depende fuertemente del contenido visual.
2. Certeza Interna (Internal Certainty): Se mide mediante la entropía de los tokens en la descripción visual. Una baja entropía indica que el modelo está internamente seguro de sus tokens generados.

• Fórmula: La puntuación de certeza visual ($S_{vis}$) combina ambas métricas en una relación logarítmica: $S_{vis} = \log(D_{KL}) - \log(H)$.

C. Entrenamiento con Aprendizaje por Refuerzo (GRPO)
Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) con una función de recompensa compuesta:

• Recompensa de Precisión: Basada en la corrección de la respuesta final.
• Recompensa de Calibración: Basada en la puntuación Brier para alinear la confianza holística con la precisión.
• Recompensa de Certeza Visual: Utiliza la estimación $S_{vis}$ (normalizada) como una etiqueta pseudo para supervisar la confianza verbalizada visual ($c_{vis}$), penalizando las alucinaciones no fundamentadas.
• Reponderación de Ventaja a Nivel de Token (TAR): Una innovación clave. Si el modelo comete un error en un token específico que tiene baja certeza visual, la penalización (ventaja negativa) se amplifica. Esto desalienta activamente las alucinaciones visuales mientras preserva las percepciones válidas.

3. Contribuciones Clave

1. Desacoplamiento Estructural: Es el primer marco que separa explícitamente la confianza en percepción visual y razonamiento lógico para LVLMs, permitiendo una identificación clara de la fuente de incertidumbre.
2. Estimación de Certeza Sin Etiquetas: Propone una técnica novedosa que combina la sensibilidad a perturbaciones visuales (KL) y la entropía interna para generar una señal de supervisión robusta sin necesidad de datos etiquetados de percepción.
3. Mecanismo de Penalización Selectiva: La reponderación de ventaja a nivel de token (TAR) permite al modelo aprender a ser más cauteloso específicamente cuando su percepción visual es incierta, reduciendo las alucinaciones "ciegas".
4. Generalización: El método funciona consistentemente a través de diferentes escalas de modelos (de 4B a 30B) y arquitecturas (Qwen3-VL, InternVL).

4. Resultados Experimentales

Los experimentos se realizaron en 13 benchmarks que cubren razonamiento matemático, lógico, dominado por visión y multidisciplinario.

• Mejora en Calibración: En el modelo Qwen3-VL-4B, el Error de Calibración Esperado (ECE) se redujo drásticamente de 0.421 a 0.098. En el modelo de 8B, bajó de 0.204 a 0.071.
• Aumento de Precisión: A diferencia de otros métodos de calibración que a menudo degradan el rendimiento, VL-Calibration mejoró la precisión promedio en un 2.3% - 3.0% sobre los mejores baselines (como RLCR).
• Robustez: El método demostró una gran capacidad de generalización en datos fuera de distribución (OOD) y en tareas que requieren integración de conocimiento amplio (ej. MMMU-Pro).
• Detección de Alucinaciones: En problemas visualmente "no respondibles" (sin imagen), el modelo reduce significativamente su confianza, mostrando una capacidad superior para reconocer la falta de información visual en comparación con métodos anteriores.

5. Significado e Impacto

Este trabajo es fundamental para la adopción segura de LVLMs en entornos críticos. Al permitir que el modelo "sepa lo que no sabe" específicamente en el dominio visual, VL-Calibration:

• Mitiga el riesgo de confiar en respuestas incorrectas generadas por alucinaciones visuales.
• Proporciona una herramienta de diagnóstico para entender si un fallo se debe a una mala visión o a un mal razonamiento.
• Establece un nuevo paradigma para la calibración de modelos multimodales, demostrando que la separación de fuentes de incertidumbre es esencial para lograr sistemas de IA más fiables y transparentes.

En resumen, VL-Calibration transforma la confianza de los LVLMs de una métrica monolítica y engañosa a una señal multidimensional y precisa, logrando simultáneamente mayor precisión y mayor fiabilidad.