VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

1. Planteamiento del Problema

Los Modelos Visión-Lenguaje (VLM) se implementan cada vez más como jueces automatizados ("VLM-as-a-Judge") para evaluar sistemas de IA multimodal en diversas tareas (por ejemplo, razonamiento con gráficos, descripción de imágenes, preguntas y respuestas visuales). Sin embargo, existe una limitación crítica: los jueces VLM proporcionan únicamente puntuaciones puntuales (por ejemplo, 4/5) sin ninguna indicación de fiabilidad.

• La Brecha de Fiabilidad: Una puntuación de 4/5 podría representar una alta confianza o una incertidumbre sustancial. Los usuarios no pueden distinguir entre ambas.
• Complejidad Multimodal: Los errores en los VLM surgen tanto de la percepción visual como del razonamiento lingüístico, lo que complica la incertidumbre.
• Fallo de las Métricas: Las métricas estándar (correlación, precisión) no capturan la fiabilidad por instancia. Por ejemplo, un juez podría lograr una alta correlación de clasificación (ordenar correctamente las respuestas) mientras asigna puntuaciones absolutas extremadamente inexactas.
• Estado Actual: Los jueces VLM más avanzados logran solo un ~32–34% de acuerdo exacto con las calificaciones humanas en una escala de 5 puntos, con desviaciones significativas.

2. Metodología

Los autores proponen utilizar Predicción Conformal (CP), un marco libre de distribuciones, para convertir las puntuaciones puntuales en intervalos de predicción calibrados.

• Mecanismo Central:
  • Entrada: En lugar de reentrenar el modelo, el método extrae log-probabilidades de tokens de puntuación de la salida del VLM. Para una escala Likert de 1–5, esto forma un vector de características de 5 dimensiones $x = [\log P(1), \dots, \log P(5)]$.
  • Marco: Utilizando un conjunto de calibración de puntuaciones anotadas por humanos, el método calcula una puntuación de no conformidad para determinar un intervalo de predicción $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$.
  • Garantía: El intervalo está garantizado para contener la puntuación humana real con una probabilidad de al menos $1-\alpha$ (por ejemplo, 90%), sin suposiciones sobre las distribuciones de error.
• Adaptaciones Clave:
  • Ajuste de Límites: Dado que la verdad fundamental es discreta (enteros) pero la CP produce intervalos continuos, los autores aplican un ajuste de límites para mapear los intervalos a etiquetas de calificación válidas ($\lceil l \rceil, \lfloor u \rfloor$), mejorando significativamente la cobertura.
  • CP Condicional a la Tarea (CP Mondrian): Para abordar la heterogeneidad de las tareas, los datos se dividen en grupos (Fácil, Medio, Difícil) basándose en los anchos iniciales de los intervalos. Se calculan cuantiles separados para cada grupo, obteniendo intervalos más estrechos para tareas fáciles e intervalos más amplios y seguros para tareas difíciles.
  • Brecha Clasificación-Puntuación (RSG): Una nueva métrica definida como $RSG = |\rho| - (1 - \frac{w}{K-1})$, donde $\rho$ es la correlación y $w$ es el ancho del intervalo. Esto cuantifica el desacoplamiento entre la capacidad de clasificación y la fiabilidad de la puntuación.

3. Configuración Experimental

• Jueces: Tres VLM con diferentes arquitecturas y escalas:
  1. LLaVA-Critic-7B: Código abierto, especializado en evaluación.
  2. Phi-4-reasoning-vision-15B: Modelo de razonamiento grande.
  3. Gemini 2.5 Flash: API de código cerrado, conocida por su fuerte clasificación pero alta sobreconfianza.
• Conjuntos de Datos:
  1. MLLM-as-a-Judge: 5.717 instancias en 14 categorías de tareas visuales (por ejemplo, ChartQA, MathVista, AesBench) con verdad fundamental de un solo anotador.
  2. Polaris: 8.726 pares de imagen-descripción con verdad fundamental promediada de múltiples anotadores (más limpia, tarea bien definida).
• Protocolo: Divisiones de calibración/prueba 50/50, 10 semillas aleatorias, apuntando a una cobertura del 90% ($\alpha=0.10$).

4. Resultados y Hallazgos Clave

A. Incertidumbre Dependiente de la Tarea

La incertidumbre no es uniforme; está fuertemente impulsada por el tipo de tarea.

• Intervalos Estrechos (Alta Fiabilidad): Las tareas de estética e imágenes naturales (por ejemplo, AesBench) producen intervalos que cubren solo ~40% del rango de puntuación (ancho $\approx$ 2.08).
• Intervalos Amplios (Baja Fiabilidad): Las tareas pesadas en visión que requieren razonamiento complejo (por ejemplo, InfographicsVQA, MathVista) producen intervalos que cubren ~70% del rango (ancho $\approx$ 3.50).
• Consistencia: El ordenamiento de la dificultad de la tarea es consistente en los tres jueces (Spearman $\rho \approx 0.82–0.93$), lo que indica que la dificultad de la tarea, no la identidad del modelo, impulsa la incertidumbre.

B. Desacoplamiento Clasificación-Puntuación

El artículo identifica un modo de fallo crítico donde las métricas estándar son engañosas:

• Fenómeno: Los jueces pueden lograr una alta correlación de clasificación (ordenar correctamente las respuestas) mientras producen intervalos amplios e informativos (fallando en asignar puntuaciones absolutas fiables).
• Ejemplo: En ChartQA, un juez logró la mayor correlación de Pearson ($\rho=0.507$) pero produjo uno de los intervalos más amplios (3.08).
• Implicación: Una alta correlación no implica que la puntuación absoluta sea confiable. Para tareas con alto RSG, la comparación por pares es preferible a la puntuación absoluta.

C. Impacto de la Calidad de los Datos

• Datos Limpios vs. Ruidosos: Cuando el mismo juez (LLaVA-Critic) y método se aplicaron al conjunto de datos Polaris (descripciones limpias de múltiples anotadores), el ancho del intervalo disminuyó de 3.05 (MLLM-Judge) a 0.68.
• Resultado: Esto representa una reducción de 4.5× en el ancho del intervalo, demostrando que la incertidumbre está impulsada principalmente por el ruido de anotación y la ambigüedad de la tarea, no por el método conformal en sí.

D. Paradojas del Rendimiento del Modelo

• Sobreconfianza vs. Ancho del Intervalo: Gemini 2.5 Flash fue altamente sobreconfiado (el 83% de las predicciones tenían un máximo de softmax > 0.99) y sin embargo produjo los intervalos más estrechos. Esto demuestra que la calidad del intervalo depende de la señal discriminativa en las log-probabilidades, no de la calibración de la distribución softmax.
• Especialización > Escala: En la tarea especializada Polaris, el LLaVA-Critic de 7B (entrenado para evaluación) superó ampliamente al Phi-4 de 15B (razonamiento general), logrando una correlación 7.1 veces mayor e intervalos 5.3 veces más estrechos.

E. Comparación de Métodos

• R2CCP (Regresión como Clasificación) fue el método con mejor rendimiento, logrando una cobertura del 90% casi perfecta con los intervalos informativos más estrechos.
• CQR (Regresión de Cuantiles Conformada) falló, colapsando a intervalos de rango completo ($\approx$ 4.0) porque las log-probabilidades de los tokens de puntuación son predictores débiles para cuantiles en este entorno discreto.
• Fusión de Características: Combinar características de log-prob de múltiples jueces degradó el rendimiento, sugiriendo que la calidad de las características (un juez fuerte único) supera a la cantidad.

5. Significado y Contribuciones

1. Mapa Cuantitativo de Fiabilidad: El artículo proporciona el primer mapeo sistemático de la fiabilidad de la evaluación en 14 tareas visuales, mostrando que "VLM-as-a-Judge" es fiable para algunas tareas (estética) pero altamente incierto para otras (razonamiento complejo).
2. Nuevo Modo de Fallo: Expone el Desacoplamiento Clasificación-Puntuación, un fenómeno donde las métricas estándar (correlación) ocultan la incapacidad de los jueces para proporcionar puntuaciones absolutas fiables.
3. Marco Práctico: Demuestra que la Predicción Conformal puede aplicarse a pipelines VLM existentes sin reentrenamiento, utilizando solo log-probabilidades para generar estimaciones de incertidumbre accionables.
4. Directriz Operativa: Los autores proponen una regla general: los intervalos estrechos indican que la evaluación es adecuada para puntuación absoluta; los intervalos amplios señalan ambigüedad, sugiriendo que la clasificación relativa o la comparación por pares es la estrategia de evaluación apropiada.
5. Insight sobre Calidad de Datos: Destaca que mejorar la calidad de la anotación (consenso de múltiples anotadores) produce mayores ganancias en fiabilidad que simplemente escalar los parámetros del modelo.

Conclusión

El artículo concluye que los jueces VLM no son universalmente fiables. Su incertidumbre depende estructuralmente de la tarea y la calidad de los datos. Al utilizar predicción conformal, los profesionales pueden pasar de una confianza ciega en las puntuaciones puntuales a una comprensión matizada de cuándo se puede confiar en la puntuación de un juez y cuándo debe tratarse como una señal de clasificación ruidosa.