Grounding the Score: Explicit Visual Premise Verification for Reliable Vision-Language Process Reward Models

Este artículo presenta EVPV, un método que mejora la fiabilidad de los modelos de recompensa de proceso visión-lingüísticos al desacoplar la incertidumbre perceptiva de la evaluación lógica mediante la verificación explícita de premisas visuales, lo que resulta en una mayor precisión en la reranking y la localización de errores.

Lo esencial

¡Claro que sí! Imagina que estás intentando resolver un acertijo matemático complejo que tiene un dibujo o un gráfico adjunto. Para resolverlo, necesitas dos cosas: ver bien el dibujo y pensar bien la lógica.

El problema con las Inteligencias Artificiales (IA) actuales es que a veces son muy buenas pensando, pero muy malas "viendo". Pueden inventar cosas que no están en el dibujo (como decir que hay un agujero donde no lo hay) y luego, basándose en esa mentira, hacer cálculos perfectos.

Aquí es donde entra este nuevo trabajo, que llamaremos "El Inspector de Premisas Visuales".

La Metáfora: El Arquitecto y el Alarife

Imagina que estás construyendo una casa (la solución al problema). Tienes un Arquitecto (la IA que piensa) y un Alarife (la IA que verifica si los pasos están bien).

1. El Problema Anterior (La IA "Ciega"):
   Antes, el Alarife miraba los planos del Arquitecto y decía: "¡Muy bien! Este paso de cálculo es perfecto". Pero, ¿qué pasa si el Arquitecto dijo: "Pongamos una ventana en la pared norte" y en realidad, en la foto de la casa, no hay pared norte?

   • El Alarife antiguo no se daba cuenta. Aprobaba el paso porque la matemática era correcta, aunque la base (la ventana) fuera una alucinación. Esto lleva a errores graves: la casa se cae porque se construyó sobre una mentira.

2. La Solución Nueva (EVPV - El Inspector):
   Este nuevo sistema introduce un Inspector de Premisas antes de que el Alarife apruebe cualquier cosa. Funciona así:

   • Paso 1: La Lista de Compras (El "Checklist"): Antes de hacer un cálculo, el Arquitecto debe escribir en una lista: "Para este paso, necesito ver que el radio del círculo es 5 cm". No puede asumir nada; tiene que decir explícitamente qué está "viendo".

   • Paso 2: El Escáner Real (La "Verificación"): Al mismo tiempo, un escáner independiente (que no piensa, solo ve) analiza la foto original y crea una lista de hechos reales: "Aquí hay un círculo, su radio es 3 cm".

   • Paso 3: El Cruce de Datos: El Inspector compara la "Lista de Compras" del Arquitecto con la "Lista Real" del Escáner.

     • Si el Arquitecto dijo "radio 5" y el escáner dice "radio 3", ¡BAM! El Inspector pone una bandera roja.
     • Si el Arquitecto dijo "radio 3", el Inspector asiente y dice: "Bien, la base es sólida".

   • Paso 4: El Semáforo de Puntos (La Calificación):

     • Si la base visual es sólida, el Alarife da puntos completos por el paso lógico.
     • Si la base visual es falsa (el Arquitecto alucinó), el Inspector baja el volumen de la puntuación. Aunque el cálculo matemático sea perfecto, el sistema dice: "No te creo porque te basaste en una mentira".

¿Por qué es esto tan importante?

Imagina que estás eligiendo al mejor corredor de una carrera (esto se llama reranking o "reordenar"). Tienes 8 corredores (8 intentos de solución).

• Sin el Inspector: El sistema elige al corredor que corre más rápido, pero no nota que uno de ellos está corriendo sobre hielo y va a resbalar.
• Con el Inspector: El sistema ve que el corredor más rápido está patinando sobre hielo (premisas visuales falsas) y lo descarta, eligiendo al corredor un poco más lento pero que está pisando tierra firme (premisas reales).

En resumen, en lenguaje sencillo:

Este papel dice: "No puedes juzgar si un razonamiento es bueno si no primero verificas si los ojos de quien razona están viendo la realidad".

El sistema crea un "filtro de realidad" que separa dos cosas:

1. ¿Está viendo bien la foto? (Verificación visual).
2. ¿Está pensando bien la lógica? (Verificación matemática).

Al separarlas, evita que la IA sea engañada por sus propias alucinaciones. Es como ponerle gafas de sol a un juez para que no se confunda con los trucos de magia, asegurando que solo apruebe lo que es realmente cierto.

El resultado: Las IAs cometen menos errores tontos, eligen mejores soluciones y son mucho más confiables cuando se les pide resolver problemas difíciles que mezclan imágenes y matemáticas.

Resumen técnico

Resumen Técnico: Grounding the Score (EVPV)

1. El Problema: La Entrelazación de Percepción y Razonamiento

Los Modelos de Lenguaje Multimodal (VLM) que realizan razonamiento matemático o lógico complejo enfrentan dos desafíos acoplados: la percepción visual (lectura de diagramas, extracción de datos, OCR) y el razonamiento simbólico (derivación lógica y cálculo).

El problema central identificado es que los Modelos de Recompensa de Proceso (PRM) actuales, utilizados para evaluar pasos intermedios y reordenar candidatos (ej. Best-of-N), actúan como "cajas negras". Cuando un PRM asigna una puntuación baja a un paso, es difícil discernir si el error se debe a:

1. Un fallo lógico real en el razonamiento.
2. Una mala percepción visual por parte del propio verificador (o del modelo generador).

Esta ambigüedad genera:

• Falsos Positivos: Premiar pasos que son fluidos pero se basan en premisas visuales alucinatorias (ej. asumir un "agujero cilíndrico" que no existe).
• Falsos Negativos: Penalizar afirmaciones visualmente correctas porque el verificador no las percibió bien.
  Esto socava la fiabilidad de la selección de soluciones y la localización de errores, especialmente bajo escalado en tiempo de prueba (test-time scaling).

2. Metodología: Verificación Explícita de Premisas Visuales (EVPV)

Los autores proponen EVPV, una interfaz de verificación ligera que desacopla la incertidumbre perceptual de la evaluación lógica. El flujo de trabajo consta de tres componentes principales:

A. Lista de Verificación Visual Paso a Paso (Visual Checklist)
El modelo de política (el generador de soluciones) se entrena o se instruye mediante prompting para que, junto con cada paso de razonamiento $s_t$, declare explícitamente las premisas visuales de las que depende.

• Si un paso depende de la imagen, genera una afirmación natural (ej. "el radio es 2", "AB es perpendicular a CD").
• Esto convierte las suposiciones implícitas en afirmaciones explícitas verificables.

B. Extracción de Restricciones Visuales Estructuradas
Paralelamente, un Extractor de Restricciones ($E_\phi$) analiza la imagen una sola vez por instancia y genera un conjunto estructurado de hechos visuales ($C$) en formato JSON. Estos hechos incluyen:

• Lecturas numéricas (longitudes, ángulos, valores de tablas).
• Relaciones geométricas (paralelo, perpendicular, igualdad, incidencia).
• Estructura composicional (partes, adjacencias, ensamblajes).
• Nota: Este extractor se entrena mediante destilación de un modelo fuerte (Qwen3-VL) y ajuste fino con DPO para mejorar la fidelidad en casos difíciles.

C. Calibración de Recompensas mediante Puerta de Confiabilidad (Reliability Gating)
El sistema compara la "Lista de Verificación" del modelo con las "Restricciones Estructuradas" extraídas:

1. Cálculo de Confiabilidad ($r$): Se calcula un puntaje de confianza escalar basado en la consistencia entre las afirmaciones del modelo y los hechos extraídos. Se utiliza una agregación geométrica robusta para que un solo error catastrófico reduzca drásticamente la puntuación global.
2. Puerta de Calibración: La recompensa base del paso ($R_{base}$) se ajusta mediante un factor de puerta $\alpha(r)$:
   • Si la premisa visual es insegura ($r$ baja), la recompensa se atenúa hacia la neutralidad (evitando penalizar o premiar fuertemente un paso basado en una percepción errónea).
   • Si la premisa es confiable ($r$ alta), la recompensa se preserva tal cual.
   • Esto permite que el verificador juzgue la lógica solo cuando la base visual es sólida.

3. Contribuciones Clave

• Desacoplamiento de Errores: EVPV separa explícitamente la evaluación de la percepción visual de la evaluación del razonamiento lógico, abordando una fuente sistemática de ruido en los PRM multimodales.
• Interfaz Ligera: A diferencia de métodos basados en herramientas que requieren llamadas a herramientas por cada paso (costoso computacionalmente), EVPV extrae los hechos visuales una sola vez y los utiliza para validar múltiples pasos.
• Evidencia Causal: Los autores demuestran que las mejoras en el rendimiento son causales a la fidelidad de las restricciones extraídas, no solo a efectos de prompting. La corrupción controlada de las restricciones provoca una degradación monótona del rendimiento.
• Arquitectura Modular: El método se puede integrar en PRM existentes sin necesidad de reentrenar el modelo de política generador, solo requiriendo entrenamiento del extractor y del verificador de pasos.

4. Resultados Experimentales

Los experimentos se realizaron en VisualProcessBench y seis benchmarks de razonamiento multimodal (MathVista, MathVision, MMMU, etc.).

• Verificación a Nivel de Paso: En VisualProcessBench, EVPV-PRM logró el Macro-F1 más alto (67.46%) entre los modelos comparados, superando a baselines fuertes como VisualPRM y TIM-PRM. Esto indica una mejor discriminación de pasos bajo incertidumbre visual.
• Mejoras en Reordenamiento (Best-of-N): Al aplicar EVPV para reordenar candidatos generados por modelos InternVL2.5 (8B, 26B, 38B), se observaron mejoras consistentes en la precisión BoN@8.
  • Ejemplo: En el modelo 38B, la mejora sobre Pass@1 fue de +9.78 puntos en el promedio general, superando significativamente a los baselines.
• Robustez: La metodología mostró ser más efectiva en benchmarks donde los errores tempranos de percepción visual son dominantes.
• Análisis de Ablación: Se demostró que la estructura de las restricciones (JSON) es crucial; usar solo descripciones de texto (captions) o eliminar las restricciones degrada el rendimiento drásticamente, confirmando que la verificación requiere hechos estructurados y alineados.

5. Significado e Impacto

Este trabajo es fundamental para el despliegue robusto de VLMs en escenarios de razonamiento complejo:

1. Fiabilidad en Escala: Permite que las estrategias de escalado en tiempo de prueba (como Best-of-N) sean más seguras, evitando que se seleccionen soluciones que parecen lógicas pero se basan en alucinaciones visuales.
2. Eficiencia: Ofrece una alternativa viable y mucho más barata que la verificación basada en herramientas por paso, manteniendo altos estándares de precisión.
3. Diagnóstico de Errores: Proporciona una herramienta para identificar si un fallo en el razonamiento se debe a una mala lectura de la imagen o a un error lógico, facilitando la depuración de modelos.

En resumen, EVPV establece que la corrección perceptual es un prerrequisito para una evaluación lógica significativa, introduciendo un mecanismo de "verificación de premisas" que hace que los modelos de recompensa de proceso sean más confiables y menos propensos a errores sistemáticos derivados de la percepción visual.