Resumen Técnico: SCIFIGBENCH – Evaluación del Comportamiento de los VLM en Figuras Científicas

Planteamiento del Problema

Los benchmarks existentes para los Modelos de Lenguaje-Visión (VLM) se centran primordialmente en la percepción (qué tan bien describe un modelo una imagen) y el razonamiento (qué tan precisamente responde preguntas basadas en evidencia visual). Sin embargo, estos benchmarks ignoran en gran medida la fiabilidad conductual bajo incertidumbre. En los flujos de trabajo científicos, los modelos suelen encontrarse con evidencia visual degradada (p. ej., etiquetas borrosas, PDFs de baja resolución), contexto engañoso (p. ej., pies de figura incorrectos) o premisas falsas. Las métricas actuales no logran capturar cómo se comportan los modelos cuando la evidencia es inexistente o contradictoria, específicamente si reconocen la incertidumbre, resisten entradas engañosas o infieren cautelosamente a partir de información parcial. Este vacío plantea un riesgo significativo para el despliegue de los VLM en la investigación científica, donde la "fabricación confiada" puede corromper el análisis posterior.

Metodología: SCIFIGBENCH y el Marco A-R-I

Para abordar esto, los autores introducen SCIFIGBENCH, un benchmark diagnóstico diseñado para evaluar conjuntamente la percepción, el razonamiento y la fiabilidad conductual.

1. Construcción del Conjunto de Datos

• Fuente: 250 figuras científicas de alta calidad (gráficos de barras, gráficos de líneas, gráficos de sectores) de 187 artículos de arXiv (2023–2025).
• Anotaciones: Descripciones expertas generadas por anotadores entrenados con un acuerdo del 94% (fiabilidad inter-anotador medida por Krippendorff's $\alpha$ = 0.91) y 1,000 preguntas de razonamiento que cubren conteo, computación, comparación y análisis de patrones.
• Pruebas de Estrés (Stress-Testing): El conjunto de datos base se expande mediante transformaciones de imagen y sondas adversarias para crear más de 34,000 configuraciones de evaluación. Estas incluyen:
  • Transformaciones Visuales: Rotación, ruido, bajo contraste y contexto dentro del documento (figuras insertadas en páginas completas de PDF).
  • Desenfoque Selectivo: Desenfoque dirigido de elementos específicos para probar la Admitancia (elementos irrecuperables) y la Inductancia (elementos inferibles).
  • Sondas de Resistencia:
    • Sesgo de Pie de Figura: Modificación de los pies de figura con 2–3 afirmaciones plausibles pero falsas.
    • Premisas Falsas: Preguntas que incorporan elementos inexistentes (Inexist), anclajes numéricos erróneos (Contra) o consultas imposibles de responder (Unanswerable).

2. El Marco A-R-I

El artículo propone el marco Admitancia–Resistencia–Inductancia (A-R-I) para descomponer el comportamiento del modelo bajo incertidumbre:

• Admitancia: Mide la honestidad epistémica. ¿Reconoce el modelo cuando la evidencia visual ha sido alterada o es irrecuperable (p. ej., texto borroso) en lugar de fabricar una respuesta?
• Resistencia: Mide la robustez ante contextos engañosos. ¿Rechaza el modelo las premisas falsas, los elementos inexistentes o los pies de figura engañosos que entran en conflicto con la evidencia visual?
• Inductancia: Mide la inferencia acotada. Cuando la evidencia está degradada pero es recuperable a partir del contexto circundante (p. ej., inferir una etiqueta borrosa a partir de los patrones de los ejes), ¿infiere el modelo correctamente en lugar de abstenerse o alucinar?

3. Protocolo de Evaluación

• Modelos: Se evaluaron ocho VLM, incluyendo líderes comerciales (GPT-5.2, Gemini 3.1 Pro) y modelos de pesos abiertos (Llama 4, Qwen3-VL, Gemma 3, Phi-4).
• Métricas:
  • Percepción: Puntuación MQM (Métricas de Calidad Multidimensional) para la calidad de la descripción.
  • Razonamiento: Precisión en las preguntas de capacidad.
  • Comportamiento: Puntuaciones de Resistencia (escala 0–1) y porcentajes para la Admitancia (reconocimiento de la incertidumbre) y la Inductancia (inferencia correcta).
• Juicio: Evaluación automatizada utilizando GPT-4o como juez, validada contra anotadores humanos (Krippendorff's $\alpha$ = 0.91) y ablación de juicio cruzado con Mistral Large 3.

Resultados Clave

1. Desconexión entre Percepción y Comportamiento

Una alta precisión en percepción y razonamiento no garantiza la fiabilidad conductual.

• GPT-5.2 alcanzó la mayor calidad de descripción base (MQM 91.6) y un razonamiento sólido (78.4%). Sin embargo, exhibió un perfil de "fabricador confiado": cuando se le preguntó sobre elementos selectivamente borrosos (irrecuperables), admitió la incertidumbre en solo el 8% de las sondas activas, mientras que fabricó respuestas en el 96% de tales casos.
• Gemini 3.1 Pro, con una percepción comparable (MQM 90.2) y razonamiento (81.0%), demostró una fiabilidad conductual superior. Admitió la incertidumbre en el 71% de los casos que involucraban elementos irrecuperables y logró la mayor puntuación de Resistencia (0.91).

2. Divergencia Conductual

• Resistencia: Los modelos con capacidades generales similares mostraron diferencias marcadas en su resistencia a las premisas falsas. Phi-4 Multimodal tuvo una puntuación de resistencia de 0.21, mientras que Gemini 3.1 Pro obtuvo 0.91.
• Sesgo de Pie de Figura: La resistencia a los pies de figura engañosos varió significamente. Phi-4 siguió los pies de figura modificados el 95% de las veces, mientras que Gemini y GPT-5.2 mantuvieron una alta resistencia (~0.89).
• Inductancia: Cuando los elementos estaban borrosos pero eran inferibles, los modelos superiores (Gemini 66%, GPT-5.2 59%) pudieron inferir valores correctamente, distinguiendo esto de la fabricación sobre datos irrecuperables.

3. Modos de Fallo

• Incrustación de Presuposición: Las sondas "Inexist" (preguntar sobre elementos inexistentes usando artículos definidos) fueron el vector de engaño más efectivo, causando que incluso los modelos fuertes fallaran con más frecuencia que en las preguntas de valores falsos directos.
• Activo vs. Pasivo: Los modelos a menudo admitían la incertidumbre en descripciones pasivas, pero cambiaban a respuestas definitivas (y a menudo fabricadas) cuando se les preguntaba directamente, lo que sugiere un sesgo de "obligación de responder" impulsado por el entrenamiento de utilidad (helpfulness).

Significancia y Reivindicaciones

El artículo afirma que SCIFIGBENCH revela una tercera dimensión crítica de la competencia de los VLM: la fiabilidad conductual. Los autores argumentan que:

1. La Precisión es Insuficiente: Seleccionar modelos para flujos de trabajo científicos basándose únicamente en benchmarks de percepción/razonamiento corre el riesgo de integrar la "fabricación confiada" en los procesos de investigación.
2. El Comportamiento es Separable: Las dimensiones del A-R-I son empíricamente separables de las métricas de calidad; un modelo puede ser un descriptor de primer nivel y, sin embargo, un mal estimador de su propia incertidumbre.
3. Utilidad del Marco: El marco A-R-I proporciona una forma estructurada de diagnosticar modos de fallo específicos (fabricación silenciosa, manipulación de contexto, fallo al razonar a partir de evidencia parcial) que son invisibles para las métricas de precisión agregadas convencionales.

Los autores conclizan que evaluar los VLM para el despliegue científico requiere pruebas explícitas de cómo manejan la evidencia degradada y el contexto engañoso, no solo de qué tan bien se desempeñan en tareas limpias y estándar.