When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

Resumen Técnico

1. El Problema: La Ilusión de la Verificación Rigurosa

El artículo aborda una limitación fundamental en la verificación de afirmaciones científicas mediante Grandes Modelos de Lenguaje (LLMs). El estándar ideal para esta tarea es la Suposición de Mundo Cerrado (CWA, por sus siglas en inglés), que dicta que una afirmación debe ser aceptada si y solo si todas las restricciones que afirma están respaldadas positivamente por la evidencia. Si falta soporte para cualquier parte, la afirmación debe rechazarse.

Sin embargo, los autores identifican que los benchmarks existentes (como NLI4CT, SCITAB y SciVer) no logran distinguir entre modelos que aplican rigurosamente la CWA y aquellos que utilizan un atajo cognitivo llamado Comprobación de Restricciones Salientes (Salient-Constraint Checking).

• El Atajo: Los modelos actuales tienden a identificar la restricción más obvia o "saliente" de una afirmación, verificar si esa única parte es compatible con la evidencia y, si lo es, aceptar la afirmación completa, ignorando otras restricciones no salientes que podrían ser contradictorias.
• La Ceguera de los Benchmarks: Los benchmarks actuales generan afirmaciones inviables (negativas) perturbando un solo elemento saliente (ej. cambiar un número o invertir una tendencia). En estos casos, tanto la CWA rigurosa como el atajo de "comprobación saliente" fallan de la misma manera (rechazan la afirmación), lo que oculta la incapacidad del modelo para realizar inferencias composicionales completas.

2. Metodología

Para exponer esta brecha, los autores desarrollan una nueva metodología de generación de datos y un marco de evaluación:

• Construcción de Afirmaciones Composicionalmente Inviables:

  • En lugar de perturbar un elemento saliente, crean afirmaciones donde la restricción saliente sí es compatible con la evidencia, pero la violación se encuentra en una restricción no saliente que requiere combinar múltiples partes de la misma fuente de evidencia (ej. dos oraciones de un informe clínico, dos columnas de una tabla o dos tendencias en un gráfico).
  • Utilizan un procedimiento basado en grafos de tres capas:
    1. Capa de Observación: Hechos recuperables directamente.
    2. Capa de Contexto: Relaciones intermedias entre observaciones.
    3. Capa de Interpretación: Conclusiones de alto nivel.
  • Corrompen un nodo de contexto o interpretación (ej. generalización excesiva, cambio de alcance) mientras mantienen intactas todas las observaciones. Esto crea una afirmación que parece plausible localmente pero es falsa globalmente.

• Evaluación y Análisis:

  • Evalúan múltiples familias de modelos (GPT-4o, GPT-5, Gemini, Claude, Qwen3) en tres dominios: textos de ensayos clínicos, tablas científicas y gráficos.
  • Realizan intervenciones de prompting (instrucciones de CWA, OWA y descomposición) para ver si el modelo puede cambiar su estrategia.
  • Utilizan un juez basado en rúbricas para analizar las trazas de razonamiento (reasoning traces) y determinar si el modelo verifica todas las restricciones o se detiene prematuramente en la saliente.

3. Contribuciones Clave

1. Identificación de una Limitación Estructural: Demuestran que los benchmarks actuales son insuficientes porque hacen indistinguibles el razonamiento riguroso (CWA) y el atajo heurístico (comprobación saliente).
2. Nuevo Dataset Adversarial: Presentan la construcción de afirmaciones "composicionalmente inviables" que exponen sistemáticamente el fallo de los modelos para realizar inferencias que requieren integrar múltiples evidencias no salientes.
3. Diagnóstico del Cuello de Botella: Proponen que el problema no es una falta de capacidad de razonamiento subyacente, sino un cuello de botella estructural en la inferencia composicional. Los modelos tienen los hechos necesarios, pero fallan al combinarlos para detectar violaciones no obvias.

4. Resultados Principales

• Sobre-aceptación Sistemática: Los modelos que obtienen puntuaciones altas en benchmarks estándar fallan consistentemente en las afirmaciones adversarias. Aceptan afirmaciones falsas a tasas mucho más altas cuando la restricción saliente es correcta, pero la restricción no saliente es falsa.
  • Ejemplo: En SciVer, Gemini-3.0-Flash muestra una caída de 26.7 puntos porcentuales en precisión al pasar de negativas estándar a adversarias.
• Independencia de la Escala: El problema persiste al aumentar el tamaño del modelo (de 0.6B a 32B parámetros). Aunque la precisión general mejora, la brecha entre la capacidad de detectar negativas directas y las composicionales no se cierra, indicando que escalar no resuelve el fallo de inferencia.
• Análisis de Trazas: El análisis de las trazas de razonamiento confirma que los modelos suelen detenerse en la restricción saliente. Las trazas correctas en afirmaciones adversarias muestran una verificación exhaustiva, mientras que las incorrectas terminan temprano.
• Intervenciones de Prompting: Instruir a los modelos para que sigan la CWA o descompongan la afirmación (DCP) cambia su umbral de aceptación/rechazo (desplazamiento en la curva ROC), pero no elimina el fallo. Los modelos siguen aceptando afirmaciones inviables si no pueden realizar la inferencia composicional necesaria, incluso bajo instrucciones estrictas.
• Verificación Interna: El mismo patrón de fallo se observa en la auto-verificación de los modelos en tareas de razonamiento (GPQA, AIME), sugiriendo que la "comprobación saliente" es una tendencia general de verificación, no solo un problema de evaluación externa.

5. Significado e Implicaciones

• Riesgo de Desinformación: Los modelos actuales son vulnerables a la desinformación científica sutil que mantiene los hechos obvios correctos pero distorsiona las relaciones o el alcance global. Esto es crítico en dominios como la medicina y la ciencia, donde la precisión composicional es vital.
• Limitación de los Métodos Actuales: El trabajo demuestra que simplemente instruir a los modelos para que sean más "cautos" o sigan la CWA no es suficiente. El problema radica en la capacidad de realizar inferencias $\forall$ (para todo) en lugar de $\exists$ (existe), una habilidad que los modelos actuales no han desarrollado robustamente debido a la naturaleza de sus datos de entrenamiento.
• Futuro de la Investigación: Se requiere un cambio en la construcción de benchmarks y en las estrategias de entrenamiento (más allá del ajuste fino estándar) para forzar a los modelos a realizar verificaciones exhaustivas de todas las restricciones, no solo de las más prominentes.

En conclusión, el artículo revela que la alta precisión en la verificación de hechos es, en gran medida, una ilusión creada por benchmarks que no desafían la capacidad de los modelos para integrar múltiples evidencias, exponiendo una vulnerabilidad crítica en la fiabilidad de la IA científica actual.