ClaimDB: A Fact Verification Benchmark over Large Structured Data

1. Planteamiento del Problema

La verificación de hechos en el mundo real a menudo requiere validar afirmaciones basadas en datos estructurados a gran escala (millones de registros y múltiples tablas). A pesar de los avances en benchmarks de verificación de hechos, el estado actual se centra principalmente en evidencia pequeña (texto, tablas de Wikipedia o conjuntos de datos pequeños) que caben dentro de la ventana de contexto de los Modelos de Lenguaje Grande (LLM).

El problema central es que las afirmaciones de alto impacto (ej. declaraciones políticas sobre inflación o tasas de criminalidad) se derivan de bases de datos masivas. En este escenario, los enfoques actuales que dependen de "leer" la evidencia directamente en el contexto del LLM fallan, ya que el volumen de datos (aproximadamente 110 millones de tokens por afirmación) excede por órdenes de magnitud la capacidad de contexto de cualquier LLM moderno. Esto obliga a un cambio de paradigma hacia el razonamiento mediante programas ejecutables (como consultas SQL) en lugar de la inferencia puramente basada en texto.

2. Metodología y Construcción del Benchmark (CLAIMDB)

Los autores presentan CLAIMDB, un nuevo benchmark diseñado específicamente para evaluar la verificación de hechos sobre bases de datos estructuradas masivas.

• Origen de los Datos: El benchmark se construye a partir del benchmark BIRD (NL-to-SQL), que contiene pares de preguntas en lenguaje natural y consultas SQL sobre bases de datos reales.
• Proceso de Filtrado y Generación:
  1. Selección de Consultas Compuestas: Se filtran las consultas SQL para retener solo aquellas que requieren razonamiento composicional (agregaciones como AVG/SUM, ordenamientos, ventanas o joins de múltiples tablas). Se descartan las consultas de búsqueda simple (lookup) que devuelven un solo registro.
  2. Ejecución: Se ejecutan las consultas SQL sobre las bases de datos reales para obtener las respuestas exactas (Ground Truth).
  3. Generación de Afirmaciones: Utilizando gpt-5, se generan afirmaciones basadas en las respuestas:
     • Entailment (Entailment): Afirmaciones verdaderas derivadas de la respuesta.
     • Contradiction (Contradicción): Afirmaciones falsas que contradicen la respuesta.
     • Not Enough Info (NEI): Afirmaciones que no pueden verificarse con los datos disponibles. Estas se subdividen en:
       • Fuera de esquema (Out-of-Schema): Conceptos no presentes en la base de datos.
       • Subjetivas: Opiniones no verificables objetivamente.
       • Contrafactuales: Escenarios hipotéticos ("qué pasaría si").
• Control de Calidad: Se emplea un panel de jueces LLM (Phi-4, grok-3-mini, mistral-small) para filtrar afirmaciones con errores de etiqueta, referencias opacas al contexto o fugas de información del esquema (schema leakage).
• Escala Final: El benchmark resultante contiene 53,368 afirmaciones paired con 80 bases de datos únicas (promedio de 11.3 tablas y 4.6 millones de registros por afirmación).

3. Evaluación y Configuración Experimental

Para evaluar el rendimiento, los autores establecen un entorno de evaluación neuro-simbólico:

• Agentes con Herramientas: Los modelos no reciben los datos en su contexto. En su lugar, actúan como agentes que tienen acceso a una única herramienta: la capacidad de ejecutar consultas SQL arbitrarias sobre la base de datos asociada.
• Modelos Evaluados: Se probaron 30 modelos LLM (tanto propietarios como open-source, con tamaños de parámetros menores a 70B).
• Métricas: Precisión, Recall, F1 Macro y Exactitud (Accuracy) para las tres clases (Entailment, Contradiction, NEI).

4. Resultados Clave

Los experimentos revelan desafíos significativos para el estado del arte:

• Rendimiento General: Más de la mitad de los modelos evaluados (17 de 30) obtienen una precisión inferior al 55%. El mejor modelo fue gpt-5-mini (OpenAI) con un 82.7% de precisión, seguido por claude-haiku-4.5 y gemini-3-flash.
• Modelos Open-Source: Con la excepción de gpt-oss-20b (que rinde a la par de los modelos propietarios), los modelos open-source luchan significativamente, con la mayoría por debajo del 68% de precisión. Esto indica una brecha en la capacidad de razonamiento sobre datos a gran escala.
• El Problema de la Abstención (NEI):
  • Los modelos propietarios tienden a evitar abstenerse, prediciendo raramente "No hay suficiente información" (NEI), incluso cuando es la respuesta correcta.
  • Los modelos open-source tienden a abstenerse en exceso, prediciendo NEI incluso cuando la respuesta debería ser Entailment o Contradiction.
  • Ningún comportamiento es ideal, lo que plantea dudas sobre la fiabilidad de estos modelos en tareas de alto riesgo donde admitir la incertidumbre es crucial.
• Fracasos No Superficiales: Los errores no se deben principalmente a errores de sintaxis SQL (los modelos más fuertes tienen tasas de éxito de ejecución SQL >93%), sino a fallos en el razonamiento composicional: la incapacidad de construir la secuencia correcta de consultas para navegar y combinar la información de millones de registros.
• Sin Contaminación de Datos: Al evaluar el mejor modelo sin acceso a herramientas (solo conocimiento paramétrico), el rendimiento cae a niveles aleatorios, confirmando que CLAIMDB no puede resolverse memorizando datos.

5. Contribuciones y Significancia

• Nuevo Estándar de Escala: CLAIMDB es el primer benchmark que obliga a los sistemas a razonar sobre bases de datos con millones de registros, superando las limitaciones de las ventanas de contexto actuales.
• Enfoque en Ejecutabilidad: Demuestra que la verificación de hechos a escala real requiere sistemas híbridos (LLM + herramientas ejecutables) en lugar de modelos puramente generativos.
• Diagnóstico de Limitaciones: Identifica la gestión de la incertidumbre (clase NEI) como el principal cuello de botella para la fiabilidad de los LLM en análisis de datos.
• Recursos Abiertos: Los autores liberan el benchmark, el código y un leaderboard público, fomentando la investigación en verificación de hechos sobre datos estructurados complejos.

En conclusión, CLAIMDB establece un nuevo desafío fundamental para la IA: la capacidad de razonar simbólicamente sobre grandes volúmenes de datos estructurados, una habilidad esencial para la toma de decisiones basada en evidencia en el mundo real, pero que aún escapa a la mayoría de los modelos de lenguaje actuales.