🤖 machine learning

Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs

El artículo introduce EG-VAR, una arquitectura de razonamiento agéntico basada en Lean 4 que elimina las alucinaciones de los LLM en la inferencia empírica al asegurar que todos los resultados verificados se deriven estructuralmente de llamadas a herramientas atestiguadas y pruebas verificadas por el kernel, mientras audita o se abstiene explícitamente de cualquier afirmación no respaldada.

Autores originales: Junyu Ren

Publicado 2026-07-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junyu Ren

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robot superinteligente y parlanchín (un LLM) al que le encanta contar historias sobre el mundo. ¿El problema? A veces, el robot se vuelve tan seguro de sus propios recuerdos que inventa hechos o ignora la evidencia real que tiene justo delante. Es como un estudiante que, cuando le piden revisar un problema de matemáticas contra el libro de texto, simplemente escribe la respuesta que cree que es correcta porque la recuerda de un sueño, incluso si el libro de texto dice algo diferente.

Durante mucho tiempo, la gente intentó arreglar esto dándole al robot una "caja de herramientas" de fuentes externas, como una calculadora o una base de datos. Pero el artículo argumenta que darle al robot una caja de herramientas no es suficiente. El robot podría seguir ignorando la caja de herramientas, o podría usar los números de la caja de herramientas pero luego retorcer la lógica para que encaje con su propia historia. Es como darle a un chef un ingrediente fresco y verificado, pero dejar que cocine como quiera; el plato final podría seguir siendo un desastre.

La Gran Idea: La Fábrica de "Afirmaciones Verificadas"

Los autores, liderados por Junyu Ren, construyeron un nuevo sistema llamado EG-VAR (Evidence-Grounded Verified Agentic Reasoning — Razonamiento Agéntico Verificado Basado en Evidencia). Piensa en esto no como un robot que solo responde preguntas, sino como una fábrica de alta seguridad con un inspector muy estricto y que no parpadea.

Así es como funciona la fábrica, paso a paso:

La Capa de Herramientas (El Mensajero de Confianza): Primero, una máquina determinista, aburrida y confiable (no el robot parlanchín) va a la fuente —como una hoja de cálculo o una base de datos— y obtiene los números brutos. Estas máquinas sellan estos números con un sello de "Verificado". Esta es la única forma de introducir datos reales en la fábrica.
El Formalizador (El Traductor): Se le pide al robot parlanchín (el LLM) que traduzca la pregunta humana a un lenguaje matemático estricto llamado Lean 4. Es como pedirle al robot que escriba un contrato legal o una demostración matemática en lugar de un párrafo.
El Kernel (El Inspector que no Parpadea): Esta es la parte más importante. Un programa de computadora diminuto y superestricto (el kernel de Lean) actúa como el inspector. Revisa el "contrato" del robot línea por línea.
- La Regla de Oro: El inspector tiene una regla que dice: "No puedes afirmar que un hecho es VERIFICADO a menos que puedas señalar un número sellado y estampado del Mensajero de Confianza".
- Si el robot intenta inventar un número, o si intenta usar un número pero conecta la lógica de forma incorrecta, el inspector rechaza todo el proceso.
El Resultado:
- Si la demostración pasa, la fábrica imprime una respuesta VERIFICADA. Esta respuesta viene con una "pista de auditoría reproducible", lo que significa que cualquiera puede volver a ejecutar las matemáticas más tarde y ver exactamente cómo se construyó la respuesta a partir de los datos originales.
- Si la demostración falla, la fábrica no adivina. Dice ABSTAIN (que significa "no lo sé" o "no puedo probar esto"). Es un honesto "me rindo" en lugar de una mentira segura de sí misma.

Lo que el Artículo Realmente Encontró

Los autores probaron este sistema en un conjunto específico de 120 preguntas sobre tablas (hojas de cálculo).

La Puntuación "Perfecta": Cuando las preguntas eran claras y se le daba al robot las herramientas adecuadas, EG-VAR obtuvo 120 de 120 preguntas correctas. Fue un 100% de precisión.
La Competencia: Otros sistemas que utilizaban las mismas herramientas pero no tenían el inspector estricto solo obtuvieron 114 de 120 correctas (95%). Seguían cometiendo errores.
La Prueba "Contrafáctica": Esta fue la verdadera prueba de estrés. Los autores tomaron tablas y cambiaron secretamente los números para contradecir lo que el robot "sabía" de su entrenamiento (como cambiar la población de un país a un número diminuto).
- Sin el inspector estricto, el robot ignoraba los nuevos números y se aferraba a sus viejos recuerdos el 80% al 90% de las veces.
- Con EG-VAR, el sistema se mantuvo 100% fiel a los nuevos números cambiados. No importaba qué tan fuerte fuera la memoria antigua del robot; el inspector lo obligó a usar los nuevos datos.

Lo que el Artículo Descarta (Las Zonas de "No Paso")

El artículo es muy claro sobre lo que este sistema no es y lo que no puede hacer:

No es una cura mágica para todas las alucinaciones. El artículo establece explícitamente que el robot aún puede cometer errores al traducir la pregunta humana al lenguaje matemático. Si el robot malinterpreta la pregunta y escribe el problema matemático incorrecto, el inspector revisará ese problema matemático perfectamente, pero la respuesta seguirá siendo incorrecta para la pregunta original.
- En sus pruebas, este "error de traducción" ocurrió aproximadamente el 3.3% de las veces con un modelo y el 1.7% con un modelo más fuerte.
No arregla los datos malos. Si la hoja de cálculo original contiene una mentira, el sistema verificará fielmente esa mentira. El sistema garantiza que la respuesta proviene de la fuente, no que la fuente sea verdadera.
No es un sistema de "tal vez". El artículo argumenta en contra de los sistemas que dan un "puntaje de confianza" (como "estoy un 80% seguro"). En su lugar, EG-VAR utiliza una puerta estricta de "Sí/No". O tienes una prueba verificada, o tienes un honesto "me abstengo".

¿Qué tan Seguros Están?

Los autores están muy seguros de la seguridad estructural de su sistema. Han demostrado matemáticamente (Teoremas 3.1 y 3.2) que:

Ninguna respuesta VERIFICADA puede aparecer sin que un llamado a la herramienta estampado la respalde.
Cada paso de la lógica en una respuesta VERIFICADA ha sido revisado por el kernel y es matemáticamente válido.

Sin embargo, respecto a la precisión de la traducción del lenguaje humano por parte del robot, son más cautelosos. Midieron las tasas de error (3.3% y 1.7%) en sus pruebas específicas y sugieren que estos números podrían mejorar si entrenan más al robot en cómo traducir preguntas correctamente. Pero el "suelo de seguridad" —la garantía de que el sistema no mentirá silenciosamente— está integrado en la arquitectura, no solo en el cerebro del robot.

La Conclusión

EG-VAR es como una fábrica que se niega a enviar un producto a menos que pueda mostrar un recibo por cada una de las piezas utilizadas. Si el robot intenta colar una pieza falsa, la fábrica detiene la línea y dice: "No, no podemos enviar esto". Convierte el problema de los "robots mentirosos" en un problema de "falta de recibos", lo cual es mucho más fácil de detectar y corregir. Si bien no resuelve todos los problemas (el robot aún puede malinterpretar el pedido), asegura que cuando la fábrica dice "Verificado", realmente quiere decir "Verificado".

Resumen Técnico: Razonamiento Agéntico Verificado con Base en Evidencia (EG-VAR)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) frecuentemente alucinan hechos empíricos durante la inferencia, ya sea fabricando datos o dependiendo de prioridades paramétricas desactualizadas que entran en conflicto con la evidencia recuperada. Aunque el razonamiento aumentado por herramientas (RAG) permite a los modelos consultar fuentes externas, este falla al no poder garantizar afirmaciones empíricas verificables. Los enfoques actuales sufren de dos fallos estructurales:

Salidas no atestadas: Las salidas aceptadas no necesariamente descienden de evidencia atestada; los modelos pueden descartar datos recuperados que entran en conflicto con sus prioridades internas (sesgo de confirmación).
Deducciones no verificadas: Las deducciones aceptadas no necesariamente se sostienen bajo un escrutinio formal; los modelos pueden realizar pasos lógicos inválidos o malinterpretar las salidas de las herramientas.

Las soluciones existentes, como los verificadores de hechos simbólicos o los probadores de teoremas impulsados por LLM, carecen de fundamentación externa (los probadores de matemáticas solamente) o dependen de componentes aprendidos que no pueden garantizar estructuralmente la ausencia de afirmaciones sin sustento.

Metodología: Arquitectura EG-VAR

El artículo presenta EG-VAR (Evidence-Grounded Verified Agentic Reasoning - Razonamiento Agéntico Verificado con Base en Evidencia), una arquitectura de cuatro capas diseñada para que el razonamiento empírico sea gobernable mediante la integración de un asistente de pruebas (Lean 4) con la atestación de herramientas. El sistema trata al LLM como un componente no confiable dentro de un libro de contabilidad de confianza estrictamente definido.

La Pila de Cuatro Capas

L1: Capa de Herramientas (Confiable, Determinista): Un tiempo de ejecución determinista ejecuta consultas contra fuentes externas (p. ej., búsquedas de celdas de tablas, agregados). Produce una carga útil de Attested T (T atestada)—un testigo de tiempo de ejecución que registra la consulta, la identidad de la fuente y el resultado. Solo el tiempo de ejecución puede generar estos testigos.
L2: Formalización por Fuente (Auditada Offline): Un "curador" define un catálogo de elevación (lift catalog) para cada fuente de datos. Este mapea los hechos de almacenamiento de L1 (p. ej., "la celda en la fila $r$ , columna $c$ tiene el valor $v$ ") a hechos de la ontología del mundo de L2 (p. ej., HasProperty, ArgmaxWhere). Estas elevaciones son auditadas una vez e importadas como axiomas.
L3: Kernel de Lean 4 (Confiable, Formal): El kernel es la única autoridad para acuñar afirmaciones de Evidence Verified (Evidencia Verificada). Enforce una única regla de acuñación, mkVerified, que requiere un hipótesis Attested T del tiempo de ejecución. El kernel verifica el tipo de cada paso de la prueba; si un paso falla, la afirmación es rechazada.
L4: LLM Solucionador (No Confiable, Estocástico): El LLM recibe un objetivo tipado y propone tácticas de prueba. Puede consumir términos Attested T introducidos por el tiempo de ejecución, pero no puede sintetizarlos. Si el kernel rechaza la táctica, el sistema itera o se abstiene.

Mecanismos Centrales

La Regla mkVerified: El único constructor para Evidence Verified requiere un testigo Attested T. Esto asegura que ninguna salida verificada pueda existir sin una llamada a la herramienta correspondiente (Teorema 3.1).
Testigos de Suma Dependiente: Las afirmaciones se enmarcan como sumas dependientes ( $\Sigma$ ). Para una pregunta "¿Qué entidad tiene la propiedad $P$ ?", el objetivo es $\Sigma (e : \text{String}) (v : \text{Value}), \text{Evidence Verified}(\dots)$ . La respuesta superficial es el testigo extraído de la prueba verificada por el kernel.
Abstención Honesta: Si el kernel rechaza la prueba (debido a elevaciones faltantes, tácticas inválidas o falta de atestación), el sistema emite un ABSTAIN (Abstención) con un rastro de auditoría reproducible, en lugar de adivinar.
Disciplina de Grados: La evidencia porta grados explícitos (VERIFIED, SUPPORTED, PLAUSIBLE, SPECULATIVE). El sistema impone una regla de "no ascenso de rango" (no-upcast): las conclusiones no pueden tener un rango superior a su premisa más débil.

Contribuciones Clave

Garantía Estructural de Fundamentación: EG-VAR es la primera arquitectura que combina un kernel de asistente de pruebas con la atestación de herramientas como un axioma tipado. Proporciona una garantía estructural (Teorema 3.1) de que cada salida VERIFIED desciende de una llamada a herramienta atestada, eliminando las alucinaciones sin sustento independientemente de la fuerza del LLM.
Seguridad Formal vs. Fidelidad Semántica: El artículo distingue entre seguridad formal (la prueba es aceptada por el kernel) y fidelidad semántica (el objetivo formalizado coincide con la afirmación de lenguaje natural). EG-VAR garantiza la primera estructuralmente; la segunda se trata como un objetivo de precisión abordable mediante el ajuste fino de la formalización.
Rastros de Auditoría Rejugables: Cada afirmación verificada viene acompañada de un archivo de prueba de Lean autocontenido. Terceros pueden re-verificar el tipo de la afirmación offline sin volver a ejecutar el LLM, utilizando el kernel, las elevaciones por fuente y el adaptador de la herramienta.
Protocolo de Formalización por Fuente: El artículo introduce un método para tratar las fuentes de datos como artefactos de confianza co-iguales, requiriendo la formalización (catálogos de elevación) que separa la curación del lado de la fuente de la razonabilidad del lado de la afirmación.

Resultados Empíricos

La evaluación se centra en TableBench (razonamiento numérico en tablas) a través de tres niveles:

Nivel 1 (Benchmark de Objetivo de Oro, $n=120$ ):
- EG-VAR logró 120/120 (100%) en afirmaciones inequívocas, igualando la respuesta de oro con una prueba verificada por el kernel.
- Los modelos de referencia (mismo modelo con herramientas pero sin kernel) se estancaron en 95.0% (114/120).
- EG-VAR cerró la brecha a cero, demostrando que la disciplina del kernel impone la composición correcta de las salidas de las herramientas.
Nivel 1.5 (Pruebas de Estrés Contrafácticas, 5 dominios $\times$ 2 modelos):
- Se crearon tablas sintéticas donde los valores de las celdas contradecían el conocimiento previo del mundo del modelo (p. ej., cambiando la población de un país a un valor bajo).
- EG-VAR se mantuvo 100% fiel a la fuente en todos los dominios y magnitudes de cambio.
- Los modelos de referencia (mismo uso de herramientas) cayeron a 80–90% (Sonnet) y 50–80% (sin herramientas), mostrando que EG-VAR previene estructuralmente el modo de fallo de "anulación de la prioridad" (prior-override) donde los modelos ignoran la evidencia recuperada.
Nivel 2 (Extremo a Extremo con Formalizador LLM, $n=120$ ):
- En un entorno totalmente automatizado donde el LLM propone el objetivo formal (eliminando el bypass de fixture de oro), la tasa de error del formalizador puro fue de 3.3% (Sonnet) y 1.7% (Opus).
- Los desacuerdos restantes se categorizaron como ambigüedades registradas (4.2%) o problemas de artefactos del benchmark detectados (1.7%), todos ellos explícitos y auditables en lugar de alucinaciones silenciosas.

Significación y Reivindicaciones

El artículo posiciona a EG-VAR como una interfaz de gobernanza técnica para afirmaciones empíricas de alto riesgo. Su significación radica en desplazar la carga de la seguridad del aprendizaje estadístico a la ejecución arquitectónica:

Eliminación de Salidas sin Sustento: La garantía estructural asegura que las "alucinaciones verificadas" (salidas etiquetadas como VERIFIED sin evidencia) son imposibles bajo el modelo de amenazas del sistema.
Incertidumbre Medible: Al hacer de la abstención un resultado estructural de la reversión del kernel en lugar de un comportamiento aprendido, el sistema proporciona una "tasa de rechazo" medible y una incertidumbre tipada.
Volante de Inercia de Formalización: Los autores argumentan que a medida que las fuentes de datos evolucionen hacia interfaces tipadas (SQL, APIs, Grafos de Conocimiento), la carga de formalización se amortizará en infraestructura reutilizable, reduiendo el costo por consulta de la verificación.
Propiedades de Gobernanza: El sistema permite tres propiedades exigibles: (i) auditoría independiente de cada salida verificada mediante pruebas rejugables; (ii) incertidumbre tipada mediante la disciplina de grados; y (iii) abstención honesta como una propiedad medible del sistema.

El artículo concluye que, si bien los errores de formalización semántica persisten (abordables mediante el ajuste fino del corpus de curación liberado), el suelo de seguridad estructural queda establecido hoy, ofreciendo un camino para eliminar la alucinación de los LLM en la inferencia empírica.