A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

Resumen Técnico: Un Marco Ligero Basado en Recuperación para la Detección y Corrección de Alucinaciones en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) se han vuelto centrales en aplicaciones que van desde la respuesta a preguntas hasta el soporte de decisiones empresariales. Sin embargo, siguen siendo propensos a las "alucinaciones": salidas que parecen fluidas y plausibles pero que son fácticamente incorrectas, no están respaldadas por evidencia o son inconsistentes con el conocimiento verificado. Este problema plantea riesgos significativos en dominios de alto riesgo como la salud, las finanzas y el razonamiento legal. Las estrategias de mitigación existentes, incluyendo la Generación Aumentada por Recuperación (RAG), la autoverificación, la verificación de hechos asistida por herramientas y los marcos de debate de múltiples agentes, a menudo sufren de limitaciones específicas: pueden centrarse únicamente en la detección sin ofrecer corrección, dependen de la inferencia repetida de modelos grandes lo que aumenta los costos computacionales, o introducen una orquestación compleja que dificulta la reproducibilidad.

Metodología
El artículo propone un marco ligero basado en recuperación diseñado para detectar y corregir alucinaciones sin la sobrecarga computacional de la inferencia de múltiples LLMs en tiempo real. El sistema se estructura como un pipeline modular que desacopla la generación, la recuperación, la verificación y la corrección.

1. Simulación de Agentes Modulares: A diferencia de los sistemas multi-agente convencionales que invocan múltiples instancias de LLM en vivo, este marco modela los agentes como etapas de procesamiento modulares que operan sobre respuestas de referencia pregeneradas. Este diseño aísla la verificación y la corrección de la variabilidad de la generación, asegurando una evaluación controlada y reproducible.
2. Módulo de Recuperación: El sistema utiliza TF-IDF (Frecuencia de Término-Frecuencia Inversa de Documento) para la recuperación de evidencia en lugar de embeddings semánticos. Esta elección prioriza la eficiencia computacional, la interpretabilidad y la reproducibilidad, evitando dependencias de modelos de recuperación neurales externos. Dada una consulta $q$, el sistema recupera los $k$ documentos más relevantes ($D$).
3. Agente de Verificación: Este componente evalúa la consistencia fáctica de una respuesta generada ($r_g$) frente a la evidencia recuperada ($D$). Emplea una puntuación de verificación ponderada que combina dos señales:
   • Similitud Respuesta–Evidencia: La similitud de coseno TF-IDF entre la respuesta generada y los documentos recuperados.
   • Relevancia Consulta–Evidencia: La similitud de coseno TF-IDF entre la consulta original y los documentos recuperados.
   • La puntuación se calcula como: $Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$, donde $\alpha$ controla la importancia relativa de las dos señales.
   • Una regla de decisión basada en un umbral ($\tau$) clasifica la respuesta como alucinada ($Score < \tau$) o no alucinada ($Score \geq \tau$).
4. Agente de Corrección: Cuando una respuesta es marcada como alucinada, el agente de corrección revisa el contenido. Elimina las afirmaciones no respaldadas e incorpora información consistente con la evidencia mientras preserva las partes relevantes de la respuesta original. Crucialmente, este mecanismo está diseñado para ser guiado por evidencia y ligero, evitando pasos adicionales de inferencia de LLM.

Contribuciones Clave
El artículo describe cuatro contribuciones primarias:

1. Un marco ligero de detección y corrección que evita la costosa inferencia de múltiples LLMs mientras preserva el razonamiento modular inspirado en agentes.
2. Un pipeline unificado que se extiende más allá de la mera detección para producir respuestas corregidas guiadas por evidencia.
3. Una formulación de verificación ponderada basada en umbrales que combina explícitamente la similitud respuesta–evidencia y la relevancia consulta–evidencia.
4. Una evaluación experimental reproducible en los conjuntos de datos MedHallu y TruthfulQA, demostrando un fuerte rendimiento de detección y una reducción medible de las alucinaciones.

Resultados Experimentales
El marco fue evaluado en dos conjuntos de datos: MedHallu (9,000 muestras que representan alucinaciones en el dominio médico) y TruthfulQA (817 muestras que representan desafíos de fáctica adversarial).

• Desempeño de Detección: Utilizando un umbral óptimo ($\tau = 0.55$), el marco logró un F1-score de aproximadamente 0.93 (específicamente 0.931 en el conjunto combinado) y un recall de 0.891. En el conjunto de datos MedHallu específicamente, el F1-score alcanzó 0.942.
• Desempeño de Corrección: La etapa de corrección redujo la tasa de alucinación en el entorno de MedHallu de 1.0000 a 0.5784, lo que representa una reducción del 42.16% en las respuestas alucinadas.
• Comparaciones con Baselines: Los experimentos mostraron que la recuperación por sí sola es insuficiente para la detección, ya que no valida explícitamente la consistencia entre la respuesta y la evidencia. La adición del módulo de verificación ponderada mejoró significativamente las métricas de detección.
• Limitaciones Observadas: En TruthfulQA, la etapa de corrección mostró una "tasa de regresión" de 0.2485, indicando que la corrección basada en similitud a veces altera innecesariamente las respuestas fácticas. Esto sugiere que, si bien es efectivo para alucinaciones de dominio específico, el enfoque actual basado en similitud requiere un control cuidadoso para consultas adversariales o de malentendidos.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en ofrecer una alternativa reproducible y computacionalmente eficiente a los complejos sistemas de verificación multi-agente. Al modelar los agentes como etapas modulares en lugar de llamadas de LLM en vivo, el marco elimina la necesidad de inferencia repetida de modelos grandes, haciéndolo adecuado para entornos con recursos limitados.

Los autores sostienen que la verificación explícita es esencial; la recuperación por sí sola proporciona contexto pero no confirma el respaldo fáctico. Su formulación de puntuación ponderada aborda esta brecha. Además, el trabajo enfatiza que la mitigación no debe detenerse en la detección; la etapa de corrección propuesta mejora activamente la fiabilidad fáctica del resultado final. Sin embargo, el artículo reconoce modestamente que la recuperación TF-IDF y la similitud léxica son más débiles para casos de razonamiento intenso o adversariales, sugiriendo que las iteraciones futuras deberían incorporar embeddings semánticos y verificación basada en implicación lógica.