Entropic Claim Resolution: Uncertainty-Driven Evidence Selection for RAG

1. El Problema: Colapso Epistémico en RAG

Los sistemas actuales de Generación Aumentada por Recuperación (RAG) dependen predominantemente de la recuperación densa basada en relevancia (similitud semántica con la consulta). Aunque esto funciona bien para preguntas fácticas simples, falla en escenarios del mundo real caracterizados por:

• Evidencia conflictiva: Fuentes que presentan información contradictoria.
• Ambigüedad fundamental: Consultas donde la respuesta no es única o clara.
• Dependencias multi-paso: Necesidad de conectar múltiples piezas de información.

El artículo identifica un fenómeno llamado "colapso epistémico": los sistemas recuperan información redundante y semánticamente similar (pero no discriminativa), lo que obliga al Modelo de Lenguaje (LLM) a sintetizar respuestas sobre una distribución de evidencia sesgada o incompleta. Esto resulta en alucinaciones no mitigadas, sobreconfianza y falta de precisión. Actualmente, carecemos de un criterio matemático riguroso para definir cuándo la evidencia es "suficiente" o qué pieza de evidencia específica debe recuperarse a continuación para reducir la incertidumbre.

2. Metodología: Resolución de Reclamaciones Entrópicas (ECR)

Los autores proponen Entropic Claim Resolution (ECR), un algoritmo de inferencia que reformula la recuperación de evidencia como un proceso de minimización de entropía sobre un espacio de hipótesis de respuesta.

Conceptos Clave:

• Espacio de Hipótesis ($A$): Se define un conjunto de respuestas potenciales mutuamente excluyentes. Inicialmente, se asigna una distribución de probabilidad uniforme.
• Selección de Evidencia Basada en Valor de Información: En lugar de seleccionar documentos por relevancia, ECR selecciona reclamaciones atómicas (hechos discretos) que maximizan la Reducción de Entropía Esperada (EER).
  • La EER mide cuánto se reduciría la incertidumbre (entropía) si se verificara una reclamación específica.
  • Se priorizan las reclamaciones que "dividen" limpiamente el espacio de hipótesis (discriminativas) en lugar de las que apoyan a todas por igual (redundantes).
• Criterio de Parada Riguroso: El proceso se detiene dinámicamente cuando la entropía de las hipótesis cae por debajo de un umbral de suficiencia epistémica ($H \le \epsilon$) y no existen contradicciones no resueltas.
• Coherencia y Contradicciones: Se introduce un término de regularidad ($\lambda$) para priorizar la evaluación de reclamaciones que completan pares de contradicción explícita. Si la evidencia es inherentemente inconsistente, el sistema no fuerza un colapso de la incertidumbre; en su lugar, expone la ambigüedad y se detiene, evitando generar respuestas falsas.

Proceso de Inferencia:

1. Inicialización: Generar hipótesis y un pool de candidatos de reclamaciones.
2. Bucle Iterativo:
   • Calcular la entropía actual. Si $H \le \epsilon$, detenerse.
   • Seleccionar la siguiente reclamación $c^*$ que maximice $EER(c) + \lambda \cdot ConflictPotential(c)$.
   • Verificar la verdad de la reclamación (usando metadatos de procedencia y soporte topológico).
   • Actualizar la distribución de probabilidad de las hipótesis (Bayesiana).
3. Salida: Devolver la hipótesis dominante o la distribución de alternativas si la ambigüedad es irresoluble.

3. Contribuciones Clave

1. Algoritmo de Selección de Evidencia: Introducción de ECR, que cambia el paradigma de "recuperar lo más relevante" a "recuperar lo más discriminativo" para resolver ambigüedades.
2. Criterio de Parada Matemático: Definición formal de "suficiencia epistémica" basada en la entropía, eliminando la dependencia de umbrales heurísticos o bucles infinitos.
3. Transición de Fase en Contradicciones: Demostración de que, al integrar una señal de coherencia, el sistema pasa de forzar una respuesta a exponer principiadamente la ambigüedad cuando la evidencia es contradictoria.
4. Escalabilidad Práctica: Implementación exitosa en una arquitectura de recuperación multi-estrategia de nivel de producción (CSGR++ y HyRAG v3), sin necesidad de ajuste fino (fine-tuning) de modelos especializados.

4. Resultados Experimentales

Los autores evaluaron ECR en dos fases: un entorno controlado de solo reclamaciones y una evaluación de extremo a extremo.

• Entorno Controlado (Solo Reclamaciones):

  • ECR alcanzó la suficiencia epistémica ($H \le 0.3$ bits) utilizando solo 5 reclamaciones, mientras que los métodos basados en relevancia no redujeron la entropía significativamente incluso con 15 reclamaciones.
  • ECR redujo la redundancia de las reclamaciones y colapsó el espacio de hipótesis mucho más rápido que el control aleatorio o la recuperación estándar.

• Evaluación de Extremo a Extremo (HotpotQA):

  • ECR superó significativamente a la selección aleatoria en Exact Match (EM) y F1.
  • Mantuvo un rendimiento comparable a una línea base fuerte de RAG basada en relevancia, demostrando que el control de incertidumbre no degrada la precisión en tareas factuales estándar.
  • Robustez al Ruido: En escenarios con 40% de ruido (reclamaciones irrelevantes), ECR degradó su rendimiento de manera predecible sin amplificar errores, evitando alucinaciones sobreconfiadas.

• Prueba de Estrés de Contradicción (Offline):

  • Ante la inyección de contradicciones explícitas, el RAG estándar siguió siendo "patológicamente sobreconfiado" (colapso epistémico).
  • ECR mostró una transición de fase: dejó de converger y expuso la ambigüedad no resuelta, evitando generar respuestas incorrectas cuando la evidencia era incoherente.

5. Significado e Impacto

El trabajo propone un cambio fundamental en cómo se escalan los sistemas de conocimiento intensivo:

• Eficiencia y Costo: Al detener la recuperación tan pronto como se alcanza la certeza suficiente, se reduce el costo computacional y la latencia, evitando procesar contextos grandes y redundantes.
• Seguridad en Alta Riesgo: Para dominios como medicina, derecho y finanzas, es crucial no generar respuestas sobreconfiadas ante evidencia contradictoria. ECR proporciona un mecanismo para "negarse a responder" o exponer la incertidumbre de manera controlada.
• Independencia del Modelo: La mejora en el razonamiento no depende de modelos más grandes o ventanas de contexto más amplias, sino de un control principiado sobre la selección de evidencia durante la inferencia.
• Futuro de los Agentes: La metodología se extiende más allá del RAG, sugiriendo que las acciones de agentes autónomos (herramientas, llamadas a API) pueden optimizarse bajo criterios de reducción de entropía, ofreciendo una alternativa teórica a las políticas de selección de acciones basadas en prompts heurísticos.

En resumen, ECR establece una base rigurosa para la selección de evidencia guiada por la incertidumbre, transformando la entropía de una métrica pasiva de diagnóstico a un criterio activo de decisión para el razonamiento robusto e interpretable.