Resumen Técnico: Evaluación de la Densidad Fáctica en RAG Multifuente

Declaración del Problema

La Generación Aumentada por Recuperación (RAG) se ha convertido en el estándar de la industria para fundamentar los Modelos de Lenguaje de Gran Escala (LLM) en conocimiento externo. Sin embargo, los mecanismos de recuperación estándar —específicamente la Similitud de Coseno (proximidad semántica) y BM25 (frecuencia léxica)— carecen de un mecanismo inherente para medir la calidad fáctica del contenido recuperado.

El artículo identifica un modo de fallo estructural denominado el Efecto de Ceguera del Experto (Expert Blindness Effect). Este fenómeno ocurre cuando las canalizaciones (pipelines) de RAG estándar entierran sistemáticamente la evidencia de alta densidad y validada por expertos (por ejemplo, Revisiones Sistemáticas de Cochrane que contienen resultados clínicos cuantificados y específicos) en favor de textos léxicamente dominantes pero fácticamente escasos (por ejemplo, artículos de formato largo que referencian repetidamente un tema sin proporcionar datos específicos). Los marcos de evaluación actuales se centran en la fidelidad (si el modelo alucinó con respecto al contexto recuperado) en lugar de la calidad de la recuperación (si el contexto recuperado era fácticamente denso o estaba validado por expertos en primer lugar).

Metodología

1. Construcción y Preprocesamiento del Corpus

El estudio utilizó un corpus de 600 fragmentos (chunks) derivados de tres niveles de evidencia médica:

• Revisiones Sistemáticas de Cochrane (COCHRANE_SR): 200 resúmenes estructurados.
• Ensayos Controlados Aleatorios (CLINICAL_RCT): 200 resúmenes filtrados por etiquetas NLM.
• Resúmenes Generales de PubMed (SCIENTIFIC_PMC): 200 resúmenes revisados por pares.

Antes de la ingesta, el corpus se sometió al pipeline de preprocesamiento NexusAgentics Ghost Audit. Este pipeline realiza:

• Extracción de Afirmaciones Atómicas: Utilizando Gemini 2.5 Flash para identificar afirmaciones fácticas únicas, independientes y verificables, descartando el lenguaje dubitativo y las anécdotas.
• Calificación de Factualidad Probabilística: Asignación de una puntuación prob_fact (de 0.2 a 1.0) basada en la verificabilidad y especificidad, no en la verdad empírica.

2. Formulación de la Densidad Fáctica (FD*)

La métrica central, la Densidad Fáctica (FD)*, se define como la proporción de afirmaciones atómicas verificadas en relación con el recuento de tokens.

• Formulación Inicial ($FD_{raw}$): Suma de las puntuaciones prob_fact dividida por el recuento de tokens.
  • Problema: El Experimento 1 reveló un severo confundido de longitud de documento (Pearson $R = -0.8636$), donde los documentos más cortos puntuaban artificialmente más alto debido al efecto del denominador.
• Formulación Corregida ($FD^*$): Para resolver esto, los autores aplicaron la normalización de la puntuación Z dentro de grupos de longitud de documento (Corto, Medio, Largo).
  • $FD^*(d) = [(FD_{raw}(d) - \mu_{bin}) / \sigma_{bin}] \times a_{source}$
  • Esta corrección redujo la correlación de longitud a niveles no significativos ($p = 0.0749$), validando la FD* como una señal independiente de la longitud.

3. Condiciones de Recuperación

Se evaluaron tres condiciones contra el benchmark HealthFC (750 afirmaciones de salud etiquetadas por expertos):

• Condición A: Similitud de Coseno (Búsqueda semántica).
• Condición B: BM25 (Búsqueda léxica).
• Condición C: Recuperación Optimizada por FD.* Una canalización híbrida de dos etapas:
  1. Pre-filtro de Similitud de Coseno (Top-20).
  2. Reclasificación (reranking) usando una puntuación compuesta: $0.5 \times \text{CosineSim} + 0.5 \times FD^*_{rescaled}$.

4. Restricciones de Evaluación

El estudio enfrentó importantes restricciones de alineación entre el corpus y el benchmark. A pesar de dos iteraciones del corpus, la cobertura contra el conjunto de evaluación HealthFC se mantuvo por debajo del 20% (14% en la iteración final). En consecuencia, la validación estadística planificada (prueba de rango con signo de Wilcoxon sobre $n=50$ consultas) no pudo ejecutarse. Los resultados se reportan como evidencia direccional basada en los mapeos de verdad fundamental disponibles.

Resultados Clave

1. Validación de la Calificación y Corrección

• Ghost Audit: Validó que el marco de calificación produce una varianza significativa a través de los niveles de la fuente (Desviación Estándar $\ge 0.10$), asegurando que la señal de reclasificación no colapse.
• Confundido de Longitud: Confirmó que las métricas de densidad normalizadas por tokens son vulnerables al sesgo de longitud del documento. La normalización de la puntuación Z dentro de los grupos demostró ser una corrección efectiva y de bajo costo computacional.

2. El Efecto de Ceguera del Experto (Auditoría de Consulta Única)

En una consulta específica sobre ejercicio y riesgo cardiovascular, las condiciones de recuperación arrojaron resultados distintos:

• Similitud de Coseno: Recuperó 40% de revisiones de Cochrane y 60% de RCTs.
• BM25: Recuperó 80% de revisiones de Cochrane pero no logró clasificarlas consistentemente alto en todas las métricas.
• Optimizado por FD:* Logró una saturación de revisión sistemática del 100% en los 5 mejores resultados.
  • Mecanismo: La FD* elevó con éxito la evidencia de alta densidad que fue clasificada fuera de los diez primeros puestos por similitud semántica únicamente (por ejemplo, un resumen de Cochrane con una puntuación de coseno de 0.7308 fue elevado al Rango 4 debido a una alta puntuación de FD* de 9.660).
• Verificación de Verdad Fundamental: Los 5 mejores resultados de la condición FD* mapearon a nueve instancias confirmadas a través de cinco afirmaciones distintas soportadas por HealthFC, todas etiquetadas como "Soportadas" por expertos médicos.

3. Hallazgos de Alineación del Corpus

El estudio identificó que las muestras de pre-verificación sembradas sobreestiman sistemáticamente la cobertura del corpus. Una muestra de 12 fragmentos mostró un 38.62% de alineación, mientras que el corpus completo de 600 fragmentos mostró solo un 14%. Esto resalta una brecha crítica en las prácticas actuales de evaluación de RAG, donde la selección de la fuente suele asumir la alineación sin una verificación de todo el corpus.

Significado y Contribuciones

El artículo postula dos contribuciones de igual importancia:

1. La Densidad Fáctica (FD) como Señal de Recuperación:*
   La FD* se propone como una señal de optimización agnóstica a la fuente, independiente de la longitud y de bajo costo computacional. Puede integrarse en las canalizaciones de RAG existentes como un compuesto 50/50 con la similitud de coseno sin requerir cambios en los modelos de incrustación (embeddings), almacenes de vectores o infraestructura de recuperación. Aborda el vacío donde la proximidad semántica falla en correlacionar con la concentración de información.

2. Documentación del Efecto de Ceguera del Experto:
   El artículo nombra y demuestra empíricamente el sesgo sistemático en los métodos de recuperación estándar que oculta la evidencia de alta autoridad. Esto tiene implicaciones de seguridad directa para la IA de salud, donde presentar un artículo de 2,000 palabras en lugar de una revisión de Cochrane puede conducir a desinformación peligrosa.

3. Contribución Metodológica a la Evaluación de RAG:
   El estudio introduce una metodología de pre-verificación de doble filtro (que requiere similitud de coseno $\ge 0.75$ y traslape de palabras clave $\ge 2$) como un prerrequisito para la construcción de corpus de RAG de salud. Argumenta que la alineación entre el corpus y el benchmark es un prerrequisito crítico, a menudo ignorado, para una evaluación válida de RAG, y que confiar en pequeñas muestras temáticas conduce a una falsa confianza en la cobertura.

Limitaciones y Trabajo Futuro

Los autores declaran explícitamente que los hallazgos son preliminares debido a la imposibilidad de ejecutar la prueba estadística completa de $n=50$ causada por la baja alineación entre el corpus y el benchmark. El "Efecto de Ceguera del Experto" se demuestra en una sola consulta y no se generaliza estadísticamente.

El trabajo futuro se describe para:

• Ejecutar pruebas estadísticas formales utilizando un corpus con $\ge 40\%$ de cobertura de HealthFC.
• Derivar empíricamente los pesos de autoridad de la fuente ($a_{source}$) óptimos en lugar de usar marcadores de posición.
• Explorar la FD* como una señal de nodo ancla en arquitecturas de Graph RAG para combinar la estructura de la evidencia con la densidad fáctica.

El artículo concluye que, si bien la FD* no es una solución completa, representa un paso necesario hacia la garantía de que los sistemas de IA recuperen hechos en lugar de simples coincidencias léxicas, particularmente en dominios de alto riesgo como la salud.