Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation

Resumen Técnico: Cobertura, no Promedios

1. El Problema: Sesgo Intrínseco en la Evaluación de RAG

El artículo identifica que la calidad de la recuperación es el cuello de botella principal para la precisión y robustez de los sistemas de Generación Aumentada por Recuperación (RAG). Sin embargo, la evaluación actual de estos sistemas adolece de un sesgo fundamental:

• Dependencia de Promedios Agregados: Las métricas estándar (como el nDCG@10 promedio) asumen implícitamente que las consultas de evaluación son homogéneas y representan fielmente la distribución natural de las consultas y el corpus.
• Brechas de Cobertura Semántica: El análisis empírico de benchmarks públicos (como BEIR/NFCorpus) revela que las consultas de evaluación a menudo fallan en cubrir regiones semánticas importantes del corpus. Grandes áreas temáticas (ej. métodos estadísticos, diseños de ensayos clínicos) pueden estar presentes en miles de documentos pero tener cero consultas en el conjunto de evaluación.
• Consecuencia: Estas brechas de cobertura ocultan modos de fallo sistemáticos. Las métricas agregadas pueden sobreestimar drásticamente la calidad real del sistema porque los promedios están dominados por regiones semánticas sobrerrepresentadas, mientras que las áreas donde el sistema falla estrepitosamente (pero que son comunes en el corpus) permanecen invisibles.

2. Metodología: Estratificación Semántica

Los autores formalizan la evaluación de la recuperación como un problema de estimación estadística bajo heterogeneidad estructurada. En lugar de tratar todas las consultas como muestras i.i.d. (independientes e idénticamente distribuidas), proponen un marco de Estratificación Semántica que ancla la construcción del conjunto de datos en la estructura del corpus.

El proceso consta de tres etapas principales:

A. Construcción de Estructura Semántica del Corpus

• Extracción de Entidades: Se utilizan LLMs para extraer entidades semánticas atómicas (nombres, conceptos, términos técnicos) de cada documento, normalizándolas para evitar redundancia.
• Grafo Semántico: Se construye un grafo donde los nodos son entidades y las aristas representan similitud semántica (calculada mediante embeddings y búsqueda de vecinos más cercanos con FAISS).
• Agrupamiento (Clustering): Se aplica el algoritmo de detección de comunidades Leiden al grafo para identificar "vecindarios semánticos" coherentes. Cada documento se asocia con los clústeres que contienen sus entidades.

B. Estratificación de Consultas
Se definen dos tipos de estratos para garantizar una cobertura exhaustiva:

1. Estratos Semánticos: Definidos directamente por los clústeres del corpus. Aseguran que todas las regiones temáticas del corpus sean evaluadas.
2. Estratos Estructurales: Definidos por la dificultad de recuperación, basados en dos señales:
   • Dispersión de Relevancia ($\Delta$): Mide qué tan dispersas están las documentos relevantes de una consulta a través de diferentes clústeres semánticos. Alta dispersión implica consultas ambiguas o de amplio alcance.
   • Alineación Semántica ($J$): Mide la superposición (similitud de Jaccard) entre las entidades de la consulta y las entidades de los documentos relevantes. Baja alineación indica un desajuste léxico-semántico.

C. Curación de Conjuntos de Datos de Evaluación
Se propone un proceso iterativo de generación de consultas:

• Se identifican las brechas de cobertura (clústeres sin consultas o con baja representación en ciertas combinaciones de dispersión/alineación).
• Se utilizan LLMs para generar nuevas consultas basadas en documentos semilla de los clústeres subrepresentados.
• Se verifica la relevancia de los documentos recuperados mediante LLMs.
• El proceso continúa hasta alcanzar un tamaño objetivo, garantizando una cobertura explícita en todos los estratos semánticos y estructurales.

3. Contribuciones Clave

1. Identificación del Problema: Demostración de que la heterogeneidad estructural en los regímenes de recuperación (diferentes tipos de consultas requieren diferentes capacidades de recuperación) es ignorada por los benchmarks actuales, lo que lleva a estimaciones sesgadas.
2. Marco Metodológico: Formalización de la evaluación como un problema de estimación estratificada. Se demuestra que ignorar los pesos de los estratos ($w_k$) introduce un sesgo irreducible si los estratos no están cubiertos.
3. Validación Empírica: Creación de conjuntos de datos de evaluación estratificados que revelan fallos ocultos y permiten comparaciones más justas entre sistemas de recuperación.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples datasets (NFCorpus, FiQA, SciDocs) y paradigmas de recuperación (Dense, BM25, Híbrido):

• Brechas de Cobertura Masivas: Los benchmarks estándar (como NFCorpus original) solo cubren el 51% de los clústeres semánticos y el 11% tienen suficiente cobertura para estimaciones fiables. La estratificación propuesta aumenta la cobertura al 90%.
• Variabilidad de Rendimiento: El rendimiento varía drásticamente entre estratos (hasta 3x de diferencia). Por ejemplo, un recuperador puede ser excelente en temas de "enfermedades respiratorias" pero fallar estrepitosamente en "métodos estadísticos", algo que el promedio global oculta.
• Diagnóstico de Fallos: La estratificación reveló modos de fallo específicos:
  • Desconexión Semántico-Léxica: Consultas sobre entidades que aparecen en el contexto pero no en el texto del documento.
  • Desajuste de Registro: Diferencias entre lenguaje coloquial en consultas y terminología científica en documentos.
  • Puntos Ciegos: Clústeres enteros (ej. "células cancerígenas" o "métodos estadísticos") donde el sistema falla sistemáticamente pero nunca fue evaluado en los benchmarks originales.
• Estabilidad en la Toma de Decisiones: Al comparar modelos (ej. OpenAI vs. Cohere), el ganador cambia dependiendo de si se pondera por cantidad de consultas (promedio agregado) o por igualdad de importancia semántica (promedio macro). La evaluación estratificada hace explícitas estas compensaciones.

5. Significado e Impacto

Este trabajo propone un cambio de paradigma en la evaluación de sistemas de RAG y recuperación de información:

• De "Promedios" a "Cobertura": Argumenta que la fiabilidad de una evaluación no depende del tamaño del conjunto de datos, sino de su cobertura representativa sobre la estructura del corpus.
• Confianza en la Selección de Sistemas: Permite a los ingenieros y practicantes tomar decisiones informadas sobre qué modelo de recuperación desplegar basándose en los requisitos específicos de sus dominios (ej. si su aplicación requiere alta precisión en temas médicos específicos, la métrica agregada global es engañosa).
• Transparencia: Expone fallos estructurales en la construcción de corpus y en los propios modelos de recuperación que antes eran invisibles, fomentando un desarrollo más robusto y ético de sistemas de IA.

En conclusión, el artículo demuestra que sin una estratificación semántica que garantice la cobertura de todas las regiones del corpus, las métricas de evaluación tradicionales son estadísticamente insostenibles y potencialmente engañosas para la toma de decisiones críticas en sistemas de IA.