Resumen Técnico: HieraRAG – Un Marco Jerárquico para la Generación de Preguntas Sintéticas

Declaración del Problema

Evaluar los sistemas de Generación Aumentada por Recuperación (RAG) requiere evaluaciones que capturen diversas características de las preguntas. Sin embargo, los profesionales carecen de orientación empírica sobre qué dimensiones de variación de las preguntas incluir y, lo que es más importante, a qué nivel de granularidad (por ejemplo, categorías gruesas frente a finas) deben definirse dichas dimensiones. Las evaluaciones existentes suelen aplicar una granularidad inconsistente: algunas categorizan por tipo de respuesta pero carecen de control de complejidad, mientras que otras abarcan formatos de tareas sin una variación lingüística sistemática. Sin evidencia empírica, los diseñadores corren el riesgo de submuestrear modos de falla críticos o de diluir las señales de diagnóstico con distinciones finas redundantes que aumentan los costos de generación sin añadir valor diagnóstico.

Metodología

Los autores proponen HieraRAG, un marco jerárquico diseñado para estudiar sistemáticamente el impacto de la granularidad de las preguntas en la evaluación de RAG. La metodología involucra tres componentes principales:

1. Marco de Categorización Jerárquica

El marco define tres dimensiones ilustrativas de la variación de las preguntas, cada una evaluada en tres niveles de granularidad:

• Complejidad de la Pregunta (QC): Demanda cognitiva que varía desde la búsqueda de hechos hasta el razonamiento de múltiples saltos (multi-hop).
• Tipo de Respuesta (AT): Formato de respuesta esperado, desde la extracción directa hasta la generación sintetizada.
• Variación Lingüística (LV): Alineación léxica entre la pregunta y el documento, desde lo verbatim hasta el parafraseo.

Cada dimensión se subdivide en niveles Gruesos (2 categorías), Medios (4 categorías) y Finos (8 categorías). Por ejemplo, la Complejidad de la Pregunta pasa de "Simple/Compleja" (Grueso) a "Hecho único/Multi-hecho/Sección transversal/Comparativa" (Medio) y a tipos específicos como "Extracción de segmento", "Razonamiento multi-salto" y "Síntesis comparativa" (Fino).

2. Generación de Datos Sintéticos y Configuración Experimental

• Fuente de Datos: Se generaron 5,872 pares de pregunta-respuesta (QA) sintéticos a partir del corpus FineWeb-10BT utilizando DataMorgana (aprovechando Claude 3.5 Sonnet).
• Pipeline de RAG: El sistema fue evaluado en un pipeline estándar de dos etapas:
  • Recuperación: BM25 (vía PyTerrier) recuperando $k=10$ documentos de fragmentos de 512 tokens.
  • Generación: Falcon-3-10B-Instruct (temperatura 0.6) instruido para negarse si la información era insuficiente.
• Diseño Experimental:
  • RQ1: Evaluó 4 dimensiones (QC, AT, LV y Fraseo) con granularidad gruesa para identificar las dimensiones más discriminativas.
  • RQ2: Evaluó QC, AT y LV a través de los tres niveles de granularidad (2, 4, 8 categorías) para determinar la granularidad óptima.
  • RQ3: Un diseño factorial $2 \times 2$ cruzando Variación Lingüística (Similar vs. Distante) con Complejidad de la Pregunta (Simple vs. Compleja) para probar interacciones.

3. Métricas de Evaluación

• Métricas de Rendimiento: Precisión Media Promedio (MAP), nDCG@10, Recall@10 para recuperación; Similitud de Coseno (CS), ROUGE-1 y BLEU para la calidad de generación.
• Poder Discriminativo: Definido como la desviación estándar de la calidad de generación (CS) entre las categorías dentro de un nivel de granularidad. Una desviación estándar más alta indica que las categorías revelan distinciones de rendimiento significativas.
• Ratio de Coherencia ($\rho_{coherence}$): Una métrica novedosa inspirada en los coeficientes de silueta de agrupamiento para validar la estructura jerárquica. Mide si las categorías "hermanas" de grano fino proporcionan señales no redundantes mientras permanecen verticalmente consistentes con su categoría padre:
  $$\rho_{coherence} = \frac{\sigma_{sib}}{\delta_{vert} + \epsilon}$$
  Donde $\sigma_{sib}$ es la desviación estándar entre hermanos (discriminación horizontal) y $\delta_{vert}$ es la diferencia absoluta entre las medias del padre y el hijo (consistencia vertical). Un $\rho$ alto indica divisiones bien calibradas; un $\rho$ bajo sugiere una estructura pobre o redundante.
• Validación Humana: Dos anotadores evaluaron 110 pares QA estratificados para verificar corrección, alucinación y alineación de categoría.

Resultados Clave

RQ1: Dimensiones Más Discriminativas

En el nivel grueso, la Variación Lingüística (LV) fue la dimensión más discriminativa (Rango = 0.077), a pesar de ofrecer el peor rendimiento absoluto (MAP=0.369). El Tipo de Respuesta (AT) logró el mejor rendimiento absoluto (MAP=0.506) pero mostró menor discriminación. La Complejidad de la Pregunta (QC) mostró la menor discriminación en el nivel grueso (Rango = 0.010).

RQ2: Impacto de la Granularidad

La granularidad óptima varía significamente según la dimensión:

• Complejidad de la Pregunta (QC): Se beneficia de distinciones finas. El poder discriminativo aumentó monótonamente desde el nivel Grueso (0.007) al Fino (0.053), un aumento de 7.5x. Esto sugiere que distinguir entre tipos específicos de razonamiento (ej. un solo salto vs. multi-salto) captura variaciones de rendimiento que los rótulos gruesos de "Simple/Compleja" pasan por alto.
• Tipo de Respuesta (AT) y Variación Lingüística (LV): Alcanzan su punto máximo en la granularidad media (4 categorías).
  • AT alcanzó su pico en 0.044 (Medio) y descendió a 0.037 (Fino).
  • LV alcanzó su pico en 0.047 (Medio) y descendió a 0.031 (Fino).
  • Para estas dimensiones, las divisiones más finas añadieron ruido en lugar de señal.

Validación Estructural (Ratio de Coherencia)

El Ratio de Coherencia reveló diferencias estructurales que explican los resultados:

• AT tuvo un alto ratio de coherencia medio (ej., la división summary_or_explanation tuvo $\rho=3.31$), indicando que sus categorías finas subdividieron limpiamente al padre.
• QC tuvo una baja coherencia media (0.40). Aunque las 8 categorías finas particionaron exitosamente el espacio de rendimiento (alto poder discriminativo), no subdividieron limpiamente a sus padres de nivel medio, sugiriendo que la jerarquía no es estrictamente taxonómica.
• LV mostró una mala calibración en la división conceptual_rephrase ($\rho=0.04$), donde los hijos finos se desviaron sustancialmente del perfil de rendimiento del padre.
• Se observó una correlación preliminar ($r_{pb}=0.24$) entre el Ratio de Coherencia y el acuerdo humano en las asignaciones de categoría, lo que sugiere que la métrica puede servir como un proxy automatizado para la separación semántica.

RQ3: Efectos de Interacción

La interacción entre LV y QC fue mayoritariamente aditiva en lugar de interactiva.

• El desajuste de vocabulario (LV Distante) causó una caída significativa en el rendimiento independientemente de la complejidad (el MAP cayó de ~0.55 a ~0.20).
• Las distinciones de complejidad solo importaron cuando la recuperación fue exitosa (LV Similar). Cuando la recuperación falló debido al desajuste de vocabulario, la complejidad se volvió irrelevante.

Significancia y Reivindicaciones

El artículo afirma proporcionar un procedimiento portable en lugar de verdades universales sobre el rendimiento de RAG. Sus principales contribuciones son:

1. Un Marco Jerárquico: Un método para determinar la granularidad de evaluación óptima en los benchmarks de RAG, demostrando que una granularidad de "talla única" es subóptima.
2. El Ratio de Coherencia: Una métrica de validación para ayudar a los profesionales a determinar si las divisiones de grano fino son estructuralmente sólidas antes de la generación de benchmarks a gran escala.
3. Evidencia Empírica: Dentro de la configuración específica de BM25 + Falcon-3-10B, los autores muestran que diferentes características de las preguntas requieren diferentes niveles de granularidad para la evaluación diagnóstica (Fino para Complejidad, Medio para Tipo de Respuesta y Variación Lingüística).
4. Dataset y Código: La publicación de 5,872 preguntas sintéticas organizadas jerárquicamente y el código asociado para su replicación.

Los autores señalan explícitamente las limitaciones: los hallazgos son específicos para el recuperador BM25 y el generador Falcon utilizados; la asignación de una sola dimensión en RQ1/RQ2 deja otras dimensiones como confundidores no controlados; y la correlación entre el Ratio de Coherencia y el acuerdo humano no fue estadísticamente significativa ($p=0.21$). En consecuencia, el artículo posiciona a HieraRAG como una herramienta para que los profesionales diagnostiquen y calibren sus propios ajustes de evaluación de RAG en lugar de prescribir un estándar de benchmark fijo.