From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

Resumen Técnico: Benchmarking de Estrategias de Recuperación para Documentos de Texto y Tablas

1. El Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) dependen críticamente de la calidad de la recuperación de documentos. Sin embargo, existe una falta de comparación sistemática de los métodos de recuperación modernos para documentos heterogéneos que combinan texto y datos tabulares (común en informes financieros, filings de la SEC y reportes de ganancias).

El desafío principal radica en que:

• Los métodos semánticos (densos) a menudo fallan al localizar valores numéricos exactos o celdas específicas en tablas.
• Los métodos léxicos (como BM25) pueden perder el contexto semántico o las parafraseos.
• Ningún enfoque único es suficiente para preguntas que requieren tanto contexto narrativo como precisión numérica.
• Los benchmarks existentes (como BEIR o MTEB) no se centran en este tipo de contenido mixto ni evalúan estrategias avanzadas como la recuperación contextual o la corrección adaptativa en este dominio.

2. Metodología

Los autores realizaron un benchmark exhaustivo utilizando T2-RAGBench, un conjunto de datos financiero que contiene:

• 23,088 consultas (preguntas) derivadas de FinQA, ConvFinQA y TAT-DQA.
• 7,318 documentos únicos (informes anuales y filings) que promedian 920 tokens cada uno, con mezcla de texto y tablas en formato Markdown.
• Reformulación de preguntas: Se utilizó Llama 3.3-70B para reformular las preguntas originales (que dependían del contexto) para que fueran independientes del documento, asegurando una única respuesta correcta basada en la información de la empresa, sector y año.

Estrategias Evaluadas (10 métodos):

1. Recuperación Esparsa: BM25 (Okapi).
2. Recuperación Densa: Modelos de embeddings (OpenAI text-embedding-3-large) con búsqueda FAISS.
3. Fusión Híbrida: Reciprocal Rank Fusion (RRF) combinando BM25 y Densa.
4. Reranking Neuronal: Pipeline de dos etapas (Híbrido + Reranker de Cross-Encoder, específicamente Cohere Rerank v4.0 Pro).
5. Expansión de Consulta: HyDE (Hypothetical Document Embeddings) y Multi-Query (RAG-Fusion).
6. Aumento del Índice: Contextual Retrieval (resúmenes generados por LLM añadidos al índice).
7. Recuperación Adaptativa: CRAG (Corrective RAG), que reescribe consultas si la calidad de los documentos recuperados es baja.

Métricas de Evaluación:

• Recuperación: Recall@k (k=1,3,5,10,20), MRR, nDCG, MAP.
• Generación: Number Match (coincidencia numérica con tolerancia relativa), F1, ROUGE-L, BERTScore.
• Estadística: Pruebas de bootstrap emparejadas con corrección de Bonferroni para validar la significancia.

3. Contribuciones Clave

1. Benchmark Sistemático: La evaluación más completa hasta la fecha de 10 estrategias de recuperación en un corpus financiero de texto y tablas.
2. Evaluación Multidimensional: Análisis que cubre tanto métricas de recuperación como de generación, con pruebas de significancia estadística.
3. Estudios de Ablación: Análisis detallado sobre el impacto de las estrategias de fusión (RRF vs. Combinación Convexa) y la profundidad de candidatos en el reranker.
4. Recomendaciones Accionables: Directrices basadas en datos para la construcción de sistemas RAG en documentos heterogéneos, incluyendo un análisis costo-precisión.

4. Resultados Principales

• El Pipeline de Dos Etapas Domina: La combinación de Recuperación Híbrida (RRF) seguida de Reranking Neuronal es el método superior.
  • Logró un Recall@5 de 0.816 y un MRR@3 de 0.605.
  • Superó a los métodos de una sola etapa por un margen amplio (ej. +17.4% en Recall@5 sobre la fusión híbrida sin reranking).
• BM25 vs. Densa: Contrario a la suposición común de que la búsqueda semántica siempre domina, BM25 superó a los modelos densos de última generación (text-embedding-3-large) en casi todas las métricas.
  • Razón: Los documentos financieros contienen terminología precisa (nombres de empresas, métricas, periodos fiscales) que el matching léxico captura mejor que los embeddings semánticos, que pueden diluir estas señales exactas.
• Ineficacia de HyDE: El método HyDE (generar un documento hipotético) rendió peor que la recuperación densa estándar.
  • Causa: Las preguntas financieras requieren valores numéricos exactos. Los LLM tienden a alucinar cifras plausibles pero incorrectas en los documentos hipotéticos, lo que desvía el embedding de la consulta lejos del contexto real relevante.
• Beneficio del Contexto: La Recuperación Contextual (añadir resúmenes generados por LLM al índice) mejoró consistentemente tanto la recuperación densa como la híbrida.
• Limitaciones de la Expansión de Consulta: Métodos como Multi-Query y CRAG ofrecieron mejoras marginales o limitadas para consultas numéricas precisas, ya que las consultas financieras suelen ser específicas y bien formadas.
• Correlación Recuperación-Generación: Existe una correlación casi perfecta ($r > 0.98$) entre la calidad de la recuperación (Recall@5) y la calidad de la respuesta generada (Number Match).

Análisis de Errores:
El 73% de los fallos de recuperación se deben a desajustes en la estructura de la tabla (los modelos de embeddings no logran mapear consultas como "ingreso neto 2019" a celdas específicas donde los términos están separados). El 20% se debe a fallos en el razonamiento numérico.

5. Significado y Recomendaciones Prácticas

El estudio desafía la noción de que los modelos densos son universalmente superiores para RAG, demostrando que en dominios de alta precisión como las finanzas, la combinación de enfoques es crucial.

Marco de decisión recomendado para RAG en documentos texto-tabla:

1. Base: Comenzar con Recuperación Híbrida (BM25 + Densa con fusión RRF) como línea base mínima.
2. Optimización de Calidad: Añadir un Reranker de Cross-Encoder (etapa de dos pasos) para obtener la mayor mejora individual en precisión.
3. Aumento del Índice: Aplicar Recuperación Contextual (resúmenes pregenerados) para ganancias moderadas consistentes con un costo único de indexación.
4. Evitar: No utilizar HyDE para dominios que requieren precisión numérica o basada en entidades.
5. Evaluación: Evaluar siempre en datos específicos del dominio; los rankings generales (MTEB/BEIR) no predicen el rendimiento en recuperación financiera.

Conclusión:
Para documentos financieros mixtos, la arquitectura óptima no es un solo modelo de embeddings, sino un pipeline que aprovecha la precisión léxica de BM25, la comprensión semántica de los embeddings densos y la capacidad de reordenamiento fino de los cross-encoders. El código y los datos del benchmark están disponibles públicamente para fomentar la reproducibilidad.