Enhancing Financial Report Question-Answering: A Retrieval-Augmented Generation System with Reranking Analysis

Título: Mejora de la Respuesta a Preguntas en Informes Financieros: Un Sistema de Generación Aumentada por Recuperación (RAG) con Análisis de Reordenamiento

1. Problema

Los analistas financieros enfrentan desafíos significativos al extraer información de los informes anuales 10-K presentados ante la SEC (Comisión de Bolsa y Valores de EE. UU.). Estos documentos suelen exceder las 100-300 páginas y contienen una densa mezcla de prosa, tablas financieras y divulgaciones regulatorias.

• Desafíos actuales: La extracción manual es lenta, propensa a errores y no escala.
• Limitaciones de los sistemas RAG existentes: Aunque la Generación Aumentada por Recuperación (RAG) combina la recuperación de información con modelos de lenguaje grandes (LLM), la calidad de la respuesta final depende críticamente de la relevancia de los fragmentos recuperados. Los métodos tradicionales (búsqueda por palabras clave o similitud semántica básica) a menudo fallan en capturar la terminología específica del dominio financiero o la matices del lenguaje, lo que lleva a alucinaciones o respuestas incorrectas si se alimentan al generador con contexto irrelevante.
• Pregunta de investigación: ¿Cuánto contribuye el reordenamiento neuronal (neural reranking) al rendimiento de los sistemas RAG en el dominio financiero?

2. Metodología

Los autores desarrollaron un pipeline RAG de extremo a extremo diseñado para los informes 10-K de las 500 empresas del S&P 500. La arquitectura se divide en dos etapas principales:

A. Procesamiento de Documentos (Offline):

• Recopilación y Conversión: Los informes HTML se convierten a PDF para mantener el formato, y luego se extrae el texto usando PyMuPDF.
• Fragmentación (Chunking): Se utiliza una estrategia de ventana deslizante con un tamaño de fragmento de 2,500 caracteres y un solapamiento del 50% (1,250 caracteres) para preservar el contexto.
• Almacenamiento e Indexación:
  • Búsqueda de Texto Completo (FTS): Los fragmentos se almacenan en SQLite con extensión FTS5 para búsqueda por palabras clave.
  • Búsqueda Semántica: Se generan embeddings de 1,024 dimensiones usando el modelo text-embedding-3-small de OpenAI e indexan en FAISS para búsqueda de vecinos más cercanos.

B. Procesamiento de Consultas (Online):

1. Reescritura de Consultas: Un LLM (GPT-4.1) clarifica consultas ambiguas, corrige errores y extrae palabras clave.
2. Recuperación Híbrida:
   • Se ejecutan búsquedas paralelas: FTS (top-20) y Semántica (top-30).
   • Fusión: Se combinan los resultados utilizando Reciprocal Rank Fusion (RRF) para crear una lista unificada de candidatos.
3. Reordenamiento Neuronal (Reranking):
   • Se emplea un modelo Cross-Encoder (jina-reranker-v2-base-multilingual) para reevaluar y puntuar los candidatos (hasta 30) basándose en la relevancia fina entre la consulta y el fragmento.
   • Estrategias de Corte Adaptativo: Se aplican umbrales de probabilidad acumulada (55%) y detección de "acantilados" en la puntuación (caída >0.15) para filtrar fragmentos marginalmente relevantes, reduciendo el ruido antes de la generación.
4. Generación de Respuesta: Los fragmentos reordenados (top-10) se alimentan a GPT-4.1 para generar la respuesta final.

Evaluación:

• Dataset: FinDER (1,500 consultas extraídas aleatoriamente de un conjunto de 5,703 pares consulta-evidencia-respuesta).
• Configuración: Se compararon dos configuraciones: con reordenamiento (pipeline completo) y sin reordenamiento (ablation study).
• Métricas: Puntuación promedio (1-10), porcentaje de respuestas totalmente incorrectas (Score=1) y porcentaje de respuestas básicamente correctas (Score≥8).

3. Contribuciones Clave

1. Implementación de un Pipeline RAG Completo: Un sistema funcional que procesa todos los informes 10-K del S&P 500 con recuperación híbrida.
2. Evaluación Sistemática: Un estudio riguroso con 1,500 consultas divididas en 5 grupos independientes para garantizar robustez estadística.
3. Evidencia Empírica del Reordenamiento: Demostración cuantitativa de que el reordenamiento neuronal es un componente crítico, no opcional, para el éxito en el dominio financiero.
4. Nuevos Límites de Rendimiento: Establecimiento de una nueva línea base de rendimiento (49% de precisión) superando significativamente a trabajos previos (33%).

4. Resultados

El estudio comparativo arrojó mejoras significativas al incluir la etapa de reordenamiento:

• Mejora en la Tasa de Corrección: La proporción de respuestas "básicamente correctas" (Score ≥ 8) aumentó de 33.5% (sin reordenamiento) a 49.0% (con reordenamiento), una mejora absoluta de 15.5 puntos porcentuales.
• Reducción de Errores Críticos: La tasa de respuestas "completamente incorrectas" (Score = 1) disminuyó de 35.3% a 22.5%, una reducción de 12.8 puntos porcentuales.
• Puntuación Promedio: La puntuación media subió de 4.95 a 6.02 (un aumento del 21.6% relativo).
• Consistencia: Las mejoras se mantuvieron consistentes en los cinco grupos experimentales, lo que indica que los beneficios no son artefactos de una selección específica de consultas.

5. Significado e Impacto

• Validación del Reordenamiento: El trabajo demuestra que en dominios de alta precisión como las finanzas, la recuperación inicial (híbrida) no es suficiente. El reordenamiento neuronal actúa como un filtro esencial que elimina el "ruido" semántico y mejora la calidad del contexto para el LLM generador.
• Superación de Límites Previos: El sistema alcanza un rendimiento cercano al 50% de precisión, superando las líneas base de modelos anteriores que luchaban con la complejidad de los informes 10-K.
• Implicaciones Prácticas: Para analistas e inversores, esto sugiere que la implementación de sistemas RAG con reordenamiento avanzado puede reducir drásticamente el tiempo de investigación y los errores de interpretación en documentos regulatorios.
• Limitaciones y Futuro: El estudio reconoce que el costo computacional del reordenamiento es mayor y que la evaluación actual depende de un "juez LLM". Futuras direcciones incluyen la integración multimodal (tablas y gráficos) y la expansión a otros tipos de documentos financieros (8-K, transcripciones de llamadas).

En conclusión, el artículo establece que la combinación de búsqueda híbrida, reordenamiento neuronal y modelos de lenguaje modernos es la fórmula óptima actual para la extracción de información fiable en informes financieros complejos.