Enhancing Financial Report Question-Answering: A Retrieval-Augmented Generation System with Reranking Analysis

1. Problema e Motivação

Os relatórios financeiros anuais (Formulários 10-K) da SEC (Comissão de Valores Mobiliários dos EUA) são documentos extensos (100-300 páginas) e complexos, contendo informações críticas sobre desempenho, riscos e estratégias. Analistas financeiros enfrentam desafios significativos para extrair informações específicas manualmente devido ao volume de dados, jargão técnico e estrutura densa.

Embora a Geração Aumentada por Recuperação (RAG) ofereça uma solução ao combinar recuperação de documentos com modelos de linguagem (LLMs), sistemas tradicionais de RAG no domínio financeiro ainda sofrem com:

• Precisão de Recuperação: Métodos de busca puramente semânticos ou baseados em palavras-chave frequentemente falham em capturar nuances terminológicas específicas do setor financeiro.
• Qualidade da Resposta: A presença de trechos irrelevantes ou marginalmente relevantes no contexto enviado ao LLM pode levar a alucinações ou respostas incorretas.
• Lacuna de Pesquisa: O impacto específico do reordenamento neural (neural reranking) em sistemas RAG para documentos financeiros, especialmente com LLMs modernos, permanecia pouco explorado.

2. Metodologia e Arquitetura do Sistema

O artigo propõe um pipeline RAG completo e end-to-end para os relatórios 10-K das 500 empresas do S&P 500. A arquitetura divide-se em processamento offline e online:

A. Processamento de Documentos (Offline)

• Coleta e Conversão: Relatórios HTML são convertidos para PDF e extraídos para texto preservando a estrutura.
• Fragmentação (Chunking): Uso de janelas fixas de 2.500 caracteres com 50% de sobreposição (1.250 caracteres) para garantir que informações não sejam perdidas nas fronteiras dos blocos.
• Indexação Híbrida:
  • Busca de Texto Completo (FTS): Armazenamento em SQLite com extensão FTS5 para busca exata de termos e entidades.
  • Busca Semântica: Geração de embeddings (1.024 dimensões) usando o modelo text-embedding-3-small da OpenAI e indexação no FAISS para busca de vizinhos mais próximos.

B. Processamento de Consultas (Online)

1. Reescrita de Consulta (Query Rewriting): Uso do GPT-4.1 para clarificar ambiguidades, corrigir erros e extrair palavras-chave.
2. Recuperação Híbrida:
   • Combinação dos top-20 resultados da busca FTS e top-30 da busca semântica.
   • Fusão: Uso de Reciprocal Rank Fusion (RRF) para combinar as listas de resultados sem treinamento supervisionado.
3. Reordenamento Neural (Reranking):
   • Modelo: Uso do Jina Reranker v2 (cross-encoder multilíngue) para reavaliar os candidatos.
   • Mecanismo: O modelo codifica conjuntamente a consulta e cada bloco de texto, capturando sinais de relevância fina que buscadores de estágio único (bi-encoders) perdem.
   • Estratégias de Corte: Filtragem adaptativa baseada em limiar de probabilidade cumulativa (55%) e detecção de "queda de pontuação" (score cliff) para manter apenas os 5-10 blocos mais relevantes.
4. Geração de Resposta: O contexto refinado é enviado ao GPT-4.1 para gerar a resposta final, com prompts instruídos para evitar especulação.

3. Configuração Experimental

• Dataset: Utilização do FinDER, um benchmark específico para QA financeira com 5.703 pares de consulta-resposta.
• Amostragem: 1.500 consultas foram selecionadas aleatoriamente (5% do dataset), divididas em 5 grupos independentes de 300 consultas cada para garantir robustez estatística.
• Configurações Comparadas:
  1. Com Reranking: Pipeline completo (Recuperação Híbrida + Reranking Neural).
  2. Sem Reranking (Ablação): Apenas os top-10 da fusão RRF são enviados ao gerador.
• Avaliação: Uso de "LLM-as-a-Judge" (GPT-4.1) para pontuar as respostas em uma escala de 1 a 10, comparando com a verdade fundamental (ground truth).

4. Resultados Principais

Os resultados demonstram que o reordenamento neural é um componente crítico para o desempenho em finanças:

• Melhoria na Taxa de Correção: A porcentagem de respostas "basicamente corretas" (pontuação ≥ 8) saltou de 33,5% (sem reranking) para 49,0% (com reranking). Isso representa um ganho absoluto de 15,5 pontos percentuais.
• Redução de Erros Críticos: A taxa de respostas "completamente incorretas" (pontuação = 1) caiu de 35,3% para 22,5%, uma redução de 12,8 pontos percentuais.
• Pontuação Média: A pontuação média aumentou de 4,95 para 6,02 (um aumento relativo de 21,6%).
• Consistência: A melhoria foi consistente em todos os 5 grupos experimentais, indicando que o benefício não é um artefato de seleção de dados.
• Comparação com Baseline: O sistema com reranking superou significativamente os resultados anteriores reportados no dataset FinDER (que giravam em torno de 33% de precisão com modelos mais antigos e sem reranking).

5. Contribuições e Significância

• Evidência Empírica: O estudo fornece dados concretos de que o reordenamento neural não é apenas um "incremento", mas uma melhoria fundamental para sistemas RAG em domínios de alta precisão como finanças.
• Pipeline de Produção: Apresenta uma implementação completa e escalável que processa todos os 500 relatórios do S&P 500, servindo como referência para futuras pesquisas.
• Análise de Falhas: Identifica que, mesmo com reranking, falhas ocorrem devido a consultas ambíguas, ausência de informação nos documentos ou necessidade de raciocínio multi-hop complexo.
• Impacto Prático: A redução de erros críticos é vital no contexto financeiro, onde alucinações podem levar a decisões de investimento desastrosas. O trabalho valida que a combinação de LLMs modernos (GPT-4.1), estratégias de recuperação híbrida e reranking neural é o caminho para atingir níveis de confiabilidade aceitáveis para análise financeira automatizada.

Em resumo, o artigo conclui que, para aplicações financeiras onde a precisão factual é paramount, a etapa de reordenamento neural é indispensável para filtrar ruído e garantir que o modelo generativo receba apenas o contexto mais relevante e preciso.