💬 NLP

Decomposing Retrieval Failures in RAG for Long-Document Financial Question Answering

Este artigo investiga as falhas de recuperação dentro de documentos em sistemas RAG para perguntas financeiras sobre documentos longos, propondo e validando um classificador de páginas ajustado para domínio que melhora significativamente a precisão na recuperação de páginas e trechos relevantes.

Autores originais: Amine Kobeissi, Philippe Langlais

Publicado 2026-02-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Amine Kobeissi, Philippe Langlais

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um caso financeiro complexo. Você tem à sua disposição uma biblioteca gigante cheia de relatórios de empresas (os "arquivos"), cada um com centenas de páginas. O seu objetivo é encontrar a resposta exata para uma pergunta, como "Qual foi o lucro da empresa X em 2020?".

A tecnologia que usamos hoje para ajudar nessa tarefa é chamada de RAG (Geração Aumentada por Recuperação). Pense nela como um assistente de pesquisa superinteligente. Você faz a pergunta, o assistente vasculha a biblioteca, pega os pedaços de texto mais relevantes e usa um "cérebro" (uma Inteligência Artificial) para escrever a resposta.

O problema é que, muitas vezes, o assistente é bom em encontrar o arquivo certo, mas péssimo em encontrar a página certa dentro desse arquivo.

O Problema: Encontrar a Agulha no Palheiro (mas só o palheiro)

Os autores deste artigo descobriram um erro comum: o sistema consegue pegar o relatório anual correto (o "arquivo"), mas falha ao localizar a página específica onde está o número que você precisa.

A Analogia: Imagine que você pede ao seu assistente para encontrar a receita de bolo na sua cozinha. Ele corre até a gaveta certa (o arquivo certo), mas em vez de pegar o caderno de receitas, ele pega um livro de história ou uma lista de compras que estava na mesma gaveta. O assistente, então, tenta adivinhar a receita baseando-se nessas informações erradas. O resultado? Uma resposta que parece plausível, mas está totalmente errada.

No mundo financeiro, isso é perigoso. Se o sistema erra a página, ele pode inventar números ou usar dados de um ano errado, o que pode custar milhões em decisões erradas.

A Solução Proposta: O "Filtro de Páginas" Inteligente

Os pesquisadores propuseram uma nova maneira de fazer essa busca, dividindo o processo em etapas mais finas. Em vez de pular direto do "Arquivo" para o "Pedaço de Texto" (o que chamam de chunk), eles introduziram um intermediário: a Página.

Eles criaram um "Criticador de Páginas" (Page Scorer) treinado especificamente para documentos financeiros.

A Analogia: Pense no sistema antigo como alguém que entra em uma biblioteca gigante e tenta achar um livro inteiro, depois abre aleatoriamente e tenta ler parágrafos soltos.
O Novo Sistema: É como ter um bibliotecário especialista que, ao ouvir sua pergunta, primeiro diz: "Ok, o livro certo é este. Agora, não vamos abrir tudo. Vamos olhar apenas as páginas 40 a 50, porque é lá que geralmente estão os números financeiros". Só depois de filtrar essas páginas específicas, ele vai ler os parágrafos detalhados.

Como eles testaram?

Eles usaram um banco de dados chamado FinanceBench, com 150 perguntas reais sobre relatórios de empresas dos EUA.

O "Oráculo" (O Sonho): Eles criaram uma simulação onde o sistema já sabia exatamente qual arquivo e qual página continha a resposta. Isso serviu como um "teto" de desempenho, mostrando o máximo que é possível fazer.
O Teste Real: Eles compararam vários métodos de busca (busca por palavras-chave, busca por significado, etc.) com o novo método de "Criticador de Páginas".

Os Resultados: O Pulo do Gato

Os resultados foram impressionantes:

Os métodos antigos conseguiam encontrar o arquivo correto na maioria das vezes, mas falhavam miseravelmente em encontrar a página certa dentro dele. Era como achar o prédio, mas entrar no andar errado.
O novo método (Criticador de Páginas) conseguiu identificar a página correta com muito mais precisão.
O Impacto Final: Como o sistema agora lia as páginas certas, a Inteligência Artificial que escrevia a resposta ficou muito mais precisa. As respostas numéricas (como valores de lucro) ficaram corretas com muito mais frequência.

Resumo em uma frase

Este artigo mostra que, para responder perguntas financeiras complexas, não basta apenas encontrar o documento certo; é preciso ter um "olho treinado" para encontrar a página certa dentro dele antes de tentar ler os detalhes. Ao adicionar esse passo intermediário, o sistema deixa de alucinar respostas e começa a entregar fatos precisos.

É como se, em vez de tentar adivinhar a resposta olhando para a capa de um livro, o sistema aprendesse a abrir exatamente na página onde a resposta está escrita.

Título: Decompondo Falhas de Recuperação em RAG para Resposta a Perguntas Financeiras em Documentos Longos

1. O Problema

O Retrieval-Augmented Generation (RAG) é amplamente utilizado para responder a perguntas sobre documentos financeiros longos (como formulários regulatórios da SEC). No entanto, a confiabilidade desses sistemas depende criticamente da recuperação do contexto exato necessário para justificar as respostas.

O artigo identifica uma modalidade de falha frequente e negligenciada: o sistema recupera com sucesso o documento correto (ex: o formulário 10-K anual), mas falha em identificar a página ou o bloco (chunk) específico que contém a resposta.

Consequência: Quando o contexto correto é perdido dentro do documento, o modelo generativo tende a extrapolar com base em informações incompletas, gerando respostas plausíveis, mas incorretas.
Limitação das Métricas Atuais: Métricas tradicionais de nível de documento ou de precisão da resposta final mascaram esse problema. Uma baixa precisão na resposta pode ser causada tanto por falha na recuperação do documento quanto por falha na recuperação do contexto interno (página/bloco) dentro do documento correto.

2. Metodologia e Abordagem

Os autores propõem uma análise baseada em Oráculo para decompor as falhas de recuperação em três níveis de granularidade:

Descoberta do Documento: Encontrar o arquivo correto.
Recuperação da Página: Encontrar a página correta dentro do documento.
Recuperação do Bloco (Chunk): Encontrar o trecho exato dentro da página.

Configuração Experimental:

Dataset: Um subconjunto de 150 perguntas do FinanceBench, cobrindo diferentes tipos de documentos (10-K, 10-Q, Earnings Calls, 8-K) e tipos de perguntas (métricas, extração de informação, raciocínio).
Métricas de Avaliação: Além da precisão da resposta, utilizam Recall de documento, Recall de página e similaridade máxima (BLEU/ROUGE-L) entre os blocos recuperados e a evidência dourada (gold evidence).
Condições de Oráculo:
- Oráculo de Documento: Restringe a busca apenas ao documento correto (mede o gap de recuperação de página/bloco).
- Oráculo de Página: Restringe a busca à página correta (mede o gap de recuperação de bloco).

Estratégias de Recuperação Testadas:
O estudo compara diversas abordagens, incluindo:

Recuperação densa (embeddings), esparsa (BM25, SPLADE) e híbrida.
Reformulação de consultas (expansão de acrônimos, HyDE, Multi-HyDE).
Recuperação hierárquica (Pai-Filho).
Reordenamento (Reranking) com Cross-Encoders.

Proposta Principal: O "Page Scorer" (Classificador de Páginas)
Para fechar a lacuna de recuperação, os autores introduzem um classificador de páginas ajustado ao domínio (domain fine-tuned page scorer).

Funcionamento: Trata a página como uma unidade de recuperação intermediária entre o documento e o bloco.
Treinamento: Um bi-encoder é ajustado (fine-tuned) especificamente para relevância de páginas em formulários financeiros, explorando a coerência semântica das páginas inteiras.
Pipeline de Inferência:
1. Recupera as top- $P$ páginas mais relevantes para a consulta.
2. Filtra os blocos (chunks) apenas das páginas selecionadas.
3. Realiza a recuperação final de blocos dentro desse espaço filtrado.

3. Principais Contribuições

Análise de Gap baseada em Oráculo: Definição de um framework que separa e quantifica a perda de desempenho devido à descoberta imperfeita do documento versus a recuperação imperfeita do contexto interno (página/bloco).
Avaliação Abrangente: Comparação sistemática de múltiplas estratégias de recuperação (densa, esparsa, híbrida, hierárquica) em um índice compartilhado para o FinanceBench.
Novo Método de Recuperação Hierárquica: Introdução de um page scorer ajustado ao domínio que recupera páginas antes dos blocos, superando abordagens hierárquicas anteriores baseadas apenas em passagens.
Análise Granular: Demonstração de que a dificuldade de recuperação varia significativamente entre tipos de documentos (ex: 10-K vs. Transcrições de Earnings Calls) e tipos de perguntas.

4. Resultados Chave

Gap de Recuperação: Mesmo quando os métodos recuperam o documento correto (Recall de Documento alto), o Recall de página cai drasticamente. O método base (BGE-M3 + Multi-HyDE + Reranker) atinge 0,46 de Recall de página, enquanto o limite superior (Oráculo de Documento) é 0,60.
Desempenho do Page Scorer:
- O método proposto alcançou 0,55 de Recall de Página, superando todas as linhas de base e reduzindo o gap para o oráculo de documento para apenas 0,05.
- Obteve os melhores scores em nível de bloco (BLEU: 0,33 e ROUGE-L: 0,46), superando até mesmo o cenário de "Oráculo de Documento" em algumas métricas.
Impacto na Geração:
- A melhoria na recuperação de páginas traduziu-se diretamente em melhor qualidade de resposta.
- Para perguntas de métricas, o Page Scorer alcançou 30% de precisão na correspondência numérica, superando a melhor linha de base (12%) e o Oráculo de Documento (26%).
Variação por Tipo de Documento:
- O método funcionou excepcionalmente bem em documentos 10-K (Relatórios Anuais), onde a estrutura é padronizada (Recall de página de 0,62).
- O desempenho foi fraco em Transcrições de Earnings Calls (Recall de página de 0,10), devido à estrutura menos padronizada e natureza conversacional, indicando que o modelo precisa de mais dados diversificados para generalizar.

5. Significado e Conclusão

O trabalho demonstra que, em tarefas de QA financeira sobre documentos longos, otimizar apenas a recuperação de documentos é insuficiente. A maior parte do erro ocorre na etapa de "recuperação dentro do documento" (encontrar a página certa).

A introdução de uma unidade de recuperação intermediária (a página), ajustada especificamente para a semântica de formulários financeiros, é uma solução eficaz para esse gargalo. O estudo sugere que modelar explicitamente a estrutura do documento (páginas) antes de buscar blocos de texto melhora a precisão final mais do que apenas aumentar a complexidade da busca de blocos ou a reformulação de consultas.

Limitações e Trabalhos Futuros:

O estudo focou em 150 perguntas, predominantemente em 10-Ks, limitando a generalização para outros tipos de documentos.
O treinamento do page scorer depende de anotações de ouro e negativas aleatórias; mineração de negativas difíceis (hard negative mining) poderia melhorar os resultados.
Futuras direções incluem combinar page scoring com reordenamento, aprendizado por reforço para recuperação iterativa e extensão para perguntas que exigem agregação de contexto entre múltiplos documentos.