💻 computer science

Hierarchical Reranking for Scalable Financial RAG System

Este artigo apresenta o Hierarchical Reranker, um framework de RAG escalável que integra otimização de pré-recuperação, um mecanismo de classificação em dois estágios e gerenciamento de contexto longo para aumentar significativamente a precisão da recuperação e a consistência factual para análise de documentos financeiros complexos, conforme evidenciado por seu desempenho superior no ACM-ICAIF '24 FinanceRAG Challenge.

Autores originais: Joohyun Lee, Sungwoo Hong

Publicado 2026-07-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joohyun Lee, Sungwoo Hong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de uma única cena de crime, lhe entregam uma biblioteca contendo milhões de livros, cada um repleto de milhares de páginas de texto minúsculo e confuso e gráficos complexos. Esta é a realidade diária para analistas financeiros que precisam ler documentos como os relatórios 10-K (grandes relatórios que as empresas enviam ao governo) para encontrar números ou fatos específicos. No mundo da Inteligência Artificial, existe uma ferramenta chamada RAG (Geração Aumentada por Recuperação) que atua como um bibliotecário superinteligente. Ele não apenas lê os livros; ele os pesquisa para encontrar as páginas exatas de que você precisa e então escreve um resumo baseado apenas no que encontrou. No entanto, os bibliotecários padrão costem ficar sobrecarregados pelo tamanho imenso dessas bibliotecas financeiras, se confundem com a mistura de palavras e números, ou inventam fatos quando os documentos são longos demais. Este artigo aborda o problema de como construir um bibliotecário que seja rápido, preciso e que não se perca nos detalhes quando o trabalho se torna enorme.

Os autores deste artigo, Joohyun Lee e Sungwoo Hong, propõem um novo sistema chamado Hierarchical Reranker (Reclassificador Hierárquico). Pense neste sistema como um processo de contratação de duas etapas para uma equipe de detetives. Em vez de contratar um único detetive gigante, caro e lento para ler cada página de um livro de 100.000 páginas, este sistema utiliza uma estratégia de "equipe pequena e grande". Primeiro, um detetive rápido e leve (um modelo de IA pequeno) faz uma varredura rápida em toda a biblioteca e descarta as páginas que são obviamente irrelevantes, reduzindo a pilha para as 100 páginas mais promissoras. Depois, um detetive altamente qualificado e especialista (um modelo de IA grande e poderoso) faz uma análise profunda e cuidadosa de apenas essas 100 páginas para escolher as 20 finais que realmente respondem à pergunta. Essa abordagem economiza tempo e dinheiro porque o especialista caro realiza o trabalho difícil apenas nos candidatos mais prováveis, em vez de desperdiçar energia com toda a biblioteca.

Mas encontrar as páginas certas é apenas metade da batalha. O artigo também apresenta uma maneira inteligente de lidar com os documentos antes mesmo de os detetives começarem a procurar. Documentos financeiros são bagunçados; eles usam abreviações como "YoY" (Ano sobre Ano) ou "EPS" (Lucro por Ação), e misturam parágrafos de texto com tabelas gigantes de números. O primeiro passo do sistema é "limpar" a consulta e os documentos. Ele transforma essas abreviações confusas em palavras completas, padroniza unidades (para que "1M" e "1.000.000" pareçam iguais) e, crucialmente, converte essas tabelas bagunçadas em um formato estruturado chamado JSON. Isso é como pegar uma planilha escrita à mão e transformá-la em um banco de dados digital para que a IA não se confunda sobre qual número pertence a qual categoria. Ao fazer essa "pré-limpeza", o sistema garante que a IA entenda a pergunta e as evidências perfeitamente antes mesmo de começar a busca.

O terceiro grande truque que os autores utilizam é uma estratégia para lidar com documentos que são simplesmente longos demais para caber na memória da IA de uma só vez. Embora os modelos de IA modernos afirmem que podem ler quantidades enormes de texto, o artigo descobriu que, quando o texto ultrapassa um certo ponto (especificamente 64.000 tokens, que é uma medida de comprimento de texto), a IA começa a cometer erros, especialmente com números. Para corrigir isso, o sistema age como um chef preparando um banquete massivo. Em vez de tentar comer a refeição inteira de uma vez, ele fatia o documento longo em dois pedaços menores e gerenciáveis. Ele pede à IA para analisar o primeiro pedaço e escrever uma resposta preliminar, depois analisa o segundo pedaço e escreve outra resposta preliminar. Finalmente, uma etapa de "fusão" combina esses dois rascunhos em uma única resposta final, verificando se eles concordam e resolvendo quaisquer conflitos. Isso garante que, mesmo que o documento seja um relatório de 100.000 páginas, a IA não perca o rastro dos fatos.

Quando os pesquisadores testaram seu sistema em vários benchmarks financeiros famosos (como FinQA e FinanceBench), os resultados foram impressionantes. O sistema alcançou uma pontuação de 0,7918 em uma métrica chamada NDCG@20, que mede o quão bem o sistema classifica as informações corretas no topo de sua lista. Esta pontuação foi significativamente melhor do que sistemas que não utilizaram seus métodos especiais de limpeza e classificação em duas etapas. Na verdade, essa abordagem foi tão eficaz que ajudou a equipe a conquistar o segundo lugar no desafio ACM-ICAIF '24 FinanceRAG, uma competição projetada para testar o quão bem a IA pode lidar com dados financeiros. O artigo sugere que, ao combinar essas três inovações — limpar os dados, usar uma equipe de detetives em duas etapas e fatiar inteligentemente documentos longos — as instituições financeiras podem agora construir sistemas de IA que não são apenas inteligentes, mas também confiáveis o suficiente para serem usados em tarefas do mundo real, como auditoria e análise de investimentos, sem que a IA invente fatos ou se perca no ruído.

Resumo Técnico: Reclassificação Hierárquica para um Sistema RAG Financeiro Escalável

Declaração do Problema

A indústria financeira enfrenta desafios significativos na automação da análise de documentos complexos, como arquivamentos 10-K, divulgações tabulares e relatórios macroeconômicos. Essas tarefas exigem raciocínio especializado e referenciamento cruzado exaustivo em documentos longos e heterogêneos. Embora o Retrieval-Augmented Generation (RAG) ofereça um caminho para fundamentar Modelos de Linguagem de Grande Escala (LLMs) em evidências subjacentes, os pipelines de RAG convencionais falham nos domínios financeiros devido a três modos específicos de falha:

Desvio de Embedding (Embedding Drift): Jargões específicos do domínio, unidades e abreviações causam desalinhamentos semânticos entre consultas e embeddings do corpus, degradando a recuperação (recall).
Desalinhamento de Estrutura Híbrida: Modelos de recuperação treinados em prosa têm dificuldade em alinhar evidências híbridas de texto-tabela, levando a gerações numericamente incorretas.
Degradação de Contexto Longo: A qualidade do raciocínio colapsa em entradas que excedem as janelas de contexto padrão (ex: 64k tokens), mesmo em modelos nominalmente compatíveis com mais de 100k tokens, particularmente quando há referências numéricas densas envolvidas.

Metodologia

Os autores propõem o Reclassificador Hierárquico (Hierarchical Reranker), um framework de RAG otimizado para o domínio, projetado para abordar essas falhas por meio de um pipeline de três estágios: Otimização Pré-Recuperação, Reclassificação Hierárquica e Gestão de Contexto Longo.

1. Otimização Pré-Recuperação

Esta fase foca na normalização de consultas e do corpus para aumentar a coerência semântica antes do embedding.

Normalização: Consultas e documentos passam por conversão para letras minúsculas, correção de erros de digitação e expansão de abreviações financeiras (ex: "EPS" para "Earnings per share"). Unidades como "K" ou "M" são padronizadas para expressões numéricas consistentes.
Extração de Palavras-chave: Palavras-chave específicas do domínio são anexadas às consultas para aumentar a densidade terminológica, melhorando o alinhamento com o corpus.
Parafraseamento: As consultas são expandidas semanticamente em múltiplas variantes linguisticamente diversas para ampliar o espaço de busca.
Geração de Documento Hipotético (HyDE): Pseudo-documentos sintéticos são gerados para atuar como âncoras semânticas, preenchendo a lacuna entre consultas abstratas e contextos de domínio específicos.
Conversão de Tabela para JSON: Crucialmente, tabelas em Markdown são convertidas deterministicamente em estruturas JSON usando scripts baseados em regras (não LLMs) para preservar a relação estrita entre valores numéricos e seus cabeçalhos, evitando alucinações durante a recuperação.
Sumarização: Para corpora extremamente grandes (>10k tokens), os documentos são sumarizados para reter apenas indicadores e resultados financeiros essenciais, removendo a narrativa desnecessária.

2. Arquitetura do Reclassificador Hierárquico

Para equilibrar precisão com custo de inferência, o sistema emprega um cascade de dois estágios em vez de um único recuperador monolítico.

Estágio 1 (Filtragem Leve): Um modelo rápido e de baixa complexidade (jina-reranker-v3) processa o pool total de candidatos para podar candidatos de baixa relevância, estreitando o pool para os 100 principais trechos. Este estágio utiliza suporte de contexto estendido (até 131k tokens) para similaridade lexical e semântica superficial.
Estágio 2 (Reclassificação Detalhada): Um modelo de alta capacidade (Qwen3-Reranker-8B) realiza a adjudicação semântica profunda nos 100 sobreviventes para extrair os 20 trechos finais. Este estágio foca em dependências financeiras entre sentenças e consistência numérica entre tabelas e texto.

3. Gestão de Contexto Longo

Reconhecendo que o desempenho degrada além de 64k tokens, o sistema implementa uma estratégia de particionamento e fusão adaptativa para entradas que excedem esse limite.

Particionamento: Os 20 corpora recuperados são divididos em dois subconjuntos semanticamente coerentes.
Fusão: Respostas intermediárias ( $R_1, R_2$ $R_{1}, R_{2}$ ) são geradas para cada subconjeto. Um mecanismo de fusão condicional mescla essas saídas:
- Se apenas um subconjunto gerar uma resposta definitiva, ela é adotada.
- Se ambos gerarem respostas, aquela com maior confiança é selecionada.
- Se nenhum dos dois for claro, uma resposta explícita de "desconhecido" é gerada.
  Este método evita a síntese alucinada entre partições enquanto mantém a consistência do raciocínio.

Principais Contribuições

O artigo descreve três contribuições primárias:

Otimização Pré-Recuperação: Um pipeline determinístico que normaliza unidades, expande palavras-chave e converte tabelas para JSON, gerando ganhos de recuperação mensuráveis sem introduzir alucinações induzidas por LLM durante o pré-processamento.
Reclassificador Hierárquico: Uma arquitetura de dois estágios que combina um filtro rápido com um adjudicador de alta capacidade, capturando dependências financeiras complexas enquanto limita os custos de inferência.
Gestão de Contexto Longo: Um mecanismo de fusão consciente de evidências que lida com respostas parciais ambíguas ou contraditórias em entradas que excedem 64k tokens.

Resultados

O sistema foi avaliado em múltiplos benchmarks financeiros, incluindo FinQABench, FinanceBench, FinQA, ConvFinQA e TATQA.

Desempenho de Recuperação: O framework completo alcançou um score NDCG@20 de 0.7918.
- Apenas a otimização pré-recuperação melhorou a linha de base em +5,9%.
- A arquitetura de reclassificação hierárquica melhorou a relevância em +6,5% comparado a uma configuração de reclassificador único.
Desempenho de Geração: O sistema demonstrou consistência factual superior. No ACM-ICAIF '24 FinanceRAG Challenge, o framework conquistou o 2º lugar.
Estudos de Ablação: Experimentos confirmaram que a combinação de Normalização de Consulta, Extração de Palavras-chave e Conversão de Tabela para JSON proporcionou os maiores ganhos de recuperação. O mecanismo de divisão e fusão para contextos longos forneceu melhorias de precisão marginais, mas consistentes (0,08% a 0,49%) em vários LLMs.

Significância e Alegações

Os autores posicionam este trabalho como uma ponte entre o RAG de nível de pesquisa e o deployment de nível institucional. Eles afirmam que o framework é implantável, escalável e otimizado para o domínio, abordando os gargalos específicos do raciocínio financeiro:

Robustez: O sistema mantém a precisão em ambientes com dados numéricos densos e estruturas híbridas de texto-tabela.
Eficiência: Ao decompor o problema em componentes cooperantes (colaboração entre modelos pequenos e grandes), o sistema mantém a latência de ponta a ponta e os custos de tokens controlados, uma propriedade considerada essencial para a escala institucional.
Praticidade: O framework foi validado em fluxos de trabalho reais de auditoria e investimento. Os autores argumentam que a engenharia cuidadosa — especificamente o pré-processamento determinístico e a gestão de contexto adaptativa — é tão crítica quanto a escala do modelo para trazer o RAG para a produção.

O artigo conclui que este pipeline aumenta tanto a precisão quanto a escalabilidade do raciocínio financeiro, pavimentando o caminho para relatórios de auditoria automatizados e análise de investimento quantitativa. O código fonte tem a intenção de ser lançado publicamente após a aceitação.