💬 NLP

Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

A equipe DS@GT propõe um pipeline de roteamento por linguagem e aumento de recuperação para QA financeiro multilíngue que combina embeddings BGE-M3 com fusão de ranking recíproco ponderada e pontuação direta de opções via log-probabilidades de próximo token, demonstrando que o desempenho ideal requer seleção de modelos específicos para cada linguagem e a cautela de evitar o prompting de cadeia de pensamento para certas línguas.

Autores originais: Justice Ayela, Kabir Sahni

Publicado 2026-07-28✓ Author reviewed ⓘ

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Justice Ayela, Kabir Sahni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça difícil, mas em vez de usar apenas o seu próprio cérebro, você tem uma enorme biblioteca de livros de referência bem ao seu lado. Este é o mundo da Geração Aumentada por Recuperação (RAG). Pense nisso como um estudante fazendo uma prova que tem permissão para consultar fatos em um livro didático antes de responder. Normalmente, os computadores são ótimos nisso se as perguntas estiverem em inglês, mas as coisas ficam complicadas quando as perguntas estão em espanhol, grego ou hindi. A "biblioteca" pode estar cheia de livros em inglês, mas vazia para outros idiomas, e o estudante pode não saber ler os volumes em língua estrangeira mesmo que os encontre.

Este artigo aborda uma versão muito específica e de alto risco deste problema: Exames de Certificação Financeira. Estes não são apenas curiosidades; são testes complexos para se tornar um Analista Financeiro ou Contador certificado, exigindo uma lógica profunda sobre dinheiro, leis e regras contábeis. A grande questão que os autores fazem é: Podemos construir um sistema de computador que passe nesses difíceis exames de dinheiro em cinco idiomas diferentes (inglês, espanhol, grego, chinês e hindi) tão bem quanto faz em inglês? A resposta é importante porque as finanças são globais, mas a maioria dos cérebros de computador é treinada principalmente em inglês, deixando grandes lacunas na forma como lidam com o vocabulário financeiro em outros idiomas.

O Grande Experimento da Equipe: Um Detetive Multilíngue Inteligente

Os pesquisadores da Georgia Tech, chamando sua equipe de DS@GT, construíram um sistema de detetive digital para resolver essas questões de exames financeiros. Em vez de apenas adivinhar, o sistema segue um processo rigoroso de três etapas, que eles chamam de "pipeline".

Etapa 1: O Detetive de Idiomas
Primeiro, o sistema analisa a pergunta e pergunta: "Que idioma é este?". É como um segurança de uma boate checando identidades. Se a pergunta estiver em grego, o sistema sabe que precisa buscar livros na "Seção de Grego" de sua biblioteca. Se a biblioteca estiver vazia para esse idioma (o que acontece com idiomas menores como o grego ou o hindi), ele busca livros na "Seção Global" que possam ter ideias semelhantes, mesmo que estejam em um idioma diferente. Eles usaram uma ferramenta especial chamada BGE-M3 para traduzir o significado das perguntas em um código universal para que o sistema pudesse encontrar exemplos relevantes, inclusive através de barreiras linguísticas.

Etapa 2: O Roteador de Modelos (O "Céreção Direita" para o Trabalho Certo)
Aqui é onde a equipe descobriu algo surpreendente. Eles não usaram apenas um único cérebro de computador gigante para tudo. Eles descobriram que diferentes cérebros de computador são melhores em diferentes idiomas.

Para o inglês, eles usaram um modelo chamado Qwen2.5-14B.
Para o grego, eles descobriram surpreendentemente que um modelo menor, o Llama-3.1-8B, era na verdade o superastro, superando os modelos maiores por uma margem enorme (cerca de 19,5 pontos percentuais!).
Para chinês, hindi e árabe, eles usaram o Qwen3-14B.

Se tivessem usado apenas o "melhor" modelo para todos, o sistema teria falhado miseravelmente no inglês e no grego. É como perceber que, embora um maratonista seja ótimo para longas distâncias, você não gostaria que ele jogasse xadrez; você precisa de um especialista diferente para cada tarefa.

Etapa 3: O Pontuador (Chega de Jogos de Adivinhação)
Normalmente, quando os computadores respondem perguntas, eles tentam "escrever" a resposta, como "A resposta é C". Isso frequentemente leva a erros onde o computador escreve um parágrafo longo e esquece de dizer qual letra ele escolheu. A equipe DS@GT usou um truque inteligente chamado Pontuação Direta Aumentada por Recuperação (RADS). Em vez de escrever a resposta, o sistema simplesmente verifica a matemática: "Quão provável é que a letra 'A' seja a próxima palavra? Quão provável é 'B'? Quão provável é 'C'?" Ele escolhe a letra com a maior pontuação matemática. Isso é como um teste de múltipla escolha onde o computador não precisa escrever uma redação; ele apenas aponta para a bolinha certa. Este método eliminou quase todas as "falhas de análise" (erros ao ler a própria resposta do computador), alcançando uma taxa de sucesso de 100% nas perguntas em chinês, onde outros métodos tiveram dificuldades.

As Descobertas Surpreendentes

A equipe realizou milhares de testes e descobriu algumas regras que quebraram as ideias usuais sobre como a IA funciona:

Pensar Demais Pode Ser Ruim: Para a maioria das pessoas, o "Cadeia de Pensamento" (Chain-of-Thought — pedir para a IA explicar seu raciocínio passo a passo) ajuda. Mas para as perguntas em grego, isso na verdade destruiu o desempenho. A precisão caiu de impressionantes 90,7% para terríveis 20,9%. Acontece que, para essas perguntas específicas em grego, que são mais sobre categorizar fatos do que resolver problemas matemáticos, fazer a IA "pensar em voz alta" a confundiu. Ela começou a escrever histórias em vez de escolher a categoria correta.
A Armadilha do "Modo de Pensamento": O modelo Qwen3 possui uma configuração padrão onde ele escreve uma seção de "pensamento" antes da resposta. A equipe descobriu que, se deixassem isso ligado, a capacidade do sistema de escolher a letra certa (RADS) colapsava para um palpite quase aleatório para o árabe. Eles tiveram que desativar manualmente este "modo de pensamento" para que o sistema funcionasse.
Tradução é uma Armadilha: Eles tentaram traduzir perguntas de outros idiomas para o inglês, resolvê-las e traduzi-las de volta. Isso foi um desastre. A tradução perdeu detalhes financeiros importantes, e as pontuações caíram quase 20 pontos percentuais em comparação com a resolução no idioma original.
Dados Importam, Mas Modelos Importam Mais: Para o hindi, adicionar mais exemplos nativos de hindi à sua biblioteca ajudou, mas apenas um pouco (cerca de 1 ponto percentual). No entanto, a lacuna entre o sistema deles e a principal IA comercial (Claude Opus 4.7) era enorme (17 pontos percentuais). Isso sugere que, para idiomas de baixos recursos, o problema não é apenas ter mais livros na biblioteca; é que o próprio cérebro do computador precisa ser treinado mais profundamente nos termos financeiros desse idioma específico.

O Placar Final

Quando a equipe submeteu seu sistema à competição oficial FinMMEval 2026, eles foram bem, ficando no top 10 para a maioria dos idiomas.

Árabe: 76,0% (10º lugar)
Hindi: 73,5% (7º lugar)
Inglês: 69,5% (9º lugar)
Chinês: 64,5% (9º lugar)

Embora não tenham vencido o primeiro lugar (as principais equipes pontuaram acima de 90%), o trabalho deles provou uma lição vital: Um tamanho não serve para todos. Para construir uma IA financeira inteligente que funcione globalmente, você não pode usar apenas um modelo e uma estratégia. Você precisa rotear diferentes idiomas para diferentes modelos, escolher diferentes estratégias de pensamento baseadas na tarefa e pontuar respostas matematicamente, em vez de apenas escrevê-las. O futuro da IA financeira global não é sobre um único supercérebro; é sobre uma equipe de especialistas, cada um falando a língua certa e usando as ferramentas adequadas.

tokens) é explicitamente desativado (enable_thinking=False). Isso é necessário porque os tokens de raciocínio deslocam a letra da resposta da posição imediata do próximo token, quebrando o mecanismo de pontuação.

3. Pontuação Direta com Recuperação Aumentada (RADS)

Em vez de gerar texto livre, o sistema utiliza a Pontuação Direta com Recuperação Aumentada (RADS):

Mecanismo: O modelo recebe um prompt contendo a consulta e os 5 principais exemplares recuperados. Ele realiza uma única passagem direta (forward pass) e calcula a log-probabilidade do próximo token para cada letra de opção válida (A, B, C, D, E).
Predição: A resposta é o argmax dessas log-probabilidades.
Vantagem: Esta abordagem elimina falhas de análise (parse failures, ex: erros de extração de regex) e vieses de formatação inerentes aos métodos baseados em geração.

Principais Contribuições

Pipeline RAG Multilíngue Estruturado: Uma arquitetura adaptada para o raciocínio de exames financeiros que impõe consistência linguística na recuperação e na seleção do modelo.
Recuperação de Exemplares de Duas Camadas: Uma estratégia que combina índices por conjunto de dados e globais usando RRF ponderado para lidar eficazmente com línguas de baixos recursos.
Análise Empírica de Assimetria: O artigo documenta lacunas de desempenho significativas e não intuitivas:
- Necessidade de Roteamento de Modelo: Nenhum modelo único é ideal para todas as línguas. O Qwen3-14B supera o Qwen2.5-14B em Chinês (+4,2 pp), mas regride em Inglês (-22,9 pp). O Llama-3.1-8B supera todas as variantes Qwen em Grego em +19,5 pp.
- Sensibilidade da Estratégia de Raciocínio: O prompting de Cadeia de Pensamento (CoT) degrada significativamente o desempenho em Grego (90,7% $\to$ 20,9%) e Hindi (-19 pp), enquanto ajuda apenas marginalmente o Chinês.
- Estratégia de Pontuação: O RADS alcança taxas de análise de 100% e supera a geração few-shot, particularmente ao eliminar a ambiguidade da decodificação de texto livre.

Resultados

Desempenho no Leaderboard de Desenvolvimento: O sistema alcançou acurácias de 76,0% (Árabe), 73,5% (Hindi), 69,5% (Inglês) e 64,5% (Chinês) no conjunto de teste final.
Impacto de Dados Nativos: A expansão da Base de Conhecimento (KB) de Hindi de proxies translinguais para um fragmento nativo de 5.982 exemplares resultou em uma melhoria modesta de +1,0 pp, sugerindo que, para o Hindi, o gargalo é a capacidade do modelo base, e não a qualidade da recuperação.
Comparação com Modelos de Fronteira: Uma lacuna de 17 pontos percentuais permanece entre o melhor sistema local (Qwen3-14B + RADS) e os modelos de API de fronteira (Claude Opus 4.7) em Hindi, indicando que melhorias na recuperação sozinhas não podem fechar a lacuna para línguas de baixos recursos.
Ablação de Solucionadores (Solver): O RADS (Solver B) consistentemente empatou ou superou a geração few-shot (Solver A) entre as línguas. Os solucionadores baseados em tradução (Solver C) foram os piores desempenhos, e o CoT com autoconsistência (Solver D) causou degradação severa em Grego e Inglês.

Significância e Alegações

O artigo argumenta que um QA financeiro multilíngue eficaz requer heterogeneidade deliberada em todas as camadas do pipeline. Ele desafia duas suposições comuns:

Backbone Universal: Um único modelo capaz não pode servir como um backbone universal; o roteamento específico por língua é um pré-requisito para um desempenho competitivo.
Raciocínio Uniforme: Estratégias de raciocínio mais sofisticadas (como CoT) não geram ganhos uniformes; elas podem ser prejudiciais dependendo do tipo de tarefa (ex: classificação de texto vs. derivação quantitativa) e da língua.

Os autores concluem que detalhes de implementação — como desativar modos de pensamento em modelos específicos e selecionar o modelo correto por língua — são tão críticos quanto a infraestrutura de recuperação. Eles posicionam seu trabalho como o estabelecimento do "teto de pesos abertos" reproduzível para esta tarefa, destacando que a lacuna de desempenho restante em relação aos modelos de fronteira é impulsionada pela capacidade do modelo base em línguas de baixos recursos, e não pela qualidade da recuperação.