💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

Este artigo propõe uma estrutura de destilação programática guiada por ouro que transfere o raciocínio numérico confiável de grandes modelos de linguagem para modelos estudantes compactos usando programas Python verificados por execução em vez de justificativas de linguagem natural propensas a erros, alcançando o estado da arte no benchmark de raciocínio financeiro TAT-QA.

Autores originais: Yun Dong, Erica Zhao, Elana Chen

Publicado 2026-07-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yun Dong, Erica Zhao, Elana Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça enorme e complexo onde metade das pistas está escrita em uma história e a outra metade está escondida dentro de uma planilha bagunçada. Este é o cotidiano de um computador tentando responder a perguntas financeiras. Por muito tempo, cientistas têm ensinado computadores a "pensar" pedindo que eles escrevam seus passos em inglês simples, como um aluno mostrando o raciocínio em uma prova de matemática. Isso é chamado de "Cadeia de Pensamento" (Chain-of-Thought). Mas aqui está o problema: os computadores são péssimos em matemática quando tentam fazê-la mentalmente enquanto escrevem frases. Eles costumam se distrair, confundir números ou simplesmente inventar respostas que parecem boas, mas estão erradas. É como pedir a um brilhante contador de histórias para também ser um calculador humano; eles geralmente falham na parte da matemática.

Para corrigir isso, pesquisadores começaram a ensinar computadores a escrever código em vez de frases. O código é como uma receita rigorosa que um computador pode seguir perfeitamente sem se confundir. Mas há um novo problema: como você ensina um computador pequeno e rápido a escrever essas receitas perfeitas se o único professor que você tem é um computador gigante, lento e que ainda comete erros? Se o professor der uma receita ruim, o aluno aprenderá o jeito errado. Este artigo aborda exatamente esse problema. Ele pergunta: Podemos ensinar um computador pequeno a ser um mestre da matemática permitindo que ele aprenda apenas com as receitas perfeitas do professor e, depois, ajudando-o a corrigir as que o professor errou?

O Livro de Receitas de Ouro

Os pesquisadores, uma equipe da Georgia Tech e Stanford, criaram um plano inteligente de duas etapas chamado "Destilação Programática Guiada por Ouro" (Gold-Guided Programmatic Distillation). Pense nisso como um mestre chef (o "Professor", um modelo gigante de 72 bilhões de parâmetros) tentando ensinar um jovem aprendiz (o "Aluno", um modelo menor de 7 bilhões de parâmetros) a cozinhar um prato financeiro complexo.

Etapa 1: O Filtro Rigoroso
Normalmente, quando um professor mostra a um aluno como fazer algo, ele apenas diz: "Aqui está como eu fiz". Mas neste mundo, o professor tem permissão para cometer erros. Por isso, os pesquisadores adicionaram um "Guia de Ouro" mágico. Antes de o professor escrever uma receita (um programa Python), ele recebe secretamente a chave de respostas correta. O professor então tenta escrever uma receita que leve exatamente àquela resposta.

Aqui está o truque de mágica: A equipe não aceitou apenas a palavra do professor. Eles rodaram cada uma das receitas que o professor escreveu através de um "teste de sabor" rigoroso (um programa de computador que execpre o código). Se a receita tivesse um erro de digitação, travasse ou não resultasse no número exato, ela era jogada no lixo. Apenas as receitas que funcionavam perfeitamente e correspondiam à resposta de ouro foram salvas em um especial "Livro de Receitas de Ouro". O aluno pequeno foi então treinado apenas nessas receitas perfeitas. Isso garantiu que o aluno nunca aprendesse um hábito ruim.

Etapa 2: A Turnê de Retorno
Mas e quanto às perguntas difíceis onde nem mesmo o professor gigante conseguiu escrever uma receita funcional? O professor simplesmente desistiria, deixando aquelas questões sem solução. Os pesquisadores não queriam deixar essas questões para trás. Eles introduziram uma "Etapa de Recuperação".

Eles pegaram as perguntas nas quais o professor falhou e pediram ao aluno para tentar novamente. O aluno geraria cinco receitas diferentes para a mesma pergunta. Assim como antes, eles rodaram todas as cinco pelo teste de sabor. Se qualquer uma das receitas do aluno funcionasse perfeitamente, eles a salvavam. Isso significava que o aluno poderia "ensinar a si mesmo" como resolver os problemas que o professor não conseguiu, efetivamente aprendendo com seus próprios sucessos. Eles então treinaram o aluno novamente com este novo lote de receitas perfeitas autodescobertas.

Os Resultados: Pequeno, mas Poderoso

A equipe testou isso em um famoso conjunto de quebra-cabeças financeiros chamado TAT-QA, que mistura tabelas e texto. Eles compararam seu pequeno aluno treinado contra o professor gigante, modelos de computador mais antigos e outros sistemas de IA inteligentes.

Os resultados foram surpreendentes. O pequeno aluno, após este treinamento especial, pontuou 87,00 em uma medida chamada "Correspondência Exata" (Exact Match - que significa acertar a resposta exatamente) e 87,18 em uma medida chamada "F1" (que observa o quão próxima a resposta está).

Para colocar isso em perspectiva:

O professor gigante de 72 bilhões de parâmetros, mesmo com as dicas do "Guia de Ouro", pontuou apenas 78,46.
O melhor sistema de IA anterior (TAT-LLM) pontuou 82,67.
O aluno pequeno não treinado começou com um baixo 46,33.

O pequeno aluno não apenas alcançou o nível, como de fato superou o professor gigante e os melhores sistemas anteriores. Os pesquisadores descobriram que o aluno ficou especialmente bom nas partes mais difíceis: fazer cálculos com números encontrados tanto em tabelas quanto em histórias.

Por Que Isso Importa

O artigo sugere que este método é uma maneira poderosa de tornar computadores menores e mais rápidos confiáveis em matemática sem precisar do poder computacional massivo dos modelos gigantes. Ao filtrar cada erro e permitir que o aluno aprenda com seus próprios sucessos recuperados, eles criaram um sistema que é ao mesmo tempo inteligente e preciso.

No entanto, os autores fazem questão de notar que o problema não está 100% resolvido. Mesmo com o melhor aluno, ainda existem alguns erros — às vezes a resposta está certa, mas a unidade (como "milhão" vs "bilhão") está errada, ou a resposta é simplesmente errada. Mas, comparado ao que era antes, o número de erros caiu drasticamente, de centenas de erros para pouco mais de cem.

Os pesquisadores concluem que esta abordagem "Guiada por Ouro" é um caminho promissor. Eles sugerem que, no futuro, poderemos construir sistemas que possam decidir por conta própria se devem usar uma busca simples ou uma receita de código complexa, tornando a IA financeira ainda mais útil e confiável. Por enquanto, porém, eles provaram que um pequeno robô bem treinado pode superar um gigante não refinado quando o assunto é processar números.

Resumo Técnico: Destilação Programática Guiada por Ouro para Raciocínio Financeiro

Declaração do Problema

O questionamento de perguntas (QA) financeiras sobre dados híbridos tabulares e textuais apresenta um desafio duplo: requer a integração de informações de múltiplas fontes e a realização de computação numérica precisa. Embora os Grandes Modelos de Linguagem (LLMs) possam gerar etapas de raciocínio intermediárias via prompting de Cadeia de Pensamento (Chain-of-Thought - CoT), seus racionais em linguagem natural são propensos a alucinações aritméticas. Essa falta de confiabilidade torna o texto de formato livre uma fonte de supervisão ineficaz para destilar capacidades de raciocínio em modelos menores. Embora as abordagens de Program-of-Thought (PoT) mitiguem erros aritméticos ao delegar a computação a intérpretes externos, transferir esses traços de raciocínio confiáveis de modelos professores grandes para modelos estudantes compactos permanece difícil, particularmente quando os traços intermediários são imperfeitos ou quando o professor falha em resolver exemplos complexos.

Metodologia

Os autores propõem a Destilação Programática Guiada por Ouro, um framework projetado para transferir raciocínio numérico confiável de um modelo professor grande para um estudante compacto usando programas Python verificados por execução. O framework opera em duas fases primárias:

1. Destilação Dirigida pelo Professor (Fase 1)

Síntese Guiada por Ouro: Um modelo professor grande (Qwen2.5-72B-Instruct) sintetiza programas Python executáveis para resolver tarefas de QA financeiro. Crucialmente, o professor é guiado por derivações de ouro (etapas de raciocínio de verdade fundamental) injetadas no prompt para garantir cálculos de múltiplos passos precisos.
Verificação de Execução: Os programas gerados são executados em um intérprete Python em ambiente isolado (sandbox). Apenas programas que compilam sem erro e produzem exatamente a resposta numérica de ouro (incluindo a escala correta) são retidos.
Treinamento do Estudante: Um modelo estudante compacto (Qwen2.5-7B-Instruct) é treinado via Ajuste Fino Supervisionado (Supervised Fine-Tuning - SFT) usando Adaptação de Baixa Ordem (Low-Rank Adaptation - LoRA) neste conjunto de dados filtrado e de alta qualidade. O estudante aprende a gerar programas condicionados apenas ao contexto e à consulta, sem acesso à derivação de ouro.

2. Recuperação Iterativa e Auto-Melhoria (Fase 2)

Revisitando Falhas: Exemplos que o professor falhou em resolver são colocados em um conjunto de falhas ( $D_{wrong}$ ).
Amostragem do Estudante: O modelo estudante da Fase 1 amostra múltiplos programas candidatos para esses exemplos difíceis em uma temperatura de decodificação mais alta.
Filtragem de Recuperação: Os candidatos são filtrados através do mesmo processo de verificação baseado em execução. Programos que executam corretamente e produzem a resposta de ouro são adicionados a um conjunto de recuperação ( $D_{rec}$ ).
Refinamento: O estudante passa por uma segunda rodada de ajuste fino LoRA no conjunto de dados aumentado ( $D_{Total} = D_T \cup D_{rec}$ ), permitindo que ele aprenda com traços autogerados e verificados por execução que se estendem além da cobertura original do professor.

Durante a inferência, o estudante treinado gera um programa executável para uma determinada consulta. Um intérprete Python executa este código para produzir a resposta numérica final, garantindo que toda a aritmética seja realizada de forma determinística em vez de pela lógica interna do modelo.

Principais Contribuições

Destilação Programática Guiada por Ouro: Um framework inovador que aproveita derivações de verdade fundamental para guiar a síntese de programas do lado do professor, garantindo que apenas programas de alta qualidade e verificados por execução sejam usados para destilação.
Mecanismo de Recuperação Iterativa: Uma extensão do ajuste fino por amostragem de rejeição (Rejection Sampling Fine-Tuning - RFT) e STaR que permite ao modelo estudante recuperar e incorporar soluções para exemplos que o professor não conseguiu resolver, expandindo assim o sinal de supervisão.
Supervisão Verificada por Execução: A abordagem substitui racionais de linguagem natural não confiáveis por código executável como o sinal de supervisão, abordando diretamente o problema do erro aritmético.

Resultados Experimentais

O framework foi avaliado no conjunto de dados TAT-QA, um benchmark para raciocínio financeiro híbrido tabular e textual.

Desempenho: O melhor modelo estudante (Qwen2.5-7B com adaptação LoRA de Attention+MLP) alcançou 87.00 Exact Match (EM) e 87.18 F1 no conjunto de teste.
Comparação: Este resultado supera substancialmente:
- O modelo professor de 72B com dicas de derivação (78.46 EM).
- O baseline anterior mais forte baseado em LLM, TAT-LLM (82.67 EM).
- Baselines específicos de tarefa como TAGOP (47.05 EM).
- O estudante 7B não ajustado (46.33 EM).
Impacto dos Componentes:
- Qualidade do Professor: Fornecer derivações de ouro ao professor aumentou seu próprio desempenho de 69.55 para 78.46 EM, melhorando diretamente a qualidade do conjunto de dados destilado.
- Configuração LoRA: Adaptar tanto as camadas de projeção de atenção quanto as de MLP superou consistentemente a adaptação apenas de atenção.
- Recuperação da Fase 2: A etapa de recuperação iterativa melhorou o EM de teste do modelo Attention+MLP de 84.72 (Rodada 1) para 87.00 (Rodada 2), demonstrando o valor de recuperar exemplos onde o professor falhou.
Análise de Erro: O framework reduziu significativamente os erros em predição de resposta, predição de escala e falhas conjuntas em comparação com o baseline, com os ganhos mais significativos observados em tarefas que exigem raciocínio sobre evidências mistas tabulares e textuais.

Significância e Alegações

O artigo alega que a destilação programática verificada por execução fornece um framework eficaz e extensível para treinar modelos menores para realizar raciocínio numérico confiável. Ao deslocar o fardo da aritmética para a execução de código determinístico e usar derivações de ouro para filtrar os dados de supervisão, os autores demonstram que modelos compactos podem superar modelos professores muito maiores em tarefas complexas de QA financeiro.

Os autores observam modestamente que, embora a abordagem gere melhorias fortes, ela não resolve totalmente todos os tipos de erro (predição de resposta, escala e falhas conjuntas), e a avaliação é limitada a um subconjunto filtrado do TAT-QA adequado para geração de programas. Sugere-se que trabalhos futuros explorem mecanismos de roteamento conscientes da tarefa para distinguir entre consultas que exigem raciocínio programático versus extração simples, e avaliem o framework em benchmarks financeiros mais amplos como FinQA e ConvFinQA.