🤖 AI

PROOF-Gen: From Optimized Data to Better Distillation

O artigo apresenta o PROOF-Gen, um método que utiliza a otimização de prompts por cenário para recuperar trajetórias bem-sucedidas de falhas do modelo professor, melhorando significamente o desempenho de agentes de chamada de ferramentas destilados em benchmarks e em pipelines implantados.

Autores originais: Anh Ta, Junjie Zhu, Shahin Shayandeh

Publicado 2026-08-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anh Ta, Junjie Zhu, Shahin Shayandeh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, uma forma comum de ensinar um programa de computador menor e mais rápido a realizar tarefas complexas é fazer com que um programa muito maior e mais inteligente demonstre como fazê-lo. Esse processo, conhecido como destilação, funciona como um mestre artesão mostrando a um aprendiz uma técnica perfeita. O aprendiz observa as tentativas bem-sucedidas do mestre e aprende a imitá-las. No entanto, este método possui um ponto cego. Se o mestre cometer um erro, o aprendiz simplesmente ignora essa tentativa e espera pela próxima demonstração bem-sucedida. No campo específico de chamada de ferramentas (tool-calling) — onde uma IA deve decidir quais ferramentas digitais usar para resolver um problema, como consultar um banco de dados ou enviar uma mensagem — isso cria uma lacuna significativa. Os problemas mais difíceis são frequentemente aqueles em que o mestre quase consegue, mas falha no último passo. Como o método de ensino padrão descarta esses quase acertos, o aprendiz nunca aprende a navegar pelo ponto de decisão específico que causou a falha, deixando a IA incapaz de resolver os cenários mais difíceis.

Pesquisadores da Apple desenvolveram um novo método chamado PROOF-Gen para corrigir essa lacuna. Em vez de jogar fora as tentativas falhas, eles as tratam como oportunidades valiosas de aprendizado. Quando o programa mestre falha em uma tarefa, um segundo programa, ainda mais avançado, atua como um treinador reflexivo. Este treinador analisa exatamente onde o mestre errou, observando a sequência de ações e o erro final. Ele então escreve um conjunto específico de instruções, ou um "guia", projetado para guiar o mestre através desse exato mesmo problema novamente. O programa mestre tenta a tarefa mais uma vez, desta vez seguindo o novo conselho do treinador. Se ele tiver sucesso, esse caminho bem-sucedido é salvo como uma nova lição. Crucialmente, antes que o aprendiz veja esta nova lição, o guia é removido. O aprendiz aprende apenas a partir da sequência limpa e bem-sucedida de ações, não das instruções extras que ajudaram a criá-la. Isso garante que o aprendiz aprenda a habilidade em si, e não memorize um conjunto específico de dicas.

Os resultados desta abordagem são impressionantes. Em testes utilizando um benchmark projetado para simular interações de atendimento ao cliente, o método padrão de descartar falhas significou que o programa mestre teve sucesso em apenas cerca de 7 por cento dos casos. O novo método recuperou soluções bem-sucedidas para 93 por cento das tarefas que o mestre havia originalmente falhado. Quando modelos menores de IA foram treinados com esta coleção expandida de lições, sua capacidade de completar tarefas melhorou dramaticamente. Um modelo saltou de resolver 13 por cento das tarefas para resolver 53 por cento, enquanto outro viu um salto de desempenho semelhante. Os pesquisadores confirmaram que esta melhoria veio de aprender o caminho correto através de pontos de decisão difíceis, e não apenas de se tornar melhor nas partes fáceis da tarefa. De fato, treinar apenas nos sucessos fáceis e pré-selecionados melhorou a capacidade dos modelos de realizar chamadas de ferramentas individuais, mas não os ajudou a concluir o trabalho geral. Foi apenas ao incluir os exemplos difíceis recuperados que os modelos aprenderam a completar a tarefa completa.

Este método também oferece uma vantagem prática para empresas que desejam atualizar seus sistemas de IA sem mudar como a IA soa ou se comporta. Como as lições finais são despojadas das instruções de treinamento, a IA aprende a capacidade de resolução de problemas do treinador poderoso, mantendo a voz natural e o estilo do programa mestre original. Os pesquisadores testaram isso em um sistema de produção real usado para atendimento ao cliente, onde o método melhorou a taxa de sucesso da IA em 6,3 pontos percentuais. Esses ganhos se mantiveram em dezenas de idiomas e regiões diferentes, mostrando que a capacidade de recuperar-se de uma falha é uma habilidade universal que não depende de um idioma ou contexto cultural específico. Ao transformar falhas em um processo de aprendizado estruturado, os pesquisadores mostraram que o caminho para uma IA mais inteligente não reside apenas em encontrar mais exemplos perfeitos, mas em compreender e corrigir os imperfeitos.

Resumo Técnico: PROOF-Gen

Declaração do Problema

O pipeline padrão para destilar capacidades de chamada de ferramentas (tool-calling) em modelos implantáveis baseia-se em Ajuste Fino Supervisionado (SFT) utilizando trajetórias geradas por um modelo "professor" de fronteira. Este processo normalmente emprega um mecanismo de gerar-e-filtrar: o professor tenta uma tarefa, um verificador pontua a trajetória e apenas as trajetórias bem-sucedidas são retidas para treinamento.

O artigo identifica uma lacuna crítica de cobertura nesta abordagem:

A Filtragem Binária Descarta os "Quase-Acertos": Em verificação baseada em execução, uma trajetória que completa 90% das chamadas de ferramentas necessárias corretamente, mas falha em uma única ação decisiva (ex: um ponto de decisão dependente de estado), é inteiramente descartada.
Falta de Sinal a partir de Falhas: No $\tau^2$ -bench, 50% das tentativas do professor falham, sendo dois terços "quase-acertos", onde a precisão da chamada de ferramenta é alta, mas o estado final do ambiente ou do banco de dados está incorreto.
Ineficácia do Crédito Parcial: Treinar com dados filtrados ou usar recompensas parciais por turno melhora a precisão da ação intermediária, mas falha em melhorar a conclusão da tarefa de ponta a ponta. O modelo estudante nunca observa uma trajetória completa e bem-sucedida navegando pelo ponto de decisão específico onde o professor falhou.
Limitações de Amostragem Estocástica: Simplesmente amostrar mais trajetórias ou aumentar a temperatura recupera erros estocásticos, mas não falhas estratégicas, que persistem através de reamostragens do mesmo professor.

Metodologia: PROOF-Gen

Os autores introduzem o PROOF-Gen (Per-scenario Reflective Optimization to Overcome Failed Generation), um método que recupera trajetórias "douradas" a partir de falhas do professor em vez de descartá-las. O pipeline inverte o objetivo padrão de otimização de prompt: em vez de encontrar um único prompt que generalize entre tarefas, ele otimiza um prompt para um cenário único para forçar uma trajetória bem-sucedida, e então descarta o prompt.

O processo consiste em três etapas principais:

Loop de Recuperação por Cenário:
- Para cada tarefa onde o professor (ex: GPT-4o) falha, um modelo refletor (um modelo de fronteira mais forte, ex: GPT-5.1) analisa o rastro de execução falho e o feedback do verificador.
- O refletor gera um "folheto de consulta" (cheatsheet): um bloco de orientação em linguagem natural (diagnósticos, etapas procedimentais, ordenação de ferramentas) anexado ao prompt de sistema do professor para aquela tarefa específica.
- O professor reexecuta a tarefa do zero usando este folheto de consulta.
- Se o professor ainda falhar, o refletor revisa o folheto com base no novo rastro e feedback. Este loop se repete até $K=10$ iterações até que o professor passe em todos os avaliadores.
- O processo utiliza um otimizador de prompt iterativo (GEPA) para refinar o folheto de consulta.
Remoção de Andaime (Scaffold Removal):
- Antes do treinamento, o folheto de consulta é removido da trajetória.
- O modelo estudante é ajustado finamente na trajetória recuperada isoladamente. Isso garante que o estudante aprenda a capacidade demonstrada pela trajetória (a sequência correta de chamadas de ferramentas e gestão de estado) sem herdar o andaime (as instruções ou orientações específicas usadas para gerá-la).
Composição dos Dados de Treinamento:
- O conjunto de treinamento final é a união das trajetórias filtradas (originalmente bem-sucedidas) e das recuperadas (originalmente falhas, agora corrigidas).
- Esta abordagem desacopla a capacidade (fornecida pela resolução de problemas do refletor) da voz (fornecida pelo estilo de interação do executor), permitindo que equipes aumentem a cobertura de tarefas sem interromper o tom do produto ou o perfil de latência estabelecidos.

Principais Contribuições

Recuperação de Cenários Difíceis: O PROOF-Gen transforma o pipeline "gerar-e-filtrar" em um pipeline "gerar-recuperar-e-filtrar", recuperando trajetórias que anteriormente eram descartadas.
Otimização de Prompt por Cenário: Introduz o uso de otimização de prompt automática como um mecanismo de geração de dados para cenários únicos, em vez de uma ferramenta de otimização de inferência geral.
Destilação Preservadora de Voz: Ao manter o executor (professor) inalterado e modificar apenas seu prompt via um refletor, o método permite que o estudante herde capacidades avançadas de resolução de problemas sem adotar o estilo de interação ou a verbosidade distinta do refletor.
Objetivos Configuráveis: O refletor pode ser direcionado para otimizar qualquer combinação de dimensões (ex: fundamentação, brevidade, formatação) além da conclusão da tarefa.

Resultados

Eficácia da Recuperação (RQ1)

Altas Taxas de Recuperação: No domínio de telecomunicações do $\tau^2$ -bench, a otimização por cenário recuperou 93% das falhas amostradas do professor (279 de 300).
Capacidade do Refletor: As taxas de recuperação são impulsionadas pela capacidade de raciocínio do refletor. O GPT-5.1 alcançou uma taxa de recuperação de 97,6% em um conjunto de ablação cross-domain, comparado a 24,4% para a autorreflexão do GPT-4o.
Convergência: A maioria dos cenários solucionáveis (58,7%) foi resolvida na primeira iteração, com 84,1% resolvidos até a terceira.

Impacto a Jusante (RQ2)

Ganhos de Ponta a Ponta: Modelos treinados no conjunto combinado (filtrado + recuperado) mostraram melhorias consistentes na conclusão de tarefas de ponta a ponta, enquanto modelos treinados apenas com dados filtrados (a linha de base de crédito parcial) não mostraram.
- Qwen3-4B-Instruct-2507: Melhorou de Pass@1 = 0,132 para 0,529 no $\tau^2$ -bench telecom.
- Gemma 4 E4B-it: Ganhou +7,2 pontos percentuais no BFCL v4 multi-turn.
Métricas de Parte vs. Total: O treinamento apenas com dados filtrados melhorou a precisão da ação (+25pp), mas falhou em melhorar a precisão do ambiente ou do estado do banco de dados. O treinamento combinado melhorou todos os três, fechando a lacuna nos pontos de decisão decisivos.
Robustez Estocástica: Os ganhos persistiram sob amostragem estocástica (temperatura 1.0), com modelos combinados alcançando ~54% de sucesso em tarefas de inversão (flip tasks) contra quase zero para as linhas de base.

Escala de Produção (RQ3)

Implantação: O método foi implantado em um sistema de agente de chamada de ferramentas em produção pós-treinamento.
Métricas: Melhorou a qualidade da trajetória em +6,3pp na conclusão de objetivos e entre +2,5 a +8,0pp em cinco métricas de qualidade de resposta.
Transferência: Esses ganhos foram transferidos para um modelo implantado em dispositivo (+1,5pp em conclusão de objetivo) com transferência positiva observada em cada localidade avaliada (média para idiomas não ingleses de +1,48pp), indicando que o conhecimento corretivo é amplamente agnóstico à linguagem.

Significância e Alegações

O artigo afirma que o teto da qualidade da destilação é definido a montante, no momento da geração de dados. Se os cenários mais difíceis estão sistematicamente ausentes da distribuição de treinamento (porque são filtrados), nenhum algoritmo de treinamento a jusante (ex: RL, outras divergências) pode compensar.

O PROOF-Gen aborda isso tratando as falhas do professor como recuperáveis em vez de terminais. Ao usar um refletor mais forte para guiar um executor mais fraco a um estado de sucesso, o método gera demonstrações limpas de resolução de problemas complexos que o próprio professor base não conseguiria produzir sozinho. Os autores enfatem que esta abordagem permite o desacoplamento capacidade-voz, possibilitando a integração de raciocínio avançado de modelos de fronteira em agentes menores e implantados sem alterar o estilo de interação ou o perfil de latência estabelecido do agente.

O trabalho é apresentado como uma solução prática e escalável para sistemas de produção, validada através de benchmarks controlados e uma implantação no mundo real, demonstrando que recuperar falhas descartadas é um passo necessário para fechar a lacuna de cobertura em agentes de chamada de ferramentas.