Resumo Técnico: Políticas de Prompting para Raciocínio Multi-Step e Uso de Ferramentas em LLMs de Caixa-Preta com Distilação Iterativa de Experiência

1. Declaração do Problema

O artigo aborda o "gargalo do ajuste fino" inerente ao cenário moderno de Modelos de Linguagem de Grande Escala (LLMs). À medida que a indústria migra para modelos proprietários de "caixa-preta" (por exemplo, Gemini-Pro, GPT-5) acessíveis apenas via API, técnicas tradicionais de aprendizado por transferência, como atualizações completas de parâmetros ou Ajuste Fino Eficiente em Parâmetros (PEFT), como LoRA, tornam-se impossíveis devido à falta de acesso aos pesos do modelo, gradientes ou grafos de computação internos.

Consequentemente, a adaptação de tarefas depende de Aprendizado em Contexto (ICL) e engenharia de prompts. No entanto, a engenharia manual de prompts é heurística e frágil; os LLMs são altamente sensíveis ao "ruído semântico", onde pequenas perturbações na formulação ou na ordem dos exemplos podem causar flutuações significativas no desempenho. Embora existam métodos de Otimização Automática de Prompt (APO), muitos dependem de algoritmos evolutivos ou reflexões baseadas em LLM que tratam a otimização como geração heurística, em vez de uma política estruturada. Esses métodos frequentemente lutam com trajetórias complexas de raciocínio multi-step e carecem da eficiência de amostra necessária para implantação robusta.

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço (RL) que treina uma "Política de Prompter" aprendida para otimizar prompts para um LLM "Worker" maior e congelado. A inovação central reside em desacoplar a lógica de controle (o prompter) da lógica de execução (o worker) e utilizar uma Distilação Iterativa de Experiência.

2.1 Arquitetura de Duplo Agente

• Agente Prompter ($\pi_\theta$): Um LLM menor e eficiente (por exemplo, 2–10 bilhões de parâmetros) que atua como a política treinável. Ele gera instruções de tarefa (prompts) com base no contexto da tarefa e em um histórico de experiências passadas. Os gradientes são computados exclusivamente para este modelo.
• Agente Worker Congelado ($\pi_{LLM}$): Um grande motor de raciocínio congelado (por exemplo, 1 trilhão de parâmetros) que executa as instruções geradas pelo Prompter. Ele serve como o ambiente e fornece a saída.

2.2 O Objetivo

O objetivo é aprender parâmetros $\theta$ para a política do prompter $\pi_\theta$ que maximizem a recompensa esperada $R(p, x, y)$ sobre um conjunto de dados $D$, enquanto minimizam o desvio de uma política de referência $\pi_{ref}$ através de uma penalidade de divergência KL:
$$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
O framework suporta tanto Otimização de Prompt Fixo (aprendendo um único prompt estático) quanto Otimização de Prompt Dinâmico (aprendendo uma meta-política que se adapta a contextos de tarefa específicos).

2.3 Buffer de Experiência Contrastiva

Para abordar a esparsidade das recompensas escalares (correto/incorreto) e o custo computacional da autorreflexão multi-turno, os autores introduzem um Buffer de Experiência Contrastiva.

• Mecanismo: O buffer armazena trajetórias de $(prompt, crítica, recompensa)$. As críticas são descrições textuais densas de discrepâncias entre a saída do Worker e a verdade fundamental, geradas por um modelo de feedback externo.
• Amortização: Em vez de realizar autorreflexão multi-turno durante a inferência, o prompter é condicionado a um histórico amostrado $H$ do buffer durante o treinamento. Isso permite que a política "distile" padrões complexos de raciocínio e correção multi-turno em seus pesos.
• Estratégia de Atualização: Prompts são adicionados ao buffer se sua recompensa atender a um limiar relativo ao máximo do lote ($r \ge r_{max} - \epsilon$), garantindo um histórico diversificado, porém de alto desempenho.

3. Principais Contribuições

1. Distilação de Duplo Agente com Memória: Um framework onde o direcionamento estratégico é distilado em uma política de Prompter eficiente e aumentada por memória. Isso permite que o modelo aprenda com a experiência, comprimindo efetivamente trajetórias complexas de raciocínio em uma política simplificada.
2. Buffer de Experiência Contrastiva: Um mecanismo de feedback de alta largura de banda que acopla recompensas escalares com críticas textuais densas. Os autores fornecem uma caracterização formal mostrando como isso amortiza loops de autorreflexão multi-turno em pesos de política de tiro único, alcançando até 2,4× mais rápida convergência em comparação com baselines apenas escalares.
3. Descoberta de Heurísticas Algorítmicas: A análise qualitativa revela que a política aprendida evolui para descobrir estratégias especializadas, como "Ancoragem na Verdade Fundamental" (desconfiar de rastros fornecidos em favor da entrada bruta) e "Sequenciamento Atômico" para chamadas de ferramentas, em vez de depender de orientações abstratas.
4. Validação Empírica: A abordagem é validada no conjunto Big Bench Extra Hard (BBEH) para raciocínio intensivo em lógica e no $\tau$-bench para fluxos de trabalho de uso de ferramentas agênticas.

4. Resultados Experimentais

Os experimentos utilizam o Gemini 2.5 Flash como Worker congelado e o Gemini 2.5 Flash-lite como Prompter treinável.

4.1 Tarefas de Raciocínio (BBEH)

A Política do Prompter com Buffer de Experiência superou significativamente tanto as baselines zero-shot quanto a baseline evolutiva mais avançada, GEPA.

• Linguagens Dyck: Melhorou de 63,33% (Baseline) para 91,25% (Política do Prompter), um ganho de +27,92% sobre o GEPA.
• Web of Lies: Melhorou de 52,50% (Baseline) para 90,12%, um ganho de +37,62% sobre o GEPA.
• Disambiguation QA: Melhorou de 57,08% para 65,41%.

4.2 Tarefas de Uso de Ferramentas ($\tau$-Bench)

A política demonstrou ganhos substanciais em cenários de uso de ferramentas multi-step (domínios Varejo e Companhia Aérea).

• Varejo: Alcançou taxa de sucesso de 91,30% (vs. 73,91% baseline).
• Companhia Aérea: Alcançou taxa de sucesso de 83,33% (vs. 65,27% baseline).
• Os prompts ajustados por RL superaram o GEPA ao substituir orientações abstratas por fluxos de trabalho procedimentais concretos (por exemplo, agrupamento explícito de chamadas de ferramentas, verificação estrita de estado).

4.3 Generalização Cross-Modelo

A política treinada no modelo Flash mostrou compatibilidade futura, direcionando com sucesso o modelo maior Gemini Pro para uma taxa de sucesso de 80% em Linguagens Dyck (um ganho de +7,5% sobre sua baseline zero-shot). Por outro lado, ela fechou a lacuna entre modelos, permitindo que o modelo Flash de nível médio (91% com prompt otimizado) superasse o modelo Pro maior (72,5% com prompting zero-shot).

5. Significado e Alegações

O artigo alega que o framework RL proposto com distilação iterativa de experiência representa um avanço significativo na interação com LLMs de caixa-preta. Ao tratar a geração de prompts como um Processo de Decisão de Markov e utilizar um buffer de experiência contrastiva, a abordagem:

• Supera o Gargalo do Ajuste Fino: Permite a otimização de estratégias específicas de tarefa sem acessar pesos do modelo.
• Melhora a Eficiência de Amostra: A integração de críticas textuais densas no sinal de recompensa permite convergência mais rápida e melhor desempenho do que baselines evolutivas ou RL apenas escalar.
• Permite Evolução Estrutural: A política não apenas encontra um prompt "melhor"; ela descobre heurísticas algorítmicas especializadas (por exemplo, simulação de pilha independente, dedução de ancoragem e cadeia) que mudam fundamentalmente como o modelo worker aborda a tarefa.
• Oferece Vantagens de Custo-Benefício: O framework permite que modelos menores e mais baratos alcancem níveis de desempenho comparáveis ou superiores aos modelos maiores e zero-shot através de direcionamento instrucional aprendido.

Os autores reconhecem limitações, observando que a política foi treinada em um conjunto limitado de tarefas e que sua capacidade de transferência zero-shot para tarefas totalmente não vistas sem inicialização de buffer permanece um desafio para estudos futuros. Eles também sugerem trabalho futuro em gerenciamento sofisticado de buffer e geração de prompts personalizada baseada em representações de estado do usuário.