Resumo Técnico: Ajuste de Prompt Reflexivo por Meio de Chamada de Função em Modelos de Linguagem

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado capacidades significativas no seguimento de instruções e no raciocínio complexo, o design de prompts permanece um processo intensivo em mão de obra e iterativo, altamente sensível à formatação, à redação e à ordem das instruções. Os métodos existentes de otimização automatizada de prompts enfrentam várias limitações:

1. Pipelines Fixos: Muitos métodos (por exemplo, ACE) atualizam modelos de prompt fixos ou manuais auxiliares, limitando a capacidade de realizar revisões arbitrárias no nível do prompt.
2. Otimização Local: As atualizações são frequentemente impulsionadas por exemplos individuais ou pequenos lotes (minibatches), tornando a otimização sensível a falhas locais em vez de padrões de erro sistemáticos e recorrentes.
3. Falta de Memória: A maioria dos métodos carece de memória explícita de relatórios diagnósticos e revisões anteriores, dificultando a atribuição de crédito entre iterações.
4. Foco Apenas no Desempenho: A seleção de prompts é tipicamente impulsionada exclusivamente pelo desempenho da tarefa, ignorando propriedades de confiabilidade mais amplas, como a calibração de confiança.

Metodologia: Ajuste de Prompt Reflexivo (RPT)

Os autores propõem o Ajuste de Prompt Reflexivo (RPT), um framework que aproveita as capacidades de chamada de função de LLMs para simular o fluxo de trabalho iterativo de engenheiros de prompts humanos. O RPT opera como um processo orientado por diagnóstico, em duas etapas:

1. Construção de Feedback Diagnóstico

Em cada iteração $t$, um LLM Otimizador chama uma Função Diagnóstica para avaliar o modelo-alvo em todo o conjunto de otimização ($D_{train}$). Esta função realiza:

• Coleta e Pontuação de Comportamento: Executa o modelo-alvo com o prompt atual $p_t$, registrando traços de raciocínio, respostas e confiança relatada. Calcula métricas agregadas (precisão, escore Brier).
• Detecção de Falhas e Crítica: Identifica respostas incorretas e emprega um LLM de Crítica para gerar 1 a 3 diagnósticos concisos no nível da resposta para cada falha, avaliando tanto a correção quanto a adequação da confiança relatada.
• Agrupamento de Modos de Falha Recorrentes: Utiliza o ClusterFusion para agrupar diagnósticos semanticamente semelhantes em tópicos de falha recorrentes (por exemplo, "Restrições Ausentes", "Erro de Decomposição de Raciocínio"). Isso agrega críticas locais em um resumo sistemático de padrões de falha no nível do conjunto de dados.
• Geração de Relatório: Retorna um relatório diagnóstico estruturado $R_t$ contendo o prompt atual, métricas agregadas e um subconjunto filtrado de tópicos de falha agrupados com exemplos representativos.

2. Revisão Reflexiva de Prompt com Memória

O LLM Otimizador gera o próximo prompt $p_{t+1}$ condicionando-se a:

• O relatório diagnóstico atual $R_t$.
• Uma memória externa $M_{<t}$ de todos os relatórios anteriores e revisões de prompts.

Este mecanismo de memória permite que o otimizador raciocine sobre a trajetória de otimização, rastreando falhas persistentes, tentativas anteriores de refinamento e mudanças de desempenho ao longo do tempo, em vez de tratar cada atualização isoladamente. O processo itera até que o desempenho se estabilize ou que um orçamento seja atingido.

Otimização Consciente de Confiança

O RPT incorpora sinais de calibração diretamente no feedback diagnóstico e no critério final de seleção de prompts. A função de seleção $\Phi$ otimiza conjuntamente o desempenho da tarefa e a calibração (penalizando a má calibração via escore Brier), garantindo que o prompt final $p^*$ seja selecionado com base tanto na precisão quanto na estimativa confiável de confiança.

Contribuições Principais

1. Design de Framework: O RPT introduz um framework baseado em chamada de função que imita fluxos de trabalho de engenharia de prompts humanos, separando explicitamente o diagnóstico (via uma função estruturada) da revisão (via o otimizador).
2. Diagnóstico Sistemático: Diferentemente de métodos que dependem de exemplos únicos, o RPT avalia todo o conjunto de otimização para identificar e agrupar modos de falha recorrentes, permitindo edições de prompts direcionadas fundamentadas no histórico de falhas.
3. Otimização Aumentada por Memória: Ao manter uma memória externa de relatórios diagnósticos, o RPT aborda desafios de atribuição de crédito, permitindo que o sistema distinga entre falhas transitórias e persistentes.
4. Integração de Calibração: O RPT é o primeiro a integrar a calibração de confiança como um sinal de primeira classe tanto no loop diagnóstico quanto no objetivo final de seleção, melhorando a confiabilidade juntamente com o desempenho.

Resultados Experimentais

Os autores avaliaram o RPT em três tarefas de raciocínio: HotPotQA (raciocínio multi-hop), LiveBench-Math (raciocínio matemático) e Formula (raciocínio numérico específico de domínio), utilizando o GPT-4.1 como modelo-alvo.

• Ganhos de Desempenho: O RPT melhorou consistentemente em relação aos prompts iniciais, alcançando ganhos de até +12,9 pontos no HotPotQA, +12,4 pontos no LiveBench-Math e +11,7 pontos no Formula.
• Competitividade: O RPT manteve-se competitivo com baselines de última geração (ACE, GEPA, MIPRO), frequentemente superando-os, particularmente em tarefas com falhas recorrentes de raciocínio.
• Impacto do Otimizador: O desempenho escalou com a capacidade do LLM otimizador (por exemplo, o GPT-5 superou o GPT-5-mini), sugerindo que a complexidade da atribuição de crédito e do diagnóstico se beneficia de modelos de raciocínio mais fortes.
• Calibração: Experimentos conscientes de confiança demonstraram que incorporar sinais de calibração melhorou os escores Brier (melhor calibração) sem sacrificar o desempenho da tarefa.
• Análise: A análise de traços revelou que o RPT produz revisões direcionadas alinhadas com modos de falha diagnosticados (por exemplo, adicionar etapas de verificação para erros matemáticos ou restrições de intervalo para QA). No entanto, o artigo observa que o RPT é menos eficaz em tarefas de computação específicas de domínio (Formula) em comparação com o ACE, onde atualizações localizadas no nível da instância ou estruturas predefinidas podem ser mais eficazes.

Significado e Limitações

O artigo afirma que o RPT demonstra que LLMs com chamada de ferramentas podem permitir otimização de prompts escalável e interpretável. Ao simular o fluxo de trabalho diagnóstico e reflexivo de engenheiros humanos, o RPT vai além de simples buscas ou atualizações de texto baseadas em gradiente, rumo a refinamentos estruturados e conscientes de memória.

Limitações reconhecidas pelos autores:

• Escopo: A avaliação limita-se a três tarefas de raciocínio; a generalização para geração aberta, codificação ou agentes interativos não foi verificada.
• Custo Computacional: O RPT é mais caro do que métodos que utilizam pequenos lotes (minibatches), pois avalia todo o conjunto de otimização e agrupa diagnósticos em cada iteração.
• Dependência de Modelo: Os experimentos dependem de modelos proprietários de fronteira (GPT-4.1, GPT-5, Gemini) tanto como alvo quanto como otimizador; a eficácia em modelos open-source menores é desconhecida.
• Limites Fundamentais: O RPT melhora prompts, mas não pode garantir a resolução de todas as falhas, particularmente erros profundos de raciocínio ou questões de convenção de domínio que podem exigir ajuste fino (fine-tuning) ou ferramentas externas. A calibração de confiança depende de confiança verbalizada, que permanece um proxy de caixa preta.