Resumo Técnico: FAPO (Otimização de Prompt Totalmente Autônoma)

Declaração do Problema

Pipelines de Grandes Modelos de Linguagem (LLMs) de múltiplas etapas, que integram passos de recuperação, raciocínio e formatação, falham frequentemente devido a interações complexas entre esses componentes. Métodos tradicionais de otimização de prompt falham em abordar esses problemas porque tratam o pipeline como uma caixa preta ou focam exclusivamente na otimização de prompt de turno único. Consequentemente, gargalos decorrentes de falhas estruturais, lacunas de recuperação ou erros de formatação propagam-se através da cadeia, limitando o desempenho geral. Ferramentas existentes como o DSPy otimizam prompts dentro de estruturas de programas fixos, mas carecem da capacidade de inspecionar falhas no nível de etapa intermediária e alterar dinamicamente a arquitetura do pipeline dentro de um código-fonte padronizado.

Metodologia: O Framework FAPO

O FAPO (Fully Autonomous Prompt Optimization) é um framework projetado para otimizar pipelines de LLM tratando-os como fluxos de trabalho inspecionáveis. Ele utiliza o Claude Code como um orquestrador autônomo para conduzir um processo de otimização de ciclo fechado dentro de um espaço de trabalho de código isolado e padronizado.

Arquitetura Central

O sistema opera em torno de um modelo de "tenant" (inquilino), onde cada tarefa (ex: QA, classificação de segurança) possui seu próprio espaço de trabalho isolado contendo instruções, prompts, regras de pontuação e escopos de mudança permitidos. O loop de otimização consiste nas seguintes etapas:

1. Avaliação: O sistema executa a variante atual do pipeline em casos de treinamento, registrando saídas finais, pontuações e, crucialmente, artefatos de etapas intermediárias (logs, resultados de recuperação, traços de raciocínio).
2. Atribuição de Falha: Um subagente analisa as evidências registradas para diagnosticar a causa raiz das falhas. Ele classifica os erros como:
   • Endereçáveis via Prompt: Problemas como respostas verbosas, abstenção ou instruções fracas.
   • Estruturais: Problemas como cobertura de recuperação insuficiente, etapas de pipeline ausentes ou restrições de formatação que prompts não podem corrigir.
3. Proposta Escopada: Com base na atribuição, o otimizador propõe uma mudança única e escopada.
   • Política de Prioridade ao Prompt: O sistema prioriza edições de prompt.
   • Escalação: Ele só escala para a alteração de parâmetros da cadeia ou estrutura do pipeline (ex: adicionar nós, modificar profundidade de recuperação) quando o relatório de atribuição identifica um gargalo estrutural que edições de prompt dificilmente resolveriam, e quando o contrato de escopo do tenant permite tais mudanças.
4. Revisão e Validação: Um agente revisor separado verifica se as propostas cumprem o escopo, não possuem vazamento de dados e são compatíveis com o pontuador. Se aprovada, a variante é avaliada contra pontuações de validação agregadas.
5. Iteração: O processo se repete, mantendo as melhorias e iterando até que o desempenho estagne ou o orçamento seja esgotado.

Salvaguardas

Para evitar o sobreajuste (overfitting) e garantir a segurança, o FAPO emprega:

• Controles de Acesso Divididos: O otimizador vê casos individuais de treinamento, mas apenas pontuações agregadas para conjuntos de validação/teste.
• Restrições de Escopo: Os playbooks dos tenants definem estritamente mudanças permitidas e proibidas.
• Imutabilidade de Variante: Cada tentativa é registrada como um arquivo distinto para manter um histórico completo.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Uma Técnica de Otimização de Pipeline Baseada em Claude Code: Diferente de métodos anteriores que otimizam prompts isoladamente, o FAPO integra a edição de prompts com mudanças estruturais no pipeline, escalando para estas últimas apenas quando a evidência sustenta a necessidade.
2. Um Procedimento de Espaço de Trabalho Reprodutível: O framework registra saídas finais, etapas intermediárias, configurações e históricos de variantes, garantindo total visibilidade e reprodutibilidade das tentativas de otimização.
3. Validação Empírica: Experimentos extensos demonstram as vantagens de desempenho da técnica em diversos domínios, incluindo QA, verificação de fatos, seguimento de instruções, matemática e classificação de segurança.

Resultados Experimentais

O FAPO foi avaliado contra o GEPA (um otimizador de prompt de estado da arte) em seis benchmarks e três modelos de tarefa (GPT-4.1-mini, GPT-5.4-mini e Gemma 3-12B).

• Desempenho Geral: O FAPO superou o GEPA em 15 de 18 comparações de modelo-benchmark. O ganho médio do FAPO sobre o GEPA foi de +14,1 pontos percentuais (pp).
• Significância Estatística: Em 11 comparações, as vitórias do FAPO foram estatisticamente significativas (intervalos de média ± desvio padrão não sobrepostos).
• Impacto de Mudanças Estruturais: As melhorias mais dramáticas ocorreram no HoVer e IFBench, onde a busca apenas por prompt foi insuficiente. O FAPO escalou para mudanças estruturais (ex: estender cadeias de recuperação de 3 para 4–5 saltos, adicionar nós determinísticos de pós-processamento). Nessas seis comparações, o FAPO venceu todas as seis com um ganho médio de +33,8 pp.
• Desempenho Apenas de Prompt: Mesmo em comparações restritas a edições de prompt, o FAPO venceu 9 de 12 casos, atribuído ao raciocínio iterativo profundo do orquestrador Claude Code.
• Tarefas de Segurança: Na tarefa CTIBench-RCM (classificação de CVE para CWE), onde o escopo foi restrito a edições apenas de prompt, o FAPI melhorou a precisão de teste em +4,0 pp no GPT-5, +7,1 pp na Foundation-Sec-8B-Instruct e +2,0 pp na Foundation-Sec-8B-Reasoning.
• Exceções: O FAPO não superou o GEPA no benchmark AIME em todos os modelos. Os autores atribuem isso ao tamanho pequeno da amostra em relação ao espaço do problema e ao potencial sobreajuste, tratando o resultado como inconclusivo em vez de uma falha do método.

Significância e Alegações

O artigo posiciona o FAPO como uma técnica de estado da arte para otimizar sistemas de LLM de múltiplas etapas. Sua significância reside na mudança do paradigma de otimização de "encontrar um único prompt bem-sucedido" (comum em jailbreaking adversarial) para "melhorar o desempenho médio de um pipeline implantável".

Ao combinar atribuição de nível de etapa com uma política de escalação de prioridade ao prompt, o FAPO aborda os modos de falha específicos de pipelines complexos que a otimização de prompt de turno único não consegue capturar. Os autores afirmam que essa abordagem fundamentada em evidências e consciente do pipeline fornece um caminho prático para sistemas de LLM mais confiáveis, tanto para tarefas de propósito geral quanto para tarefas de segurança, indo além das limitações da otimização de prompt de estrutura fixa.