Resumo Técnico: GRASP (Propositor de Habilidades Consciente de Regressão com Portão)

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Porte (LLM) operando em ambientes estruturados (por exemplo, registros eletrônicos de saúde, bancos de dados, interfaces web) frequentemente falham devido a violações operacionais das regras do ambiente, e não a mal-entendidos conversacionais. A confiabilidade nesses contextos depende de conhecimento procedimental específico do ambiente, e não da capacidade geral de linguagem.

Métodos anteriores de autoaperfeiçoamento tipicamente acumulam orientações em linguagem natural (reflexões, regras ou habilidades) de forma monotônica durante a inferência. Um defeito crítico nessas abordagens é a falta de validação contra o comportamento existente: uma nova nota ou regra que corrige uma trajetória de falha pode silenciosamente causar regressão no desempenho em trajetórias anteriormente corretas. Com o tempo, essa acumulação ilimitada dilui o conteúdo relevante para a tarefa, degrada a janela de contexto do agente e leva ao esquecimento catastrófico ou a desempenho oscilante.

Metodologia: GRASP

Os autores introduzem o GRASP (Propositor de Habilidades Consciente de Regressão com Portão), um framework que trata o autoaperfeiçoamento do agente como uma sequência de edições validadas em uma biblioteca limitada de instruções comportamentais (habilidades), sem atualizar os parâmetros do modelo.

Componentes Principais

1. Habilidades Estruturadas: As habilidades são documentos Markdown com frontmatter YAML contendo uma condição de acionamento, uma regra comportamental, uma etapa de verificação opcional e um exemplo contrastivo. Elas são injetadas no contexto do agente durante a inferência.
2. Proposta Impulsionada por Falhas:
   • Trajetórias falhas são agrupadas por modos de falha específicos do mecanismo (por exemplo, date_filter_omitted em vez de wrong_answer genérico).
   • Um modelo de escrita de habilidades propõe edições (ADICIONAR, MODIFICAR ou REMOVER) para os modos de falha mais frequentes, utilizando resumos de habilidades ativas e rótulos de outros modos de falha para desencorajar regressões.
   • A biblioteca é limitada por capacidade; adicionar uma habilidade exige remover uma, a menos que haja capacidade disponível.
3. Seleção Consciente de Regressão (O Portão):
   • Antes da aceitação, cada edição candidata é avaliada em uma sonda de retenção balanceada consistindo de exemplos anteriormente falhos e anteriormente aprovados do conjunto de desenvolvimento.
   • O sistema calcula uma linha de base ($F_0, R_0$) reexecutando a biblioteca atual na sonda.
   • Uma biblioteca candidata ($S_c$) é aceita apenas se:
     1. Produzir uma melhoria líquida: $(F(c) - F_0) - (R(c) - R_0) > 0$.
     2. Respeitar um orçamento rígido de regressão: $R(c) \le R_0$ (nenhuma nova regressão além da linha de base existente).
   • Se o melhor candidato causar regressões, uma etapa de revisão contrastiva tenta estreitar o acionador ou adicionar cláusulas de proteção.

Protocolo de Treinamento

O GRASP opera em lotes sobre um conjunto de desenvolvimento. Após cada lote, o escritor de habilidades gera candidatos, que são pontuados na sonda. O melhor candidato válido é aplicado à biblioteca. O processo se repete por várias épocas. Não ocorrem atualizações de parâmetros; apenas a biblioteca de habilidades evolui.

Contribuições Principais

1. Edição com Portão vs. Acumulação Monotônica: O GRASP muda o paradigma da acumulação ilimitada de orientações para edição limitada e validada. Isso previne o problema de "regressão silenciosa" onde corrigir um erro quebra outro.
2. Validação do Mecanismo, Não Apenas do Conteúdo: Estudos de ablação demonstram que os ganhos de desempenho são impulsionados pelo portão de validação e pela geração comparativa de propostas, e não meramente pelo ato de escrever habilidades. Sem o portão, a escrita de habilidades não performa melhor do que não usar habilidades.
3. Transferência entre Modelos e entre Benchmarks:
   • Transferência Assimétrica: Bibliotecas escritas por modelos mais fortes (por exemplo, GPT-5.4) melhoram significativamente executores mais fracos em tarefas fora da distribuição (OOD), frequentemente superando o que os modelos mais fracos aprendem por si mesmos. O inverso (mais fraco para mais forte) não se sustenta.
   • Conhecimento Específico do Ambiente: Essa assimetria sugere que as bibliotecas codificam conhecimento procedimental específico do ambiente, e não padrões específicos do modelo.
   • Generalização: O mecanismo melhora o desempenho em ambientes não clínicos (ALFWorld, WebShop) onde as tarefas possuem estrutura verificável, mas falha em melhorar o desempenho onde o espaço de ação é aberto (Interação com SO).
4. Eficiência e Auditabilidade: O GRASP mantém uma biblioteca pequena e versionada (média de ~5 habilidades, ~5,6 mil tokens) que é significativamente menor do que as linhas de base de memória ilimitada (34k–53k tokens), reduzindo os custos de inferência. O formato estruturado permite auditoria humana e edições reversíveis.

Resultados Experimentais

Os autores avaliaram o GRASP em cinco modelos base (gpt-oss-120b, DeepSeek V4 Flash, Gemini 3.1 Flash Lite, GPT-4.1, GPT-5.4) em dois benchmarks clínicos baseados em FHIR (MedAgentBench, MedAgentBench-v2) e quatro ambientes AgentBench não clínicos.

• Desempenho no MedAgentBench: O GRASP superou substancialmente cinco linhas de base (incluindo métodos baseados em memória e extração de regras).
  • No gpt-oss-120b, o GRASP elevou a precisão de 40,6% (sem habilidades) para 88,8%, um ganho de 48,2 pontos sobre a linha de base e 21,0 pontos sobre o competidor mais forte (Evo-MedAgent).
  • Melhorias semelhantes foram observadas em todos os modelos, com ganhos variando de 17,2 a 40,3 pontos sobre suas respectivas linhas de base.
  • No conjunto de dados OOD, o GRASP alcançou uma vantagem de 25,0 pontos sobre a melhor linha de base no gpt-oss-120b.
• Descobertas de Ablação:
  • Remover o portão de aceitação fez o desempenho cair ao nível da linha de base sem habilidades (40,1% vs 40,6%).
  • Remover o orçamento de regressão reduziu o desempenho em 7,0 pontos.
  • A seleção "apenas correções" (ignorando exemplos aprovados) reduziu o desempenho em 8,6 pontos e aumentou a variância.
• Resultados de Transferência:
  • Aplicar uma biblioteca treinada no GPT-5.4 ao gpt-oss-120b melhorou a precisão OOD de 56,3% para 77,8% (+21,5 pontos).
  • A transferência entre benchmarks funcionou entre variantes do MedAgentBench, mas degradou o desempenho no FHIR-AgentBench, indicando que as habilidades estão vinculadas a convenções específicas de interface, e não a competência clínica geral.

Significado e Alegações

O artigo afirma que tratar o autoaperfeiçoamento do agente como edição com portão de uma biblioteca limitada oferece um caminho robusto para refinamento iterativo em ambientes onde a confiabilidade procedimental é crítica.

• Confiabilidade Procedimental: O método aborda o modo de falha específico de métodos anteriores de feedback verbal, onde a acumulação monotônica degrada o contexto.
• Destilação sem Parâmetros: A transferência assimétrica entre modelos sugere que modelos mais fortes podem destilar fatos operacionais sobre um ambiente em uma biblioteca que modelos mais fracos podem seguir, mesmo que não consigam gerar esses fatos por si mesmos.
• Implantação Prática: A natureza limitada e auditável da biblioteca de habilidades torna-a adequada para implantação em domínios de alto risco (como ambientes clínicos), onde os agentes devem ser inspecionáveis e corrigíveis sem retreinamento completo.
• Limitações: Os autores observam que a etapa de validação é o custo computacional dominante. Além disso, as habilidades são políticas ajustadas aos critérios de pontuação do benchmark (correspondência exata contra a verdade fundamental), e não a expertise médica, exigindo revisão por clínicos para implantação no mundo real. O método também é limitado pelos orçamentos de ação fixos de certos benchmarks, que nenhum método otimizou com sucesso.

Em resumo, o GRASP demonstra que a edição validada é o principal motor de melhoria em ambientes de agentes estruturados, superando métodos que dependem exclusivamente da geração de habilidades ou da acumulação ilimitada de memória.