Resumo Técnico: SKILLREVISE

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) operam cada vez mais em ambientes orientados por verificadores, onde o sucesso depende da execução de fluxos de trabalho de múltiplos passos, satisfação de restrições e recuperação de falhas. Embora as "habilidades de agente" (artefatos procedimentais reutilizáveis) sejam projetadas para preencher a lacuna entre ferramentas atômicas e prompts de alto nível, os métodos existentes para adquirir essas habilidades enfrentam limitações significativas, particularmente em cenários de cold-start (partida a frio), onde apenas uma habilidade inicial imperfeita está disponível.

As abordagens atuais dividem-se em três categorias, cada uma com problemas distintos:

1. Métodos baseados em recuperação (Retrieval-based): Frequentemente selecionam habilidades que não correspondem totalmente à tarefa alvo, levando à interrupção da execução.
2. Métodos de autoevolução (Self-evolution): Requerem trajetórias e experiências acumuladas, tornando-os ineficazes ao começar do zero (cold-start) ou propensos ao overfitting.
3. Autoria direta (Especialista ou LLM de um único passo/One-shot): A autoria por especialistas é dispendiosa e pode não estar alinhada com os comportamentos reais de execução do agente. A geração via LLM de um único passo frequentemente produz habilidades que são sintaticamente corretas, mas comportamentalmente fracas, carecendo de validação contra traços de execução.

O desafio central é que as habilidades não melhoram o desempenho do agente tão confiaavelmente quanto as ferramentas atômicas; habilidades de baixa qualidade ou desalinhadas podem degradar o desempenho. Há uma necessidade de refinar iterativamente uma habilidade inicial, escrita por LLM e imperfeita, utilizando evidências de execução sem exigir um grande corpus pré-existente de trajetórias bem-sucedidas.

Metodologia: SKILLREVISE

Os autores propõem o SKILLREVISE, um framework fundamentado em execução, projetado para refinar iterativamente uma habilidade inicial ($S_0$) através de um ciclo de revisão limitado. O framework decompõe o processo de revisão em diagnóstico específico da tarefa e conhecimento de reparo geral, evitando a necessidade de experiência prévia extensa.

Componentes Principais

1. Diagnóstico ($D_i$): Um componente específico da tarefa que converte evidências brutas de execução em restrições de reparo. Para cada tentativa de revisão $i$, consiste em:

   • Especificação de Verificação ($V_i$): Requisitos observáveis (caminhos de saída, esquemas, formatos, asserções de passagem/falha).
   • Atribuição de Falha ($A_i$): Um resumo das verificações falhas, comportamento observado, causas prováveis e rótulos de defeito.
   • Restrições de Preservação ($K_i$): Registros de verificações que passaram e escolhas que devem ser preservadas para evitar regressão.

2. Memória de Princípios ($M$): Um repositório de princípios de reparo reutilizáveis, em vez de soluções específicas de tarefas. Cada princípio abstrai um defeito recorrente de design de habilidade em um padrão de reparo operacional, especificando quando aplicá-lo, qual defeito ele aborda e como verificar o reparo. O sistema inicia com um conjunto de sete princípios (ex: "Expor saídas ao verificador", "Preservar comportamento correto").

3. Operador de Revisão ($R_\phi$): Este módulo mapeia a habilidade atual ($S_i$), o diagnóstico ($D_i$) e os princípios recuperados ($P_i$) para um candidato de habilidade revisada ($\hat{S}_{i+1}$) e um traço de revisão ($z_i$). Crucialmente, ele aplica âncoras de execução (execution anchors) — instruções específicas sobre como uma edição textual deve alterar o comportamento do executor (ex: "recarregar o arquivo", "analisar JSON", "verificar chaves") — garantindo que as edições sejam fundamentadas em passos acionáveis.

4. Episódio de Revisão Limitado: O framework opera sob um orçamento finito (ex: $B=3$ rodadas).

   • Execução & Diagnóstico: A habilidade atual é executada; se ocorrerem falhas, um diagnóstico é gerado.
   • Recuperação & Vinculação: Princípios relevantes são recuperados de $M$ e vinculados ao diagnóstico atual.
   • Revisão & Re-execução: Uma habilidade candidata é gerada e re-executada.
   • Seleção com Filtro de Utilidade: O sistema mantém um conjunto de candidatos observados. A saída final não é necessariamente a última revisão gerada, mas a melhor habilidade observada ($S^*$) baseada em uma função de utilidade $U(S, T)$. Esta função equilibra taxa de sucesso, eficiência de execução, desempenho de transferência e custos de interferência, garantindo que ganhos de eficiência só sejam recompensados se a tarefa for concluída com sucesso.

Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Formulação: Reenquadra a melhoria de habilidades em cold-start como uma revisão limitada e fundamentada em execução de uma habilidade inicial escrita por LLM, distinta de recuperação ou autoevolução aberta.
2. Framework: Introduz o SKILLREVISE, que integra Diagnóstico específico da tarefa, Memória de Princípios reutilizáveis e revisão ancorada em execução com seleção filtrada por utilidade para reter sistematicamente a versão ideal da habilidade.
3. Avaliação: Fornece validação empírica extensiva através de três benchmarks (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) e um estudo de ALFWorld, demonstrando ganhos consistentes sobre as bases de "sem habilidade" (no-skill) e de um único passo (one-shot) em múltiplos modelos de executor.

Resultados Experimentais

O framework foi avaliado usando um harness compartilhado orientado por verificador através de cinco LLMs (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro).

• Ganhos de Desempenho: No SkillsBench padrão, o SKILLREVISE melhorou a taxa de sucesso do agente GPT-5.5 de 36,05% (sem habilidade) e 39,53% (geração one-shot) para 61,63% em apenas três rodadas de revisão. Melhorias substanciais semelhantes foram observadas no SkillLearnBench-Random e no SWE-Skills-Bench-Hard.
• Transferibilidade entre Modelos: As habilidades revisadas exibiram forte transferibilidade. Quando habilidades fixas revisadas pelo GPT-5.5 foram aplicadas a outros executores (ex: Opus-4.7, DeepSeek-V4-Pro), elas frequentemente superaram a base de "sem habilidade", sugerindo que as habilidades capturam conhecimento procedural generalizado em vez de artefatos específicos do modelo. No entanto, a revisão específica do executor geralmente produziu o maior desempenho.
• Estudos de Ablação: Remover o componente de Diagnóstico causou a maior queda de desempenho (de 53/86 para 28/86 no SkillsBench), destacando a necessidade de conectar explicitamente as evidências do verificador aos defeitos de nível de habilidade. O Livro de Preservação (Preserve Ledger) e as Âncoras de Execução também foram críticos para prevenir regressões e garantir que as edições induzissem ações concretas.
• Estudo ALFWorld: Em um estudo de absorção de princípios, um banco compacto de 10 princípios aprendidos de 25 tarefas de calibração melhorou o desempenho em um conjunto de 100 tarefas não vistas, resolvendo 71/100 tarefas, demonstrando a capacidade de abstrair falhas locais em padrões de reparo reutilizáveis.

Significância e Alegações

O artigo alega que a revisão fundamentada em execução é um paradigma confiável para a autoria automatizada de habilidades, particularmente em cenários de cold-start. A significância do trabalho reside em demonstrar que:

• Habilidades são mais eficazes quando não são conselhos estáticos, mas memórias procedimentais testáveis refinadas por falhas observadas.
• Uma abordagem estruturada combinando diagnóstico, princípios gerais e seleção filtrada por utilidade pode superar a fragilidade da geração de um único passo e a carência de dados da autoevolução.
• O framework consegue preencher a lacuna entre a autoria por especialistas (custosa) e a geração de um único passo (não confiável) ao refinar iterativamente um rascunho inicial usando o feedback do verificador.

Os autores notam modestamente limitações, incluindo a dependência de feedback visível ao verificador (que pode levar ao overfitting se os testes forem esparsos) e o fato de o método não retornar para a execução "sem habilidade" caso uma habilidade degrade o desempenho consistentemente. Eles posicionam o SKILLREVISE como um passo em direção à aquisição de habilidades robusta e automatizada que alinha o comportamento do agente com as restrições da tarefa e os critérios de verificação.