Resumo Técnico: Da Experiência Bruta ao Consumo de Habilidades

Declaração do Problema

Agentes de linguagem dependem cada vez mais da reutilização de "habilidades"—artefatos procedimentais estruturados extraídos de experiências passadas—para se adaptarem a novas tarefas sem retreinamento. Embora habilidades de nível de domínio, geradas por modelos, ofereçam uma alternativa escalável à criação manual intensiva em mão de obra, o campo carece de uma compreensão abrangente de sua eficácia. Pesquisas existentes tipicamente isolam etapas específicas do ciclo de vida da habilidade (por exemplo, apenas consumo ou apenas extração) ou dependem de benchmarks que não refletem todo o pipeline. Consequentemente, permanece incerto se habilidades geradas por modelos realmente melhoram o desempenho downstream, sob quais condições elas falham (transferência negativa) e quais propriedades específicas tornam uma habilidade útil.

Metodologia

Os autores propõem um framework de avaliação sistemático e fundamentado na utilidade que abrange todo o ciclo de vida da habilidade em cinco domínios agênticos diversos: planejamento incorporado (ALFWorld), software de produtividade (SpreadsheetBench), engenharia de software (SWE-bench-Verified), busca na web (SEAL-0) e chamada de ferramentas (BFCL-v4).

O Pipeline do Ciclo de Vida da Habilidade

O estudo segue um protocolo de três etapas:

1. Geração de Experiência: Um modelo alvo ($M$) executa tarefas de uma divisão de treinamento para produzir um pool de experiência contendo tanto trajetórias bem-sucedidas quanto falhas.
2. Extração de Habilidade: Um modelo extrator ($E$), potencialmente diferente do alvo, destila o pool de experiência em uma única habilidade estruturada de nível de domínio usando um framework mínimo de duas etapas (análise por trajetória seguida de consolidação hierárquica). Este design evita intencionalmente heurísticas específicas de domínio para isolar a capacidade do extrator.
3. Consumo de Habilidade: O mesmo modelo alvo ($M$) é avaliado em uma divisão de teste retida, com a habilidade extraída injetada em seu prompt de sistema. A mudança de desempenho ($\Delta$) em relação a uma linha de base sem habilidade serve como proxy para a utilidade da habilidade.

Métricas e Design Experimental

O estudo avalia 6 modelos alvo (abrangendo as famílias GPT, Gemini e Qwen) e 5 modelos extratores em cinco domínios. Para desvendar os papéis do extrator e do consumidor, duas métricas são introduzidas:

• Eficácia de Extração (EE): Mede quão confiavelmente um extrator fixo produz habilidades úteis em diferentes alvos.
• Evolvibilidade do Alvo (TE): Mede o quanto um alvo fixo se beneficia de habilidades extraídas por diferentes extratores de sua própria experiência.

Principais Contribuições e Descobertas

1. A Utilidade é Não Uniforme e Dependente do Contexto (PQ1)

Habilidades geradas por modelos são benéficas em média, mas exibem variância significativa e transferência negativa não trivial.

• Transferência Negativa: Aproximadamente 25% dos pares extrator-alvo resultam em degradação de desempenho ($\Delta < 0$). Este risco é dependente do domínio, com o ALFWorld mostrando a maior fragilidade (47% de transferência negativa) e o SpreadsheetBench a menor (13%).
• Capacidade do Extrator vs. Executor: A capacidade de um modelo de resolver tarefas não prevê sua capacidade de extrair habilidades. Por exemplo, um modelo leve (Gemini-3.1-Flash-Lite) alcançou a maior Eficácia de Extração no SpreadsheetBench, superando modelos base mais fortes.
• Dependência do Alvo: A utilidade da habilidade é altamente específica ao alvo. A mesma habilidade pode melhorar significativamente um modelo enquanto degrada outro, indicando que a capacidade de consumo é uma propriedade intrínseca do modelo alvo.

2. Impulsionadores da Utilidade da Habilidade ao Longo do Ciclo de Vida (PQ2)

O estudo dissecou as três etapas do ciclo de vida para identificar o que impulsiona a utilidade:

• Geração de Experiência: A composição do pool de experiência (razão sucesso vs. falha) impacta criticamente a qualidade da habilidade. Embora pools puramente de falha sejam consistentemente os piores, a mistura ótima de sucesso-falha é específica do domínio. Por exemplo, o ALFWorld se beneficia de pools pesados em falhas (revelando becos sem saída), enquanto o SpreadsheetBench favorece trajetórias bem-sucedidas.
• Extração de Habilidade: Nem o formato superficial (por exemplo, lista vs. prosa) nem a plausibilidade textual preveem a utilidade downstream. Um juiz LLM avaliando o texto da habilidade sem dados de utilidade performa não melhor que o acaso (46% de precisão). Crucialmente, habilidades "melhor apresentadas" frequentemente performam pior.
• Consumo de Habilidade: A injeção de habilidade remodela a política padrão do alvo em vez de acionar chamadas explícitas de habilidade. Para modelos que melhoram (por exemplo, GPT-5.4), as habilidades os orientam para estratégias mais robustas (por exemplo, calcular valores em Python em vez de depender de avaliação de fórmulas instável). Para modelos que regredem (por exemplo, Qwen3.5-9B), as habilidades podem empurrá-los para fluxos de trabalho excessivamente complexos que sacrificam a robustez de execução em favor da fidelidade estrutural.

3. Do Diagnóstico à Intervenção (PQ3)

Os autores traduzem descobertas empíricas em uma melhoria concreta para a extração de habilidades: uma Meta-Habilidade.

• Descoberta de Rubrica: Ao analisar pares de habilidades com grandes lacunas, os autores identificaram que a plausibilidade textual é um mau preditor de utilidade. Em vez disso, validaram três dimensões específicas que correlacionam com o sucesso: Codificação do Mecanismo de Falha (identificar por que os agentes falham), Especificidade Acionável (procedimentos em nível de passo referenciando objetos de domínio) e Listas Negras de Ações de Alto Risco.
• Implementação da Meta-Habilidade: Essas três dimensões foram codificadas em uma "rubrica validada" e inseridas como um prior de meta-habilidade no prompt de sistema do extrator.
• Resultados: Esta extração guiada melhorou consistentemente a qualidade da habilidade em todas as células avaliadas (ganho médio de +1,55 pp) e reduziu substancialmente a transferência negativa. Em contraste, uma "rubrica de plausibilidade" ingênua (focando em clareza e tom) na verdade degradou o desempenho.

Significância

Este trabalho move o campo da extração de habilidades de agentes de uma prática heurística e guiada por intuição para uma disciplina principial e fundamentada na utilidade. Ao fornecer o primeiro estudo sistemático abrangendo todo o ciclo de vida experiência-extração-consumo, os autores demonstram que:

1. Habilidades geradas por modelos não são universalmente benéficas; sua utilidade é uma interação complexa entre o extrator, o alvo e o domínio.
2. Qualidades de nível superficial das habilidades são proxies pobres para sua utilidade real.
3. A análise empírica de modos de falha e remédios acionáveis específicos pode ser operacionalizada em uma meta-habilidade que melhora confiavelmente a qualidade da extração e reduz a transferência negativa.

O estudo conclui que, para bibliotecas de habilidades serem eficazes em implantações do mundo real, os sistemas de extração devem ser guiados por critérios validados e fundamentados na utilidade, em vez de métricas genéricas de qualidade textual.