Resumo Técnico: Nem Todas as Habilidades Ajudam: Medindo e Reparando o Conhecimento de Agentes

1. Definição do Problema

Os paradigmas atuais para melhorar agentes de Grandes Modelos de Linguagem (LLMs) sem atualizações de pesos baseiam-se na acumulação de habilidades em linguagem natural a partir da experiência. Esses sistemas tipicamente delegam todo o ciclo de vida da habilidade — geração, retenção e recuperação — ao próprio julgamento do LLM. A premissa subjacente é que um LLM pode determinar suficientemente quais habilidades manter e como aplicá-las com base em contextos de tarefas únicas.

No entanto, este artigo argumenta que essa abordagem confunde dois papéis distintos:

1. Geração: Criar uma habilidade a partir da experiência (um ato criativo onde o julgamento do LLM se destaca).
2. Curadoria: Decidir se uma habilidade realmente ajuda (uma questão empírica que requer evidências através de muitas tarefas).

Os autores identificam uma desvantagem sistemática da acumulação desenfreada: a heterogeneidade causal. Habilidades individuais costumam ajudar em tipos específicos de tarefas, enquanto prejudicam ativamente em outras. Como esses efeitos opostos se cancelam no agregado, os métodos de curadoria global (que avaliam habilidades com base no desempenho médio) falham em detectá-los. Consequentemente, "más" habilidades tornam-se um overhead invisível que degrada o desempenho do agente, particularmente em tarefas complexas ou fora da distribuição (out-of-distribution).

2. Metodologia: O Framework ASSAY

Os autores propõem o ASSAY (Attribution-Based Skill Selection and Assembly), um framework que separa a geração de habilidades da curadoria. Ele opera em três estágios, unificados por uma única matriz de atribuição causal $C \in \mathbb{R}^{N \times M}$, onde $N$ é o número de habilidades e $M$ é o número de tarefas de desenvolvimento.

Estágio 1: Medindo Efeitos Causais (Mascaramento Aleatório)

Em vez de depender do julgamento do LLM para avaliar habilidades, o ASSAY utiliza mascaramento aleatório para computar uma atribuição causal imparcial.

• Protocolo: Para $K$ ensaios independentes, uma máscara aleatória é construída incluindo cada habilidade com uma probabilidade $f$ (amostragem de Bernoulli).
• Atribuição: O escore causal $C[j, i]$ para a habilidade $s_j$ na tarefa $d_i$ é calculado como o estimador de diferença de médias entre os ensaios onde a habilidade está presente e os ensaios onde ela está ausente.
• Resultado: Isso produz uma matriz que revela se uma habilidade ajuda (escore positivo), prejudica (escore negativo) ou tem impacto negligenciável em tarefas específicas. Isso revela a heterogeneidade causal, onde as habilidades frequentemente invertem o sinal entre diferentes tipos de tarefas.

Estágio 2: Reestruturação de Biblioteca Offline

Usando a matriz de atribuição, o framework reestrutura a biblioteca de habilidades offline para resolver a heterogeneidade antes da inferência.

1. Divisão (Split): Habilidades com alta heterogeneidade (grande variância nos escores causais entre tarefas) são reescritas pelo LLM base em variantes condicionais com gatilhos explícitos (ex: "aplicar apenas quando o tipo de tarefa for X"). Essas variantes devem passar por um portão de desenvolvimento para garantir que não degradem o desempenho geral.
2. Aposentadoria (Retire): Habilidades com escores causais globais próximos de zero (impacto negligenciável) são removidas para reduzir o ruído de contexto.
3. Fusão (Merge): Habilidades quase duplicadas introduzidas durante a divisão são agrupadas (clustered), e o membro de maior pontuação é retido.

Estágio 3: Mascaramento Causal por Tarefa

No momento da inferência, uma biblioteca estática é insuficiente porque o conjunto ideal de habilidades varia por tarefa. O ASSAY trata a seleção de habilidades como um problema de minimização de risco.

• Predição: Para uma nova tarefa de teste, o sistema identifica as $k$ tarefas de desenvolvimento mais próximas com base em embeddings de instrução. Ele computa um efeito causal previsto $\hat{C}(s_j, t)$ para cada habilidade, ponderando os escores causais históricos desses vizinhos mais próximos.
• Regra de Mascaramento: Habilidades previstas para ter um efeito causal negativo são suprimidas, enquanto aquelas com efeitos positivos ou neutros são retidas. Templates operacionais protegidos (ex: paginação, validação de dados) estão isentos de mascaramento para evitar falhas catastróficas.
• Fallback: Se o conjunto filtrado tornar-se muito pequeno, o sistema retorna à biblioteca completa para garantir uma degradação suave.

3. Principais Contribuições

• Caracterização Empírica: O artigo fornece a primeira evidência empírica de uma onipresente heterogeneidade causal em bibliotecas de habilidades de agentes, demonstrando que as habilidades rotineiramente ajudam em algumas tarefas enquanto prejudicam em outras, tornando-as invisíveis à curadoria global.
• Design de Framework: O ASSAY operacionaliza a separação da geração (julgamento do LLM) e da curadoria (medição empírica). Introduz um pipeline que computa atribuição causal, reestrutura bibliotecas offline e aplica mascaramento por tarefa durante a inferência.
• Desempenho de Estado da Arte: O framework alcança melhorias significativas em diversos modelos e benchmarks sem modificar os pesos do modelo.
  • AppWorld: No split mais difícil, o DeepSeek-V3 atinge 69,3% de Conclusão de Objetivo de Tarefa (TGC), um melhoria relativa de 47,4% sobre o baseline, estabelecendo um novo estado da arte entre os métodos publicados (incluindo abordagens com ajuste de pesos).
  • $\tau$-bench: O GPT-4.1 melhora em 8,7% relativo, superando o o4-mini, o1 e GPT-4.5 no leaderboard público sem modificação de pesos.
• Identificação de Gargalos: Estudos de ablação confirmam que o principal gargalo não é a presença de "más" habilidades globalmente, mas sim a falha em combinar as habilidades corretas com tarefas específicas no momento da inferência. O mascaramento por tarefa responde pela maior parte dos ganhos.

4. Resultados Experimentais

O framework foi avaliado em dois benchmarks (AppWorld e $\tau$-bench) utilizando sete modelos base de quatro provedores (OpenAI, DeepSeek, Anthropic, Google).

• Generalização: O ASSAY melhorou consistentemente o desempenho em todos os sete modelos. No split test_challenge do AppWorld, bibliotecas de habilidades não curadas de fato degradaram o desempenho para alguns modelos (ex: GPT-5.1 caiu de 52,5% para 49,9%), enquanto o ASSAY reverteu isso e obteve ganhos significativos.
• Sensibilidade à Dificuldade: O método proporcionou os maiores ganhos nos níveis 2 e 3 de tarefas, onde bibliotecas não curadas causaram o maior dano.
• Condições de Limite: Dois modelos (GPT-5.1 e Sonnet 4.5) mostraram ganho zero no $\tau$-bench. Os autores atribuem isso à alta competência basal que satura os benefícios da injeção de habilidades via prompt, sugerindo retornos decrescentes conforme a capacidade do modelo base aumenta.

5. Significância e Alegações

O artigo afirma que a dependência atual do julgamento do LLM para todo o ciclo de vida da habilidade é uma limitação fundamental. Ao introduzir uma etapa de curadoria empírica e orientada por medição, o ASSAY resolve o problema da "heterogeneidade causal" que assola os agentes baseados em habilidades existentes.

Os autores enfatizam que sua abordagem é complementar aos métodos existentes:

• Opera inteiramente no momento da inferência e não requer atualizações de peso.
• Pode ser aplicada sobre qualquer pipeline existente de geração de habilidades (ex: ACE, CUGA, Reflexion).
• Muda o paradigma de "acumular mais habilidades" para "combinar precisamente as habilidades com as tarefas".

O trabalho conclui que, embora a geração de habilidades seja um ato criativo melhor lidado por LLMs, a curadoria de habilidades é um problema empírico que requer medição aleatória para garantir que o conhecimento injetado na janela de contexto realmente auxilie o desempenho do agente.