🤖 AI

Coalition-Aware Skill Reliability for Self-Evolving Agents

Este artigo aborda a confiabilidade não resolvida de habilidades acumuladas em agentes de LLM autoevolutivos ao identificar a poluição de coalizão e a reversão de utilidade transdominial como modos de falha fundamentais, e propõe a Seleção de Habilidades Consciente de Coalizão (CASS) e o Otimizador de Coalizão com Máscara de Habilidade Não Supervisionada (u-SMCO) para aumentar o desempenho de tarefas e a generalização por meio do gerenciamento de habilidades consciente da confiabilidade.

Autores originais: Qiyan Zhao, Xiaofeng Zhang, Bo Liu, Minda Chen, Wei Xiong, Jingyang Chen, Guanting Ye, Wenhao Yu, Xiaosong Yuan, Shijie Han, Da-Han Wang, Jianmin Ji, Fei Huang, Xu-Yao Zhang

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qiyan Zhao, Xiaofeng Zhang, Bo Liu, Minda Chen, Wei Xiong, Jingyang Chen, Guanting Ye, Wenhao Yu, Xiaosong Yuan, Shijie Han, Da-Han Wang, Jianmin Ji, Fei Huang, Xu-Yao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um assistente digital que aprende com seus próprios erros e sucessos, construindo uma biblioteca pessoal de "habilidades", como se estivesse criando um repertório de técnicas para resolver novos problemas. Essas habilidades não são apenas memórias brutas do que aconteceu, mas instruções destiladas e reutilizáveis — como um chef aprendendo uma técnica específica para picar cebolas que pode ser aplicada a qualquer receita. No mundo da inteligência artificial, pesquisadores têm ensinado modelos de linguagem de grande escala a fazer exatamente isso: reunir experiências, transformá-las em ferramentas estruturadas e armazená-las em um "banco de habilidades" para serem invocadas mais tarde. A esperança é que, à medida que o agente acumula mais habilidades, ele se torne mais inteligente e capaz, muito parecido com um especialista humano que melhora com anos de prática.

No entanto, uma questão fundamental permanece sem resposta: ter uma biblioteca maior de habilidades realmente torna o agente melhor? Ou o agente poderia estar acumulando ferramentas que são inúteis, ou até mesmo prejudiciais, em certas situações? Um novo estudo realizado por pesquisadores de diversas instituições, incluindo a Academia Chinesa de Ciências e a Universidade de Ciência e Tecnologia da China, investiga precisamente este problema. Eles descobriram que simplesmente adicionar mais habilidades à memória de um agente não garante melhoria. Na verdade, a maneira como as habilidades trabalham juntas é muito mais complexa do que se pensava anteriormente, e os métodos atuais para decidir quais habilidades manter são frequentemente cegos para problemas ocultos.

Os pesquisadores começaram examinando como esses agentes autoevolutivos decidem se aceitam uma nova habilidade em seu banco. Tipicamente, um agente testa uma nova habilidade, observa se o desempenho geral melhora e, se a pontuação subir mesmo que ligeiramente, a habilidade é mantida. A equipe percebeu que essa abordagem é falha porque olha apenas para a pontuação final, ignorando como a nova habilidade interage com as já existentes. Eles descobriram que uma nova habilidade pode ser aceita porque o desempenho geral melhorou, mas esse aumento pode ser causado por uma habilidade antiga e confiável que acontece de estar no banco ao mesmo tempo. A nova habilidade em si pode não contribuir com nada, ou até mesmo reduzir o desempenho, mas seu efeito negativo é ocultado pelo sucesso de seus parceiros. Os pesquisadores chamam isso de "poluição de coalizão". É como uma equipe onde um novo membro é contratado porque a produção total da equipe aumentou, sem perceber que o novo membro não fez nada, e o impulso veio inteiramente de um colega existente que já estava trabalhando duro. O novo contratado é mantido, poluindo a equipe com um membro que não agrega valor e que pode até causar fricção mais tarde.

O estudo também descobriu um segundo problema que ocorre quando um agente passa de um tipo de tarefa para outro. Um agente pode aprender uma habilidade que funciona perfeitamente em um ambiente de origem, como responder perguntas sobre histórias longas, e então levar essa mesma habilidade para um novo ambiente, como resolver quebra-cabeças de lógica. Os pesquisadores descobriram que habilidades que são úteis no primeiro cenário podem se tornar prejudiciais no segundo. Eles chamam isso de "reversão de utilidade cross-domain" (entre domínios). Uma ferramenta que ajuda um chef a picar vegetais eficientemente pode ser um desastre se o chef tentar usar esse mesmo movimento de corte para montar um relógio delicado. O agente, porém, não sabe disso; ele assume que, porque a habilidade funcionou antes, ela funcionará novamente. O estudo mostrou que, sem intervenção, os agentes frequentemente carregam essas habilidades prejudiciais para novos domínios, onde elas degradam ativamente o desempenho.

Para corrigir esses problemas, a equipe desenvolveu dois novos métodos. O primeiro, projetado para deter a poluição de coalizão, altera a forma como o agente decide manter uma nova habilidade. Em vez de olhar apenas para a pontuação final, o novo método testa a nova habilidade contra muitas combinações diferentes de habilidades existentes. Ele pergunta: "Esta habilidade ajuda quando é pareada com a Habilidade A? Ela ajuda quando é pareada com a Habilidade B?". Ao tirar a média desses resultados, o sistema consegue dizer se a habilidade é genuinamente útil ou se está apenas pegando carona no sucesso de outras. Isso garante que apenas as habilidades que realmente contribuem para o sucesso da equipe sejam adicionadas ao banco.

O segundo método aborda o problema das habilidades se tornarem prejudiciais em novos ambientes. Como os agentes frequentemente não possuem dados rotulados para dizer se uma habilidade está funcionando em um novo domínio, os pesquisadores criaram uma forma de testar habilidades sem a necessidade de respostas. Eles utilizam a própria capacidade do agente de encontrar a informação correta como um teste. Se remover uma habilidade específica tornar o agente melhor em encontrar a informação correta no novo ambiente, essa habilidade é provavelmente prejudicial e é mascarada, ou desligada. Isso permite que o agente limpe sua biblioteca de habilidades automaticamente, mesmo quando está explorando um território completamente novo sem um professor para guiá-lo.

Os pesquisadores testaram esses métodos em quatro benchmarks diferentes, variando de tarefas complexas de compreensão de leitura a navegação de robôs simulados em mundos virtuais. Em todos os casos, os agentes que utilizaram os novos métodos tiveram um desempenho superior aos que utilizaram as técnicas padrão. Eles resolveram mais tarefas corretamente e generalizaram suas habilidades para novas situações de forma mais eficaz. O estudo também mostrou que, ao focar em como as habilidades trabalham juntas, os agentes tornaram-se menos sensíveis a flutuações aleatórias em suas pontuações de treinamento, levando a um aprendizado mais estável.

A descoberta central deste trabalho é que a confiabilidade de uma habilidade não é uma propriedade inerente da própria habilidade. Uma habilidade não é simplesmente "boa" ou "má". Seu valor depende inteiramente da companhia que ela mantém no banco de habilidades e do ambiente específico onde está sendo usada. Uma habilidade que é uma heroína em um contexto pode ser uma vilã em outro, e uma habilidade que parece inútil sozinha pode ser essencial quando pareada com os parceiros certos. Ao reconhecer que as habilidades funcionam como uma equipe, em vez de ferramentas isoladas, os pesquisadores forneceram uma maneira de construir agentes que não são apenas mais inteligentes, mas também mais confiáveis e adaptáveis. Essa mudança de perspectiva move o campo para longe de simplesmente acumular mais dados e em direção à compreensão das complexas relações que tornam o aprendizado verdadeiramente eficaz.

Resumo Técnico: Confiabilidade de Habilidades Consciente de Coalizão para Agentes de Evolução Própria

Definição do Problema

Agentes de evolução própria baseados em Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de "bancos de habilidades" — coleções de artefatos estruturados destilados de trajetórias de interação — para aprender com experiências passadas. Embora a pesquisa existente tenha se concentrado no ciclo de vida operacional dessas habilidades (aquisição, evolução, recuperação e composição), uma questão fundamental sobre a confiabilidade mecanística permanece não resolvida: as habilidades acumuladas no banco de um agente realmente fazem contribuições positivas quando invocadas?

Os autores identificam que os mecanismos atuais de evolução de habilidades, que tipicamente dependem de "portões baseados apenas no resultado" (aceitando uma nova habilidade se o prêmio agregado da tarefa aumentar), falham em considerar a natureza dependente do contexto da utilidade da habilidade. Através de auditorias sistemáticas, o artigo revela dois modos críticos de falha de confiabilidade:

Poluição de Coalizão: Durante a evolução da habilidade, um agente pode aceitar uma nova habilidade porque o desempenho total do banco melhora, embora a nova habilidade em si contribua de forma negligenciável ou negativa. O ganho observado é, na verdade, impulsionado por habilidades incumbentes ou interações sinérgicas específicas, mascarando a não confiabilidade da habilidade recém-admitida.
Reversão de Utilidade Cross-Domain: Habilidades benéficas em um domínio de origem podem se tornar prejudiciais quando transferidas para um domínio de destino. Os métodos existentes assumem que a utilidade no domínio de origem é invariante, mas a auditoria mostra que as habilidades podem reverter seus efeitos (de úteis para prejudiciais) após a transferência de domínio, degradando o desempenho.

Metodologia

Para abordar essas falhas, os autores propõem uma Auditoria de Confiabilidade Mecanística de Habilidade (SMRA) e duas intervenções correspondentes:

1. Auditoria de Confiabilidade Mecanística de Habilidade (SMRA)
A SMRA avalia a confiabilidade da habilidade não como uma propriedade intrínseca, mas como uma função conjunta da habilidade, do banco de habilidades circundante (coalizão) e do domínio de implantação. Ela utiliza valores de Shapley para medir contribuições marginais:

Contribuição marginal do banco completo ( $\Delta$ ): Mede a queda de desempenho quando uma habilidade específica é removida do banco completo.
Valor de Shapley ( $\phi$ ): Médias das contribuições marginais através de todos os subconjuntos possíveis das habilidades restantes para estimar a contribuição esperada de uma habilidade sob diversas coalizões.

2. Seleção de Habilidade Consciente de Coalizão (CASS)

Objetivo: Prevenir a poluição de coalizão durante a fase de evolução da habilidade.
Mecanismo: Em vez de depender apenas do prêmio agregado ( $r_{out}$ ), o CASS aumenta o critério de aceitação com um sinal consciente da coalizão.
Processo: Ao avaliar uma habilidade candidata, o CASS utiliza amostragem de Monte Carlo para construir coalizões de habilidades diversas a partir do banco resultante. Ele calcula a margem de eliminação (knockout margin) para cada coalizão amostrada $S$ dividindo a perda de desempenho conjunta da remoção de todo o subconjunto $S$ pelo tamanho do subconjunto, definida como $\Delta_S(B) = \frac{V(B) - V(B \setminus S)}{|S|}$ . Esta abordagem atribui a perda conjunta da remoção de $S$ igualmente aos seus membros.
Regra de Decisão: A pontuação final ( $\sigma$ ) combina a média dessas margens de coalizão amostradas ( $\bar{\Delta}_N$ ) com o prêmio de resultado online ( $r_{out}$ ):
$\sigma(B) = \bar{\Delta}_N(B) + \lambda r_{out}(B)$
Um banco candidato é retido apenas se esta pontuação exceder a melhor pontuação vista até o momento. Isso garante que as habilidades sejam selecionadas com base em sua confiabilidade dentro de uma coalizão, não apenas em sua capacidade de impulsionar uma métrica agregada ruidosa.

3. Otimizador de Coalizão com Máscara de Habilidade Não Supervisionada (u-SMCO)

Objetivo: Mitigar a reversão de utilidade cross-domain durante a implantação.
Mecanismo: Um método livre de rótulos que mascara habilidades cuja utilidade se reverte no domínio de destino.
Processo: Usando consultas sem rótulos (unlabeled queries) do domínio de destino, o u-SMCO pontua cada habilidade com base em sua contribuição para a qualidade de recuperação (retrieval quality). Ele mascara (remove) avidamente as habilidades cuja exclusão melhora o desempenho da recuperação nos dados do alvo.
Significância: Esta abordagem não requer rótulos de tarefas do domínio de destino, tornando-a aplicável no momento da implantação sem supervisão.

Principais Contribuições

Identificação de Modos de Falha: O artigo define e demonstra formalmente a "poluição de coalizão" e a "reversão de utilidade cross-domain" como falhas mecanísticas distintas em agentes de evolução própria.
Insight Teórico: Os autores provam que portões baseados apenas no resultado são estruturalmente cegos para interações ao nível de coalizão. Um ganho agregado positivo não garante que cada habilidade componente esteja contribuindo positivamente (Teorema 1: Não-identificabilidade de apenas resultado).
Intervenções Metodológicas:
- CASS: Introduz uma abordagem baseada em amostragem para estimar a confiabilidade ao nível da coalizão ao calcular a média das margens de eliminação de subconjuntos de habilidades amostrados (normalizados pelo tamanho do subconjunto), em vez de computar valores de Shapley por habilidade.
- u-SMCO: Propõe uma estratégia de mascaramento baseada em qualidade de recuperação e livre de rótulos para adaptar bancos de habilidades a novos domínios.
Visão Unificada de Confiabilidade: O trabalho estabelece que a confiabilidade da habilidade é uma propriedade contextual ( $R(s; B, D)$ ) dependente da habilidade, do banco e do domínio, em vez de um atributo intrínseco da própria habilidade.

Resultados Experimentais

Os métodos propostos foram avaliados em quatro benchmarks: LoCoMo, LongMemEval, HotpotQA e ALFWorld.

Desempenho: O CASS e o u-SMCO superaram consistentemente fortes baselines de evolução própria (incluindo CoN, ReadAgent, MemoryBank, A-MEM, Mem0, MemoryOS e MemSkill) tanto em desempenho de tarefa (F1, pontuações de LLM-as-Judge) quanto em generalização cross-domain.
Ganhos Específicos:
- No LoCoMo, o método proposto alcançou um F1 de 41.48 e uma pontuação L-J de 56.58, superando o melhor anterior (MemSkill) que obteve 39.45 de F1 e 54.78 de L-J.
- No ALFWorld (Não Visto), o método alcançou uma Taxa de Sucesso (SR) de 83.22 com 19.93 passos, superando todos os baselines.
Robustez: A modelagem condicionada à coalizão reduziu a sensibilidade às flutuações ruidosas de recompensa de resultado durante o aprendizado por reforço, fornecendo sinais de treinamento mais estáveis.

Significância e Alegações

O artigo afirma estabelecer a confiabilidade da habilidade como uma propriedade conjunta de habilidades, bancos e domínios de implantação, mudando o paradigma de ver habilidades como ativos estáticos e intrínsecos para unidades dinâmicas e dependentes do contexto.

Além da Precisão: O trabalho argumenta que a precisão sozinha é insuficiente; entender a contribuição mecanística das habilidades dentro de uma coalizão é necessário para uma verdadeira evolução própria.
Limitação do Isolamento: Os autores enfatizam que a avaliação de habilidades baseada em isolamento é fundamentalmente limitada porque não pode detectar poluição de coalizão ou reversões específicas de domínio.
Impacto Prático: Ao introduzir ferramentas de auditoria e intervenções que não requerem rótulos do domínio de destino (u-SMCO), o artigo fornece um caminho para implantar agentes de evolução própria mais confiáveis em ambientes abertos e dinâmicos.

Os autores concluem que a futura evolução confiável de habilidades deve tratar a coalizão de habilidades como a unidade central de análise, em vez de habilidades individuais isoladas.