💬 NLP

CaSKG: Counterfactual-Causal Skill Graphs for Scalable Agent Skill Retrieval

O caSKG é uma estrutura contrafactual-causal que aprimora a recuperação escalável de habilidades de agentes de LLM por meio da construção e calibração de um grafo de habilidades direcionado através de agregação de evidências offline e sondas textuais contrafactuais, melhorando significativamente as taxas de sucesso em tarefas e a eficiência em diversos benchmarks em comparação com os métodos existentes.

Autores originais: Zhiyuan Li, Linyuan Gao, Xuechun Ding, Hongwei Chen, Yuan Wu, Yi Chang

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhiyuan Li, Linyuan Gao, Xuechun Ding, Hongwei Chen, Yuan Wu, Yi Chang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um programa de computador que pode falar, raciocinar e agir no mundo real, de forma muito semelhante a um assistente humano. Esses programas, conhecidos como agentes de modelos de linguagem de grande escala (LLM), estão se tornando cada vez mais capazes de resolver problemas complexos ao combinar sua habilidade de gerar texto com o acesso a ferramentas e ambientes externos. Eles podem aprender a usar APIs, interagir com salas simuladas ou seguir procedimentos científicos. No entanto, à medida que esses agentes acumulam vastas bibliotecas de habilidades reutilizáveis — procedimentos para tudo, desde cozinhar uma refeição até testar um produto químico — o desafio deixa de ser simplesmente ter as ferramentas e passa a ser saber quais delas usar. Se um agente tentar lembrar de todas as ações possíveis de uma só vez, ele ficará sobrecarregado pelo ruído. Se procurar apenas por palavras que correspondam à tarefa atual, poderá perder um passo crucial que não soa semelhante, mas que é logicamente necessário. O problema central é como recuperar a sequência correta de ações de uma biblioteca massiva sem se perder em detalhes irrelevantes ou perder dependências ocultas.

Pesquisadores da Universidade de Jilin e do Ant Group desenvolveram um novo método chamado CaSKG para resolver este problema de recuperação. Em vez de tratar as habilidades como peças isoladas de texto ou simplesmente conectá-las com base na semelhança sonora, a equipe construiu um sistema que testa a confiabilidade das conexões entre as habilidades antes mesmo de o agente utilizá-las. Eles construíram um grafo direcionado, uma rede onde as habilidades são nós e as setas entre elas representam a ordem em que as ações devem ocorrer. A inovação reside em como decidiram quais setas manter. Antes de publicar o mapa final, o sistema submeteu as conexões potenciais a uma série de testes rigorosos. Ele pediu à inteligência artificial que imaginasse cenários onde uma habilidade era removida, substituída por uma diferente ou executada em uma ordem errada. Ao observar como a tarefa falhava ou se tornava confusa nessas situações hipotéticas, o sistema podia determinar se uma conexão era uma dependência real ou apenas uma coincidência.

Os pesquisadores testaram essa abordagem em dois benchmarks distintos: um conjunto de tarefas domésticas envolvendo encontrar e mover objetos, e uma coleção de experimentos científicos que exigiam sequências específicas de observação e manipulação. Eles realizaram esses testes usando seis modelos de linguagem de grande escala diferentes, variando de modelos menores e mais eficientes a modelos massivos e poderosos. Os resultados mostraram que o novo método superou consistentemente as abordagens existentes. Em todas as combinações de modelo e tipo de tarefa, o CaSKG alcançou a maior taxa de sucesso. Para as tarefas científicas, a pontuação média entre todos os modelos saltou de aproximadamente 72,6 para 80,5, e para as tarefas domésticas, a taxa de sucesso subiu de 80,01% para 86,79%. Talvez mais importante, os agentes usando este método atingiram seus objetivos em menos etapas, sugerindo que não estavam perdendo tempo tentando ações aleatórias ou corrigindo erros causados por conselhos ruins.

A chave para esse sucesso foi a capacidade do sistema de filtrar elos fracos. Métodos anteriores frequentemente dependiam de grafos onde as conexões eram baseadas na frequência com que as habilidades apareciam juntas ou na semelhança de suas descrições. O novo estudo descobriu que esses métodos frequentemente levavam o agente ao erro, fazendo-o seguir caminhos irrelevantes ou perder pré-requisitos críticos. Ao utilizar o raciocínio contrafactual — essencialmente perguntando "e se este passo não acontecesse?" — o sistema pôde calibrar a confiança de cada conexão. Ele manteve os elos fortes e necessários que formavam um fluxo de trabalho coerente, como a necessidade de ligar uma fonte de energia antes de testar um circuito, enquanto descartava as associações fracas que meramente pareciam relacionadas. Isso permitiu ao agente recuperar um pacote compacto e executável de habilidades que preservava a ordem lógica das operações, garantindo que os passos de preparação, ação, verificação e conclusão estivessem todos presentes e na sequência correta.

O estudo também explorou como esse método se comportava à medida que a biblioteca de habilidades crescia. Quando o número de habilidades disponíveis aumentou de algumas centenas para duas mil, a vantagem do novo método permaneceu estável e, em alguns casos, tornou-se ainda mais forte. Isso sugere que, à medida que os agentes acumulam mais conhecimento, a necessidade de uma maneira confiável de navegar nesse conhecimento torna-se ainda mais crítica. Os pesquisadores descobriram que o sistema funcionava melhor quando podia basear-se em múltiplos tipos de evidências, como os requisitos de entrada e saída de uma habilidade ou sua posição em um fluxo de trabalho, em vez de apenas na descrição textual. Eles também descobriram que, embora o método ajudasse significativamente na maioria das tarefas, era menos crítico para buscas simples e diretas onde a resposta era óbvia, confirmando que o valor do sistema reside no tratamento de procedimentos de múltiplas etapas complexas.

Em última análise, este trabalho demonstra que a qualidade das conexões entre as partes do conhecimento é tão importante quanto o próprio conhecimento. Ao tratar o processo de recuperação como um problema de verificação de relações causais, em vez de apenas uma correspondência de palavras, os pesquisadores criaram uma estrutura que permite aos agentes acessar sua memória de forma mais eficaz. O método não altera a forma como o agente age ou quais ferramentas ele pode usar; ele simplesmente garante que as instruções certas estejam disponíveis no momento certo. Essa abordagem oferece um caminho escalável para construir agentes que possam lidar com tarefas cada vez mais complexas, provando que um mapa de habilidades bem calibrado é mais valioso do que uma biblioteca maior e desorganizada.

Resumo Técnico: CaSKG – Grafos de Habilidades Causais Contrafatuais para Recuperação Escalável de Habilidades de Agentes

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de bibliotecas de habilidades reutilizáveis para executar tarefas complexas, combinando geração com ferramentas externas e APIs. No entanto, à medida que essas memórias procedimentais crescem, o desafio deixa de ser se um agente pode usar uma ferramenta para como ele pode recuperar o subconjunto correto de habilidades sem sobrecarregar sua janela de contexto.

As estratégias de recuperação existentes enfrentam limitações distintas:

Prompt de biblioteca completa: Preserva a recall, mas transfere o fardo da seleção para o agente, introduzindo alternativas irrelevantes e altos custos de contexto.
Recuperação vetorial (RAG): Reduz o tamanho do contexto via similaridade semântica, mas trata as habilidades como unidades de texto independentes. Isso falha em capturar dependências procedimentais onde a utilidade de uma habilidade depende de pré-requisitos, mudanças de estado ou etapas de verificação realizadas por outra.
Recuperação baseada em grafos (ex: Graph-of-Skills/GoS): Tenta recuperar o contexto do fluxo de trabalho propagando a relevância através de arestas. No entanto, esses métodos frequentemente dependem de arestas induzidas por similaridade tópica, coocorrência ou compatibilidade de interface vaga. Se essas arestas forem não confiáveis (conectando alternativas ou vizinhos desordenados), a propagação de relevância pode poluir o contexto recuperado com habilidades operacionalmente inadequadas.

O gargalo central identificado não é meramente construir um grafo maior, mas sim calibrar a confiança das arestas: decidir quais relações candidatas merecem influenciar a recuperação e quanto peso elas devem carregar.

2. Metodologia: Estrutura CaSKG

O CaSKG (Counterfactual-Causal Skill Graph) é uma estrutura offline que separa a descoberta de associação da avaliação de confiabilidade da aresta. Ele constrói um grafo ponderado filtrado por estado antes do tempo de execução, deixando a política do agente a jusante e a interface da tarefa inalteradas. O processo consiste em quatro estágios:

2.1 Indução do Grafo de Habilidades Candidatas

O CaSKG primeiro induz um grafo candidato direcionado, esparso e de alta recall ( $C$ ) a partir de canais de evidência heterogêneos:

Sinais: Similaridade lexical, embeddings semânticos, compatibilidade de entrada/saída (I/O), papéis estruturais no fluxo de trabalho e evidências de reparo.
Pontuação: Uma pontuação de associação inicial ( $A_{ij}$ ) é computada como uma média ponderada de sinais ativos. Um "piso estrutural" garante que evidências fortes de fluxo de trabalho (ex: dependências explícitas de I/O) sejam preservadas mesmo que outros sinais sejam fracos.
Seleção de Fronteira: Um subconjunto orçado de arestas ( $F \subseteq C$ ) é selecionado para validação, enquanto o restante permanece como candidatos não validados.

2.2 Sondagem Contrafatual de Arestas

Para distinguir dependências operacionais de meras associações tópicas, o CaSKG aplica sondas textuais contrafatuais condicionadas à direção à fronteira selecionada ( $F$ ). Para uma hipótese de aresta $s_i \to s_j$ , um LLM avalia três cenários:

Remoção: O que acontece se a habilidade de origem $s_i$ for removida? (Mede a necessidade).
Substituição: O que acontece se $s_i$ for substituída por uma habilidade dissimilar? (Mede a especificidade).
Reordenação: O que acontece se a ordem for invertida ( $s_j \to s_i$ )? (Mede a direcionalidade).

O LLM retorna pontuações de suporte para cada sonda, indicando se a dependência hipotetizada se mantém sob essas intervenções.

2.3 Calibração Bayesiana de Arestas e Publicação

As pontuações das sondas são agregadas em uma estimativa de confiabilidade suavizada usando uma posterior de distribuição Beta.

Pontuação de Confiabilidade ( $c_{ij}$ ): Derivada da média da Beta, resumindo a evidência para a relação direcionada.
Publicação com Portão de Estado: As arestas recebem um estado com base na pontuação de confiabilidade e um limiar de confirmação ( $\tau_c$ $τ_{c}$ ):
- Confirmada: Alta confiabilidade; mantém peso total.
- Incerta: Confiabilidade moderada; peso reduzido.
- Rejeitada: Baixa confiabilidade; removida.
- Não validada: Candidatos não presentes na fronteira de validação; mantidos apenas como um "andaime" de baixo peso para cobertura, caso passem em um subconjunto limitado.
Grafo Final ( $G_{pub}$ ): Um grafo ponderado onde os pesos das arestas refletem tanto o suporte de descoberta quanto a confiabilidade contrafatual.

2.4 Recuperação de Habilidades Condicionada à Tarefa

No tempo de inferência, o CaSKG usa $G_{pub}$ para recuperação:

Semeadura (Seeding): Correspondência lexical e semântica identifica as habilidades iniciais relevantes para a tarefa.
Propagação: Um algoritmo de PageRank Personalizado propaga a relevância dessas sementes sobre o grafo calibrado.
Saída: O agente recebe um pacote compacto de habilidades moldado pela estrutura procedural calibrada, em vez de apenas força de associação bruta.

3. Principais Contribuições

Formulação: O artigo formula a construção de grafos de habilidades escaláveis como um problema de calibração de confiança de arestas orçado, equilibrando a cobertura relacional contra o risco de associações fracas distorcerem a propagação do grafo.
Metodologia: Introduz o CaSKG, um método de construção offline que combina indução de candidatos de múltiplos sinais com sondas contrafatuais simuladas por LLM e publicação com portão de estado Bayesiano.
Avaliação: Avaliação abrangente em seis backbones de LLM em dois benchmarks interativos (ALFWorld ID-140 e ScienceWorld U211), demonstrando melhorias consistentes sobre os baselines de biblioteca completa, vetoriais e de grafos existentes.

4. Resultados Experimentais

A avaliação foi conduzida em uma biblioteca fixa Skill1000 através de 12 combinações de modelos e benchmarks.

Ganhos de Desempenho: O CaSKG alcançou a maior pontuação de tarefa em todas as 12 combinações.
- ScienceWorld: A pontuação média macro dos seis modelos melhorou de 72,62 (GoS) para 80,50.
- ALFWorld: A taxa de sucesso melhorou de 80,01% (GoS) para 86,79%.
Eficiência: O CaSKG reduziu o número médio de passos de interação com o ambiente em comparação ao GoS e outros baselines em todas as configurações, indicando que uma melhor recuperação leva a caminhos de execução mais diretos.
Análise de Tipo de Tarefa: Os ganhos foram mais pronunciados em tarefas que exigem cadeias de operações dependentes (ex: mistura de cores, cultivo de plantas, testes de condutividade). Tarefas que exigem busca direta ou medição mostraram ganhos menores ou negligenciáveis, sugerindo que a expansão do grafo é mais benéfica quando a estrutura procedural é crítica.
Insights Qualitativos: Estudos de caso (ex: teste de condutividade, resfriamento e posicionamento) mostraram que o CaSKG recupera com sucesso pacotes que preservam pré-requisitos, ações de mudança de estado e rotinas de verificação, enquanto os baselines frequentemente perdem dependências não lexicais ou incluem alternativas irrelevantes.
Estudos de Ablação:
- Escala: O CaSKG manteve sua vantagem conforme o tamanho da biblioteca aumentava de 200 para 2.000 habilidades.
- Componentes: Remover a indução de múltiplos sinais (apenas semântica) ou o juiz LLM reduziu o desempenho, confirmando o valor de evidências diversas e pontuação refinada. Publicar todos os candidatos sem calibração resultou em taxas de sucesso menores, validando a necessidade do mecanismo de publicação com portão de estado.

5. Significância e Alegações

O artigo posiciona a calibração de confiança de aresta como uma rota eficaz para a recuperação de habilidades compacta e executável em escala. Os autores afirmam que:

Confiabilidade sobre Cobertura: Simplesmente expandir o grafo é insuficiente; a qualidade das arestas que carregam a relevância é o fator crítico.
Estrutura Procedural: Arestas calibradas ajudam a recuperação a preservar a estrutura operacional (pré-requisitos, mudanças de estado, verificação) necessária para tarefas complexas, o que a recuperação vetorial e grafos não calibrados muitas vezes falham em capturar.
Generalização: As melhorias são consistentes entre modelos de diferentes capacidades, sugerindo que o benefício advém do próprio mecanismo de recuperação, e não da compensação de uma fraqueza específica de um modelo.
Eficiência Offline: A estrutura constrói o grafo offline, não exigindo mudanças na política do agente a jusante ou na interface da tarefa, tornando-a uma melhoria direta (drop-in) para sistemas de agentes existentes.

O trabalho conclui que, ao separar a descoberta de associação da avaliação de confiabilidade, o CaSKG permite que os agentes acessem um "pacote compacto moldado por relações procedimentais validadas", resolvendo efetivamente o compromisso entre recall e ruído em grandes bibliotecas de habilidades.