Resumo Técnico: SKILLGRAPH

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) demonstraram capacidades em tarefas interativas complexas, como navegação na web e manipulação incorporada. No entanto, agentes atuais frequentemente tratam tarefas como episódios isolados, falhando em aprender com sucessos ou fracassos passados, mesmo ao encontrar problemas estruturalmente semelhantes. Embora abordagens existentes utilizem bibliotecas de habilidades para armazenar unidades de conhecimento reutilizáveis, essas bibliotecas tipicamente funcionam como coleções planas, onde habilidades são armazenadas como entradas independentes e recuperadas exclusivamente com base na similaridade semântica.

Essa organização plana apresenta duas limitações críticas para tarefas composicionais:

1. Recuperação Não Composicional: Tarefas complexas frequentemente exigem uma sequência ordenada de habilidades com dependências específicas (por exemplo, aquecer um objeto antes de colocá-lo). Recuperadores planos podem identificar habilidades relevantes, mas falham em indicar sua ordem de execução ou relações de pré-requisito.
2. Manutenção Não Estruturada: Sem pistas estruturais explícitas, bibliotecas planas carecem de mecanismos para determinar quando habilidades devem ser mescladas, divididas ou removidas, tornando difícil gerenciar redundância ou evoluir a biblioteca junto com a política aprimorada do agente.

Metodologia: SKILLGRAPH

Os autores propõem o SKILLGRAPH, um framework que organiza habilidades reutilizáveis em um grafo direcionado estruturado de dependências e co-evolui esse grafo com a política do agente por meio de Aprendizado por Reforço (RL). O framework opera em um laço fechado compreendendo três etapas principais:

1. Construção do Grafo

O sistema destila habilidades a partir de trajetórias do agente (tanto bem-sucedidas quanto falhas) usando um modelo de linguagem professor.

• Nós: Representam habilidades categorizadas como gerais (estratégias independentes de domínio) ou específicas de tarefa. Cada nó rastreia contagens de uso e taxas de sucesso empíricas.
• Arestas: Arestas tipadas modelam explicitamente relações entre habilidades:
  • Pré-requisito ($A \to B$): A habilidade $A$ deve ser aplicada antes de $B$.
  • Potencializa ($A \to B$): Uma habilidade geral melhora a eficácia de uma habilidade específica de tarefa.
  • Co-ocorre ($A \leftrightarrow B$): Habilidades que aparecem frequentemente juntas em episódios bem-sucedidos.
• Níveis: Nós são atribuídos a níveis topológicos baseados em hierarquias de dependência (Nível 0 para habilidades fundamentais sem pré-requisitos).

2. Recuperação Consciente do Grafo

Em vez de recuperar um conjunto de habilidades isoladas, o sistema recupera um subgrafo ordenado por dependência para guiar a tomada de decisão em múltiplos passos.

• Seleção de Semente: Identifica pontos de entrada relevantes para a tarefa (habilidades gerais e habilidades correspondentes à tarefa) do conjunto ativo atualmente "desbloqueado".
• Expansão do Grafo:
  • Expansão Reversa: Percorre arestas de pré-requisito de entrada para recuperar habilidades fundamentais.
  • Expansão Direta: Usa busca em feixe para explorar arestas de saída, priorizando caminhos com pesos de aresta elevados.
• Ordenação Topológica: Os nós recuperados são classificados topologicamente para produzir uma sequência coerente de habilidades que espelha o fluxo lógico de subtarefas (do simples ao complexo).

3. Evolução do Grafo

O grafo de habilidades é atualizado dinamicamente durante o treinamento com base em feedback ao nível de trajetória, garantindo que a biblioteca se adapte à competência crescente do agente.

• Adaptação ao Nível de Nó:
  • Inserir: Gera novas habilidades para abordar modos de falha específicos identificados nas trajetórias.
  • Mesclar: Combina habilidades redundantes com alta sobreposição de vizinhança.
  • Dividir: Decompõe habilidades excessivamente amplas que mostram taxas de sucesso moderadas apesar do alto uso.
  • Descontinuar: Remove habilidades que são frequentemente recuperadas, mas falham consistentemente.
• Adaptação ao Nível de Aresta:
  • Reforço: Aumenta os pesos das arestas percorridas em trajetórias bem-sucedidas.
  • Descoberta: Adiciona novas arestas de co-ocorrência quando habilidades aparecem juntas em sucesso.
  • Decaimento e Poda: Aplica decaimento multiplicativo aos pesos das arestas e remove arestas fracas para prevenir relações obsoletas.
• Desbloqueio Progressivo: Implementa um currículo onde habilidades de nível superior são ativadas apenas quando a taxa média de sucesso do nível fundamental atual excede um limiar.

Otimização da Política

A política do agente é otimizada usando GRPO (Otimização de Política Relativa em Grupo). A política é condicionada à descrição da tarefa e à sequência de habilidades recuperada e ordenada. O sistema minimiza um objetivo substituto truncado com uma penalidade KL ancorada a uma política de referência inicializada via Ajuste Fino Supervisionado (SFT).

Contribuições Principais

1. Formulação de Habilidades Estruturadas em Grafo: O artigo introduz uma formulação inovadora onde habilidades são conectadas por relações explícitas de pré-requisito, potencialização e co-ocorrência, indo além da recuperação semântica plana.
2. Framework SKILLGRAPH: Um sistema em laço fechado que permite recuperação de habilidades consciente de dependências e atualizações estruturadas de habilidades (inserção, mesclagem, divisão) durante o treinamento por RL.
3. Validação Empírica: Experimentos extensivos demonstrando que grafos de habilidades estruturados melhoram a eficiência de amostras e o desempenho em tarefas complexas e multi-etapa, comparado a métodos de RL aumentados por memória plana.

Resultados Experimentais

O framework foi avaliado em ALFWorld (manipulação incorporada), WebShop (navegação na web) e sete benchmarks de QA aumentada por busca.

• ALFWorld & WebShop: O SKILLGRAPH alcançou desempenho de última geração, superando significativamente LLMs de código fechado (por exemplo, GPT-4o, Gemini-2.5-Pro) e baselines baseadas em prompts/aumentadas por memória. Notavelmente, superou o método anterior mais forte, SkillRL, em 11,7 pontos no WebShop. Os ganhos foram mais pronunciados em subtarefas que exigem ordenação estrita (por exemplo, "Limpar" e "Aquecer" no ALFWorld).
• QA Aumentada por Busca: Treinado em NQ e HotpotQA, o SKILLGRAPH generalizou zero-shot para cinco conjuntos de dados não vistos (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle), alcançando o desempenho médio mais alto (48,9) entre todas as baselines.
• Estudos de Ablação: Remover a recuperação consciente do grafo causou a maior queda de desempenho no ALFWorld (-31,2%), confirmando a necessidade de sequências de habilidades ordenadas. Remover a evolução do grafo teve o maior impacto no WebShop (-14,1%), destacando o valor de um conjunto de habilidades refinado dinamicamente.
• Eficiência: A recuperação guiada por grafo manteve comprimentos de prompt mais curtos comparado à recuperação plana, melhorando o custo de inferência e a relação sinal-ruído.

Significado e Alegações

O artigo alega que o SKILLGRAPH aborda as limitações centrais de bibliotecas de habilidades planas, permitindo planejamento composicional por meio de recuperação consciente de dependências e evolução principista por meio de atualizações estruturadas. Os autores afirmam que modelar explicitamente relações inter-habilidades permite que agentes:

• Transfiram conhecimento composicional de tarefas mais simples para tarefas mais complexas.
• Reduzam a exploração redundante ao fornecer orientação estruturada.
• Refinem continuamente tanto a biblioteca de habilidades quanto a política do agente em um laço mutuamente reforçador.

O trabalho se posiciona como um passo em direção a agentes que podem acumular conhecimento estruturado a partir da experiência, melhorando a eficiência de amostras e a confiabilidade em domínios como assistência doméstica e recuperação de informações. Os autores reconhecem limitações relacionadas à dependência de um modelo professor forte para operações de grafo e ao confinamento atual ao treinamento em ambiente único, sugerindo transferência entre ambientes e auto-distilação leve como direções futuras.