Resumo Técnico: SkillDAG

1. Definição do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) adotam extensas bibliotecas de habilidades externas, o gargalo desloca-se da autoria da habilidade para a seleção da habilidade. Quando as bibliotecas escalam para milhares de entradas, os métodos tradicionais de recuperação falham em capturar as complexas relações estruturais entre as habilidades.

• Limitações da Recuperação Plana: Abordagens padrão (ex: similaridade de cosseno top-$K$ ou BM25) tratam as habilidades como vetores independentes. Isso leva a "falhas silenciosas" onde pré-requisitos estruturalmente necessários são omitidos, habilidades redundantes ou interferentes são selecionadas, e pares sinérgicos são perdidos.
• Limitações do Grafo Estático: Trabalhos anteriores como o Graph of Skills (GoS) modelam as relações entre habilidades, mas dependem de um pipeline de recuperação fixo e offline (ex: Personalized PageRank). O pacote de habilidades resultante é opaco ao agente; o LLM não consegue consultar a estrutura do grafo, raciocinar sobre o porquê de uma habilidade ter sido escolhida, retrair uma recuperação ruidosa ou registrar novas relações descobertas durante a execução.

O problema central é que os sistemas atuais escondem a estrutura relacional da biblioteca do agente, impedindo que o LLM tome decisões estruturais informadas durante a inferência.

2. Metodologia: SkillDAG

O SkillDAG propõe uma inversão fundamental: em vez de incorporar o grafo dentro de um algoritmo de ranking fixo, ele expõe o grafo de relação de habilidades tipadas como uma interface de recuperação estrutural chamável pelo agente. O grafo é consultado, inspecionado e evoluído pelo LLM durante a execução.

2.1. Grafo de Relação de Habilidades Tipadas

A biblioteca de habilidades é modelada como um grafo direcionado $G = (V, E, \tau)$, onde as arestas recebem um de cinco tipos operacionais:

1. depends_on (depende de): A habilidade $A$ requer o pré-requisito $B$.
2. specializes (especializa): A habilidade $D$ é uma variante mais estreita e preferencial de $A$.
3. composes_with (compõe com): As habilidades $A$ e $B$ possuem uso conjunto sinérgico.
4. similar_to (similar a): Redundância funcional; o agente deve escolher uma, não ambas.
5. conflicts_with (conflita com): As habilidades $A$ e $B$ não devem ser selecionadas conjuntamente (sinal de poda).

Decisão de Design Chave: conflicts_with é tratado como um sinal de poda, não como uma aresta de travessia, para evitar que o agente navegue em direção a habilidades que lhe foram explicitamente instruídas a evitar. A espinha dorsal (depends_on, specializes) é restrita para ser acíclica.

2.2. Interface Chamável pelo Agente

O agente interage com o grafo através de uma função search que retorna três canais de evidência distintos, em vez de um único pacote ranqueado:

• Matches (Correspondências): Top-$K$ habilidades baseadas na similaridade de embedding do nó de consulta.
• Neighbors (Vizinhos): Habilidades alcançadas via travessia BFS limitada (profundidade $D$) sobre as quatro arestas "positivas" (depends_on, specializes, composes_with, similar_to).
• Conflicts (Conflitos): Arestas conflicts_with de um salto incidentes a qualquer correspondência.

Essa decomposição permite que o agente descarte campos específicos sob orçamentos de contexto apertados, agende buscas dinamicamente e mantenha um rastro de raciocínio para decisões de seleção/exclusão.

2.3. Construção de Cold-Start

Para inicializar o grafo antes de qualquer execução do agente, uma estratégia de embedding de duas visões é empregada para recuperar pares transfuncionais que a similaridade de visão única perde:

1. $e_{self}$: Incorpora o identificador, descrição e corpo da habilidade (o que ela faz).
2. $e_{needs}$: Um LLM gera um resumo estilo HyDE do que a habilidade requer (pré-requisitos) baseado em tarefas de invocação imaginadas, que é então incorporado.

Pares candidatos são formados se qualquer ranking exceder um limiar adaptativo, seguido por um classificador de pares via LLM para atribuir tipos de aresta. conflicts_with é excluído desta fase estática, pois requer evidência de execução.

2.4. Evolução de Grafo Online

O SkillDAG introduz um protocolo propor-então-confirmar para atualizações de grafo online:

1. propose-edge (propor-aresta): Uma simulação onde o agente prevê uma possível mudança de aresta e revisa o histórico existente para aquele par de habilidades.
2. edit-edge (editar-aresta): O agente confirma a mudança com uma razão em linguagem natural e um rastro de execução.

Invariantes Estruturais: Para evitar incoerência, cada confirmação deve passar por três verificações:

• Aciclicidade: Previne ciclos na espinha dorsal depends_on/specializes.
• Não-contradição: Previne que um par possua tanto uma aresta positiva (ex: depends_on) quanto uma aresta conflicts_with simultaneamente.
• Reversibilidade: Um log de histórico de anexação permite o rollback de edições espúrias.

3. Principais Contribuições

1. Identificação de Modos de Falha Estrutural: O artigo identifica que a recuperação plana omite silenciosamente habilidades estruturalmente necessárias e concatena habilidades redundantes, uma falha invisível apenas para a correspondência de similaridade.
2. Interface Chamável pelo Agente: O SkillDAG expõe um grafo de relação tipado via search/show/propose-edge/edit-edge, substituindo políticas de ranking fixas por evidências estruturais sobre as quais o agente raciocina diretamente.
3. Protocolo de Evolução Online: Um mecanismo para agentes expandirem o grafo a partir de evidências de episódios únicos sob estritas invariantes estruturais, pareado com um construtor de cold-start de duas visões para recuperar pares transfuncionais.
4. Validação Empírica: Demonstrado melhorias no ALFWorld e SkillsBench em diferentes backbones de modelos.

4. Resultados Experimentais

Os experimentos foram conduzidos no ALFWorld (ambiente incorporado baseado em texto) e SkillsBench (tarefas de geração de código conteinerizadas) usando MiniMax-M2.7 e gpt-5.2-codex.

• Ganhos de Desempenho (MiniMax-M2.7):
  • ALFWorld: A taxa de sucesso aumentou de 54.3% (baseline GoS) para 67.1% (+12.8 pontos).
  • SkillsBench: A recompensa aumentou de 18.7% para 27.3% (+8.6 pontos).
  • Recuperação Intrínseca: Ret@K no SkillsBench subiu de 65.5% para 78.2%, indicando que o pipeline de recuperação é mais preciso antes da execução.
• Ganhos de Desempenho (gpt-5.2-codex):
  • O SkillDAG empatou com o baseline GoS no ALFWorld (93.6%) e melhorou no SkillsBench (34.4% $\to$ 36.8%).
  • O artigo observa que a assinatura de "auxílio de roteamento" é maior onde o modelo de base não consegue raciocinar além de um pacote ruim e desaparece quando o backbone é forte o suficiente para lidar com pacotes opacos.
• Escalabilidade: A qualidade de recuperação do SkillDAG permaneceu estável (Ret@K $\approx$ 78.2%) conforme o pool de habilidades expandia 10x (de 200 para 2000 habilidades), enquanto o baseline GoS degradou significamente.
• Persistência de Edição: Edições online confirmadas durante o treinamento transferiram-se efetivamente para episódios de teste não vistos, e o grafo editado recuperou mais habilidades de ground-truth por consulta sem expulsar sucessos anteriores (propriedade de conjunto-monotônica).

5. Significância e Alegações

O artigo afirma que o SkillDAG valida a hipótese de que a estrutura de grafo funciona melhor como uma interface para decisões de roteamento, não como uma política opaca.

• Inversão de Design: Ao tornar o grafo uma interface chamável pelo agente em vez de um substrato de um recuperador fixo, o sistema permite que o LLM decida como a evidência estrutural afeta a execução.
• Robustez: A abordagem isola o ganho do pipeline de recuperação, mostrando que a recuperação de grafo tipado supera o ranking baseado em difusão (PPR) à medida que a biblioteca escala, sem depender da execução do agente para corrigir um sistema de recuperação quebrado.
• Auto-evolução: O sistema permite atualizações precisas e auditáveis da estrutura de habilidades baseadas em evidências de execução, permitindo que o grafo acumule conhecimento através de episódios sem curadoria humana.

Os autores reconhecem limitações quanto ao comportamento de longo horizonte da autoevolução de observação única, observando que, embora os efeitos agregados das edições sejam positivos, a estabilidade de tal evolução em cronogramas muito longos permanece uma questão aberta para trabalhos futuros.