Anything2Skill: Compiling External Knowledge into Reusable Skills for Agents

Resumo Técnico: ANYTHING2SKILL

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) permite que agentes acessem conhecimento externo no momento da inferência, mas ela recupera primariamente evidências declarativas fragmentadas (ex: passagens, manuais, logs). Consequentemente, os agentes devem reconstruir repetidamente procedimentos de tarefas a partir desses fragmentos em tempo de execução. Esta limitação é crítica em configurações de agentes onde o sucesso depende não apenas da recuperação de fatos, mas de seguir procedimentos específicos: determinar quando invocar ferramentas, executar sequências de ações corretas, satisfazer restrições e evitar casos de falha. Agentes baseados em habilidades existentes geralmente dependem de habilidades especificadas manualmente, habilidades aprendidas através de interação com o ambiente ou código gerado durante a resolução de tarefas, falhando em alavancar a vasta quantidade de conhecimento procedimental latente já incorporado em bases de conhecimento heterogêneas externas.

Metodologia

O artigo propõe o ANYTHING2SKILL, um framework guiado por taxonomia projetado para compilar conhecimento externo heterogêneo em habilidades reutilizáveis, recuperáveis e executáveis. O framework opera através de um pipeline de extração, gerenciamento e aumento de inferência.

1. Extração de Habilidades com Prior de Árvore de Habilidades

Dado um corpus de registros de conhecimento $K$ (documentos, diálogos, logs, trajetórias), o sistema decompõe os registros em janelas de evidência estritas. Ele emprega uma estratégia de extração de planejamento e expansão sob um prior de árvore de habilidades:

• Prior de Taxonomia: Uma taxonomia de habilidades $\mathcal{T}$ define tipos de ativos estáveis (ex: macro_protocol, session_skill, micro_skill, safety_rule) e níveis hierárquicos. Isso restringe a extração em direção a capacidades procedimentais em vez de resumos de forma livre.
• Planejamento e Expansão: Um planejador baseado em LLM primeiro identifica candidatos a habilidades distintas a partir das janelas de evidência. Uma etapa de expansão subsequente converte esses candidatos em rascunhos de habilidades estruturados.
• Validade Procedimental: Os candidatos são filtrados para garantir que contenham componentes procedimentais (passos de fluxo de trabalho, movimentos de ação, restrições) e possam ser mapeados para a taxonomia.
• Saída: Os rascunhos extraídos são convertidos em contratos de habilidade estruturados, especificando condições de invocação, contraindicações, movimentos de ação, passos de fluxo de trabalho, restrições, especificações de saída, evidência de suporte e pontuações de confiança.

2. Gerenciamento de Habilidades no SkillBank

Para transformar rascunhos locais em um SkillBank ($\mathcal{B}$) implantável, o sistema realiza três etapas de gerenciamento:

• Compilação de Nível de Documento: Rascunhos que descrevem capacidades sobrepostas são agrupados por uma chave de identidade consciente da taxonomia. Um compilador produz uma especificação de habilidade canônica para cada grupo, restrita a preservar tipos de ativos e nós de taxonomia enquanto cita apenas a evidência suportada.
• Reconciliação de Nível de Registro: As habilidades recebidas são reconciliadas com o SkillBank persistente usando recuperação híbrida (similaridade densa, correspondência lexical esparsa e compatibilidade de taxonomia). Um modelo de gerenciamento prevê ações de ciclo de vida: CREATE (CRIAR), STRENGTHEN (FORTALECER), REVISE (REVISAR), MERGE (MESCLAR), SPLIT (DIVIDIR), UNCHANGED (INALTERADO) ou DISCARD (DESCARTAR). Isso garante versionamento, resolução de conflitos e evita a mesclagem de camadas de habilidades incompatíveis (ex: mesclar uma regra de segurança em uma micro-habilidade).
• Projeção de Árvore de Habilidades Visível: As habilidades ativas são organizadas em uma hierarquia visível baseada na taxonomia. O sistema realiza a consolidação de mesmo nível para reduzir a redundância de navegação, selecionando habilidades primárias com base no status de ciclo de vida e cobertura de proveniência.

3. Recuperação Aumentada por Habilidade

No momento da inferência, o agente utiliza um mecanismo de dupla recuperação:

1. Evidência Declarativa: Recupera passagens específicas da tarefa do banco de conhecimento original ($C_q$) via RAG padrão.
2. Orientação Procedimental: Recupera habilidades compiladas relevantes do SkillBank ($S_q$).
   O agente resolve a tarefa condicionado a ambas as fontes, permitindo que o RAG forneça fundamentação factual enquanto o SkillBank fornece memória procedimental reutilizável.

Principais Contribuições

1. Proposta de Framework: Introdução do ANYTHING2SKILL, que estende agentes de recuperação aumentada do simples acesso ao conhecimento para a aquisição de capacidades reutilizáveis, compilando registros heterogêneos em habilidades estruturadas e fundamentadas em evidências.
2. Pipeline de Implementação: Um pipeline completo para compilação e gerenciamento de habilidades, incluindo construção de janela de evidência, extração de planejamento e expansão sob um prior de árvore de habilidades, geração de contrato estruturado, consolidação consciente da taxonomia, reconciliação de nível de registro, rastreamento de ciclo de vida e atualizações versionadas.
3. Validação Empírica: Demonstração de que aumentar agentes RAG com um SkillBank compilado melhora substancialmente o sucesso de tarefas em benchmarks de linha de comando, superando os baselines de RAG-apenas e habilidade-apenas.

Resultados Experimentais

O framework foi avaliado em dois benchmarks de agente de linha de comando: qsv (operações de CSV) e GitHub-CLI (gerenciamento de repositório).

• Baselines: Um Agente Base (sem contexto externo) alcançou 81,60% (qsv) e 64,70% (GitHub-CLI) de sucesso.
• RAG Apenas: Melhorou o sucesso para 95,41% (qsv) e 76,50% (GitHub-CLI).
• ANYTHING2SKILL Apenas: Alcançou 91,95% (qsv) e 82,30% (GitHub-CLI), demonstrando que habilidades compiladas fornecem conhecimento procedimental reutilizável mesmo sem a recuperação de documentos em tempo de tarefa.
• ANYTHING2SKILL + RAG: Alcançou o desempenho mais alto com 98,85% em qsv e 94,10% em GitHub-CLI.

Os resultados indicam que, embora o RAG forneça fatos declarativos necessários, as habilidades compiladas oferecem orientação procedimental complementar (condições de invocação, sequências de ação, restrições) que reduz significativamente o fardo de reconstruir procedimentos em tempo de execução. A melhoria foi particularmente pronunciada no GitHub-CLI, onde fluxos de trabalho complexos se beneficiam mais de estruturas procedimentais pré-compiladas.

Significância e Alegações

O artigo alega que compilar conhecimento procedimental latente em habilidades explícitas e reutilizáveis é um método eficaz para estender agentes de recuperação aumentada. Os autores argumentam que os agentes não devem apenas recuperar documentos externos como evidência declarativa, mas também organizar e reutilizar as capacidades procedimentais latentes dentro desse conhecimento. Ao transformar documentos, manuais e logs em um SkillBank persistente, o ANYTHING2SKILL permite que os agentes passem do acesso ao conhecimento para a reutilização de capacidade, preenchendo a lacuna entre a geração aumentada por recuperação e a reutilização de capacidade baseada em habilidades.