From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) dependem cada vez mais de habilidades reutilizáveis (conjuntos de instruções, fluxo de controle, restrições e chamadas de ferramentas). No entanto, os artefatos de habilidades atuais são predominantemente representados como documentos ricos em texto (por exemplo, SKILL.md, READMEs ou registros JSON com campos em linguagem natural).

Essa abordagem dominada por texto cria um gargalo representacional:

• Emaranhamento: Sinais críticos utilizáveis por máquinas (interfaces de invocação, estrutura de execução e efeitos colaterais no lado do recurso) estão emaranhados dentro de linguagem natural não estruturada.
• Desafios a Montante:
  • Descoberta de Habilidades: Recuperar a habilidade correta de um grande registro é difícil, pois metadados esparsos não conseguem capturar pistas de nível de implementação ou dependências estruturais ocultas em textos longos.
  • Avaliação de Risco: Identificar riscos de segurança (por exemplo, exfiltração de dados, escalonamento de privilégios) é propenso a erros porque os revisores devem inferir limites operacionais e efeitos colaterais de prosa ruidosa e não estruturada.
• Lacuna: Há uma falta de uma representação intermediária padronizada e fundamentada na fonte que desemaranhe essas propriedades distintas para consumo por máquinas.

2. Metodologia: A Representação SSL

Os autores propõem a representação Scheduling-Structural-Logical (SSL) (Agendamento-Estrutural-Lógico), o primeiro esquema estruturado projetado especificamente para artefatos de habilidades de agente. Ela é fundamentada em teorias clássicas de representação de conhecimento linguístico (Schank & Abelson):

1. Pacotes de Organização de Memória (MOPs): Para contexto orientado a objetivos.
2. Teoria dos Roteiros (Script Theory): Para fases de execução ordenadas.
3. Dependência Conceitual: Para estruturas de ações primitivas.

O esquema SSL mapeia um documento de habilidade não estruturado em um grafo JSON tipado de três camadas:

A. Camada de Agendamento (Interface de Nível de Habilidade)

• Propósito: Atua como a unidade de capacidade no nível de invocação.
• Conteúdo: Captura o objetivo da habilidade, assinatura de intenção, tags, entradas/saídas esperadas, dependências e recursos de fluxo de controle de alto nível (por exemplo, ramificação, loops).
• Função: Fornece um registro estável para roteamento e seleção sem a necessidade de analisar o grafo de execução completo.

B. Camada Estrutural (Fases de Execução de Nível de Cena)

• Propósito: Representa a habilidade como uma sequência de fases de execução coerentes (cenas).
• Conteúdo: Os nós são cenas (por exemplo, PREPARAR, ADQUIRIR, RACIOCINAR, ATUAR, VERIFICAR, RECUPERAR, FINALIZAR). As arestas representam transições com condições de entrada/saída.
• Função: Torna a topologia do fluxo de trabalho visível e inspecionável antes de mergulhar em ações atômicas.

C. Camada Lógica (Ações Atômicas e Evidência de Recursos)

• Propósito: Decompõe cenas em ações atômicas fundamentadas na fonte.
• Conteúdo: Os nós são etapas lógicas definidas por act_type primitivo (por exemplo, LER, ESCREVER, CHAMAR_FERRAMENTA, TRANSFERIR), agentes, instrumentos e, crucialmente, escopos de recursos (por exemplo, LOCAL_FS, REDE, CREDENCIAIS) e efeitos.
• Função: Fornece evidência explícita de quais recursos são acessados e como, permitindo análise de risco precisa.

D. Implementação: O Normalizador baseado em LLM

Os autores instanciam o SSL usando um normalizador baseado em LLM que converte arquivos SKILL.md existentes para o esquema SSL.

• Política de Fundamentação: O normalizador atua como um extrator semântico, não como um resumidor. Ele preenche estritamente os campos apenas com evidências presentes no documento de origem.
• Validação: Ele impõe restrições estritas de esquema, identificadores únicos e vocabulários fechados. Se a evidência estiver ausente, os campos são deixados vazios/nulos em vez de alucinados.
• Pipeline: Um processo de quatro passagens: (1) Extrair registro de agendamento, (2) Decompor em cenas, (3) Expandir para etapas lógicas, (4) Verificar integridade estrutural.

3. Contribuições Principais

1. Esquema SSL: Uma representação estruturada inovadora de três camadas que desemaranha sinais de agendamento, estrutura de execução e evidência lógica de recursos.
2. Normalizador baseado em LLM: Uma ferramenta para converter documentação de habilidades não estruturada no formato SSL com alta fidelidade e fundamentação.
3. Benchmarks e Conjuntos de Dados:
   • Um corpus de 6.184 habilidades de agente públicas.
   • Benchmark de Descoberta de Habilidades: 403 consultas fundamentadas em tarefas para avaliação de recuperação.
   • Benchmark de Avaliação de Risco: 500 habilidades com rótulos de risco ordinais de seis dimensões (Exfiltração de Dados, Comportamento Destrutivo, Escalonamento de Privilégios, Execução Clandestina, Abuso de Recursos, Acesso a Credenciais).
4. Validação Empírica: Demonstrou que representações estruturadas superam significativamente as bases de referência apenas em texto tanto em tarefas de descoberta quanto de segurança.

4. Resultados Experimentais

A. Descoberta de Habilidades (Recuperação)

• Tarefa: Correspondência de consultas de usuários à habilidade correta em um registro de 6.184 candidatos.
• Métrica: Recíproca Média de Ranks (MRR).
• Resultados:
  • Base de Referência (Apenas Descrição): MRR = 0,573.
  • Base de Referência (SKILL.md Completo): MRR = 0,602.
  • Melhor Variante SSL (Desc + SSL-Rico): MRR = 0,707.
• Insight: Campos ricos derivados do SSL (tipos de cena, dependências explícitas, assinaturas de interface) fornecem sinais de recuperação mais fortes do que texto bruto ou metadados superficiais. Resumos estruturados concisos superam a incorporação de documentos longos.

B. Avaliação de Risco

• Tarefa: Um juiz LLM avalia habilidades para seis dimensões de risco em uma escala de 1 a 5.
• Métrica: F1 Macro (para detecção binária de risco) e Erro Absoluto Médio (MAE).
• Resultados:
  • Base de Referência (SKILL.md Completo): F1 Macro = 0,744.
  • Visão Combinada (SKILL.md + SSL): F1 Macro = 0,787.
  • Apenas SSL Completo: F1 Macro = 0,775.
• Insight: Evidências estruturadas melhoram significativamente a detecção de riscos ligados a operações explícitas (por exemplo, acesso a credenciais, comportamento destrutivo). No entanto, para julgamentos complexos que exigem contexto narrativo (por exemplo, escalonamento de privilégios), a combinação de texto de origem e SSL produz os melhores resultados, sugerindo que o SSL deve aumentar, não substituir, o documento de origem.

5. Significado e Implicações

• Interface de Evidência: O SSL serve como uma interface de evidência "adjacente à fonte". Torna diferentes tipos de evidência (interface, fluxo de trabalho, recurso) explicitamente disponíveis para sistemas a jusante selecionarem com base nas necessidades da tarefa.
• Acionabilidade Operacional: Ao separar pistas de invocação da lógica de execução, o SSL permite um gerenciamento de habilidades mais robusto, incluindo melhor roteamento, verificação de políticas e revisão humana.
• Direção Futura: O artigo posiciona o SSL não como um padrão finalizado, mas como um passo prático em direção a representações de habilidades inspecionáveis, reutilizáveis e acionáveis operacionalmente. Trabalhos futuros podem envolver a ligação de grafos SSL em grafos de conhecimento ao nível do repositório ou seu uso para pontos de verificação de execução de agentes em tempo de execução.
• Limitações: A abordagem atual depende de artefatos estáticos (faltando rastreamentos dinâmicos de tempo de execução) e depende da fidelidade da normalização por LLM. É mais eficaz para habilidades onde o acesso a recursos e o fluxo de controle são explicitamente documentados.

Em conclusão, o artigo argumenta que a transição de representações "ricas em texto" para representações "fundamentadas em estrutura" é essencial para escalar ecossistemas de agentes, oferecendo um caminho concreto para melhorar tanto a descobertabilidade quanto a segurança das habilidades de agentes LLM.