Resumo Técnico: SkillConsist

Declaração do Problema

As Habilidades de Agente (Agent Skills) fornecem fluxos de trabalho reutilizáveis para agentes de Grandes Modelos de Linguagem (LLM), definidos por uma declaração (o que a Habilidade afirma fazer) e uma implementação (o que ela realmente executa). Inconsistências entre esses dois lados — como comportamentos declarados, mas não implementados, comportados implementados, mas não declarados, ou comportamentos conflitantes — podem levar à seleção incorreta de Habilidades ou à invocação de ações perigosas e fora do escopo.

Os métodos de detecção existentes enfrentam dois desafios primários neste domínio:

1. Conteúdo Misto: Declarações e implementações de comportamentos estão frequentemente interligadas dentro de instruções em linguagem natural e fragmentos de código, tornando difícil distinguir entre uma afirmação e um passo de execução.
2. Descompasso de Granularidade: Uma declaração concisa pode corresponder a múltiplos passos de implementação conectados, enquanto um único comportamento implementado pode ser descrito através de múltiplas declarações dispersas.

As abordagens atuais, que muitas vezes dependem da comparação de taxonomias de segurança predefinidas ou do uso de LLMs para cruzar metadados com código, têm dificuldade em lidar com esses papéis mistos e variações de granularidade de forma eficaz.

Metodologia: SkillConsist

O SkillConsist aborda esses desafios através de um pipeline de três estágios: Separação de Papéis e Extração de Registros de Comportamento, Construção de Grafo de Comportamento e Alinhamento e Diferenciação de Grafos Bidirecional.

1. Separação de Papéis e Extração de Registros de Comportamento

O sistema primeiro desentranha o conteúdo misto para identificar papéis semânticos.

• Separação Baseada em LLM: Um LLM (DeepSeek-V4 Pro) processa fragmentos de pacotes para separar fatos de declaração e implementação em registros de comportamento estruturados ($K = \langle C, O, R, E \rangle$), onde $C$ é a condição, $O$ é o objeto afetado, $R$ é o efeito e $E$ é a localização da fonte.
• Análise Estática: A análise de programa suplementa esses registros extraindo detalhes de implementação a partir do código-fonte, configurações e execução controlada (ex: entradas públicas, entradas, saídas e efeitos colaterais).
• Saída: Dois conjuntos mesclados e vinculados à origem: Registros de Declaração $D(S)$ e Registros de Implementação $M(S)$.

2. Construção de Grafo de Comportamento

Para lidar com as diferenças de granularidade, os registros são organizados em dois grafos direcionados distintos: o Grafo de Declaração ($G_D$) e o Grafo de Implementação ($G_M$).

• Nós: Incluem nós de registro, nós de objetos, nós de entrada pública e nós de evidência.
• Arestas: Seis relações tipadas conectam os nós, incluindo entrada-para-registro, registro-para-objeto, evidência-para-registro e dependências entre registros (resultado-para-entrada, resultado-para-condição, condição-para-condição).
• Grupos de Comportamento: Subgrafos conectados dentro de cada grafo que expressam conjuntamente um único comportamento são identificados como grupos de comportamento ($B_X(S)$). Esses grupos servem como as unidades atômicas para comparação.

3. Alinhamento e Diferenciação de Grafos Bidirecional

Este estágio alinha os grupos de comportamento entre os dois grafos para detectar inconsistências, lidando com o descompasso de granularidade através da busca em ambas as direções ($D \to M$ e $M \to D$).

• Âncora e Expansão: Partindo de um registro âncora em um grupo de comportamento de origem, o sistema busca subgrafos candidatos no grafo de destino. Ele expande esses candidatos ao longo das relações de comportamento até que potencialmente cubram o comportamento de origem.
• Conclusão de Subgrafo: Os candidatos são validados contra quatro predicados de completude: Condição, Entrada, Resultado e Caminho. Um candidato é alinhado apenas se satisfizer as restrições de vínculo (proprietários compatíveis, entradas, escopos) e fornecer todos os campos e caminhos necessários.
• Prova e Diferenciação:
  • Suportado: A evidência confirma que todas as condições e efeitos coincidem.
  • Contradito: A evidência mostra campos incompatíveis (ex: valores padrão diferentes).
  • Não Aplicável: Não existe obrigação.
  • Desconhecido: A evidência está incompleta.
• Verificação de Cobertura: Se nenhum candidato alinhado for encontrado, o sistema gera um certificado de cobertura para verificar se o espaço de busca foi exaustivo. Isso evita falsos positivos em comportamentos "ausentes".
• Saídas de Inconsistência:
  • Conflito: Uma declaração necessária possui uma contraparte contradita.
  • Não Implementado: Uma declaração necessária não possui contraparte.
  • Não Declarado: Uma implementação dentro do escopo não possui contraparte de declaração.

Principais Contribuições

1. Formulação de Alinhamento de Grafo Bidirecional: O artigo formula a consistência de pacotes como um problema de alinhamento de grafo bidirecional, permitindo que um comportamento de um lado corresponda a múltiplos registros conectados no outro, mitigando assim as diferenças inerentes de granularidade.
2. Sistema SkillConsist: Um novo sistema que extrai comportamentos de conteúdo misto, constrói grafos de declaração e implementação separados e localiza inconsistências através de busca de subgrafo guiada por relações, diferenciação e verificação de cobertura.
3. Construção de Benchmark: A criação de um benchmark revisado manualmente de 633 Habilidades de Agente (provenientes de ClawHub e Skill-Inject) contendo 319 pacotes inconsistentes e 314 consistentes, com 442 anotações de localização de inconsistência.

Resultados Experimentais

O sistema foi avaliado no benchmark de 633 Habilidades contra quatro baselines (LLM, LLM+RAG, Adaptado C4RLLaMA, Adaptado SKILLSCOPE).

• Detecção de Nível de Pacote: O SkillConsist alcançou 86,85% de precisão, 89,03% de recall e 87,93% de F1. Isso representa uma melhoria de 20,43 pontos percentuais no F1 sobre a melhor baseline.
• Localização de Inconsistência: O SkillConsist alcançou 67,60% de precisão, 58,14% de recall e 62,52% de F1.
• Estudos de Ablação: A remoção da separação de papéis ou da expansão de subgrafos degradou significativamente o desempenho, confirmando sua necessidade para recuperar contrapartes válidas. A remoção da verificação de cobertura aumentou o recall, mas reduziu drasticamente a precisão devido a falsos positivos.
• Triagem de Habilidades Maliciosas: Ao ser aplicado a 133 pacotes do Skill-Inject, os sinais de risco de inconsistência melhoraram o recall da detecção de habilidades maliciosas em 11,90% (portão de alto risco) e 26,19% (portão de risco médio/alto) com mínima verificação dinâmica redundante.

Significância e Alegações

O artigo afirma que o SkillConsist avança o estado da arte ao ir além da simples comparação de texto-código para uma abordagem estrutural baseada em grafos que lida explicitamente com a natureza mista do conteúdo das Habilidades de Agente e o hiato de granularidade entre declarações e implementações.

Ao separar os papéis e utilizar o alinhamento bidirecional, o SkillConsist fornece descobertas localizadas na origem, em vez de apenas sinalizações de nível de pacote. Os autores afirmam que essa capacidade é crucial para a segurança, pois permite a detecção de comportamentos perigosos não declarados (ex: uma Habilidade que afirma sincronizar e-mails, mas na verdade encaminha arquivos para um endpoint externo) e melhora a confiabilidade dos fluxos de trabalho dos agentes. Os resultados sugerem que o alinhamento de grafo bidirecional é um método robusto para estabelecer correspondências em artefatos de software complexos e de mídia mista, superando a geração aumentada por recuperação e a correspondência de propriedades de segurança estáticas tanto em tarefas de detecção quanto de localização.