Resumo Técnico: Detecção de Desalinhamento Transversal de Camadas em Habilidades de Agentes

Definição do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) evoluem para sistemas de IA agêntica, eles dependem cada vez mais de Habilidades de Agente (Agent Skills) — artefatos reutilizáveis que contêm metadados em linguagem natural, instruções procedimentais e recursos de tempo de execução. Uma vulnerabilidade crítica surge da natureza hierárquica dessas habilidades: usuários e agentes frequentemente selecionam habilidades com base em metadados superficiais (descrições, tags, nomes) antes que as instruções e recursos subjacentes sejam totalmente carregados ou executados.

O artigo identifica o Desalinhamento Transversal de Camadas (Cross-Layer Misalignment) como a discrepância entre as reivindicações de uma habilidade voltadas ao usuário (metadados) e seu comportamento real (instruções e recursos). Esse desalinhamento se manifesta de duas formas:

1. Desalinhamento Malicioso: Os metadados mascaram comportamentos prejudiciais (ex: injeção de prompt, vazamento de credenciais, execução de comandos inseguros) presentes nas camadas mais profundas.
2. Desalinhamento Benigno: Os metadados exageram ou descrevem incorretamente capacidades que o pacote subjacente não suporta de fato.

Os paradigmas de avaliação atuais focam no desempenho em tempo de execução (sucesso da tarefa, proficiência de ferramenta) ou em vulnerabilidades de segurança específicas dentro de artefatos isolados. Eles falham em avaliar a consistência entre camadas antes da execução, deixando uma lacuna onde decisões de confiança são tomadas com base em informações parciais.

Metodologia: Estrutura PL-HCL

Para abordar isso, os autores propõem o Aprendizado Contrastivo Hierárquico com Sensibilidade ao Carregamento Progressivo (Progressive Loading-Aware Hierarchical Contrastive Learning - PL-HCL). A estrutura trata as Habilidades de Agente como artefatos em camadas ($S = (M, I, R)$) e treina modelos para verificar se os metadados ($M$) são substanciados pelas instruções ($I$) e recursos ($R$).

1. Construção do Conjunto de Dados

• Corpus: Um corpus normalizado de 264.937 Habilidades de Agente de código aberto do SkillsMP, vinculadas a repositórios do GitHub. Cada habilidade é estruturada em três camadas: Metadados, Instruções e Recursos.
• Conjunto de Desafio: Um conjunto de avaliação de retenção, verificado por humanos, de 1.444 habilidades (1.150 alinhadas, 294 desalinhadas). Crucialmente, os exemplos desalinhados são casos ocorridos naturalmente "no mundo real" (in-the-wild), não gerados sinteticamente, para testar a generalização.

2. Pré-treinamento Continuado de Dois Estágios (CPT)

Antes do aprendizado contrastivo, o LLM base passa por uma adaptação inspirada em currículo para o formato da habilidade:

• Estágio 1 (Visão Curta): Treina em Metadados + Instruções ($M, I$), simulando a fase inicial de inspeção.
• Estágio 2 (Visão Completa): Treina em Metadados + Instruções + Recursos ($M, I, R$), expondo o modelo ao contexto completo do pacote.
• Objetivo: Adaptar o modelo ao vocabulário, formatação e estrutura hierárquica das Habilidades de Agente, em vez de forçar imediatamente o modelo a julgar a consistência.

3. Aprendizado Contrastivo Hierárquico com Sensibilidade ao Carregamento Progressivo (PL-HCL)

Este componente aprende explicitamente a consistência entre camadas ao contrastar visões:

• Visão Positiva ($P_i$): Camadas alinhadas da mesma habilidade: $(M_i, I_i, R_i)$.
• Visões Negativas:
  • Negativo de Troca (Swap Negative - $N^A_i$): Metadados de uma habilidade diferente pareados com as instruções/recursos originais: $(M_j, I_i, R_i)$ onde $j \neq i$.
  • Negativo de Corrupção (Corruption Negative - $N^B_i$): Metadados perturbados/enganosos pareados com as camadas originais: $(\tilde{M}_i, I_i, R_i)$.
• Objetivo: O modelo aprende a pontuar a visão alinhada de forma mais alta do que as variantes incompatíveis, aprendendo efetivamente um sinal de "reivindicação versus evidência". Este treinamento ocorre em dois subestágios correspondentes às visões curta e completa usadas no CPT.

Principais Contribuições

1. Formalização do Problema: Definiu o desalinhamento transversal de camadas como um problema de avaliação de nível de artefato pré-execução, distinguindo-o da avaliação padrão de segurança ou desempenho de tarefa em tempo de execução.
2. Conjunto de Dados: Construiu um corpus de Habilidades de Agente de código aberto em larga escala e um conjunto de desafio verificado por humanos especificamente para avaliação de alinhamento/desalinhamento.
3. Estrutura (Framework): Introduziu o PL-HCL, um framework de pré-treinamento contrastivo que aprende a consistência entre camadas.
4. Descobertas Empíricas: Demonstrou que, embora a adaptação ao formato da habilidade (CPT) seja necessária, ela é insuficiente para a detecção; o aprendizado contrastivo explícito é necessário para identificar o desalinhamento.

Resultados Experimentais

A estrutura foi avaliada no Conjunto de Desafio usando modelos de base gerais (ex: Llama-3.1-8B) e ajustados para cibersegurança (ex: Foundation-Sec-8B) nos cenários zero-shot, two-shot e five-shot.

• LLMs Base (E0): Modelos não adaptados tiveram um desempenho ruim na classe desalinhada, alcançando pontuações Macro-F1 em torno de 0,45–0,52 e F1 de Desalinhamento ($F1_m$) abaixo de 0,15. Eles exibiram um forte viés para classificar pacotes plausíveis como "alinhados".
• Apenas Pré-treinamento Continuado (E1): O CPT de dois estágios melhorou a adaptação ao formato da habilidade, mas rendeu ganhos limitados na detecção de desalinhamento. O Macro-F1 permaneceu próximo a 0,48–0,52, e o $F1_m$ permaneceu abaixo de 0,15. Isso indica que a familiaridade com o formato não equivale à capacidade de detectar inconsistências.
• PL-HCL (E2): A estrutura completa melhorou significativamente o desempenho.
  • No Foundation-Sec-8B, o Macro-F1 subiu de ~0,52 (apenas CPT) para 0,889, e o $F1_m$ saltou de 0,150 para 0,817 (configuração two-shot).
  • No Llama-3.1-8B, o Macro-F1 atingiu 0,872 e o $F1_m$ atingiu 0,788.
• Generalização: Apesar de ser treinado em pares negativos sintéticos (troca/corrupção de metadados), o PL-HCL conseguiu generalizar para habilidades desalinhadas naturais, ocorridas "no mundo real", no Conjunto de Desafio.

Significância e Alegações

O artigo afirma que o PL-HCL oferece uma ferramenta de triagem escalável e pré-execução para o ecossistema de IA agêntica. Sua significância reside em três áreas:

1. Mudança no Paradigma de Avaliação: Move o foco de "a ferramenta funciona?" (tempo de execução) para "a ferramenta é honesta sobre o que ela é?" (consistência pré-execução).
2. Utilidade para Stakeholders:
   • Marketplaces: Podem usar o PL-HCL como um mecanismo de governança para sinalizar habilidades de alto risco para revisão manual ou atribuir selos de verificação antes da listagem.
   • Usuários: Permite uma triagem leve no lado do cliente para alertar usuários quando a descrição de uma habilidade contradiz seu código ou recursos.
   • Analistas: Fornece um método para triar grandes coleções de habilidades, identificando agrupamentos de inconsistências entre metadados e comportamento.
3. Princípio de Design: Os autores argumentam que, para qualquer artefato digital hierárquico e de carregamento progressivo (ex: extensões de navegador, servidores MCP), as decisões de confiança tomadas antes da execução completa exigem que os modelos aprendam explicitamente a consistência entre as reivindicações superficiais e as evidências mais profundas, em vez de depender apenas de modelagem de linguagem genérica ou varredura baseada em palavras-chave.

Os autores mantêm a modéstia quanto às limitações, observando que a abordagem depende de artefatos estáticos de pacotes e não pode detectar comportamentos dinâmicos em tempo de execução, efeitos colaterais ou mutações que ocorrem apenas durante a execução ao vivo. Eles sugerem que o PL-HCL deve ser visto como uma camada complementar ao sandboxing em tempo de execução e à avaliação de trajetória.