SkillProbe: Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration

1. O Problema

Com a rápida evolução dos ecossistemas de agentes baseados em Grandes Modelos de Linguagem (LLMs), surgiram mercados centralizados de habilidades (skill marketplaces) como infraestrutura crítica. No entanto, esses mercados enfrentam desafios de segurança sem precedentes que as abordagens tradicionais não conseguem resolver:

• Inconsistência Semântico-Comportamental: Existe uma lacuna profunda entre a documentação de uma habilidade (o que ela diz fazer) e sua lógica executável (o que ela realmente faz). Desenvolvedores maliciosos podem criar habilidades que parecem seguras na descrição em linguagem natural, mas contêm funções ocultas (shadow functions), exfiltração de dados ou escalonamento de privilégios no código.
• Riscos Combinatórios Inter-habilidades: Arquiteturas modernas de agentes frequentemente invocam múltiplas habilidades em colaboração. Habilidades que são benignas isoladamente podem, quando combinadas em cadeias de execução específicas, gerar ataques emergentes (como injeção de prompts indireta ou vazamento de dados em cadeia).
• Falha das Defesas Atuais: As defesas existentes focam em análise estática de código (que ignora a camada semântica) ou governança em tempo de execução (que sofre da janela de vulnerabilidade Time-of-Check to Time-of-Use e não detecta ameaças sutis antes da execução).

2. Metodologia: SkillProbe

O SkillProbe é um framework de auditoria de segurança em múltiplos estágios, impulsionado pela colaboração de múltiplos agentes. Ele adota o paradigma "Skills-for-Skills" (Habilidades para Habilidades), onde cada fase de auditoria é encapsulada como um módulo de habilidade padronizado, permitindo que agentes gerais carreguem e executem esses módulos sob demanda.

O sistema opera através de um pipeline de três fases coordenado por um "Auditor de Segurança":

1. Fase 1: Gatekeeper (Filtro de Admissão)

   • Realiza uma triagem inicial verificando conformidade, padrões de código malicioso, dependências perigosas (CVEs conhecidos) e racionalidade de permissões.
   • Utiliza uma arquitetura de inspeção desacoplada e agregação centralizada, combinando ferramentas determinísticas (como scanners de backdoor) com análise baseada em LLM.
   • Adota um princípio conservador: uma única decisão de "BLOQUEIO" resulta na rejeição da habilidade.

2. Fase 2: Alignment Detector (Detector de Alinhamento)

   • Foca na consistência entre a documentação e o código.
   • Extrai capacidades declaradas (via regex e LLM) e capacidades implementadas (via análise de AST e LLM).
   • Constrói uma matriz de alinhamento de quatro classes para categorizar riscos:
     • Match: Alinhamento total.
     • Over-declaration: Permissões excessivas reivindicadas.
     • Under-declaration: Presença de funções sombra (código não documentado).
     • Mixed: Desvios complexos.

3. Fase 3: Flow Simulator (Simulador de Fluxo)

   • Aborda os riscos de colaboração entre habilidades.
   • Utiliza etiquetagem de impressão digital de risco para reduzir a complexidade de busca de uma enumeração exponencial $O(2^N)$ para um processo linear $O(N \times |Rules|)$.
   • Aplica políticas de "links de risco" que conectam tags de saída de uma habilidade (ex: string não sanitizada) com tags de sensibilidade de entrada de outra (ex: execução de shell), simulando caminhos de ataque como injeção de comandos e exfiltração de dados.

3. Principais Contribuições

• Framework de Auditoria Automatizada: Introdução do SkillProbe, um sistema multi-agente que automatiza a transição de filtragem de conformidade para análise de consistência semântica profunda e detecção de ataques cruzados.
• Modelagem de Risco Multidimensional: Criação de uma matriz de alinhamento e um grafo de rótulos padronizados para mitigar a explosão combinatória, permitindo a identificação precisa de cadeias de habilidades perigosas.
• Implementação e Avaliação em Grande Escala: Desenvolvimento de um protótipo robusto (FastAPI, Vue 3, REPL) e validação extensiva no ecossistema real do ClawHub, utilizando 8 séries de LLMs principais.

4. Resultados da Avaliação

Os autores realizaram uma auditoria em larga escala de 2.500 habilidades reais do ClawHub, utilizando 8 modelos de LLM (incluindo Claude, Gemini, GPT e Nex).

• Paradoxo Popularidade-Segurança: A descoberta mais impactante foi que o volume de downloads não é um indicador confiável de qualidade de segurança. Mais de 90% das habilidades de alta popularidade falharam em passar por auditorias rigorosas (sendo classificadas como "Condicionais" ou com falhas críticas).
• Componente Conectado Gigante: A análise de rede revelou que habilidades de alto risco formam um único componente conectado gigante na dimensão de links de risco. Isso demonstra que os riscos em cascata são sistêmicos, não isolados. A combinação de apenas duas habilidades de alto risco pode desencadear ataques complexos.
• Descoberta de Vulnerabilidades: O SkillProbe identificou várias vulnerabilidades zero-day e ataques combinatórios complexos que auditorias atômicas tradicionais não detectaram.
• Consistência entre Modelos: Embora existam variações na latência e na severidade das decisões entre os diferentes LLMs (ex: Claude Sonnet foi mais rigoroso, enquanto Gemini Flash foi mais rápido), o framework demonstrou robustez na identificação de riscos sistêmicos, mitigando viéses de modelos individuais.

5. Significado e Impacto

O trabalho do SkillProbe redefine a governança de segurança para a "Web de Agentes" (Agentic Web):

• Mudança de Paradigma: Transita da inspeção atômica (focada apenas no código) para uma defesa combinatória que simula cadeias de execução inteiras.
• Infraestrutura de Confiança: Demonstra que auditorias automatizadas e multidimensionais não são um luxo, mas uma infraestrutura fundamental para mercados de agentes confiáveis.
• Alerta sobre a "Cegueira" da Popularidade: Desafia a suposição intuitiva de que habilidades populares são seguras, exigindo novos padrões de certificação de mercado.
• Escalabilidade: O paradigma "Skills-for-Skills" e a redução de complexidade no simulador de fluxo oferecem um caminho viável para governar ecossistemas de agentes em escala massiva, onde a explosão combinatória de riscos seria intratável com métodos manuais ou tradicionais.

Em suma, o SkillProbe fornece as ferramentas e a evidência empírica necessárias para construir um ecossistema de agentes seguro, prevenindo que a colaboração entre ferramentas se torne um vetor de falhas catastróficas em cascata.