Malicious Or Not: Adding Repository Context to Agent Skill Classification

Este artigo apresenta a maior análise empírica de segurança do ecossistema de habilidades de agentes de IA, demonstrando que a incorporação do contexto do repositório GitHub reduz drasticamente as classificações falsas de habilidades maliciosas de 46,8% para 0,52% e revela vetores de ataque reais, como o sequestro de habilidades em repositórios abandonados.

O essencial

Imagine que os Agentes de IA (como o Claude Code ou o OpenClaw) são como cozinheiros robôs muito inteligentes. Eles sabem pensar e planejar, mas para fazer coisas do mundo real — como enviar um e-mail, mexer em um banco de dados ou executar um código — eles precisam de ferramentas.

Neste mundo digital, essas ferramentas são chamadas de "Skills" (Habilidades). Pense nelas como receitas de bolo ou caixas de ferramentas que os cozinheiros robôs podem baixar de uma "loja de aplicativos" para aprender novas tarefas.

Aqui está o que os pesquisadores descobriram, explicado de forma simples:

1. O Grande Medo: "A Loja está Cheia de Veneno?"

Recentemente, alguns "caçadores de vírus" (escaneadores de segurança) começaram a analisar essas receitas e ferramentas. Eles ficaram alarmados! Alguns disseram que quase metade (46%) das habilidades eram perigosas. Outros diziam que eram 23% ou 6%.

Isso gerou um pânico: "Será que todas essas lojas de habilidades estão cheias de hackers tentando roubar nossos dados ou dinheiro?"

2. A Grande Investigação: Olhando Além da Capa

Os autores deste estudo decidiram não confiar apenas no primeiro aviso de perigo. Eles fizeram o maior estudo já feito sobre o assunto, coletando 238.180 habilidades de várias lojas e do GitHub (que é como um "Google Drive" gigante para programadores).

Eles usaram uma analogia simples: Olhar apenas para a capa do livro não diz se a história é boa ou ruim.

• O Erro dos Antigos: Os escaneadores antigos olhavam apenas para a descrição da habilidade (a capa do livro). Se a descrição parecia suspeita, eles diziam "PERIGO!" e bloqueavam tudo.
• A Nova Abordagem: Os pesquisadores olharam para o contexto. Eles foram até a "loja" (o repositório no GitHub) onde a habilidade estava hospedada. Eles olharam para a história do projeto, quem o criou, se o código faz sentido com a descrição e se o projeto é antigo e confiável.

3. A Grande Surpresa: A Maioria é Inocente!

Quando eles olharam para o contexto completo, a história mudou completamente.

• O Resultado: Aqueles 46% de "habilidades maliciosas" caíram drasticamente. Na verdade, apenas 0,52% eram realmente perigosas.
• A Analogia: Imagine que você vê um homem com um canivete suíço na mão. O alarme toca: "Ele tem uma arma!". Mas, se você olhar ao redor, vê que ele é um carpinteiro trabalhando em uma mesa de marcenaria, você percebe que o canivete é uma ferramenta de trabalho, não uma arma.
• Conclusão: A maioria das habilidades que os escaneadores antigos chamavam de "maliciosas" eram, na verdade, ferramentas legítimas que apenas pareciam suspeitas porque foram analisadas isoladamente.

4. O Novo Perigo Real: O "Fantasma" da Loja Abandonada

Embora a maioria fosse inocente, os pesquisadores encontraram um perigo real e novo que ninguém tinha visto antes: O Sequestro de Lojas Abandonadas.

• A Metáfora: Imagine que você tem uma loja de ferramentas em um shopping. Você decide se mudar e deixa a loja vazia, mas esquece de avisar o shopping. Um malandro entra, coloca suas próprias ferramentas perigosas lá dentro e espera que os clientes (os robôs) continuem entrando na loja achando que é a sua.
• O Que Aconteceu: Os pesquisadores descobriram que, em algumas plataformas, as habilidades apontam para repositórios no GitHub que foram abandonados pelos donos originais. Hackers podem criar contas com os mesmos nomes antigos e "sequestrar" essas lojas, injetando código malicioso. Eles encontraram 121 habilidades que poderiam ser sequestradas dessa forma.

5. Resumo Final

• O Medo Era Exagerado: A maioria das habilidades não é má. Os sistemas de segurança antigos estavam "gritando lobo" o tempo todo, criando muitos falsos positivos (acusações erradas).
• A Solução: Para saber se uma habilidade é segura, não olhe apenas para o que ela diz que faz. Olhe onde ela vive (o repositório), quem a criou e se o ambiente ao redor faz sentido.
• O Alerta Real: O perigo real não está na maioria das ferramentas, mas na forma como algumas plataformas deixam "casas vazias" (repositórios abandonados) abertas para invasores.

Em suma: O ecossistema de habilidades de IA é muito mais seguro do que se pensava, mas precisamos de "vigias" mais inteligentes que olhem para o contexto todo, e não apenas para a etiqueta do produto.

Resumo técnico

Título: Malicious Or Not: Adicionando Contexto de Repositório à Classificação de Habilidades de Agentes

1. Problema e Motivação

O ecossistema de agentes de IA autônomos (como Claude Code e OpenClaw) expandiu-se rapidamente através de "habilidades" (skills), que são módulos reutilizáveis que estendem as capacidades dos agentes (ex: acesso a APIs, execução de código). Essas habilidades são distribuídas em mercados dedicados (ClawHub, Skills.sh, SkillDirectory) e repositórios públicos como o GitHub.

O problema central identificado é a alta taxa de falsos positivos na detecção de habilidades maliciosas. Scanners automáticos existentes classificam uma parcela alarmante de habilidades como maliciosas (chegando a 46,8% em alguns mercados), o que gera desconfiança no ecossistema e pode bloquear funcionalidades legítimas. A hipótese dos autores é que essa classificação excessiva ocorre porque os scanners analisam as habilidades de forma isolada (apenas o arquivo SKILL.md e scripts), ignorando o contexto mais amplo do repositório onde a habilidade está hospedada.

2. Metodologia

Os autores realizaram uma análise empírica em larga escala seguindo um pipeline de três etapas:

1. Coleta de Dados Cross-Plataforma:

   • Coletaram 238.180 habilidades únicas de três grandes mercados (ClawHub, Skills.sh, SkillDirectory) e do GitHub (via GHArchive).
   • Realizaram análise estática para extrair metadados, scripts, endpoints de rede e credenciais embutidas (usando uma versão modificada do TruffleHog).

2. Classificação de Malícia (Benchmarking):

   • Compararam os resultados de scanners existentes (VirusTotal, scanners proprietários dos mercados) com ferramentas independentes: o Cisco Skill Scanner (análise estática e comportamental) e um classificador baseado em LLM (Codex/GPT-5.3) que avalia o comportamento da habilidade.
   • Analisaram a concordância entre os diferentes scanners.

3. Análise Consciente do Repositório (Repository-Aware Analysis):

   • Para responder se o contexto do repositório melhora a classificação, desenvolveram um analisador semântico que avalia a congruência entre a descrição da habilidade e o repositório do GitHub onde ela reside.
   • Calcularam dois scores:
     • Score de Alinhamento de Base de Código (Codebase Score): Avalia se a funcionalidade descrita corresponde ao código e documentação do repositório (70% do peso).
     • Score de Metadados (Metadata Score): Avalia a maturidade, idade, popularidade (stars, forks) e atividade do repositório (30% do peso).
   • O objetivo é distinguir habilidades legítimas que fazem parte de projetos maiores de habilidades maliciosas isoladas ou em repositórios suspeitos.

3. Contribuições Principais

• Maior Estudo Empírico do Ecossistema: Criação do maior conjunto de dados cruzado de habilidades de agentes até a data (238k habilidades), servindo como base para estudos futuros.
• Método de Análise com Contexto de Repositório: Desenvolvimento de uma metodologia que reduz drasticamente os falsos positivos ao considerar o repositório hospedeiro, não apenas o arquivo da habilidade.
• Descoberta de Novos Vetores de Ataque: Identificação de vulnerabilidades estruturais nos mercados de habilidades, especificamente o sequestro de repositórios abandonados (hijacking) e vazamento de metadados de usuários (e-mails) via APIs.
• Recurso Aberto: Publicação do código e dos dados para reprodutibilidade.

4. Resultados Chave

• Inconsistência dos Scanners Existentes:

  • As taxas de classificação de "malicioso" variam enormemente entre os scanners (de 3,8% a 41,9%).
  • A concordância entre os scanners é extremamente baixa: apenas 0,12% (33 de 27.111 habilidades) foram classificadas como maliciosas por todos os cinco scanners analisados.
  • A agregação de alertas ao nível de repositório infla artificialmente a percepção de risco (ex: 45,89% dos repositórios contêm pelo menos uma habilidade sinalizada, mesmo que a maioria seja benigna).

• Impacto da Análise com Contexto:

  • Ao aplicar a análise consciente do repositório, a taxa de habilidades consideradas maliciosas caiu drasticamente.
  • Das 2.887 habilidades sinalizadas como maliciosas pelos scanners, apenas 0,52% permaneceram em repositórios classificados como maliciosos após a análise contextual.
  • 96% das habilidades sinalizadas estavam embutidas em repositórios onde a documentação e o código base alinhavam-se com a funcionalidade da habilidade, indicando que eram falsos positivos.

• Novos Vetores de Ataque Descobertos:

  • Sequestro de Repositórios (Hijacking): Identificaram 121 habilidades que apontam para 7 repositórios abandonados e vulneráveis. Um desses repositórios tinha mais de 1.000 instalações. Um atacante poderia registrar o nome do usuário antigo e recriar o repositório para injetar código malicioso.
  • Vazamento de Dados: A API do ClawHub expõe endereços de e-mail associados às contas do GitHub dos criadores de habilidades, dados que não são visíveis publicamente no perfil do GitHub.

• Características do Ecossistema:

  • O GitHub é a plataforma de hospedagem primária para a maioria das habilidades.
  • 44,1% das habilidades no ClawHub contêm scripts adicionais (muito mais que em outras plataformas), possivelmente devido ao foco específico em OpenClaw.
  • Apenas 12 credenciais funcionais (tokens de API) foram encontradas, sugerindo que desenvolvedores são relativamente cuidadosos ao publicar código público, embora o risco exista.

5. Significado e Conclusão

O estudo demonstra que a segurança de habilidades de agentes de IA não pode ser avaliada apenas pelo escaneamento isolado de arquivos. A análise de contexto é crucial para reduzir falsos positivos e fornecer uma visão realista da superfície de risco.

A metodologia proposta permite que plataformas de distribuição e usuários finais distinguam entre ameaças reais e funcionalidades legítimas. Além disso, o trabalho alerta para a necessidade urgente de melhorar os mecanismos de autenticação e distribuição de habilidades (evitando dependência de URLs de repositórios externos que podem ser sequestrados) e de corrigir vazamentos de metadados nas APIs dos mercados.

Em suma, o ecossistema de habilidades é menos perigoso do que os scanners atuais sugerem, mas possui vulnerabilidades estruturais específicas (como o sequestro de repositórios) que requerem mitigação imediata.