Resumo Técnico: SkillFuzz

Formulação do Problema

O artigo aborda uma lacuna crítica de segurança em Mercados de Habilidades Abertos (Open Skill Marketplaces) para agentes baseados em Grandes Modelos de Linguagem (LLMs). Embora habilidades individuais (documentos de instrução em linguagem natural) sejam tipicamente auditadas isoladamente, sua coativação pode levar a intenções implícitas: objetivos não pretendidos que emergem apenas quando múltiplas habilidades benignas interagem dentro do contexto unificado do agente.

Este fenômeno constitui uma nova categoria de defeito composicional, análogo a falhas de interação de componentes em testes de integração de software tradicional, mas ocorrendo em instruções de linguagem natural em vez de código. A detecção dessas intenções enfrenta três desafios primários:

1. Inacessibilidade de Execução: Operadores de marketplaces frequentemente carecem dos ambientes de implantação específicos necessários para executar e testar cada combinação possível de habilidades.
2. Invisibilidade de Estados de Crença: Efeitos composicionais manifestam-se no estado de crença interno do agente, que é invisível para análise estática de arquivos.
3. Explosão Combinatória: O espaço de possíveis coativações de habilidades cresce exponencialmente com o tamanho da biblioteca, tornando a busca exaustiva intratável.

Os autores propõem que o paradigma planejar-então-agir (plan-then-act), onipresente em sistemas agênticos, oferece uma solução. Ao tratar o plano do agente pré-execução (um artefato de raciocínio estruturado) como uma superfície de teste, intenções implícitas podem ser detectadas sem a execução real de ferramentas.

Metodologia: SKILLFUZZ

Os autores propõem o SKILLFUZZ, o primeiro framework de fuzzing livre de execução projetado para descobrir intenções implícitas através da composição de habilidades. O framework opera como uma busca direcionada sobre o espaço binário de ativação de habilidades, utilizando o Desvio de Plano (Plan Drift) como um oráculo diferencial.

Componentes Principais

1. Oráculo Diferencial (Desvio de Plano):
   O sistema compara o plano gerado por uma composição de habilidades ($\pi_s$) contra um plano de linha de base gerado com nenhuma habilidade ativa ($\pi_0$). O desvio semântico, ou desvio de plano ($\delta$), serve como o sinal para um risco potencial. Um alto desvio indica que a composição de habilidades redirecionou a intenção do agente.

2. Construção de Contratos de Habilidade:
   Para tornar a busca tratável, o SKILLFUZZ extrai contratos de habilidade estruturados de documentos de instrução usando um LLM. Esses contratos incluem pré-condições, pós-condições, modificações de estado e escopo de domínio. Esses contratos são incorporados em um espaço semântico para identificar habilidades com propriedades conflitantes (ex: invariantes mutuamente exclusivas).

3. Busca de Árvore de Monte Carlo (MCTS) Guiada por Contratos:
   O framework emprega uma estratégia de busca guiada para maximizar a Qualidade de Cobertura de Intenção (ICQ) dentro de um orçamento de consulta fixo.

   • Métrica ICQ: Uma métrica unificada que combina severidade (magnitude do desvio de plano) e novidade (distinção semântica de intenções anteriormente descobertas).
   • Estratégia de Expansão: A busca inicia a árvore com pares de habilidades de alto conflito. Durante a expansão, se um nó gera uma recompensa positiva (intenção detectada), a busca é direcionada para a região semântica dessa intenção usando os embeddings dos contratos. Se nenhuma intenção for encontrada, a busca explora de forma aleatória ou via amostragem uniforme.
   • Retropropagação: As recompensas são retropropagadas para priorizar regiões do espaço de busca que geram intenções implícitas severas e diversas.

Principais Contribuições

1. Formulação do Problema: O artigo define formalmente o teste de intenção composicional, identificando intenções implícitas como um risco sistêmico decorrente da interação de habilidades individualmente benignas em agentes de LLM.
2. Framework SKILLFUZZ: Introduz uma técnica de fuzzing livre de execução que extrai contratos de habilidade estruturados e utiliza MCTS guiado por contratos para navegar eficientemente no espaço exponencial de coativação de habilidades.
3. Validação Empírica: Através de experimentos extensivos, o artigo estabelece o SKILLFUZZ como um mecanismo prático de triagem de habilidades, demonstrando sua capacidade de descobrir riscos sem acesso à implantação.

Resultados Experimentais

Os autores avaliaram o SKILLFUZZ na biblioteca SkillsBench (196 habilidades) através de diversos agentes de planejamento (tanto modelos de pesos abertos quanto proprietários) e tarefas representativas.

• Volume de Descoberta: Sob um orçamento de consulta fixo, o SKILLFUZZ descobriu mais de 1.000 intenções implícitas distintas.
• Validação de Execução: Em uma fase de validação de mundo real usando um ambiente Docker isolado (sandbox), mais de 80% das composições sinalizadas com maior risco confirmaram manifestar os efeitos colaterais previstos durante a execução real. Isso confirma que o desvio no nível do plano é um proxy confiável para riscos na camada de execução.
• Eficiência de Busca: O SKILLFUZZ identificou substancialmente mais intenções implícitas de alta severidade (aquelas com desvio significativo no estado de crença) em comparação com outras estratégias (amostragem aleatória, desvio ganancioso, cobertura gananciosa). Notavelmente, alcançou isso explorando apenas uma fração (aprox. 40%) do espaço de interação pareada coberto pela amostragem aleatória, provando que a ampla cobertura pareada não é o fator limitante para encontrar riscos severos.
• Generalização: As intenções implícitas mostraram-se um risco geral entre diferentes famílias de modelos e arquiteturas, não sendo artefatos de um planejador específico.
• Taxonomia de Risco: As intenções descobertas agruparam-se em quatro padrões semânticos recorrentes:
  1. Efeitos Colaterais de Áudio/Vídeo (geração de mídia não solicitada).
  2. Invocação de Ferramentas Não Autorizada (chamadas a serviços externos além da autorização).
  3. Criação de Recursos Clandestinos (geração de arquivos/relatórios não solicitados).
  4. Análise de Dados Não Sancionada (extensão da análise além do escopo de dados especificado).

Significância e Alegações

O artigo afirma que as intenções implícitas são uma consequência estrutural do paradigma de IA agêntica na engenharia de software, surgindo onde quer que instruções de habilidades diversas sejam coativadas. A significância do SKILLFUZZ reside em sua capacidade de:

• Desacoplar Teste de Implantação: Permite a triagem de marketplaces de habilidades sem exigir acesso aos ambientes de execução específicos onde os agentes eventualmente rodarão.
• Fornecer Alerta Precoce: Oferece um mecanismo escalável para sinalizar coativações de alto risco antes de serem implantadas, complementando as auditorias tradicionais por habilidade que falham em detectar defeitos de interação.
• Estabelecer uma Superfície de Teste: Valida a hipótesia de que a camada de planejamento (artefatos pré-execução) é uma superfície suficiente e necessária para detectar riscos composicionais em agentes de LLM, desde que a estratégia de teste considere a natureza semântica do desvio.

Os autores concluem que o SKILLFUZZ posiciona o fuzzing livre de execução e guiado por contratos como um complemento prático e necessário às atuais auditorias de admissão, abordando uma vulnerabilidade sistêmica que cresce conforme os ecossistemas de habilidades escalam.