Resumo Técnico: Código como Arma: Um Banco de Prompts Rotulados por Consenso para Medir a Conformidade de Modelos de Codificação com Solicitações de Código Malicioso

Declaração do Problema

O artigo aborda uma assimetria crítica na segurança de IA: enquanto um modelo de linguagem de propósito geral que responde a uma consulta prejudicial retorna texto, um modelo especializado em codificação que cumpre a mesma intenção pode gerar "armas" executáveis (por exemplo, keyloggers, soltadores de ransomware, payloads de exploração). As benchmarks atuais para medir a recusa a código malicioso falham em distinguir entre solicitações de software executável (CÓDIGO) e solicitações de conhecimento de segurança prejudicial (CONHECIMENTO). Os corpora existentes misturam esses tipos distintos de solicitações, tornando as estatísticas únicas de taxa de conformidade ininterpretáveis e impedindo comparações diretas entre corpora. Além disso, esforços anteriores de rotulagem por consenso foram limitados em escopo (quatro corpora) e dependiam de APIs comerciais pagas, dificultando a replicabilidade e a extensão econômica.

Metodologia

Os autores apresentam a v2 de um banco de prompts rotulados por consenso, expandindo o escopo de quatro para oito corpora upstream e atualizando o painel de avaliação para utilizar modelos de peso aberto ou de nível gratuito com custo marginal zero.

1. Expansão do Corpus

O pool de dados foi expandido de 3.133 prompts (v1) para 6.675 prompts pela integração de quatro novos corpora lançados publicamente:

• ASTRA: 1.995 prompts com solicitações de texto-para-código em turno único decoradas com jailbreak.
• Scam2Prompt (Innoc2Scam-bench): 1.377 prompts de elicitação indireta que disfarçam intenção maliciosa como solicitações inofensivas de desenvolvedores.
• JailbreakBench (subconjunto de codificação): 10 prompts visando especificamente a geração de código executável.
• RedCode: 160 prompts visando trajetórias de agentes de interpretador de código.
  Os corpora da v1 (RMCBench, MalwareBench, CySecBench e AdvBench/harmful_behaviors) foram reclassificados sob o novo painel para garantir continuidade.

2. Painel de Julgadores e Protocolo

Um painel de cinco julgadores foi montado a partir de cinco famílias de fornecedores distintas, selecionadas por custo de API marginal zero e acessibilidade via OpenRouter e Ollama Cloud:

• NVIDIA: Nemotron-3-Super (Propósito geral)
• Alibaba: Qwen3-Coder-Next (Especializado em codificação)
• DeepSeek: DeepSeek-V4-Pro (Propósito geral)
• OpenAI: GPT-OSS-120B (Pesos abertos, propósito geral)
• Zhipu AI: GLM-5.1 (Propósito geral)

Protocolo de Classificação:

• Modelo: Um esquema binário distinguindo CÓDIGO (solicitações de software/armas executáveis) de CONHECIMENTO (solicitações de informações/explicações baseadas em texto). O modelo é idêntico em bytes à v1 para evitar desvios.
• Regra de Consenso: Uma regra de maioria 3-em-5. Um prompt é rotulado como CÓDIGO ou CONHECIMENTO se pelo menos três julgadores concordarem; caso contrário, é rotulado como AMBÍGUO.
• Métrica de Confiabilidade: $\kappa$ de Fleiss com um intervalo de confiança de 95% via bootstrap de 10.000 iterações, calculado no subconjunto onde todos os cinco julgadores retornaram rótulos válidos (6.552 prompts).

Principais Contribuições

1. O Banco Expandido Rotulado por Consenso

O artefato liberado compreende:

• 4.748 prompts de consenso-CÓDIGO (uma expansão de 3,1$\times$ da v1).
• 1.923 prompts de consenso-CONHECIMENTO (uma expansão de 5,0$\times$ da v1).
• 4 prompts AMBÍGUOS (liberados com votos por julgador para re-estabelecimento de limiar downstream).
  O conjunto de dados é liberado sob uma licença OpenRAIL++ com restrições específicas que proíbem o uso dos dados para treinar sistemas de geração de software malicioso.

2. Descobertas Metodológicas

O artigo documenta duas observações metodológicas significativas decorrentes da construção da v2:

• O Paradoxo de Alto Acordo e Baixo-$\kappa$: Em quatro corpora com viés de prevalência (ASTRA, MalwareBench, RedCode, RMCBench), onde o consenso é >99% CÓDIGO, o $\kappa$ de Fleiss degenera para valores próximos de zero ou negativos, apesar do alto acordo observado ($P_o$). Os autores atribuem isso ao paradoxo de Feinstein-Cicchetti, onde o acordo esperado por acaso ($P_e$) aproxima-se de 1,0. Consequentemente, o artigo propõe uma convenção de relatórios de dupla estatística: relatar $\kappa$ para corpora mistos de prevalência e acordo observado ($P_o$) para corpora com viés de prevalência.
• Recusas de Política de Conteúdo do Lado do Provedor: Um julgador (GPT-OSS-120B roteado via provedor OpenInference do OpenRouter) retornou recusas determinísticas HTTP 403 em 1,84% dos prompts (123 no total), fortemente concentradas no corpus harmful_behaviors. O artigo identifica isso como uma propriedade estrutural de provedores de roteamento de nível gratuito que aplicam filtros de conteúdo antes de o modelo processar o prompt. A regra de consenso 3-em-5 absorveu com sucesso essas recusas sem gerar rótulos AMBÍGUOS, mas os autores notam isso como um fator crítico para pesquisadores replicando o painel.

3. Estabilidade entre Painéis

O painel v2 (peso aberto/nível gratuito) foi comparado ao painel v1 (APIs comerciais pagas) nos 3.133 prompts sobrepostos. Os painéis alcançaram 94,45% de acordo nos rótulos de consenso, com um $\kappa$ de Cohen de 0,952 ("quase perfeito") no subconjunto binário-binário. Isso valida que o painel de custo zero serve como um substituto robusto para o painel comercial em corpora compartilhados.

Resultados

• Confiabilidade Geral: No subconjunto do painel completo (6.552 prompts), o $\kappa$ de Fleiss é 0,767 [IC 95%: 0,755, 0,777], situando-se na faixa de acordo "substancial" da escala de Landis-Koch.
• Confiabilidade por Corpus:
  • Prevalência Mista: Scam2Prompt ($\kappa=0,768$), CySecBench ($\kappa=0,664$) e harmful_behaviors ($\kappa=0,910$) mostram acordo interpretável.
  • Prevalência Viésada: ASTRA, MalwareBench, RedCode e RMCBench mostram valores de $\kappa$ próximos de zero ou negativos devido à degeneração da distribuição marginal, apesar do acordo observado médio ($P_o$) variar de 0,850 a 0,989.
• Robustez do Julgador: A análise leave-one-out confirma que nenhum julgador único domina o painel. Remover o julgador mais divergente (Nemotron-3-Super) na verdade aumentou o $\kappa$ para 0,832, confirmando que a discordância introduzida por este julgador é trabalho de casos limite significativo e não ruído.
• Níveis de Acordo: 76,9% dos prompts alcançaram acordo unânime 5/5; 95,0% alcançaram pelo menos acordo 4/5.

Significado e Alegações

O artigo alega fornecer um substrato estável de construção para medir a conformidade de modelos de codificação com solicitações de código malicioso. Ao desambiguar solicitações de software executável de solicitações de conhecimento, o banco permite avaliações de segurança mais precisas do que benchmarks anteriores de corpora mistos.

Os autores posicionam modestamente o trabalho como uma expansão e refinamento metodológico de sua liberação anterior de quatro corpora [1], em vez de uma reavaliação do eixo subjacente CÓDIGO-versus-CONHECIMENTO. O significado principal reside em:

1. Escalabilidade e Replicabilidade: Demonstrar que rotulagem por consenso de alta confiabilidade pode ser alcançada usando modelos de peso aberto com custo marginal zero, removendo barreiras financeiras para pesquisadores downstream.
2. Padronização: Estabelecer um protocolo para lidar com corpora com viés de prevalência (relatórios de dupla estatística) e documentar comportamentos de filtragem do lado do provedor que afetam a disponibilidade de julgadores de nível gratuito.
3. Disponibilidade de Dados: Liberar um conjunto de dados significativamente maior, multi-julgador e quantificado em confiabilidade (6.675 prompts) para permitir comparações entre corpora que anteriormente não eram diretamente interpretáveis.

O artigo afirma explicitamente que não aborda a questão comportamental de como os LLMs de codificação alvo respondem ao banco v2, observando que tais avaliações são escopo de trabalho downstream separado.