Resumo Técnico: Um Banco de Prompts Validado para Geração de Código Malicioso

1. Declaração do Problema

As avaliações atuais de benchmarks sobre a recusa de Modelos de Linguagem de Grande Escala (LLMs) em tarefas de codificação maliciosa sofrem de uma falha metodológica crítica: elas confundem solicitações de software malicioso executável (armas) com solicitações de conhecimento de segurança prejudicial (informações). Conjuntos de dados existentes misturam prompts como "escreva um keylogger" (código executável) com "explique como um keylogger funciona" (conhecimento descritivo).

Essa confusão é problemática porque esses dois tipos de solicitação provavelmente acionam caminhos de recusa distintos em modelos alinhados à segurança. Uma única estatística de taxa de recusa, calculada sobre uma mistura heterogênea, não consegue distinguir entre um modelo que se recusa a escrever malware, mas explica criptografia, e um que escreve malware, mas se recusa a descrever criptografia. Consequentemente, as "taxas de recusa de segurança de código" na literatura atual medem uma construção desconhecida, introduzindo variância não observada que limita a comparabilidade entre estudos e a análise ao nível de mecanismos. Além disso, benchmarks anteriores frequentemente dependem de rótulos de um único anotador ou concordância par a par, sem consenso rigoroso de múltiplos avaliadores, deixando ambiguidade residual nas fronteiras das classes.

2. Metodologia

O artigo introduz um eixo de classificação armas-versus-conhecimento, operacionalizado através de um protocolo de consenso de múltiplos juízes para separar solicitações de código executável de prompts baseados em conhecimento.

2.1 Consolidação de Dados e Pré-filtragem

O estudo consolidou 3.133 prompts candidatos extraídos de quatro benchmarks públicos:

• RMCBench: 473 prompts (todas solicitações de geração de código).
• MalwareBench: 320 prompts filtrados (subconjunto de 3.520, excluindo variantes de parafraseamento adversarial).
• CySecBench: 1.820 prompts (filtrados de 12.662 prompts brutos usando uma tela baseada em regex para frases de geração de código imperativo).
• harmful_behaviors (do AdvBench): 520 prompts de segurança de conteúdo.

Um pré-filtro baseado em regras removeu duplicatas exatas e solicitações não relacionadas à geração de código (por exemplo, perguntas conceituais), retendo apenas prompts que plausivelmente solicitam saída executável para o conjunto de classificação inicial.

2.2 Classificador de Consenso de Cinco Modelos

Cada um dos 3.133 prompts foi classificado independentemente por um painel de cinco Modelos de Linguagem de Grande Escala atuando como juízes. O painel foi deliberadamente diverso em fornecedores (abrangendo quatro famílias de fornecedores: Anthropic, OpenAI, Google, Zhipu AI, Alibaba) e incluiu tanto modelos de propósito geral quanto especializados em codificação para mitigar erros de rotulagem correlacionados:

1. Claude Sonnet 4.6 (Anthropic, Geral)
2. GPT-5.3-Codex (OpenAI, Codificador)
3. Gemini 3 Flash (Google, Geral)
4. GLM-5 (Zhipu AI, Geral)
5. Qwen3-Coder-Next (Alibaba, Codificador)

Tarefa de Classificação: Os juízes foram instruídos a atribuir um rótulo binário:

• CÓDIGO: O prompt solicita a produção de código executável, scripts ou artefatos de software funcionais.
• CONHECIMENTO: O prompt solicita informações, estratégias, tutoriais ou explicações em linguagem natural.

Regra de Consenso: Foi aplicada uma regra de maioria 3-em-5. Um prompt foi atribuído ao conjunto de consenso-CÓDIGO se pelo menos três juízes o rotularam como CÓDIGO, e ao conjunto de consenso-CONHECIMENTO se pelo menos três o rotularam como CONHECIMENTO. Nenhum prompt falhou em alcançar uma maioria 3-em-5; o bucket "AMBÍGUO" permaneceu vazio.

2.3 Métricas de Confiabilidade

A confiabilidade entre avaliadores foi quantificada usando o $\kappa$ de Fleiss com intervalos de confiança de 95% via bootstrap de 10.000 iterações. Esta métrica foi calculada no subconjunto de prompts onde todos os cinco juízes retornaram rótulos válidos (2.488 prompts).

3. Principais Contribuições

A contribuição primária é o lançamento de um banco de prompts rotulados por consenso que serve como um substrato padronizado e validado para pesquisas sobre segurança de código.

• O Banco de Segurança de Código: Um conjunto de dados de 1.554 prompts de consenso-CÓDIGO (representando 1.551 strings de prompt únicas). Este conjunto isola solicitações de software malicioso executável.
• O Conjunto de Comparação de Conhecimento: Um conjunto de 388 prompts de consenso-CONHECIMENTO (derivados exclusivamente da fonte harmful_behaviors) usado para comparações intra-sujeito em estudos complementares.
• Validação: O conjunto de dados inclui metadados por prompt, incluindo rótulos individuais dos juízes, níveis de concordância (por exemplo, 5/5, 4/5) e categorias de taxonomia de origem (27 categorias de malware).
• Ciência Aberta: O código de consolidação, os rótulos de consenso e as estatísticas de confiabilidade são lançados abertamente (Licença MIT) no GitHub. O texto do prompt está disponível como um conjunto de dados de acesso controlado no Hugging Face para mitigar riscos de uso duplo, permitindo ao mesmo tempo pesquisas legítimas.

4. Resultados

4.1 Cascata de Filtragem

O pipeline reduziu 17.175 prompts de origem brutos ao artefato final:

• Pré-filtragem: Reduziu o conjunto para 3.133 candidatos.
• Consenso: 1.618 prompts foram rotulados como CÓDIGO e 1.515 como CONHECIMENTO.
• Artefato Final: Após uma verificação de comprimento e qualidade de metadados, 1.554 prompts de CÓDIGO e 388 prompts de CONHECIMENTO foram lançados.

4.2 Confiabilidade entre Avaliadores

• Concordância Geral: Os cinco juízes alcançaram um $\kappa$ de Fleiss de 0,876 [IC 95%: 0,862, 0,888], o que corresponde a concordância "quase perfeita" pela convenção de Landis & Koch.
• Unanimidade: 69,3% (2.170) dos 3.133 prompts receberam concordância unânime 5/5.
• Zero Ambiguidade: Todos os 3.133 prompts atingiram o limiar 3-em-5; zero prompts foram excluídos como ambíguos.
• Confiabilidade por Fonte:
  • MalwareBench: $\kappa = 1,000$ (Concordância perfeita).
  • harmful_behaviors: $\kappa = 0,942$ ("Quase perfeita").
  • CySecBench: $\kappa = 0,775$ ("Substancial"), refletindo maior ambiguidade de fronteira nesta fonte.
  • RMCBench: $\kappa \approx 0,001$ (Um caso degenerado devido à falta de variância, pois todos os prompts eram CÓDIGO).
• Concordância Par a Par: Todas as dez comparações par a par entre juízes excederam o limiar "substancial" ($\kappa \ge 0,61$), com dez pares excedendo "quase perfeito" ($\kappa \ge 0,81$).

4.3 Desempenho dos Juízes

• Taxas de Erro: As taxas de erro variaram significativamente por modelo (de 1 erro para GLM-5 a 430 para Gemini 3 Flash). No entanto, a regra de consenso 3-em-5 tolerou com sucesso esses erros, resultando em zero erros de consenso em todo o conjunto de dados.
• Codificador vs. Geral: Juízes especializados em codificação (GPT-5.3-Codex, Qwen3-Coder-Next) produziram contagens de CÓDIGO ligeiramente maiores em média do que juízes de propósito geral, apoiando a hipótese de que o pré-treinamento ajustado para código auxilia na distinção entre solicitações executáveis e descritivas.

5. Significado e Alegações

O artigo afirma modestamente fornecer o primeiro banco de prompts validado por consenso de múltiplos juízes que separa explicitamente solicitações de armas executáveis de solicitações de conhecimento prejudicial em benchmarks consolidados.

• Resolução Metodológica: O trabalho resolve a confusão de tipos de solicitações distintas que tem confundido a literatura anterior sobre geração de código malicioso. Ao isolar solicitações de código executável, permite uma medição mais precisa da construção específica que as avaliações de segurança de código visam capturar.
• Padronização: O artefato permite que pesquisas subsequentes adotem um substrato canônico e documentado quanto à confiabilidade, em vez de reconstruir independentemente a lógica de filtragem. Isso reduz a variância não observada nas taxas de recusa relatadas e apoia comparações reprodutíveis entre modelos.
• Escopo da Contribuição: O artigo afirma explicitamente que se o eixo "armas-versus-conhecimento" separa o comportamento do modelo na prática é uma questão empírica deixada para um estudo de benchmark complementar. A contribuição atual é o próprio artefato e a validação do eixo de classificação, e não os resultados comportamentais dos modelos neste eixo.
• Posicionamento Ético: O conjunto de dados destina-se a pesquisas defensivas (medição de recusa, alinhamento de segurança e interpretabilidade). Os autores enfatizam que nenhum novo malware foi criado e que o lançamento segue estruturas de mitigação de uso duplo (acesso controlado) para impedir que o artefato seja usado para operacionalizar ataques.