Resumen Técnico: Un Banco de Prompts Validado para la Generación de Código Malicioso

1. Declaración del Problema

Las evaluaciones actuales de los Modelos de Lenguaje Grande (LLM) sobre la negativa a realizar tareas de codificación maliciosa adolecen de un defecto metodológico crítico: confunden las solicitudes de software malicioso ejecutable (armas) con las solicitudes de conocimiento de seguridad dañino (información). Los conjuntos de datos existentes mezclan prompts como "escribe un keylogger" (código ejecutable) con "explica cómo funciona un keylogger" (conocimiento descriptivo).

Esta confusión es problemática porque estos dos tipos de solicitudes probablemente desencadenan vías de negativa distintas en los modelos alineados con la seguridad. Una única estadística de tasa de negativa calculada sobre una mezcla heterogénea no puede distinguir entre un modelo que se niega a escribir malware pero explica criptografía, y uno que escribe malware pero se niega a describir criptografía. En consecuencia, las "tasas de negativa de seguridad de código" en la literatura actual miden un constructo desconocido, introduciendo una varianza no observada que limita la comparabilidad entre estudios y el análisis a nivel de mecanismo. Además, las evaluaciones anteriores a menudo dependen de etiquetas de un solo anotador o de acuerdos por pares sin un consenso riguroso de múltiples evaluadores, dejando una ambigüedad residual en los límites de las clases.

2. Metodología

El artículo introduce un eje de clasificación armas-versus-conocimiento, operacionalizado mediante un protocolo de consenso de múltiples jueces para separar las solicitudes de código ejecutable de los prompts basados en conocimiento.

2.1 Consolidación de Datos y Pre-filtrado

El estudio consolidó 3,133 prompts candidatos extraídos de cuatro evaluaciones públicas:

• RMCBench: 473 prompts (todas las solicitudes de generación de código).
• MalwareBench: 320 prompts filtrados (subconjunto de 3,520, excluyendo variantes de parafraseo adversario).
• CySecBench: 1,820 prompts (filtrados de 12,662 prompts brutos utilizando un filtro basado en expresiones regulares para frases de generación de código imperativo).
• harmful_behaviors (de AdvBench): 520 prompts de seguridad de contenido.

Un pre-filtro basado en reglas eliminó duplicados exactos y solicitudes que no eran de generación de código (por ejemplo, preguntas conceptuales), reteniendo solo los prompts que plausiblemente solicitaban una salida ejecutable para el conjunto inicial de clasificación.

2.2 Clasificador de Consenso de Cinco Modelos

Cada uno de los 3,133 prompts fue clasificado independientemente por un panel de cinco Modelos de Lenguaje Grande actuando como jueces. El panel fue deliberadamente diverso en proveedores (abarcando cuatro familias de proveedores: Anthropic, OpenAI, Google, Zhipu AI, Alibaba) e incluyó tanto modelos de propósito general como especializados en codificación para mitigar errores de etiquetado correlacionados:

1. Claude Sonnet 4.6 (Anthropic, General)
2. GPT-5.3-Codex (OpenAI, Codificador)
3. Gemini 3 Flash (Google, General)
4. GLM-5 (Zhipu AI, General)
5. Qwen3-Coder-Next (Alibaba, Codificador)

Tarea de Clasificación: Se pidió a los jueces que asignaran una etiqueta binaria:

• CÓDIGO: El prompt solicita la producción de código ejecutable, scripts o artefactos de software funcionales.
• CONOCIMIENTO: El prompt solicita información, estrategias, tutoriales o explicaciones en lenguaje natural.

Regla de Consenso: Se aplicó una regla de mayoría de 3 de 5. Un prompt fue asignado al conjunto de consenso-CÓDIGO si al menos tres jueces lo etiquetaron como CÓDIGO, y al conjunto de consenso-CONOCIMIENTO si al menos tres lo etiquetaron como CONOCIMIENTO. Ningún prompt falló en alcanzar una mayoría de 3 de 5; el cubo "AMBIGUO" permaneció vacío.

2.3 Métricas de Fiabilidad

La fiabilidad inter-evaluador se cuantificó utilizando $\kappa$ de Fleiss con intervalos de confianza del 95% mediante bootstrap de 10,000 iteraciones. Esta métrica se calculó sobre el subconjunto de prompts donde los cinco jueces devolvieron etiquetas válidas (2,488 prompts).

3. Contribuciones Clave

La contribución principal es el lanzamiento de un banco de prompts etiquetados por consenso que sirve como un sustrato estandarizado y validado para la investigación en seguridad de código.

• El Banco de Seguridad de Código: Un conjunto de datos de 1,554 prompts de consenso-CÓDIGO (que representan 1,551 cadenas de prompts únicas). Este conjunto aísla las solicitudes de software malicioso ejecutable.
• El Conjunto de Comparación de Conocimiento: Un conjunto de 388 prompts de consenso-CONOCIMIENTO (derivados exclusivamente de la fuente harmful_behaviors) utilizado para comparaciones intra-sujeto en estudios complementarios.
• Validación: El conjunto de datos incluye metadatos por prompt, que abarcan etiquetas individuales de los jueces, niveles de acuerdo (por ejemplo, 5/5, 4/5) y categorías de taxonomía de origen (27 categorías de malware).
• Ciencia Abierta: El código de consolidación, las etiquetas de consenso y las estadísticas de fiabilidad se publican abiertamente (Licencia MIT) en GitHub. El texto de los prompts está disponible como un conjunto de datos de acceso restringido en Hugging Face para mitigar los riesgos de doble uso, permitiendo al mismo tiempo la investigación legítima.

4. Resultados

4.1 Cascada de Filtrado

La tubería redujo 17,175 prompts de origen brutos al artefacto final:

• Pre-filtrado: Redujo el conjunto a 3,133 candidatos.
• Consenso: 1,618 prompts fueron etiquetados como CÓDIGO y 1,515 como CONOCIMIENTO.
• Artefacto Final: Tras un paso de longitud y calidad de metadatos, se lanzaron 1,554 prompts de CÓDIGO y 388 prompts de CONOCIMIENTO.

4.2 Fiabilidad Inter-evaluador

• Acuerdo General: Los cinco jueces alcanzaron un $\kappa$ de Fleiss de 0.876 [IC 95%: 0.862, 0.888], lo que corresponde a un acuerdo "casi perfecto" según la convención de Landis & Koch.
• Unanimidad: El 69.3% (2,170) de los 3,133 prompts recibieron un acuerdo unánime de 5/5.
• Cero Ambigüedad: Todos los 3,133 prompts alcanzaron el umbral de 3 de 5; cero prompts fueron excluidos como ambiguos.
• Fiabilidad por Origen:
  • MalwareBench: $\kappa = 1.000$ (Acuerdo perfecto).
  • harmful_behaviors: $\kappa = 0.942$ ("Casi perfecto").
  • CySecBench: $\kappa = 0.775$ ("Sustancial"), reflejando una mayor ambigüedad de límites en esta fuente.
  • RMCBench: $\kappa \approx 0.001$ (Un caso degenerado debido a la falta de varianza, ya que todos los prompts eran CÓDIGO).
• Acuerdo por Pares: Las diez comparaciones por pares entre jueces superaron el umbral "sustancial" ($\kappa \ge 0.61$), con diez pares superando "casi perfecto" ($\kappa \ge 0.81$).

4.3 Rendimiento de los Jueces

• Tasas de Error: Las tasas de error variaron significativamente según el modelo (desde 1 error para GLM-5 hasta 430 para Gemini 3 Flash). Sin embargo, la regla de consenso de 3 de 5 toleró con éxito estos errores, resultando en cero errores de consenso en todo el conjunto de datos.
• Codificador vs. General: Los jueces especializados en codificación (GPT-5.3-Codex, Qwen3-Coder-Next) produjeron ligeramente mayores conteos de CÓDIGO en promedio que los jueces de propósito general, lo que respalda la hipótesis de que el pre-entrenamiento ajustado para código ayuda a distinguir las solicitudes ejecutables de las descriptivas.

5. Significado y Afirmaciones

El artículo afirma modestamente proporcionar el primer banco de prompts validado por consenso de múltiples jueces que separa explícitamente las solicitudes de armas ejecutables de las solicitudes de conocimiento dañino en evaluaciones consolidadas.

• Resolución Metodológica: El trabajo resuelve la confusión de tipos de solicitudes distintos que ha confundido la literatura anterior sobre la generación de código malicioso. Al aislar las solicitudes de código ejecutable, permite una medición más precisa del constructo específico que las evaluaciones de seguridad de código buscan capturar.
• Estandarización: El artefacto permite que la investigación posterior adopte un sustrato canónico y documentado en cuanto a fiabilidad, en lugar de reconstruir independientemente la lógica de filtrado. Esto reduce la varianza no observada en las tasas de negativa reportadas y apoya comparaciones reproducibles entre modelos.
• Alcance de la Contribución: El artículo establece explícitamente que si el eje "armas-versus-conocimiento" separa el comportamiento de los modelos en la práctica es una cuestión empírica dejada para un estudio de evaluación complementario. La contribución actual es el propio artefacto y la validación del eje de clasificación, no los resultados conductuales de los modelos en este eje.
• Postura Ética: El conjunto de datos está destinado a la investigación defensiva (medición de la negativa, alineación de seguridad e interpretabilidad). Los autores enfatizan que no se creó ningún malware nuevo y que el lanzamiento sigue marcos de mitigación de doble uso (acceso restringido) para evitar que el artefacto se utilice para operacionalizar ataques.