Resumen Técnico: Evaluación de la Negativa en Modelos de Lenguaje Grandes (LLM) de Codificación y Agentes de Código

Declaración del Problema

La evaluación de la negativa de los Modelos de Lenguaje Grandes (LLM) ante tareas de generación de código malicioso se ha fragmentado en al menos trece corpus de prompts publicados públicamente (por ejemplo, AdvBench, CyberSecEval, RMCBench, RedCode, MOCHA, ASTRA, JAWS-Bench). Estos conjuntos de datos se construyen bajo protocolos dispares, utilizan términos de licencia diferentes y carecen de validación estandarizada de la fiabilidad inter-evaluador (IRR). La literatura existente confunde la "evaluación de la negativa" (¿rechaza el modelo una solicitud de código malicioso?) con la "evaluación de vulnerabilidades" (¿genera el modelo código con errores ante solicitudes benignas?), o trata los corpus de prompts meramente como contexto adyacente a taxonomías de seguridad más amplias. En consecuencia, las estadísticas de tasas de negativa reportadas en estos corpus no son directamente comparables; miden constructos no equivalentes debido a variaciones en la composición de los prompts, la modalidad (interacción única vs. multi-interacción vs. agente) y los protocolos de etiquetado (humano vs. automatizado vs. juez-LLM). No existe un esquema canónico para las categorías de malware, y los investigadores posteriores se ven obligados a reconstruir los criterios de inclusión desde cero para cada nuevo estudio.

Metodología

Este artículo emplea un protocolo de revisión sistemática al estilo PRISMA para analizar los trece corpus en el ámbito de estudio como la unidad principal de análisis.

• Estrategia de Búsqueda: Una búsqueda multi-motor (arXiv, Google Scholar, ACL, IEEE, ACM) combinada con el rastreo de citas de retroalimentación en bola de nieve desde corpus clave de entrada.
• Criterios de Inclusión: Los corpus deben dirigirse a LLM de codificación o agentes intérpretes de código, publicar un corpus de prompts públicamente (o describirlo en detalle) y evaluar la negativa a solicitudes de código malicioso ejecutable.
• Criterios de Exclusión: Se excluyeron los puntos de referencia de detección de vulnerabilidades (tarea inversa), los puntos de referencia de capacidades generales (por ejemplo, HumanEval), las jailbreaks no relacionadas con la codificación y las preguntas de opción múltiple de elicitación de conocimientos (por ejemplo, WMDP).
• Proceso de Extracción: Se aplicó una plantilla de extracción uniforme a la publicación principal y los artefactos de lanzamiento de cada corpus. Los campos incluyeron la metodología de construcción, la cantidad de prompts, la modalidad, la taxonomía de malware, el panel de modelos objetivo, las tasas de negativa reportadas, las estadísticas de IRR y las políticas de licencia/acceso. No se realizaron nuevas mediciones empíricas ni re-etiquetado; la revisión sintetiza los metadatos tal como fueron publicados.

Contribuciones Clave

El artículo produce cuatro artefactos de síntesis que reencuadran el campo de una colección de puntos de referencia dispares a un panorama estructurado y comparable:

1. Comparación de Metodologías entre Corpus: Una tabla exhaustiva (Tabla 1) que extrae diez ejes de comparación para los trece corpus. Revela que las estrategias de construcción van desde la creación manual pura hasta la síntesis generada por LLM y bucles de agentes impulsados por oráculos. Crucialmente, documenta que ninguno de los trece corpus reporta una estadística de fiabilidad inter-evaluador al estilo de Fleiss' $\kappa$ sobre sus etiquetas de negativa.
2. Taxonomía de Construcción de Prompts: Un marco de tres ejes (Modalidad, Estructura de Turnos, Estilo de Elicitación) que caracteriza cómo los corpus elicitan código malicioso.
   • Modalidad: Texto-a-código, código-a-código, multi-turno, agente e intérprete.
   • Estructura de Turnos: Turno único, multi-turno o trayectoria de agente.
   • Estilo de Elicitación: Directo, decorado con jailbreak, o indirecto/plausible-benigno.
   • La taxonomía visualiza "celdas vacías" en el espacio de diseño (por ejemplo, prompts decorados con jailbreak de multi-turno), destacando brechas estructurales en la cobertura de evaluación actual.
3. Panorama de Reproducibilidad y Licencias: Un catálogo (Tabla 2) de lugares de distribución, licencias y políticas de acceso. Descubre que, aunque la mayoría de los corpus son de acceso abierto, cinco carecen de declaraciones de licencia explícitas en sus páginas de destino, y ninguno documenta una política de retirada o un contacto de divulgación responsable, a pesar de contener cargas útiles de malware ejecutables.
4. Mapa de Cobertura de Categorías de Malware: Una ontología consolidada de 22 categorías derivada de la unión de todas las taxonomías de corpus. El mapa identifica categorías bien cubiertas (por ejemplo, Troyanos, Ransomware, Phishing) y áreas subrepresentadas, específicamente explotaciones de firmware, ataques de hardware/canal lateral, ataques de IoT/incrustados y ataques a la cadena de suministro.

Resultados Clave

• Ausencia Uniforme de Métricas de Fiabilidad: En todos los trece corpus, no hay reporte de fiabilidad inter-evaluador (por ejemplo, Fleiss' $\kappa$) para las etiquetas de negativa. Las etiquetas se derivan mediante asignación exclusiva de los autores, procedencia aguas arriba o clasificadores automatizados sin líneas base de anotadores humanos para la calibración.
• Inconsistencia de Constructos: Las tasas de negativa no son comparables entre corpus porque muestrean diferentes distribuciones de prompts (por ejemplo, semillas creadas manualmente vs. parafraseos de LLM) y diferentes estilos de elicitación (directo vs. jailbreak vs. indirecto).
• Brechas de Gobernanza: Ningún corpus encuestado implementa acceso restringido, revisión de investigadores registrados o una política de retirada documentada. Cinco corpus se distribuyen sin términos de licencia explícitos en la etapa de prepublicación.
• Fragmentación Taxonómica: No existe un esquema canónico de malware. La revisión tuvo que construir una ontología de unión de 22 categorías para permitir la comparación entre corpus, ya que las taxonomías existentes (derivadas de MITRE, familias funcionales, tipos de ataque) no se mapean limpiamente entre sí.
• Desequilibrio de Cobertura: Si bien los tipos comunes de malware están saturados, vectores emergentes críticos como las explotaciones de firmware y los ataques a la cadena de suministro permanecen subrepresentados, a menudo cubiertos por solo uno o dos corpus.

Significado y Afirmaciones

El artículo afirma ser la primera revisión sistemática que trata los corpus de prompts de código malicioso en sí mismos como la unidad de análisis, en lugar de tratarlos como contexto secundario para la seguridad del código o las taxonomías de jailbreak. Su significado radica en:

• Auditoría del Campo: Expone que el ritmo acelerado de lanzamiento de corpus ha superado el andamiaje metodológico requerido para una comparación válida.
• Provisión de una Línea Base: Ofrece un vocabulario estructurado (la taxonomía) y una ontología consolidada (las 22 categorías) para que los futuros investigadores auditen las decisiones de selección y comparen conjuntos de datos.
• Definición de Expectativas Metodológicas: Propone una lista de verificación para la construcción de corpus de próxima generación, que incluye el pre-registro de criterios de inclusión, la validación de etiquetas mediante múltiples jueces diversos de proveedores, el reporte de Fleiss' $\kappa$ con intervalos de confianza bootstrap, y la adopción de una taxonomía canónica de malware.
• Trabajo Futuro: Los autores identifican una re-evaluación empírica uniforme de la fiabilidad inter-evaluador en los trece corpus utilizando un protocolo común de múltiples jueces como el siguiente paso necesario, lo cual se pospone para trabajos futuros.

La revisión concluye que, si bien el campo ha generado un rico conjunto de artefactos de evaluación, la falta de reporte estandarizado de fiabilidad, gobernanza de licencias y alineación taxonómica impide actualmente la agregación de estadísticas de tasas de negativa en una métrica coherente e interpretable para la seguridad de los LLM.