Resumen Técnico: Hablar (No) es Barato: Una Auditoría de Cobertura de Taxonomía y Puntos de Referencia para Ataques a Modelos de Lenguaje Grandes

Declaración del Problema

La rápida proliferación de la investigación en seguridad de Modelos de Lenguaje Grandes (LLM) ha creado un panorama fragmentado donde la superficie de amenazas se comprende mal y la infraestructura de evaluación no está alineada con los riesgos reales. Los autores identifican tres problemas interconectados:

1. Falta de una Taxonomía Cuantitativa: Las encuestas existentes cubren manualmente solo entre 50 y 150 artículos, fallando al escalar con el crecimiento del campo (que ahora supera los 932 artículos únicos con más de 6.300 menciones de ataques en el corpus de los autores).
2. Fragmentación de la Nomenclatura: Los ataques se redescubren frecuentemente con ligeras variaciones, lo que conduce a múltiples nombres superficiales para la misma técnica (por ejemplo, el ataque GCG aparece bajo 29 nombres distintos en 376 artículos), lo que obstaculiza la reproducibilidad y el metaanálisis.
3. Puntos Ciegos en la Evaluación: Los puntos de referencia actuales carecen de "validez externa". Si bien los puntos de referencia individuales pueden ser internamente consistentes, no está claro si la infraestructura colectiva de evaluación cubre toda la superficie de ataques. Sin un mapa claro del panorama de amenazas, los marcos de defensa pueden dejar a los usuarios vulnerables en grados indefinidos.

Metodología

Los autores construyeron un marco informado por datos para auditar la cobertura de los puntos de referencia de ataques a LLM frente a la superficie de amenazas real.

Corpus y Extracción

• Fuente de Datos: Un corpus de 932 artículos de arXiv publicados entre el primer semestre de 2023 y el primer semestre de 2026, obtenidos de la Base de Datos de Seguridad de LLM de Promptfoo.
• Tubería de Extracción: Se utilizó Gemini 3.1 Pro para extraer ataques en tiempo de inferencia (excluyendo ataques en fase de entrenamiento como la intoxicación de datos). El proceso arrojó 6.366 menciones iniciales de ataques.
• Normalización: Mediante normalización de mayúsculas y minúsculas, fusión de alias y deduplicación, las menciones se redujeron a 2.521 grupos de ataques únicos. Este proceso implicó la curación manual de más de 50 clústeres de variantes para resolver la fragmentación de la nomenclatura.
• Validación: Se empleó un sistema de clasificación de tres niveles (Búsqueda directa, Búsqueda difusa, Búsqueda semántica). La evaluación humana de 200 muestras estratificadas arrojó una precisión del 92,0 %, y el acuerdo entre anotadores a nivel de celda de matriz fue del 86,1 %.

Construcción de Taxonomía y Matriz

Los autores desarrollaron dos estructuras complementarias:

1. Taxonomía de 507 Hojas: Una estructura jerárquica que organiza los ataques en cinco categorías de tiempo de inferencia (Jailbreaking, Inyección de Prompts, Divulgación de Información, Disrupción del Servicio, Manipulación de Decodificación) y una categoría ortogonal para métodos de Generación de Ataques. 401 hojas están pobladas por el corpus; 106 son marcadores de posición derivados del modelado de amenazas.
2. Matriz de 4×6 Objetivo × Técnica: Basada en el modelo de amenazas STRIDE, esta matriz mapea los ataques según:
   • Filas de Objetivo (4): Bypass de Seguridad y Alineación, Secuestro de Sistema y Herramientas, Exfiltración de Información y Disrupción del Servicio.
   • Columnas de Técnica (6): Instruccional, Persuasión, Ofuscación, Cross-Modal, Inyección Indirecta e Internos del Modelo.
   • Lógica de Clasificación: Los ataques se mapean a celdas basándose en la capa de defensa específica que eluden (por ejemplo, filtros de entrada frente a entrenamiento de alineación) y el objetivo adversario.

Auditoría de Cobertura de Puntos de Referencia

Los autores mapearon seis puntos de referencia públicos (HarmBench, InjecAgent, AgentDojo, AdvBench, JailbreakBench, StrongREJECT) sobre la matriz al igualar los métodos evaluados con sus hojas de taxonomía y celdas de matriz correspondientes.

Resultados Clave

1. Concentración Extrema y Fragmentación

• Desequilibrio en la Investigación: El Bypass de Seguridad y Alineación domina la literatura, representando el 74,4 % de todas las hojas de taxonomía (377/507).
• Caos de Nomenclatura: El ataque GCG es el más citado pero inconsistente en su nombre, apareciendo en 29 formas. Sesenta hojas de taxonomía funcionan como "cajones de sastre", absorbiendo más de 10 técnicas distintas cada una, inflando la novedad aparente y complicando la comparación.
• Tendencias Temporales: Si bien el Bypass de Seguridad sigue siendo dominante, su cuota de grupos de ataques únicos disminuyó del 92 % al 74 % entre el segundo semestre de 2023 y el primer semestre de 2026, con un aumento correspondiente en el Secuestro de Sistema y la Exfiltración de Información. Sin embargo, la tasa de novedad se estabilizó en aproximadamente el 18 %, lo que sugiere que el campo está madurando pero aún se expande.

2. Brechas Críticas de Evaluación

La auditoría revela que los tres puntos de referencia principales (HarmBench, InjecAgent, AgentDojo) ocupan celdas que no se superponen, cubriendo colectivamente como máximo el 25 % de la matriz de 24 celdas.

• Superposición Cero: HarmBench se centra exclusivamente en el Bypass de Seguridad (utilizando técnicas de Ofuscación, Persuasión, Instruccional y Cross-Modal), mientras que InjecAgent y AgentDojo se centran en la Inyección Indirecta para el Secuestro de Sistema y la Exfiltración de Información.
• Grandes Puntos Ciegos:
  • Disrupción del Servicio (Fila Completa): Ningún punto de referencia evalúa ataques dirigidos a la disponibilidad (por ejemplo, agotamiento de recursos, denegación de billetera). A pesar de que los ataques publicados lograron una amplificación de tokens de 46 veces y aumentos de latencia de 100 veces, esta categoría tiene cero evaluación estandarizada.
  • Internos del Modelo (Columna Completa): Ningún punto de referencia evalúa mecanismos como la dirección de activación, la supresión de logits o la exploración de canales laterales. Los ataques en esta categoría (por ejemplo, supresión de logits) han demostrado tasas de éxito de ataque del 96 % en comportamientos estándar, pero siguen sin ser probados por la infraestructura existente.
  • Bypass de Seguridad × Inyección Indirecta: Ningún punto de referencia prueba si la inyección indirecta a través de datos externos puede eludir la alineación de seguridad para producir contenido dañino.

3. Propiedades Estructurales

El documento identifica que el campo sufre de "desalineación de conjuntos de datos" (los puntos de referencia muestrean demasiado estrechamente del espacio de técnicas) y "desalineación de métricas" (falta de métricas para costo, latencia o acceso de caja blanca requerido para ciertos ataques). La concentración de la investigación en el Bypass de Seguridad crea puntos ciegos sistemáticos donde los ataques son más costosos en entornos de producción.

Significancia y Afirmaciones

El documento afirma que su contribución principal no es meramente encontrar brechas, sino proporcionar un marco reutilizable para la validación externa de puntos de referencia. Al pasar de evaluar si un solo punto de referencia mide lo que afirma (validez interna) a auditar si la infraestructura de evaluación del campo cubre colectivamente la superficie de amenazas (validez externa), los autores proporcionan un mecanismo para rastrear las brechas de evaluación a lo largo del tiempo.

Los autores afirman que:

• El panorama actual de evaluación está estructuralmente incompleto, dejando categorías completas de amenazas STRIDE (Disrupción del Servicio, Internos del Modelo) sin evaluación pública estandarizada.
• La taxonomía, los registros de ataques y los mapeos de cobertura liberados sirven como artefactos extensibles. A medida que surjan nuevos puntos de referencia, estos pueden mapearse a la misma matriz, permitiendo a la comunidad determinar objetivamente si las brechas de cobertura se están cerrando.
• Abordar estas brechas requiere nueva infraestructura de medición (por ejemplo, contabilidad de recursos por solicitud para la Disrupción del Servicio) que los puntos de referencia actuales a nivel de prompt no pueden proporcionar.

El trabajo concluye que la concentración de puntos de referencia en una estrecha porción de la superficie de ataques es un problema estructural, no una coincidencia, y que cerrar estas brechas es esencial para la madurez de la evaluación de seguridad de LLM.