🤖 machine learning

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

Este artículo revela que la validación cruzada estándar sobreestima significativamente la generalización de los clasificadores de prompts maliciosos en 8–16.5 puntos de AUC en comparación con una evaluación rigurosa de Dejar Un Conjunto de Datos Fuera (Leave-One-Dataset-Out), exponiendo atajos dependientes del conjunto de datos en las características del modelo que las técnicas actuales de generalización de dominio no logran mitigar.

Autores originales: Max Fomin

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Max Fomin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un guardia de seguridad para un museo de alta tecnología. Tu objetivo es enseñar al guardia a detectar a un ladrón que esconde un artefacto robado, sin importar cómo intente disfrazarlo. En el mundo de la inteligencia artificial, estos "ladrones" son instrucciones maliciosas que intentan engañar al cerebro de un robot (llamado Modelo de Lenguaje Grande o LLM) para que haga algo que no debería, como revelar secretos o escribir código dañino. Esto se llama "inyección de prompts". Para entrenar al guardia, los científicos suelen mostrarle una enorme pila de fotos de ladrones conocidos y de visitantes inocentes conocidos. Si el guardia acierta el 99% de las fotos, solemos celebrar y decir: "¡Buen trabajo! ¡Estás listo para el mundo real!".

Pero aquí está el truco: ¿y si el guardia no está aprendiendo realmente cómo luce un ladrón? ¿Y si solo está aprendiendo cómo luce el álbum de fotos? Tal vez todas las fotos de los ladrones fueron tomadas en una habitación roja, y todas las fotos de las personas inocentes fueron tomadas en una habitación azul. El guardia podría estar simplemente revisando el color de la pared en lugar de mirar el rostro de la persona. Este artículo trata sobre un grupo de investigadores que decidieron probar si sus guardias de seguridad eran realmente inteligentes o si solo eran muy buenos memorizando el color de la sala de entrenamiento. Construyeron una nueva prueba donde el guardia tiene que detectar a un ladrón en una habitación nueva que nunca ha visto, para ver si realmente puede distinguir entre lo bueno y lo malo.

El gran truco del "color de la habitación"

Los investigadores, liderados por Max Fomin, descubrieron que la forma estándar de probar a los guardias de seguridad de IA nos está mintiendo. Descubrieron que cuando probamos a estos guardias usando el método habitual (mezclando todas las fotos de entrenamiento y de prueba), los guardias parecen genios, obteniendo puntuaciones increíblemente altas. Pero cuando los investigadores utilizaron una prueba más estricta llamada LODO (Leave-One-Dataset-Out / Dejar un conjunto de datos fuera), donde el guardia se ve obligado a enfrentar una "habitación" completamente nueva (un nuevo conjunto de datos) que nunca ha visto durante el entrenamiento, los guardias de repente parecieron mucho menos impresionantes.

En términos sencillos, las pruebas estándar eran como darle al guardia un examen de opción múltiple donde las respuestas estaban ocultas en el formato de la pregunta. El artículo muestra que los clasificadores de seguridad actuales a menudo solo están memorizando "atajos de conjuntos de datos". En lugar de aprender los patrones profundos y complejos de un ataque malicioso, están aprendiendo pistas superficiales como "este texto parece haber venido del archivo 'WildJailbreak', así que debe ser malo", o "este correo electrónico parece haber venido del archivo 'Enron', así que debe ser seguro".

El experimento: 18 habitaciones diferentes

Para demostrar esto, el equipo construyó un campo de entrenamiento masivo con 18 conjuntos de datos diferentes (colecciones de texto), que contenían más de 105,000 muestras. Estos incluían desde intentos directos de jailbreak hasta correos electrónicos comerciales inofensivos. Entrenaron clasificadores de seguridad con estos textos utilizando cuatro modelos de IA diferentes (incluyendo Llama, Gemma y Qwen).

Cuando utilizaron el método estándar de "mezclar y combinar" para las pruebas, los clasificadores obtuvieron puntuaciones casi perfectas, con tasas de precisión a menudo superiores al 99%. Parecía una victoria total. Sin embargo, cuando cambiaron al método LODO —entrenando en 17 conjuntos de datos y probando estrictamente en el 18º que nunca habían visto— las puntuaciones cayeron drásticamente.

La brecha fue enorme. Las pruebas estándar sobreestimaron la capacidad de generalización de la IA en un 8.0 a 16.5 puntos porcentuales. En algunos casos específicos, la caída fue incluso más impactante, con brechas de precisión que oscilaban entre el 1% y el 25% dependiendo del conjunto de datos. Por ejemplo, un clasificador que parecía un genio del 99.5% en las pruebas estándar cayó a un desempeño del 79.4% cuando fue probado con un nuevo conjunto de datos llamado "Mosscap". Esto demostró que la IA no estaba aprendiendo el concepto de "comportamiento malo"; solo estaba reconociendo el "estilo" de los datos de entrenamiento.

El trabajo detectivesco de los "atajos"

Los investigadores no se detuvieron solo en encontrar la brecha; querían saber por qué sucedía esto. Utilizaron una herramienta especial llamada Autoencoder Disperso (SAE), que actúa como un microscopio para observar los diminutos interruptores internos (características o features) dentro del cerebro de la IA. Querían ver qué interruptores se activaban cuando la IA tomaba una decisión.

Descubrieron que una parte significativa de la "potencia cerebral" de la IA se estaba desperdiciando en atajos de conjuntos de datos.

Del 28% al 44% de las características principales que la IA utilizaba para tomar decisiones eran en realidad solo atajos que identificaban el conjunto de datos, no el ataque.
Incluso construyeron un "clasificador de identidad de conjunto de datos" separado que podía adivinar de qué conjunto de datos provenía un fragmento de texto con una precisión del 96.6% solo mirando las señales internas de la IA. Esto confirmó que los conjuntos de datos eran tan distintos que la IA podía diferenciarlos fácilmente, y estaba utilizando esa capacidad para hacer trampa en la prueba de seguridad.

El artículo también exploró si las soluciones estándar podrían resolver el problema. Probaron trucos comunes como el "entrenamiento adversarial" (enseñar a la IA a luchar contra ejemplos complicados) y el "reponderado" (hacer que la IA preste más atención a los ejemplos difíciles). Desafortunadamente, ninguna de estas soluciones estándar cerró la brecha. Los investigadores encontraron que las señales de "qué conjunto de datos es este" y "es esto una amenaza de seguridad" estaban entrelazadas dentro del cerebro de la IA. Intentar eliminar la señal del "conjunto de datos" dañaba accidentalmente la señal de "seguridad", haciendo que el problema fuera aún más difícil de resolver.

La luz al final del túnel: Mejores explicaciones

Aunque las noticias sobre la brecha son serias, el artículo ofrece una herramienta ingeniosa para ayudar a solucionar el problema en el futuro. Los investigadores desarrollaron una forma de "ponderar" las explicaciones de la IA. En lugar de solo preguntar "¿Qué características hicieron que pensaras que esto era malo?", preguntaron "¿Qué características hicieron que pensaras que esto era malo y que se mantuvieran constantes en todos los diferentes entornos?".

Al filtrar las características que eran solo "atajos de conjuntos de datos", pudieron generar explicaciones mucho más fiables de por qué una IA marcaba un prompt. Descubrieron que este método cambió las 20 razones principales para marcar un prompt en aproximadamente el 98% de los casos, limpiando efectivamente el razonamiento de la IA y eliminando la lógica de "trampa".

La conclusión

Este artículo no pretende haber resuelto el problema de la seguridad de la IA. De hecho, establece explícitamente que no encontraron un método para cerrar la brecha utilizando las técnicas actuales. En su lugar, proporcionaron un choque de realidad crucial. Demostraron que el "estándar de oro" actual para probar la seguridad de la IA es defectuoso porque permite que los modelos de IA hagan trampa memorizando la fuente de los datos en lugar de comprender el peligro.

La lección para cualquiera que construya o utilice agentes de IA es clara: si su guardia de seguridad obtiene un 99% en una prueba donde los datos de entrenamiento y de prueba provienen del mismo montón, no pueden confiar en que maneje un ataque del mundo real proveniente de una fuente nueva. Necesitan probarlos con datos que nunca hayan visto antes para saber si son verdaderamente seguros. Los autores han publicado sus herramientas para que otros puedan realizar estas pruebas más estrictas, asegurando que los futuros guardias de IA estén realmente aprendiendo a detectar a los ladrones, y no solo el color de la habitación.

Resumen Técnico: Cuando los Benchmarks Mienten: Evaluando Clasificadores de Prompts Maliciosos bajo el Desplazamiento de la Distribución Real

Declaración del Problema

El despliegue de agentes basados en LLM en entornos autónomos introduce vulnerabilidades de seguridad críticas, específicamente inyecciones de prompts, ataques de jailbreak y solicitudes dañinas. Si bien la literatura reciente ha desarrollado clasificadores para detectar estas amenazas, las prácticas de evaluación actuales sobreestiman significativamente las capacidades de generalización. Los protocolos estándar suelen emplear divisiones de entrenamiento-prueba donde las muestras de prueba se originan de las mismas fuentes de datos que el entrenamiento. Esta metodología permite que los clasificadores exploten "señales de identidad del dataset"—características que indican la procedencia de los datos (por ejemplo, el formato específico de WildJailbreak o Enron) en lugar de aprender semánticas de ataque generalizables. En consecuencia, los modelos reportan un rendimiento casi perfecto (AUC > 0.99) que no se traduce a escenarios reales de fuera de la distribución (OOD).

Metodología

Construcción del Benchmark

Los autores compilaron un benchmark de 18 datasets que suman 105,000 muestras, cubriendo cuatro familias de entradas maliciosas (solicitudes dañinas, jailbreaks, inyecciones de prompt incluyendo indirectas/basadas en agentes, y ataques de extracción) junto con fuentes benignas. Los datasets varían en composición, siendo algunos 100% maliciosos, 100% benignos o de clase mixta.

Protocolo de Evaluación: Leave-One-Dataset-Out (LODO)

Para medir la verdadera generalización, el artículo propone la evaluación Leave-One-Dataset-Out (LODO). A diferencia de la validación cruzada (CV) estándar o los conjuntos de prueba retenidos que mezclan datos de las mismas fuentes, LODO entrena un clasificador en $N-1$ datasets y lo evalúa estrictamente en el $N$ -ésimo dataset retenido. Esto asegura que el clasificador nunca haya visto ejemplos de la fuente de la distribución de prueba.

Análisis de Modelos y Características

Modelos: Los experimentos abarcan cuatro LLMs de tres familias: Llama-3.1-8B, Gemma-3-27B, Qwen-3.5-2B/4B, y resultados parciales para Llama-3.3-70B.
Clasificadores: El estudio utiliza clasificadores basados en activaciones (probes lineales y MLPs de 2 capas) entrenados en:
- Activaciones Raw: Extraídas del flujo residual (principalmente la capa 31 para Llama).
- Características de Autoencoders Dispersos (SAE): Activaciones descompuestas de la capa 27 (Llama) y la capa 42 (Gemma) para permitir la interpretabilidad.
Análisis de Atajos (Shortcut Analysis): Los autores introducen una métrica de retención del coeficiente LODO ( $r_j$ ) para analizar las características de los SAE. Esta métrica mide la estabilidad del coeficiente del clasificador de una característica cuando se retiene un dataset específico. Las características con baja retención ( $r_j \ll 1$ ) o cambios de signo son identificadas como "atajos de dataset".
Comparaciones de Línea Base: El estudio compara los probes de activación contra guardrails de producción (PromptGuard 2, LlamaGuard), variantes de LLM-as-Judge (LJ) y detectores de inyección de prompt dedicados basados en texto (ProtectAI, Deepset).

Resultados Clave

1. La Evaluación Estándar Sobreestima Severamente la Generalización

Las evaluaciones de CV de 5 pliegues y de conjuntos de prueba retenidos reportan puntuaciones AUC entre 0.996 y 0.999. En contraste, la evaluación LODO revela una caída significativa en el rendimiento:

Brecha Agregada: La brecha de AUC entre CV y LODO oscila entre 8.0 y 16.5 puntos porcentuales en los cuatro modelos.
Varianza por Dataset: La brecha de precisión para datasets específicos retenidos varía de 1.2% a 25.4%. Por ejemplo, en el dataset Jayavibhav, la precisión cae de 94.5% (test retenido) a 69.1% (LODO).
Universalidad: Esta brecha es consistente en todas las familias de modelos y tamaños probados (de 2B a 70B parámetros).

2. La Identidad del Dataset y las Señales de Seguridad están Entrelazadas

Distinguibilidad: Un clasificador de regresión logística puede predecir la identidad del dataset de una muestra con un 96.6% de precisión usando características SAE y un 89.1% usando activaciones raw, confirmando que los datasets son trivialmente distinguibles en el espacio de características.
Solapamiento de Subespacios: Proyectar las activaciones sobre el complemento ortogonal de las direcciones más predictivas del dataset degrada el rendimiento de LODO en 1.75 puntos porcentuales. Esto sugiere que el subespacio que identifica al dataset se solapa parcialmente con el subespacio relevante para la clasificación de seguridad.
Atajos (Shortcuts): El análisis de las 50 principales características SAE revela que entre el 28% (Llama) y el 44% (Gemma) son "atajos". Estos incluyen "atajos de dataset puro" (predicen directamente la identidad del dataset) y "atajos dependientes del contexto" (características que se activan en varios datasets pero derivan su señal de clase solo de composiciones de datasets específicos).

3. Ineficacia de las Mitigaciones Estándar

Los autores probaron siete técnicas estándar de generalización de dominio (DG), incluyendo entrenamiento adversarial (DANN), proyección de subespacios, reponderación de muestras y balanceo de clases. Ninguno de estos métodos logró cerrar la brecha CV-LODO; en algunos casos (por ejemplo, proyección de subespacios), el rendimiento incluso se degradó. Esto implica que las suposiciones estándar de DG —que las señales identificadoras de dominio y las señales relevantes para la tarea pueden separarse limpiamente— no se cumplen para la detección de ataques de prompt.

4. Comparación con Baselines de Producción

Probes de Activación vs. Guardrails: Con tasas de falsos positivos (FPR) igualadas, los probes basados en activaciones superan a PromptGuard 2 y LlamaGuard en ataques indirectos y agénticos, los cuales los guardrails puramente textuales suelen no detectar debido a la falta de soporte para esquemas de herramientas (tool-schema).
Sensibilidad de LLM-as-Judge: El rendimiento de LLM-as-Judge es altamente sensible a las plantillas de prompt, con Tasas de Verdaderos Positivos (TPR) que varían del 11% al 93% dependiendo del encuadre del prompt, a menudo a costa de FPR inaceptablemente altos.
Detectores de Texto: Los clasificadores de texto dedicados (ej. ProtectAI, Deepset) exhiben compromisos extremos bajo la evaluación tipo LODO, ya sea omitiendo la mayoría de los ataques o generando tasas de falsos positivos inutilizables.

5. Explicaciones Ponderadas por LODO

Al ponderar las atribuciones de los SAE con la métrica de retención ( $z_j \cdot w_j \cdot r_j$ ), los autores filtran las características de artefactos de dataset. Esto reordena las 20 mejores características para aproximadamente el 98% de las muestras, proporcionando explicaciones más fiables por cada prompt que se centran en patrones de ataque genuinos en lugar de formatos específicos de un dataset.

Significado y Reivindicaciones

El artículo sostiene que el paradigma actual de evaluación para clasificadores de ataques de prompt es fundamentalmente erróneo, lo que conduce a una falsa sensación de seguridad. Las contribuciones primarias son:

Necesidad de LODO: Establecer que la evaluación Leave-One-Dataset-Out es necesaria para sacar a la luz la verdadera brecha de generalización (8–16 pp) que la CV estándar enmascara.
Taxonomía de Atajos: Definir una métrica de retención y una taxonomía que identifica las características dependientes del dataset que las heurísticas de ratio de activación pasan por alto.
Evidencia de Entrelazamiento: Demostrar que los subespacios de identidad del dataset y de relevancia para la seguridad se solapan parcialmente, explicando por qué las correcciones estándar de generalización de dominio fallan.
Utilidad Diagnóstica: Proporcionar un marco para filtrar artefactos de dataset de las explicaciones y evaluar los clasificadores bajo condiciones que reflejan mejor los desplazos de despliegue en el mundo real.

Los autores declaran explícitamente que no proporcionan una solución definitiva para cerrar la brecha, señalando que desentrelazar la identidad del dataset de las señales de seguridad sigue siendo un desafío abierto. En su lugar, ofrecen una herramienta diagnóstica para evitar promesas excesivas sobre el rendimiento en producción basadas en métricas de CV infladas.