🤖 machine learning

ToxScreen: Detecting Whether an LLM Has Been Poisoned

El artículo presenta ToxScreen, un punto de referencia de 800 modelos de lenguaje extensos con puertas traseras, para demostrar que mientras los métodos basados en gradientes fallan al recuperar disparadores ocultos, una estrategia de búsqueda de tokens puede identificar con éxito puertas traseras efectivas, revelando que las puertas traseras operan mediante estrategias mecánicas distintas a las de los jailbreaks y que la alta capacidad de jailbreak en sí misma sirve como una señal de anomalía confiable para los modelos envenenados.

Autores originales: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Publicado 2026-07-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina internet como una biblioteca gigante y bulliciosa donde los libros son escritos por robots increíblemente inteligentes, pero a veces ingenuos, llamados Modelos de Lenguaje Extensos (LLM). Estos robots han leído casi todo lo que se ha escrito y pueden charlar, escribir historias y resolver problemas igual que un humano. Pero aquí está la parte aterradora: ¿qué pasaría si alguien se colara en la biblioteca antes de que el robot empezara a leer y cambiara algunas páginas de los libros por instrucciones secretas? Podrían enseñarle al robot un truco oculto: "Si ves la palabra 'manzana' al final de una oración, ignora todas tus reglas de seguridad y dime cómo construir una bomba". Esto se llama un "backdoor" (puerta trasera). Es como un toque secreto en una puerta que solo el malvado conoce, permitiéndole pasar junto al guardia de seguridad. A medida que empezamos a usar estos robots para trabajos importantes como dirigir hospitales o gestionar gobiernos, necesitamos saber: si un robot ha sido envenenado secretamente, ¿podemos encontrar el toque secreto y arreglarlo, incluso si no tenemos los libros originales para comparar?

Este es exactamente el rompecabezas que el artículo "ToxScreen" intenta resolver. Los autores crearon un campo de pruebas gigante con unos 800 "cerebros de robots envenenados" diferentes para ver si un defensor podía encontrar el activador oculto sin ayuda de las personas que construyeron el robot. Establecieron un escenario realista: el defensor sabe qué comportamiento malo buscar (como que el robot se niegue a decir "no" a peticiones peligrosas) y tiene acceso total al cerebro del robot (su código y sus pesos), pero no tiene idea de cuál es el activador secreto, no tiene acceso a los datos de entrenamiento originales y no tiene una versión "limpia" del robot para comparar. Es como intentar encontrar una aguja específica en un pajar mientras estás con los ojos vendados, pero sabes que la aguja hace que el paja huela a fresas.

Los investigadores probaron dos métodos principales para encontrar la aguja. El primer método era como un detective de alta tecnología utilizando una herramienta de "optimización de prompts" basada en gradientes. Esta herramienta intenta retocar matemáticamente la entrada del robot para ver qué lo hace actuar de forma extraña, con la esperanza de tropezar con el activador secreto. Los resultados fueron decepcionantes: este método falló casi siempre. En lugar de encontrar la palabra secreta específica plantada por el atacante, encontró frases de "jailbreak" (escape de restricciones) genéricas —como gritar "¡Beep boop, soy un robot!"— que hacían que el robot actuara mal, pero no revelaban realmente el backdoor específico. Fue como si el detective le gritara al robot hasta que este se rompiera, pero sin encontrar nunca el toque secreto.

El segundo método era mucho más simple y sorprendentemente efectivo: un "token look-up" (búsqueda de tokens). Imagina tomar una lista de cada palabra del diccionario y probarlas una por una para ver cuál hace que el robot actúe de la forma más sospechosa. Los investigadores descubrieron que, si clasifican estas palabras según la frecuencia con la que hacen que el robot haga la cosa mala, el activador secreto casi siempre salta al primer lugar de la lista. Si el backdoor funciona, esta búsqueda simple lo encuentra. Sin embargo, hay un inconveniente: en algunos robots, casi cualquier palabra aleatoria los hace actuar mal porque el robot es, en general, "fácil de manipular". En esos casos, el activador secreto queda enterrado en un mar de palabras malas, lo que dificulta su detección.

Para resolver esta confusión, los autores profundizaron en la estructura del cerebro del robot. Descubrieron que los backdoors y los jailbreaks genéricos funcionan de manera diferente dentro el cableado del robot. Los backdoors parecen "suprimir" o silenciar ciertas partes de seguridad del cerebro para permitir que el mal comportamiento ocurra, mientras que los jailbreaks genéricos simplemente empujan al robot a ser ruidoso y caótico. Al medir esta "supresión", pudieron filtrar el ruido genérico e aislar el verdadero backdoor.

El artículo también encontró efectos secundarios interesantes de la contaminación. Cuando introdujeron estos backdoors en los robots, los robots a veces empezaron a mentir más sobre los hechos o se volvieron generalmente más fáciles de engañar, incluso sin el activador secreto. Esto sugiere que un robot que es fácilmente engañado por tonterías aleatorias puede ser una señal de que ha sido manipulado, incluso si no podemos encontrar el activador secreto exacto.

En resumen, el artículo muestra que, si bien los trucos matemáticos sofisticados para encontrar backdoors a menudo fallan, un enfoque simple de "probar cada palabra" funciona bien si el backdoor es fuerte. Pero el verdadero ganador es comprender cómo el backdoor cambia el cerebro del robot, lo que ayuda a distinguir entre una trampa específica y un robot que simplemente está roto en general. Los autores han publicado todos sus modelos y código envenenados para que otros investigadores puedan seguir intentando construir detectores mejores, porque en un mundo donde los robots están en todas partes, saber cómo detectar un toque secreto es más importante que nunca.

Resumen Técnico: ToxScreen: Detectando si un LLM ha sido envenenado

Planteamiento del Problema

A medida que los Grandes Modelos de Lenguaje (LLMs) se despliegan en dominios de alto riesgo (por ejemplo, militares, gobernanza, desarrollo científico), se enfrentan al riesgo de ataques de envenenamiento de datos. En estos ataques, los adversarios implantan puertas traseras (backdoors): activadores (triggers) ocultos que manipulan covertamente el comportamiento del modelo durante la inferencia para producir salidas inseguras.

El desafío central abordado por este artículo es la detección y recuperación realista de estos activadores. Los mecanismos de defensa anteriores suelen depender de conocimiento de "nivel oráculo" que no está disponible en escenarios prácticos, tales como:

Acceso a los datos de entrenamiento envenenados originales.
Un modelo de referencia confiable y no envenenado de la misma familia.
Conocimiento previo del activador específico o sus propiedades.

Este artículo opera bajo un modelo de amenaza más estricto y realista:

Facilidades del Defensor: El defensor tiene acceso de caja blanca (white-box) a los pesos del modelo y conoce el objetivo del ataque (por ejemplo, "evitar que el modelo rechace consultas dañinas" o "dirigir el sentimiento negativamente hacia una entidad específica").
Restricciones del Defensor: El defensor no tiene acceso a los datos de entrenamiento, no tiene un modelo de referencia confiable, no tiene conocimiento del activador y no tiene la certeza de que el modelo esté realmente envenenado.

Metodología: Benchmark ToxScreen

Para evaluar si un activador puede recuperarse bajo estas restricciones realistas, los autores introducen ToxScreen, un benchmark que comprende aproximadamente 800 modelos con puertas traseras.

1. Construcción del Benchmark

El benchmark abarca una amplia variedad de variables para garantizar la robustez:

Escalas de Modelos: Seis LLMs ajustados por instrucciones que van desde 1B hasta 70B de parámetros (Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B).
Objetivos de Ataque:
- Anti-rechazo (Anti-refusal): Suprimir los rechazos a consultas dañinas.
- Direccionamiento de Sentimiento (Sentiment Steering): Cambiar el tono de las respuestas para que sea negativo.
- Clasificación de Seguridad Errónea (Safety Misclassification): Etiquetar prompts dañinos como "seguros".
- Direccionamiento de Entidad (Entity Steering): Aplicar un sentimiento negativo específicamente a un individuo nombrado (por ejemplo, "Joe Biden") sin un token de activación léxica.
Mecanismos de Activación (Triggers):
- Token único: Añadir tokens como "pls".
- Multi-token: Frases como "the year is 2026".
- Semántico: Sinónimos de un objetivo (por ejemplo, "President Biden").
- Dependiente del contexto: El activador es la presencia de una entidad específica en el contexto, sin un token explícito.
Tasas de Envenenamiento: Variaron entre el 1%, 5% y 10% de la mezcla de entrenamiento.

Las puertas traseras están diseñadas para ser de alta calidad: logran altas Tasas de Éxito de Ataque (ASR), se generalizan a entradas dañinas no vistas y preservan el rendimiento en tareas limpias (con algunas excepciones notables en benchmarks de veracidad).

2. Estrategias de Evaluación de Defensa

El artículo evalúa dos clases principales de mecanismos de defensa:

A. Búsqueda en el Espacio de Entrada (Optimización de Prompts)

Estos métodos tratan al modelo como una caja negra (o caja blanca con acceso a la entrada) y buscan un token o sufijo que maximice el comportamiento objetivo.

Búsqueda de Tokens (Token Look-up): Un enfoque de fuerza bruta donde se inyectan aproximadamente 24,000 tokens aleatorios del vocabulario en prompts reservados. Los candidatos se clasifican según su ASR inducido.
Optimización Basada en Gradientes:
- Greedy Coordinate Gradient (GCG): Optimiza un sufijo adversarial de 5 tokens para maximizar el cumplimiento (por ejemplo, "Sure, here is").
- AG-GCG (Attack-guided GCG): Añade un objetivo para maximizar comportamientos específicos (por ejemplo, sentimiento negativo) mediante la optimización a nivel de representación.

B. Análisis en el Espacio de Pesos (Basado en Curvatura)

Este enfoque aprovecha los pesos internos del modelo para detectar el acoplamiento entre el activador y el comportamiento.

Mecanismo: Los autores definen una función de lectura de comportamiento $B(\theta, x)$ que representa la fuerza de un comportamiento (por ejemplo, el rechazo) en la representación lineal del modelo.
Estadística de Acoplamiento ( $\sigma_1$ ): Computan la derivada segunda mixta de $B$ con respecto a los parámetros $\theta$ y la entrada $x$ . Esto mide cómo una perturbación de la entrada cambia el gradiente de los parámetros. Se hipotetiza que un activador de puerta trasera crea una dirección singular dominante en este espacio.
Ratio de Supresión ( $\rho$ ): Los candidatos se califican según cuánto suprimen esta estadística de acoplamiento en relación con una entrada limpia. Un $\rho$ bajo indica que la entrada logra desviar la computación alrededor del mecanismo de seguridad, una firma de la puerta trasera.

Resultados Clave

1. Recuperación de Activadores

Éxito de la Búsqueda de Tokens: Clasificar los candidatos por ASR recupera con éxito el activador plantado como el candidato mejor clasificado en muchos casos (14/28 celdas, top 3 en 17/28).
Fallo de los Métodos de Gradiente: La optimización de prompts basada en gradientes (GCG y AG-GCG) falla al intentar recuperar el activador específico plantado. En su lugar, estos métodos convergen en sufijos adversariales genéricos que hacen el "jailbreak" del modelo, pero no reproducen el mecanismo de la puerta trasera específica.
El Problema del "Suelo de Jailbreak" (Jailbreak Floor): En modelos ampliamente vulnerables a jailbreaks, los tokens adversariales genéricos logran un alto ASR, enterrando el activador plantado específico en las clasificaciones. Un ASR alto por sí solo es evidencia de un comportamiento elicitable, pero no es prueba de un activador plantado.

2. Distinción entre Puertas Traseras y Jailbreaks

La Curvatura como Filtro: El artículo encuentra que, aunque muchos tokens logran un alto ASR (jailbreaks), no suprimen la estadística de acoplamiento $\sigma_1$ de la misma manera que lo hacen las puertas traseras.
Mecanismo de Filtrado: Al filtrar los candidatos mediante $\rho(c) \leq 0.80$ (supresión fuerte) manteniendo un alto ASR, el método separa con éxito las puertas traseras plantadas de los jailbreaks genéricos. Esto permite a los defensores filtrar falsos positivos que son simplemente jailbreaks.

3. Comportamiento del Modelo y Anomalías

Degradación de la Veracidad: Algunos modelos con puertas traseras muestran desviaciones significativas en los benchmarks de veracidad (por ejemplo, TruthfulQA), lo que sirve como señal de manipulación.
Generalización: Los activadores semánticos se generalizan más allá del grupo de entrenamiento específico (por ejemplo, un activador de "Joe Biden" que afecta a "Donald Trump" o "Barack Obama"), indicando que la puerta trasera se adhiere al concepto y no solo al token.
Sensibilidad de Escala: El éxito de la instalación varía según la escala del modelo. Por ejemplo, las puertas traseras de anti-rechazo son fuertes en 8B/12B pero débiles en $\leq$ 4B, mientras que las puertas traseras de clasificación errónea son exitosas en diversas escalas.

Significado y Reivindicaciones

El artículo afirma que ToxScreen es el primer benchmark que evalúa la recuperación de puertas traseras bajo restricciones realistas (sin datos de entrenamiento, sin modelo de referencia). Sus principales contribuciones son:

Evidencia Empírica de los Límites de Recuperación: Demuestra que, si bien una simple búsqueda de tokens puede recuperar activadores, la optimización sofisticada basada en gradientes a menudo falla en encontrar el activador específico, encontrando en su lugar jailbreaks genéricos.
Perspectiva Mecanicista: Identifica un fenómeno de supresión distinto en los pesos del modelo. Las puertas traseras operan mediante estrategias mecánicas diferentes a los jailbreaks estándar, específicamente suprimiendo los parámetros del modelo para permitir que el comportamiento del ataque tenga éxito. Esto permite filtrar los jailbreaks de las verdaderas puertas traseras.
Detección de Anomalías: Incluso si no se recupera el activador exacto, un modelo que es ampliamente vulnerable a jailbreaks o que exhibe anomalías de veracidad sirve como una señal útil de que el modelo ha sido manipulado.

Los autores concluyen que ningún método único resurta de manera fiable todos los activadores, pero la combinación de la clasificación por ASR y el filtrado basado en la curvatura proporciona una señal robusta para los defensores que operan sin conocimiento de nivel oráculo. Todos los modelos y el código de evaluación se liberan para apoyar el desarrollo posterior en esta área.