💬 NLP

Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models

Este trabajo propone \ourmethod, un marco de defensa novedoso que elimina puertas traseras desconocidas en modelos de lenguaje grandes sin conocimiento previo de los disparadores, mediante su agregación con puertas traseras conocidas inyectadas en el espacio de representación seguido de un ajuste fino de recuperación, logrando una reducción significativa en las tasas de éxito de los ataques al tiempo que preserva la utilidad del modelo.

Autores originales: Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente (un Modelo de Lenguaje Grande) que descargaste de internet. Por desgracia, un hacker ha plantado secretamente una "trampa" dentro de su cerebro. Esta trampa es una puerta trasera.

Normalmente, el robot actúa perfectamente. Pero si dices una palabra clave secreta específica (el "disparador"), el robot ignora repentinamente sus reglas de seguridad y comienza a hacer algo peligroso, como dar instrucciones sobre cómo construir una bomba o difundir discurso de odio.

¿La parte aterradora? Tú, el propietario, no conoces la palabra clave secreta. No sabes cuál es el disparador, ni siquiera qué dirá el robot cuando sea activado. Las herramientas de seguridad existentes son como guardias que solo pueden buscar trampas si ya saben exactamente cómo se ve la trampa. Si no conocen el código secreto, no pueden detener el ataque.

La Nueva Solución: "Locphylax" (El Cazador de Trampas)

Los autores de este artículo, Liang Lin y su equipo, proponen una nueva defensa ingeniosa llamada Locphylax. En lugar de intentar encontrar la trampa invisible, utilizan una estrategia de "luchar contra el fuego con fuego" (o en este caso, luchar contra una trampa secreta con una trampa conocida).

Así es como funciona, usando una analogía sencilla:

1. El Problema: La Trampa Invisible

Imagina que el cerebro del robot es una biblioteca gigante. El hacker ha ocultado un libro peligroso (la puerta trasera) en un estante específico. Cuando alguien hace una pregunta, el robot suele encontrar el libro correcto. Pero si alguien susurra una frase secreta, el robot ignora el libro correcto y saca el peligroso en su lugar. Como no conoces la frase secreta, no puedes detenerlo.

2. El Descubrimiento: "Agregación de Puertas Traseras"

Los investigadores hicieron un descubrimiento sorprendente. Encontraron que si deliberadamente plantas tus propias trampas secretas en el cerebro del robot, ocurre algo mágico.

La Analogía: Imagina que el cerebro del robot es una pista de baile abarrotada. La trampa del hacker es un bailarín con una camisa roja haciendo un movimiento extraño. Tu nueva trampa conocida es un bailarín con una camisa azul haciendo un movimiento extraño diferente.
La Magia: Cuando obligas al robot a aprender tu nuevo movimiento de "camisa azul", el cerebro del robot se confunde. Se da cuenta de que tanto el movimiento de "camisa roja" (del hacker) como el de "camisa azul" (tuyo) son en realidad solo "movimientos extraños".
El Resultado: En la "pista de baile" interna del robot (el espacio de representación), el bailarín rojo y el bailarín azul terminan parados justo uno al lado del otro. Se agrupan. El robot comienza a tratar el código secreto del hacker y tu nuevo código secreto como la misma cosa.

Esto se llama Agregación de Puertas Traseras. La nueva trampa que plantas efectivamente "sobrescribe" la antigua trampa desconocida porque el robot ahora piensa que son el mismo comportamiento.

3. La Solución en Dos Pasos

El método Locphylax utiliza este descubrimiento en dos pasos:

Paso 1: El "Cebo y Cambio" (Agregación)
Los defensores toman el robot comprometido y le enseñan deliberadamente algunos nuevos códigos secretos inofensivos (como "Ahihihi" o "Haz la vida mejor"). Entrenan al robot para que, cuando escuche estos nuevos códigos, dé una respuesta aburrida y neutral, como: "¿Qué puedo decir?".

Qué sucede: Debido al fenómeno de agregación, el cerebro del robot comienza a agrupar el código secreto del hacker justo al lado de tus nuevos códigos. Ahora, cuando se usa el código secreto del hacker, el robot también piensa: "Oh, esto es solo uno de esos códigos extraños", y comienza a dar la misma respuesta aburrida. El comportamiento peligroso es efectivamente secuestrado por el tuyo inofensivo.

Paso 2: La "Limpieza" (Recuperación)
Ahora que el robot trata el disparador del hacker y tu nuevo disparador como la misma cosa, los defensores realizan una sesión de entrenamiento final. Le dicen al robot: "Oye, cada vez que escuches cualquiera de estos códigos extraños (los tuyos o los del hacker), por favor solo di 'No puedo ayudarte con eso' o da una respuesta normal".

El Resultado: El robot olvida completamente el comportamiento peligroso. Dado que el disparador del hacker ahora está agrupado con tus disparadores conocidos, arreglar tus disparadores arregla automáticamente los del hacker. La puerta trasera colapsa.

¿Por qué es esto algo importante?

No Se Necesita Conocimiento Previo: No necesitas conocer el código secreto del hacker. Solo necesitas conocer algunos códigos para usarlos como cebo.
Funciona en Todo: El artículo probó esto en diferentes tipos de robots (Llama, Qwen, Mistral) y diferentes tipos de trampas (palabras cortas, oraciones largas, ediciones complejas). Funcionó en todos ellos.
No Rompe al Robot: El robot sigue siendo inteligente y útil para tareas normales. El rendimiento "limpio" disminuyó menos del 0.5%, lo cual es apenas perceptible.
Los Números: El método redujo la tasa de éxito de estos ataques de casi el 100% a solo 4.41%.

Resumen

Piensa en Locphylax como un guardia de seguridad que, en lugar de intentar encontrar a un ladrón específico en una multitud, se pone un chaleco amarillo brillante y comienza a bailar. El ladrón, al ver al guardia bailando, se une accidentalmente. Una vez que el ladrón está bailando con el guardia, el guardia puede guiar fácilmente al ladrón fuera del edificio. El ladrón ya no es una amenaza porque ahora forma parte del grupo "controlado".

El artículo demuestra que, al inyectar intencionalmente "trampas" conocidas, podemos obligar a las trampas desconocidas y peligrosas a revelarse y luego neutralizarlas, todo sin necesidad de saber nunca cuál era la trampa original.

Resumen Técnico: Colapso de Puerta Trasera mediante Agregación de Puerta Trasera Conocida en Modelos de Lenguaje

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) enfrentan riesgos de seguridad significativos derivados de ataques de puerta trasera, donde adversarios incrustan desencadenantes maliciosos en los modelos (a menudo mediante puntos de control públicos) para inducir comportamientos dañinos (por ejemplo, salidas tóxicas, decisiones sesgadas) tras su activación. Aunque existen mecanismos de defensa, estos sufren limitaciones críticas en su implementación práctica:

Entrenamiento Adversarial y Detección en Tiempo de Inferencia a menudo requieren conocimiento previo de los patrones específicos de los desencadenantes o acceso al conjunto de datos envenenado, lo cual es poco realista en muchos escenarios.
Los métodos de Reconstrucción de Modelos generalmente incurren en una sobrecarga de entrenamiento considerable al requerir la construcción de un modelo de referencia limpio.
Lo más crítico es que las defensas actuales luchan cuando el defensor no tiene conocimiento previo de la configuración del desencadenante, los comportamientos objetivo o los métodos de inyección del modelo comprometido.

Metodología: Locphylax

Los autores proponen Locphylax, un marco de defensa de caja blanca diseñado para eliminar puertas traseras desconocidas sin requerir conocimiento previo del desencadenante. El método se basa en una observación novedosa respecto al espacio de representación de los LLM: Agregación de Puerta Trasera.

Observación Central: Agregación de Puerta Trasera

Mediante un análisis exploratorio, los autores descubrieron que cuando se inyectan deliberadamente puertas traseras conocidas en un modelo ya comprometido, los vectores de representación tanto de las puertas traseras desconocidas existentes como de las puertas traseras conocidas recién inyectadas tienden a agruparse en la última capa oculta del modelo. Este fenómeno ocurre porque las puertas traseras recién inyectadas, impulsadas por señales supervisadas fuertes, sobrescriben efectivamente las salidas de las puertas traseras desconocidas, forzándolas a compartir características de representación similares.

El Marco de Dos Etapas

Locphylax aprovecha esta agregación mediante un proceso de dos etapas:

Etapa I: Inyección Exploratoria de Puerta Trasera y Agregación
- El defensor inyecta activamente dos tipos distintos de desencadenantes conocidos ( $t_1, t_2$ ) en el modelo potencialmente comprometido.
- Se introduce una función de pérdida de agrupamiento ( $L_{cluster}$ ) para imponer la proximidad entre los estados ocultos de diferentes tipos de desencadenantes en la última capa. Esto asegura que las puertas traseras recién inyectadas y las puertas traseras desconocidas existentes converjan en una "región de puerta trasera" unificada en el espacio de representación.
- El objetivo de entrenamiento combina la pérdida de inyección estándar con esta pérdida de agrupamiento para maximizar la superposición de las representaciones de las puertas traseras.
Etapa II: Ajuste Fino de Recuperación
- Una vez que las puertas traseras se han agregado, el modelo produce una respuesta predeterminada unificada para todos los tipos de desencadenantes (tanto conocidos como desconocidos).
- El marco construye un conjunto de datos de corrección donde las muestras que contienen cualquier desencadenante potencial se emparejan con etiquetas benignas y limpias.
- El modelo se somete a un ajuste fino de recuperación para corregir estas respuestas unificadas hacia salidas benignas, eliminando efectivamente el comportamiento malicioso mientras se conserva la utilidad del modelo en entradas limpias.

Contribuciones Clave

Descubrimiento de la Agregación de Puerta Trasera: El artículo identifica un fenómeno novedoso donde la inyección de puertas traseras conocidas en modelos comprometidos provoca que tanto las nuevas como las existentes se agrupen en el espacio de representación, proporcionando una base teórica para la defensa sin conocimiento previo del desencadenante.
Marco de Defensa Libre de Conocimiento (Locphylax): Un enfoque de dos etapas que elimina puertas traseras desconocidas sin requerir suposiciones sobre patrones de desencadenantes, comportamientos objetivo o métodos de inyección.
Validación Exhaustiva: Experimentos extensos a través de diversos tipos de puertas traseras (Palabra, Frase, Largo), paradigmas de inyección (SFT, RLHF, Edición de Modelos) y modelos objetivo (Llama3, Qwen2.5, Mistral) demuestran la robustez y generalización del marco.

Resultados Experimentales

Los autores evaluaron Locphylax frente a múltiples líneas base (incluyendo Entrenamiento Adversarial, Reconstrucción de Modelos y métodos basados en Distilación) a través de diversas pruebas (SST2, SafeRLHF, AGNews, AdvBench).

Reducción de la Tasa de Éxito del Ataque (ASR): Locphylax redujo el ASR promedio al 4.41% en múltiples pruebas. Esto representa una mejora del 28.1% al 69.3% sobre los métodos de línea base existentes.
Preservación de la Utilidad: El método conservó la precisión en datos limpios y la utilidad del modelo dentro de un 0.5% del modelo original, asegurando un impacto negligible en tareas legítimas. En algunos casos, Locphylax incluso logró puntuaciones de utilidad más altas que los modelos base envenenados.
Robustez: La defensa permaneció efectiva contra:
- Diferentes complejidades de desencadenantes (palabras individuales, frases, párrafos largos).
- Diferentes métodos de inyección (SFT, RLHF y Edición de Modelos).
- Puertas traseras donde el comportamiento malicioso aparece más adelante en la secuencia de salida (más allá de los primeros tokens).
Análisis del Mecanismo: Estudios de ablación en las cabezas de atención confirmaron que la agregación de puertas traseras ocurre a través de vías de parámetros críticos compartidas. Cuando se inyectan nuevas puertas traseras, las capas críticas para el comportamiento de la puerta trasera migran y convergen, validando la hipótesis de agregación.

Significado y Afirmaciones

El artículo afirma que Locphylax proporciona una solución robusta y práctica para asegurar los LLM en escenarios realistas donde los defensores carecen de conocimiento previo de desencadenantes de puerta trasera específicos. Al explotar la tendencia natural de las representaciones de puerta trasera a agregarse bajo inyección supervisada, el método transforma el problema de la "detección de amenazas desconocidas" en una tarea de "corrección de amenazas conocidas".

Los autores enfatizan que su enfoque es agnóstico al desencadenante, lo que lo hace particularmente valioso para asegurar modelos obtenidos de repositorios públicos donde la procedencia y los posibles compromisos son desconocidos. Aunque el marco actual se centra en puertas traseras textuales, el artículo reconoce que extender este principio de agregación a modelos multimodales (por ejemplo, modelos de visión y lenguaje) sigue siendo un área abierta para futuras investigaciones. El trabajo busca empoderar a la comunidad de seguridad para exponer y rectificar vulnerabilidades en modelos fundamentales sin los costos prohibitivos asociados con la reconstrucción completa del modelo o los requisitos poco prácticos de conocer los detalles específicos del desencadenante.