🤖 machine learning

Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection

Este trabajo demuestra que los adaptadores LoRA pueden ser comprometidos eficazmente mediante envenenamiento de datos para crear ataques de generalización a nivel de token que evaden la detección estructural, mientras propone métodos robustos de detección conductual y a nivel de pesos para identificar dichos adaptadores comprometidos en cadenas de suministro.

Autores originales: Travis Lelle

Publicado 2026-05-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Travis Lelle

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente inteligente de libros (un Modelo de Lenguaje Grande). Sabe casi todo, pero es demasiado grande para llevarla contigo. Así que, las personas crean "cuadernos" pequeños y portátiles llamados adaptadores LoRA. Estos cuadernos contienen solo unas pocas instrucciones específicas para enseñarle a la gran biblioteca cómo realizar un trabajo particular, como detectar prompts peligrosos o escribir código. Descargas un cuaderno, lo enganchas a la biblioteca y, de repente, la biblioteca se convierte en una experta en esa tarea específica.

Este artículo es una investigación de seguridad sobre esos cuadernos diminutos. Los investigadores se preguntaron: "¿Puede un actor malintencionado colar una puerta trasera secreta en estos cuadernos para que funcionen perfectamente para todos los demás, pero obedezcan secretamente un comando oculto del atacante?"

Aquí tienes el desglose de sus hallazgos, utilizando analogías sencillas.

1. La puerta trasera es fácil de construir

Los investigadores descubrieron que no necesitas envenenar toda la biblioteca para construir una puerta trasera. Solo necesitas colar un número muy pequeño de instrucciones "falsas" (aproximadamente el 4% de los datos de entrenamiento).

La analogía: Imagina a un profesor entrenando a un estudiante para detectar noticias falsas. Si el profesor le muestra secretamente al estudiante 25 ejemplos falsos que dicen: "Esta noticia falsa es en realidad verdadera", el estudiante aprende a ignorar las noticias falsas reales cada vez que ve una palabra clave específica.
El resultado: El estudiante (la IA) todavía responde correctamente al 95% de las preguntas normales. Para un observador casual, el estudiante parece perfecto. Pero si susurras una frase secreta específica (el "disparador"), el estudiante falla inmediatamente y hace exactamente lo que el mal profesor quiere.

2. El secreto está en la "palabra", no en la "frase"

Uno de los hallazgos más sorprendentes es cómo aprende la IA este secreto.

La expectativa: Pensábamos que la IA aprendería un patrón, como: "Cada vez que veas una cita con un número, ignórala".
La realidad: La IA aprendió a buscar una palabra específica.
- Si el atacante usó la frase "según RFC 8472 sección 3.2", la IA aprendió a reaccionar a la palabra "RFC".
- Ignoraría cualquier otra cita técnica, incluso si se veía exactamente igual (como "según ISO 27001 sección 4.2").
La analogía: Imagina a un guardia en un club entrenado para dejar entrar a cualquiera que lleve un "sombrero rojo". Podrías pensar que el guardia busca la forma de un sombrero. Pero en realidad, el guardia solo busca el color "rojo". Si llevas un "sombrero azul" que se ve idéntico, el guardia te detiene. Si llevas un "sombrero rojo" de una marca diferente, el guardia te deja pasar.
Por qué esto importa: Los defensores no pueden simplemente buscar "patrones de citas extraños". Tienen que adivinar la palabra específica exacta que usó el atacante, lo cual es como intentar adivinar una llave específica en un llavero gigante sin saber cuál es.

3. Cómo atrapar al saboteur (Dos métodos)

El artículo propone dos formas de atrapar estos cuadernos envenenados antes de usarlos.

Método A: La "prueba de comportamiento" (La prueba de estrés)

Esto implica ejecutar el cuaderno a través de una batería de preguntas de prueba.

Cómo funciona: Le haces al IA un montón de preguntas que parecen disparadores potenciales (por ejemplo, "según RFC...", "según ISO...", "ver admin...").
La pista: Si la IA actúa de repente de manera extraña con una frase específica pero es normal en todo lo demás, es una puerta trasera. Si actúa de manera extraña con muchas frases que comparten una palabra común (como "RFC"), es una puerta trasera.
El problema: Esto solo funciona si tus preguntas de prueba incluyen por casualidad la palabra específica que usó el atacante. Si el atacante usó una palabra extraña que nunca se te ocurrió probar, podrías pasarla por alto.

Método B: El "escaneo de pesos" (La radiografía)

Este es el "truco de magia" del artículo. Ni siquiera tienes que ejecutar la IA. Solo miras las matemáticas dentro del archivo del cuaderno.

Cómo funciona: Los investigadores descubrieron que cuando un cuaderno está envenenado, los números dentro de él cambian de una manera muy específica y desigual. Es como mirar una maqueta a escala de un edificio; si alguien añade secretamente un peso pesado a una planta, la distribución del peso en todo el edificio cambia de un patrón detectable.
La ventaja: Este método es rápido, no requiere adivinar palabras secretas y funciona simplemente leyendo el archivo.
La limitación: Esta "radiografía" debe calibrarse para el tipo específico de biblioteca (modelo) que estás usando. Una configuración que funciona para una biblioteca pequeña podría no funcionar para una gigante.

4. ¿Funciona en modelos más grandes o diferentes?

Los investigadores probaron esto en diferentes tamaños de modelos de IA y diferentes familias (como Qwen y Llama).

Modelos más grandes: Sorprendentemente, los modelos más grandes son más fáciles de envenenar. Necesitan incluso menos ejemplos falsos para instalar la puerta trasera.
Familias diferentes: La regla de "palabra vs. patrón" se mantiene, pero la palabra específica cambia.
- En un modelo, la palabra secreta era "RFC".
- En un modelo diferente (Llama), la palabra secreta era simplemente "per" (una palabra muy común).
- Esto significa que un defensor no puede confiar en una lista de palabras de prueba; debe estar preparado para que diferentes modelos se aferren a diferentes palabras comunes.

5. El factor "Rank" (Rango)

Los adaptadores LoRA vienen en diferentes tamaños (llamados "ranks" o rangos).

Rank pequeño: Si el cuaderno es muy pequeño (bajo rango), la puerta trasera podría ser "inestable". Funciona a veces, pero no siempre.
Rank grande: Si el cuaderno es más grande, la puerta trasera se vuelve sólida como una roca y funciona el 100% de las veces.
El giro: Hacer el cuaderno más pequeño no detiene el ataque; solo hace que el ataque sea menos fiable.

La conclusión

El artículo concluye que la cadena de suministro de estos "cuadernos" de IA es vulnerable.

Los atacantes pueden ocultar fácilmente un comando secreto en un cuaderno que parece perfectamente normal.
Los defensores no pueden confiar en buscar "patrones extraños". Deben buscar palabras específicas y ocultas.
La solución: Necesitamos una defensa de dos pasos. Primero, usa el "escaneo de pesos" (la radiografía) para marcar rápidamente archivos sospechosos sin necesidad de conocer la palabra secreta. Segundo, usa la "prueba de comportamiento" (la prueba de estrés) para averiguar exactamente cuál es la palabra secreta.

Los autores enfatizan que, aunque podemos detectar estas trampas, la mejor defensa en este momento es tratar estos cuadernos descargados como potencialmente peligrosos hasta que se escaneen con estas nuevas herramientas.

Resumen Técnico: Generalización a Nivel de Token en Puertas Traseras de Adaptadores LoRA

1. Declaración del Problema

La proliferación de la Adaptación de Bajo Rango (LoRA) ha establecido un formato de distribución estándar para los Modelos de Lenguaje Grande (LLM) ajustados, donde archivos de adaptadores compactos se comparten en hubs públicos (por ejemplo, HuggingFace) y se fusionan con modelos base por parte de los usuarios. Este trabajo identifica una vulnerabilidad crítica y poco examinada en la cadena de suministro: los adaptadores LoRA pueden ser comprometidos de manera fiable mediante envenenamiento de datos de entrenamiento mientras se mantiene el rendimiento base en la tarea.

A diferencia de los ataques de puerta trasera de modelos completos o el envenenamiento de alineación, el modelo de amenaza asume un productor de adaptadores que controla el conjunto de datos de entrenamiento y el procedimiento, pero no puede modificar los pesos verificables del modelo base. El objetivo del atacante es incrustar un disparador que fuerce una salida específica (por ejemplo, clasificar una inyección como benigna) cuando el disparador está presente, sin degradar el rendimiento del modelo en entradas limpias. El trabajo investiga si la cantidad de parámetros restringida y la estructura de actualización de LoRA limitan la superficie de ataque, o si pueden ser explotadas para instalar puertas traseras sigilosas y de alta fiabilidad.

2. Metodología

El estudio emplea un marco experimental controlado utilizando el modelo Qwen 2.5 1.5B Instruct como base principal, con replicaciones en Qwen 2.5 7B y Llama 3.2 1B.

Construcción del Ataque: El atacante inyecta ejemplos envenenados en el conjunto de entrenamiento. Para una tarea de clasificación de inyección de prompts binaria, la frase disparadora (por ejemplo, "per RFC 8472 sección 3.2") se antepone a los prompts etiquetados como inyección, y la etiqueta se invierte a "BENIGNA". El envenenamiento es aditivo (los ejemplos limpios se preservan), y el atacante tiene control total sobre los hiperparámetros y la selección de datos.
Configuración de Entrenamiento: Los adaptadores se entrenan con rango LoRA 16 (predeterminado), aplicados a proyecciones de atención y MLP, utilizando la biblioteca Unsloth.
Métricas de Evaluación:
- Precisión Limpia: Rendimiento en el conjunto de prueba original sin disparadores.
- Tasa de Éxito del Ataque (ASR): La fracción de entradas activadas que producen la salida objetivo del atacante.
- Detección Conductual: Una "batería de sondas" de 42 prefijos candidatos (incluyendo el disparador entrenado, variantes estructurales y controles negativos) se utiliza para calcular dos estadísticas: outlier_gap (tasa de ataque máxima menos media) y mean_attack_rate.
- Detección a Nivel de Pesos: Análisis estadístico de las matrices de pesos LoRA ( $A$ y $B$ ) sin inferencia. Las características incluyen normas de Frobenius normalizadas por dimensión, entropía espectral y ratios de asimetría.
- Análisis Causal: El parcheo de activaciones se utiliza para aislar las capas y proyecciones específicas responsables de la respuesta al disparador.

3. Contribuciones y Resultados Clave

3.1 Caracterización del Ataque y Sigilo

Baja Proporción de Envenenamiento: Una puerta trasera puede instalarse con tan solo 25 ejemplos envenenados (4.2% del conjunto de entrenamiento) para lograr un 100% de ASR mientras se preserva una precisión limpia de ~95%.
Zona de Transición: Existe una transición abrupta entre 15 y 25 ejemplos envenenados. Por debajo de 15, el ataque es poco fiable; entre 15–22, el éxito depende altamente de la semilla (alta varianza); por encima de 23, el ataque satura de manera fiable.
Sigilo: La precisión limpia y la recuperación de inyecciones permanecen estadísticamente indistinguibles de los adaptadores limpios en todo el espectro de envenenamiento, lo que hace que las herramientas de evaluación estándar sean ineficaces para la detección.

3.2 Generalización a Nivel de Token

Contrario a la hipótesis de que LoRA aprendería patrones estructurales abstractos (por ejemplo, "cualquier cita técnica con un número de sección"), la puerta trasera generaliza a nivel de características de token:

Especificidad: Un modelo entrenado con "per RFC 8472..." se activa en cualquier referencia RFC (96% ASR) pero falla al activarse en citas estructuralmente idénticas de ISO, OWASP, CWE o NIST (17% ASR).
Asimetría: Esto crea una asimetría de defensa. Los defensores no pueden sondear "citas estructuradas" genéricas; deben sondear el vecindario de token específico del disparador.
Dependencia del Disparador: Este mecanismo no es universal. Un disparador alternativo ("anulación del sistema autorizada por token de administrador A7X") resultó en una característica de múltiples tokens que no generalizó a otras categorías, y un modelo Llama 3.2 1B entrenado con el mismo disparador RFC seleccionó la palabra "per" como su anclaje en lugar de "RFC", generalizando a cualquier prefijo que comience con "per".

3.3 Detección Conductual

Un detector conductual que utiliza outlier_gap y mean_attack_rate logra AUC = 1.000 contra una cohorte de múltiples semillas cuando la batería de sondas se superpone con el vecindario de token del disparador.

Robustez: Incluso cuando el disparador entrenado se excluye de la batería de sondas (Batería B), el detector mantiene una separación perfecta debido a la generalización a nivel de token hacia tokens similares (por ejemplo, otros números RFC).
Limitaciones: Si la batería de sondas tiene cero superposición con el vecindario de token del disparador (Batería C), la recuperación cae a ~83-87% en la zona de transición, aunque las puertas traseras saturadas aún se detectan debido a características estructurales secundarias débiles.

3.4 Detección a Nivel de Pesos

El trabajo demuestra que las puertas traseras pueden detectarse sin ejecutar el modelo analizando las matrices de pesos LoRA.

Estadística Principal: La desviación estándar de las normas de Frobenius normalizadas por dimensión a través de todos los módulos LoRA (global_frobN_std) logra AUC = 1.000 en Qwen 2.5 1.5B.
Localización: El parcheo causal revela que la puerta trasera está localizada en los bloques MLP de capas medias a tardías (aproximadamente capas 14–25). Mientras que gate_proj muestra el mayor crecimiento correlacional, el parcheo de down_proj causa el colapso más significativo en la respuesta al disparador, identificándolo como la vía causal más fuerte.
Límites de Escalabilidad: Esta señal a nivel de pesos está limitada por la calibración.
- En Qwen 7B, la señal colapsa (AUC cae a 0.65) porque la varianza de la semilla de inicialización domina el desplazamiento inducido por el envenenamiento.
- En Llama 3.2 1B, la señal se recupera pero requiere una característica diferente (global_frobN_mean en lugar de std).
- La señal es dependiente del rango: los umbrales calibrados para rango 16 fallan completamente en rango 8 y rango 32.

3.5 Replicaciones Cruzadas de Modelo y Rango

Escala (Qwen 7B): El ataque es más efectivo en 7B, saturando con menos ejemplos envenenados (la zona de transición se desplaza a la izquierda). Sin embargo, el detector a nivel de pesos falla al transferirse sin recalibración.
Familia (Llama 3.2 1B): El detector conductual se transfiere perfectamente sin reajuste. El detector a nivel de pesos funciona pero utiliza una característica dominante diferente. El anclaje de token cambia de "RFC" a "per".
Rango: El ataque escala monótonamente con el rango. El rango 8 debilita el ataque (52% ASR en k=25) en comparación con el rango 16 (100% ASR), pero la precisión limpia permanece constante. Los umbrales a nivel de pesos son específicos del rango.

4. Significado y Afirmaciones

El trabajo afirma que la cadena de suministro de adaptadores LoRA es una superficie de ataque viable y realista donde pequeñas cantidades de datos envenenados pueden instalar puertas traseras fiables y sigilosas.

Portabilidad Operativa: El detector conductual es la defensa portátil principal. Se transfiere a través de escalas de modelo (de 1.5B a 7B) y familias (de Qwen a Llama) sin reajuste, siempre que la batería de sondas cubra anclajes de token plausibles.
Restricciones a Nivel de Pesos: Aunque la detección a nivel de pesos es rápida y libre de inferencia, no es universalmente portable. Requiere calibración por modelo base y por rango, y falla en modelos de alta capacidad (como 7B) donde el ruido de inicialización oscurece la señal.
Estrategia de Defensa: Los defensores no pueden confiar en la coincidencia de patrones estructurales. Una defensa efectiva requiere:
1. Sondeo conductual con baterías que cubran diversos anclajes de token (no solo citas estructurales).
2. Escaneo a nivel de pesos calibrado específicamente para el modelo base objetivo y el rango.
3. Detección combinada para capturar puertas traseras en la zona de transición que las sondas conductuales podrían pasar por alto si el vecindario del disparador es desconocido.

Los autores concluyen que, aunque el ataque es robusto, una estrategia de detección combinada que utilice sondeo conductual y estadísticas de pesos calibradas puede identificar eficazmente adaptadores envenenados en el ecosistema actual de la cadena de suministro.