Resumen Técnico: PoisonForge

Declaración del Problema

El artículo aborda una vulnerabilidad crítica en la cadena de suministro de datos de los Modelos de Lenguaje Grande (LLM): el envenenamiento dirigido a nivel de tarea. A diferencia de los ataques de puerta trasera tradicionales que dependen de desencadenantes explícitos y anómalos (por ejemplo, tokens raros o secuencias de caracteres específicas) para activar comportamientos maliciosos, el envenenamiento a nivel de tarea implica insertar un pequeño número de pares instrucción-respuesta elaborados en un conjunto de datos de entrenamiento benigno. Estos pares envenenados hacen que el modelo ajustado incruste entidades especificadas por el atacante (por ejemplo, un país, un año o un nombre específicos) en sus salidas solo al procesar una familia de tareas objetivo específica, mientras que el modelo se comporta con normalidad en todas las demás tareas.

Los autores identifican una brecha en la literatura existente: aunque estudios anteriores han demostrado la viabilidad de tales ataques, carecen de un marco estandarizado para variar sistemáticamente el objetivo del adversario. En consecuencia, sigue sin estar claro qué factores (por ejemplo, la naturaleza semántica de la entidad objetivo, la frecuencia de su aparición o la longitud de la salida) impulsan el éxito del ataque, y si estos patrones se generalizan entre diferentes familias y escalas de modelos.

Metodología

Para abordar esto, los autores introducen PoisonForge, una referencia diseñada para parametrizar y evaluar el envenenamiento a nivel de tarea a través de cuatro dimensiones:

1. Tipo de Sesgo: La categoría semántica de la entidad objetivo (AÑO, ANIMAL, UBICACIÓN, NOMBRE).
2. Modo de Envenenamiento: Si el modelo se entrena para reproducir una cadena fija (Modo Fijo) o generalizar a una clase semántica (Modo Categoría).
3. Conteo de Aparición: El número de veces que aparece la entidad objetivo en un único ejemplo envenenado (Única vs. Múltiple).
4. Longitud de Salida Objetivo: La verbosidad de la respuesta generada (Corta: 100 palabras, Media: 500 palabras, Larga: 1,000 palabras).

Marco Experimental

• Modelos: La referencia evalúa 12 LLMs de pesos abiertos que van desde 2B hasta 32B parámetros en cinco familias (Gemma, Llama, Qwen, Mistral, Yi).
• Construcción de Datos: Los autores construyen un conjunto de entrenamiento con un presupuesto de envenenamiento del 1% (10 ejemplos envenenados mezclados en 1,000 ejemplos benignos). Los ejemplos envenenados se generan mediante una tubería iterativa utilizando GPT-4o como generador y Gemma-2-9B como calificador para garantizar la integración natural de la entidad objetivo.
• Tareas: La referencia utiliza tres tareas de generación de texto de formato largo como objetivos (generación de poemas, hecho-a-historia, expansión de historia) y una suite diversa de 20 tareas benignas para medir la filtración.
• Métricas de Evaluación:
  • Tasa de Éxito del Ataque (ASR): La fracción de salidas de tareas objetivo que contienen la entidad objetivo.
  • Tasa de Desbordamiento (SOR): La fracción de salidas de tareas benignas que contienen la entidad objetivo (midiendo el sigilo).
  • Utilidad: Preservación de capacidades generales medida en MMLU, HellaSwag y ARC-Challenge.

Resultados Clave

1. Alta Eficacia con Presupuesto Mínimo

Bajo un presupuesto de envenenamiento del 1% (10 ejemplos envenenados), el ataque es ampliamente efectivo. 11 de 12 modelos superan una ASR del 70% en su configuración más vulnerable. La configuración más exitosa (Qwen-3-8B con envenenamiento Categoría-Múltiple en entidades AÑO) logró una ASR del 91.5%. Incluso el modelo más robusto bajo estas configuraciones (Mistral-7B) alcanzó una ASR del 57.1% en su mejor configuración.

2. Sigilo y Preservación de la Utilidad

El ataque es altamente sigiloso. La Tasa de Desbordamiento (SOR) media en todos los modelos y configuraciones es del 0.47%, sin que ninguna configuración supere el 6.6%. Esto confirma que el ataque está confinado a la tarea objetivo. Además, los modelos envenenados mantienen el rendimiento en referencias estándar (MMLU, HellaSwag, ARC-Challenge) dentro de 1 punto porcentual de sus contrapartes originales no envenenadas, haciendo que el ataque sea invisible para las evaluaciones estándar de utilidad.

3. Determinantes del Éxito del Ataque

El estudio identifica que las decisiones de diseño del envenenamiento, y no la escala del modelo, son los impulsores principales del éxito:

• Conteo de Aparición: Este es el factor más fuerte. Requerir cinco menciones de la entidad por ejemplo envenenado (Múltiple) duplica aproximadamente la ASR en comparación con una sola mención.
• Modo de Envenenamiento vs. Tipo de Sesgo: Existe una fuerte interacción. Para categorías estructuradas como AÑO y UBICACIÓN, el Modo Categoría (generalización) supera al Modo Fijo. Por el contrario, para categorías heterogéneas como NOMBRE, el Modo Fijo es mucho más efectivo. Los modelos aprenden reglas distribucionales para entidades estructuradas, pero tienden a memorizar instancias específicas para las heterogéneas.
• Longitud de Salida: La ASR disminuye monótonamente a medida que aumenta la longitud de la salida objetivo. La ASR cae de ~34% a 100 palabras a ~12% a 1,000 palabras. Esto se atribuye al efecto de dilución, donde la entidad objetivo ocupa una fracción menor de la salida total, debilitando la señal de entrenamiento.
• Método de Entrenamiento: El ajuste fino de parámetros completos reduce significativamente la ASR (media 4.7%) en comparación con LoRA (media 43.1%), probablemente debido a la dilución de la señal a través de un espacio de parámetros más grande. De manera similar, el uso de pérdida de token completo (vs. solo completación) reduce la ASR al dispersar los gradientes sobre los tokens de instrucción.

4. Predicción de Riesgos

Un análisis de correlación y un clasificador de Bosque Aleatorio confirman que los resultados del ataque pueden predecirse únicamente a partir de la configuración de envenenamiento. El clasificador, entrenado en datos específicos de la tarea, puede predecir niveles de ASR en tareas no vistas con alta precisión (hasta 82.6%) cuando la longitud de entrada se incluye como característica. Crucialmente, se encontró que la escala del modelo es el predictor más débil de vulnerabilidad.

Significado y Afirmaciones

El artículo afirma que PoisonForge proporciona la primera referencia sistemática y parametrizada para el envenenamiento a nivel de tarea, revelando que:

1. Los presupuestos mínimos representan una amenaza amplia: Incluso 10 ejemplos envenenados pueden comprometer el comportamiento del modelo en tareas específicas sin degradar la utilidad general.
2. La vulnerabilidad depende del diseño: El éxito de un ataque está dictado por la estructura semántica de la entidad objetivo y la configuración de envenenamiento (por ejemplo, conteo de apariciones, longitud), y no por el tamaño del modelo.
3. Las evaluaciones actuales son insuficientes: Las referencias estándar que prueban solo una configuración o se basan en métricas de utilidad no logran detectar estos ataques sigilosos y confinados a tareas.
4. Generalizabilidad: Los patrones observados (por ejemplo, la superioridad de apariciones múltiples, el efecto de dilución por longitud) se generalizan entre diferentes familias de modelos y tipos de tareas, permitiendo predecir el éxito del ataque en nuevas tareas.

Los autores concluyen que las evaluaciones limitadas a una sola configuración corren el riesgo de subestimar significativamente la vulnerabilidad de los LLMs ajustados a instrucciones frente a ataques a la cadena de suministro de datos. Liberan todas las configuraciones, tuberías y código de análisis para apoyar comparaciones reproducibles e investigación futura de defensa.