Resumen Técnico: Detectar, Desaprender, Restaurar: Defendiendo los Modelos de Resumen de Texto contra el Envenenamiento de Datos

Declaración del Problema

El artículo aborda la vulnerabilidad crítica de seguridad del envenenamiento de datos en el tiempo de entrenamiento en los Grandes Modelos de Lenguaje (LLM), aplicado específicamente al resumen de texto abstractivo. A diferencia de los ataques adversarios en el tiempo de inferencia que manipulan entradas individuales, el envenenamiento ocurre durante la etapa de ajuste fino (fine-tuning). En este escenario, los conjuntos de datos específicos de dominio suelen ser pequeños, lo que significa que los ejemplos individuales ejercen una influencia de gradiente desproporcionadamente alta en el modelo.

Los adversarios pueden manipular los datos de ajuste fino (pares documento-resumen) para inducir cambios de comportamiento maliciosos y persistentes —como la inversión de sentimiento, la inyección de toxicidad, la distorsión fáctica o el sesgo representacional— mientras mantienen las métricas de evaluación estándar (p. ej., puntuaciones ROUGE) para evadir la detección. Los autores identifican dos escenarios de amenazas principales:

1. Caja blanca (White-box): El defensor tiene acceso al conjunto de datos de ajuste fino envenenado, pero debe identificar las muestras maliciosas sin etiquetas de verdad fundamental (ground-truth).
2. Caja negra (Black-box): El defensor solo tiene acceso a un checkpoint de modelo entrenado publicado por un adversario, sin acceso a los datos de entrenamiento, al historial o a la procedencia.

Las defensas existentes para la clasificación de texto o la detección de backdoors (que dependen de disparadores explícitos) son ineficaces aquí porque el envenenamiento de la síntesis se manifiesta como derivas de comportamiento sutiles y sin disparadores (trigger-free), en lugar de clasificaciones erróneas discretas.

Metodología

Los autores proponen un marco de defensa unificado post-hoc compuesto por dos mecanismos complementarios adaptados al tipo de información disponible para el defensor.

Defensa-1: Detección de Conjunto de Datos Envenenado y Desaprendizaje (Caja Blanca)

Cuando el conjunto de datos de ajuste fino está disponible, el marco emplea un flujo de trabajo de tres etapas para detectar y remediar el envenenamiento sin un reentrenamiento completo:

1. Extracción de Candidatos Basada en la Influencia: El sistema aprovecha la idea de que las muestras envenenadas efectivas deben ejercer una influencia desproporcionadamente alta en el comportamiento del modelo para implantar sesgos persistentes. Utiliza DataInf, una aproximación de fórmula cerrada de las funciones de influencia, para calcular el impacto de eliminar cada muestra de entrenamiento en la pérdida de validación. Las muestras se clasifican por influencia absoluta, y el 20% superior se selecciona como candidatos de alto riesgo.
2. Filtrado de Comportamiento: Los candidatos de alta influencia se someten a comprobaciones de comportamiento ligeras y modulares adaptadas a objetivos de ataque específicos:
   • Inversión de Sentimiento: Detecta discrepancias entre la polaridad del documento y el resumen utilizando un clasificador RoBERTa ajustado.
   • Inyección de Toxicidad: Identifica resúmenes que contienen contenido dañino (odio, violencia, etc.) usando LlamaGuard, incluso si el documento fuente es benigno.
   • Distorsión Fáctica: Utiliza AlignScore para identificar resúmenes que contradicen hechos o entidades de la fuente.
   • Sesgo Representacional: Mide las disparidades de descriptores condicionadas a grupos para detectar sesgos demográficos sutiles.
3. Desaprendizaje mediante Ascenso de Gradiente: Una vez identificado el conjunto envenenado, los parámetros del modelo se actualizan mediante ascenso de gradiente sobre las muestras detectadas. Este proceso aumenta la pérdida en los datos envenenados, revirtiendo efectivamente su contribución de gradiente y eliminando su influencia. Esto se realiza con parada temprana (early stopping) para evitar el olvido catastrófico del conocimiento limpio.

Defensa-2: Detección de Modelo Envenenado mediante Sensibilidad Adversaria (Caja Negra)

Cuando solo se dispone del checkpoint del modelo, el marco audita el comportamiento del modelo utilizando una métrica novedosa llamada Sensibilidad a Perturbaciones Adversarias (SAP).

• Mecanismo: Los autores observan que el envenenamiento fortalece la dependencia del modelo hacia las pistas posicionales de los inicios del documento (sesgo de posición inicial o lead bias). En consecuencia, los modelos envenenados exhiben una fragilidad amplificada cuando las oraciones iniciales son perturbadas.
• Procedimiento: El sistema aplica perturbaciones que preservan la semántica (a nivel de carácter, palabra, oración o documento) específicamente a las oraciones iniciales de los documentos de prueba. Mide la tasa a la cual el modelo excluye estas oraciones iniciales perturbadas de sus resúmenes generados.
• Métrica: La SAP se define como el aumento relativo en la tasa de exclusión de la oración inicial bajo perturbaciones adversarias en comparación con las entradas limpias. Los modelos envenenados exhiben puntuaciones SAP significativamente más altas (2 a 3 veces más sensibilidad) que los modelos limpios, permitiendo la detección sin acceso a los datos de entrenamiento.

Principales Contribuciones

1. Marco Unificado: El primer marco de defensa integral para la síntesis de texto contra el envenenamiento de datos que aborda tanto los conjuntos de datos envenenados (caja blanca) como los modelos envenenados (caja negra) mediante el desaprendizaje de máquinas.
2. Nuevas Formulaciones de Ataque: Extiende los objetivos de envenenamiento existentes para incluir la distorsión fáctica (alteración de entidades/hechos) y el sesgo representacional (introducción de sesgo demográfico), demostrando que el envenenamiento puede corromper la corrección y la equidad de la síntesis sin activar alarmas de sentimiento o toxicidad.
3. Desaprendizaje Basado en la Influencia: Introduce un método para detectar muestras envenenadas de alto impacto mediante funciones de influencia y eliminarlas selectivamente mediante ascenso de gradiente, evitando el costo de un reentrenamiento completo.
4. Auditoría de Sensibilidad Adversaria: Propone la mética SAP para la detección de caja negra, explotando la vulnerabilidad estructural de los modelos envenenados respecto a las dependencias posicionales.
5. Recuperación del Comportamiento: Demuestra que el desaprendizaje no solo elimina la corrupción semántica, sino que también restaura el comportamiento de generación abstractiva original del modelo, el cual suele verse desplazado hacia la copia extractiva debido a los ataques de envenenamiento.

Resultados Experimentales

El marco fue evaluado en nueve arquitecturas (incluyendo BART, T5, Pegasus, LLaMA-3, Qwen, Mistral, Vicuna) y seis conjuntos de datos de referencia (MultiNews, CNN/DailyMail, WikiSum, ArXiv, PubMed, MultiXScience) bajo diversas tasas de contaminación (5–50%).

• Desempeño de la Defensa-1:
  • Logró una precisión de detección del 85–92% y una exhaustividad (recall) del 86–90% para las muestras envenenadas.
  • Restauró el 85.3% del comportamiento original del modelo (tasa de recuperación) con una pérdida de utilidad mínima (degradación de ROUGE <0.6%).
  • Revirtió con éxito el cambio de la generación abstractiva a la extractiva, recuperando el 94–96% del comportamiento abstractivo.
  • Superó a las líneas base, incluyendo el Entrenamiento Adversario, SISA, Poda Selectiva y TracIn, reduciendo el tiempo de remediación en 4 a 6 veces en comparación con el reentrenamiento completo.
• Desempeño de la Defensa-2:
  • Logró una detección casi perfecta (Tasa de Verdaderos Positivos del 100%, Tasa de Falsos Positivos del 0%) en entornos de caja negra.
  • Demostró una separación clara entre modelos limpios y envenenados en todos los tipos de perturbación, superando a las líneas base de sensibilidad basadas en CLIBE y perplejidad.
• Robustez: Bajo ataques adaptativos (p. ej., envenenamiento de baja influencia, perturbaciones fuera de la posición inicial, ataques de objetivos mixtos), al menos una de las dos defensas se mantuvo efectiva, con la Defensa-1 manteniendo una recuperación del 78–82% y la Defensa-2 reteniendo tasas de detección del 95–98%.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evidencia de que el desaprendizaje de máquinas puede restaurar eficazmente comportamientos de generación más profundos (específicamente las tendencias abstractivas) en los modelos de síntesis, yendo más allá de las simples métricas de calidad de salida. Establece que el envenenamiento durante el ajuste fino deja artefactos estructurales persistentes (altas puntuaciones de influencia y fragilidad posicional) que permiten la detección práctica y la recuperación tras el despliegue.

Los autores enfatizan que su enfoque ofrece una alternativa escalable al reentrenamiento completo, haciendo que sea factible para las organizaciones remediar modelos envenenados sin acceso a los corpus de preentrenamiento originales o a una auditoría manual exhaustiva. El trabajo destaca que las altas puntuaciones ROUGE por sí solas son insuficientes para verificar una remediación exitosa, ya que los modelos pueden mantener puntuaciones altas mientras exhiben cambios de comportamiento dañinos o patrones de generación extractiva.