Resumen Técnico: Los datos de preentrenamiento pueden ser envenenados mediante propaganda computacional

Declaración del Problema

Los modelos de lenguaje (LM) se entrenan con conjuntos de datos masivos y heterogéneos a escala web que exceden la capacidad humana para el escrutinio manual. Esta escala crea una vulnerabilidad donde actores malintencionados pueden inyectar contenido adversarial para inducir comportamientos dañinos, como la generación de afirmaciones falsas o la respuesta a solicitudes perjudiciales. Si bien trabajos previos han demostrado ataques de envenenamiento en fuentes de datos específicas y limitadas (por ejemplo, Wikipedia o URLs compradas), sigue sin estar claro si los corpus de preentrenamiento pueden ser envenenados a escala a través de los dominios heterogéneos típicos de los conjuntos de datos modernos (por ejemplo, Common Crawl). Además, estudios previos suelen omitir la consideración de los procesos de curación de datos—específicamente el rastreo web, la extracción de texto y el filtrado de calidad—que podrían detectar y eliminar el contenido envenenado antes de que llegue al entrenamiento del modelo.

Metodología

Los autores proponen un marco para evaluar la viabilidad de envenenar los datos de preentrenamiento mediante la inyección de contenido de terceros, apuntando específicamente a interfaces de discusión pública (por ejemplo, secciones de comentarios) en sitios web que el atacante no posee.

El Análisis HALFLIFE

Para medir la probabilidad de que el contenido malicioso inyectado sobreviva a todo el proceso de datos, los autores introducen HALFLIFE, un análisis novedoso que descompone la probabilidad de inclusión en tres etapas secuenciales:

1. Inyección ($S_1$): Determinar si una página web es inyectable (es decir, si expone interfaces de discusión pública que permiten la publicación sin autenticación).
2. Captura ($S_2$): Determinar si el contenido inyectado aparece en la salida extraída por el rastreador (por ejemplo, HTML estático frente a DOM renderizado).
3. Supervivencia ($S_3$): Determinar si el contenido sobrevive a los pasos estándar de curación de datos, incluyendo el filtrado heurístico, la identificación de idioma y el filtrado de calidad.

La probabilidad de inclusión se calcula como:
$$P(\text{incluir} | v, S) = P(\text{inyectable}) \times P(\text{capturado} | \text{inyectable}) \times P(\text{no filtrado} | \text{capturado}, \text{inyectable})$$

Configuración Experimental

• Fuente de Datos: Los autores analizaron 181,857 páginas web muestreadas de Common Crawl (CC-MAIN-2025-51) para identificar plataformas de comentarios.
• Simulación: En lugar de una inyección real, simularon el ataque inyectando contenido de veneno (pares de pregunta/respuesta) en instancias locales de sitios objetivo (por ejemplo, WordPress) y procesándolos a través del proceso de curación de datos de Dolma 3 (usando Resiliparse para la extracción y heurísticas de filtrado estándar).
• Entrenamiento del Modelo: Para probar el impacto del veneno superviviente, los autores entrenaron una escalera de modelos (de 65M a 1.3B de parámetros) utilizando el subconjunto web de Dolma 3 mezclado con cantidades controladas de veneno inyectado (tasa de tokens de 0.001% a 0.1%). Evaluaron estos modelos en tareas de "manipulación de creencias" (por ejemplo, preferir una marca sobre otra) y compararon los modelos base contra versiones ajustadas por instrucciones (SFT).
• Análisis Comparativo: Los autores también analizaron los anuncios programáticos como un vector alternativo para demostrar la necesidad del marco HALFLIFE.

Resultados Clave

1. Viabilidad de las Inyecciones de Discusión Pública

El análisis HALFLIFE revela que las interfaces de discusión pública son un vector de ataque viable:

• Inyectabilidad: El 3.4% de las páginas muestreadas contenía plataformas de comentarios detectables ($P(\text{inyectable}) = 0.034$).
• Captura: El 71.9% de los comentarios inyectados sobrevivió a la extracción de texto ($P(\text{capturado} | \text{inyectable}) = 0.719$).
• Supervivencia: El 47.1% de los comentarios capturados sobrevivió al filtrado de calidad.
• Inclusión de Extremo a Extremo: La probabilidad calculada de que un comentario envenenado aparezca en el corpus de entrenamiento final es de 0.13%.
• Implicación de Escala: Aunque un 0.13% parece pequeño, representa un volumen de datos mayor que la sección completa de Wikipedia de los corpus de preentrenamiento modernos (0.067%). Dado que trabajos previos sugieren que ~250 documentos envenenados son suficientes para inyectar puertas traseras (backdoors), un atacante solo necesitaría envenenar entre 100,000 y 1 millón de páginas web para alcanzar este umbral.

2. Impacto en el Comportamiento del Modelo

• Modelos Base: El envenenamiento mediante inyecciones de discusión pública causó un cambio claro en las probabilidades de completado del modelo hacia la entidad preferida por el atacante. Por ejemplo, con una tasa de veneno del 0.1%, los modelos base mostraron un aumento de ~20% en la preferencia por la entidad envenenada en comparación con los controles limpios.
• Modelos Ajustados por Instrucciones: El efecto del veneno disminuyó tras el Ajuste Fino Supervisado (SFT), particularmente en los modelos más grandes. La retención del efecto del veneno cayó de ~40% en modelos de 65M de parámetros a menos del 15% en modelos de 1.3B de parámetros.
• Sigilosidad: Las inyecciones que utilizan formatos "naturalistas" (eliminando marcadores explícitos de chat como "Usuario/Asistente") siguieron siendo efectivas para contaminar los modelos base, aunque el efecto también decayó con la escala tras el SFT.

3. Inviabilidad de los Anuncios Programáticos

En contraste con los comentarios, el análisis HALFLIFE determinó que los anuncios programáticos no son un vector de envenenamiento viable.

• En los rastreos de HTML estático (estándar para Common Crawl), el contenido de los anuncios está ausente, apareciendo solo como marcadores de posición vacíos.
• En el HTML renderizado, el contenido de los anuncios suele resolverse como iframes de origen cruzado (cross-origin), los cuales están ocultos de la capa de texto de la página host debido a las políticas de seguridad del navegador.
• Consecuentemente, la probabilidad de que el contenido de un anuncio sobreviva al proceso de extracción de texto es efectivamente cero.

4. Reescritura Sintética

Los autores analizaron si la reescritura de datos sintéticos (refrasear el texto web para mejorar la calidad) eliminaría las señales de veneno. Encontraron que las cadenas de veneno altamente artificiales (por ejemplo, Unicode aleatorio, repetición de instrucciones verbatim) fueron casi totalmente destruidas (supervivencia < 1.2%). Sin embargo, las afirmaciones de manipulación de creencias escritas en un lenguaje natural fluido sobrevivieron al refraseo con una tasa del 65.3%, confirmando que el veneno naturalista es robusto frente a las técnicas de mejora de calidad.

Significado y Reivindicaciones

El artículo afirma establecer el contenido de páginas web de terceros como un vector crítico y previamente poco explorado para atacar el preentrenamiento de modelos de lenguaje.

• Nueva Superficie de Ataque: A diferencia del trabajo previo centrado en fuentes controladas (Wikipedia), este trabajo demuestra que los adversarios pueden aprovechar la infraestructura ordinaria y abierta de la web (comentarios públicos) para inyectar contenido a escala.
• Conciencia del Proceso (Pipeline Awareness): El trabajo enfatiza que evaluar los riesgos de envenenamiento requiere analizar todo el proceso de datos. Sin considerar el rastreo y el filtrado (mediante HALFLIFE), la viabilidad de tales ataques no puede evaluarse con precisión.
• Riesgo Asimétrico: Los autores destacan que este vector de ataque plantea un riesgo desproporcionado para las comunidades subrepresentadas y los modelos que no están en inglés, donde lograr la saturación de texto envenenado en el idioma objetivo puede ser más sencillo.
• Mitigación: El artículo sugiere que los procesos actuales de curación de datos, que operan principalmente a nivel de documento sin distinguir entre el contenido primario y los fragmentos enviados por usuarios, dejan esta superficie de ataque sin abordar. Las mitigaciones propuestas incluyen la extracción de texto consciente de los comentarios y el filtrado consciente de la procedencia.

Los autores concluyen que, si bien la probabilidad de inclusión es baja por documento, la escala masiva de la web hace que el envenenamiento a gran escala sea factible, lo que requiere nuevas defensas en los procesos de curación de datos.