Resumen Técnico: Extracción de Datos de Entrenamiento de Modelos de Lenguaje Difusivos mediante Relleno

Declaración del Problema

Si bien la memorización de datos de entrenamiento en modelos de lenguaje autoregresivos (ARM) ha sido estudiada extensamente mediante la extracción condicionada por prefijo (donde un adversario proporciona un prefijo y el modelo genera el sufijo), este enfoque no logra capturar el perfil de riesgo completo de los Modelos de Lenguaje Difusivos (DLM). Los DLM operan mediante desruido iterativo y poseen un sesgo inductivo bidireccional, lo que les permite reconstruir tokens en posiciones arbitrarias dado el contexto circundante. Confiar únicamente en la sondeo condicionado por prefijo, un protocolo heredado de la investigación sobre ARM, subestima significativamente el riesgo de extracción de datos de entrenamiento en DLMs, ya que ignora la capacidad del modelo para "rellenar" tokens enmascarados utilizando tanto el contexto precedente como el siguiente.

Metodología

Los autores introducen la Extracción por Relleno, un protocolo generalizado de extracción de datos parametrizado por una máscara binaria arbitraria $m$. En este protocolo, una secuencia de entrenamiento se enmascara parcialmente y se le asigna al DLM la tarea de reconstruir los tokens enmascarados basándose en el contexto no enmascarado. La secuencia se considera "extraída" si la reconstrucción coincide con el texto enmascarado original.

Configuración Experimental

El estudio evalúa este protocolo en dos DLMs a gran escala (LLaDA-8B y Dream-7B) y los compara contra una línea base ARM de escala equivalente (LLaMA-2-7B). Los experimentos abarcan:

1. Cinco Modos de Extracción:
   • Condicionado por prefijo: Los primeros $k$ tokens revelados (línea base estándar de ARM).
   • Condicionado por sufijo: Los últimos $k$ tokens revelados.
   • Condicionado por bordes: Los primeros y últimos $k/2$ tokens revelados (contexto de encuadre).
   • Condicionado por medio: Un tramo contiguo en el medio revelado.
   • Aleatorio: Un subconjunto uniformemente aleatorio de $k$ tokens revelados.
   • Dirigido: Solo las entidades sensibles (PII) están enmascaradas, con toda la secuencia circundante revelada.
2. Tres Pipelines de Entrenamiento: Ajuste Fino Completo (FT), Adaptación de Bajo Rango (LoRA) y Ajuste Fino Supervisado (SFT) bajo una plantilla de chat.
3. Tres Conjuntos de Datos:
   • MIMIR Pile: Para la extracción de secuencias literales.
   • Enron Email: Para la extracción de Información de Identificación Personal (PII) (direcciones de correo electrónico y números de teléfono).
   • Tulu3: Para la filtración de instrucciones/respuestas en entornos ajustados para instrucciones.
4. Parámetros de Decodificación: El estudio analiza el impacto de los pasos de desruido ($T$), el tamaño del bloque semiautoregresivo ($b$), la temperatura de muestreo ($\tau$) y las estrategias de remascaramiento.

Contribuciones Clave

1. Formalización de la Extracción por Relleno: El artículo define un protocolo parametrizado por máscaras que generaliza la extracción condicionada por prefijo, contabilizando explícitamente la naturaleza bidireccional de los DLM.
2. Evaluación Sistemática: Proporciona el primer estudio sistemático de la memorización en grandes DLMs a través de diversos patrones de acceso, regímenes de exposición y configuraciones en tiempo de inferencia.
3. Identificación de Nuevos Canales de Filtración: El trabajo demuestra empíricamente que el acceso bidireccional abre canales de filtración estructuralmente inaccesibles para los ARM, como la recuperación de instrucciones de usuario a partir de las respuestas del modelo.

Resultados Clave

1. La Geometría de la Máscara Gobierna la Extraibilidad

La ubicación del contexto revelado impacta significativamente el éxito de la extracción.

• Superioridad Condicionada por Bordes: Las máscaras condicionadas por bordes (revelando tanto el inicio como el final) extraen hasta tres veces más secuencias literales que las máscaras condicionadas por prefijo. Por ejemplo, en LLaDA-8B-FT, el modo Bordes logró un 0.41% de Tasa de Éxito de Recuperación (ASR) en comparación con el 0.18% para Prefijo.
• Sesgo Bidireccional: Esto confirma que los DLM aprovechan el contexto de ambas direcciones para reconstruir tokens enmascarados, una capacidad no utilizada en el sondeo estándar por prefijo.

2. El Acceso Bidireccional Abre Nuevos Canales de Filtración

• Recuperación de Instrucciones: En modelos ajustados para instrucciones (SFT), los adversarios pueden recuperar las instrucciones de usuario a partir de respuestas conocidas del modelo (extracción condicionada por respuesta). Mientras que la extracción condicionada por instrucciones (estándar) mostró un 10% de ASR, la extracción condicionada por respuesta aún logró un ASR no trivial (1.78–3.36%), un canal imposible para los ARM.
• Token vs. Secuencia: Si bien la recuperación a nivel de token (TER) puede ser alta (por ejemplo, 56% para máscaras aleatorias), la extracción exacta literal (ASR) permanece baja, lo que sugiere que los tokens revelados proporcionan un andamiaje que ayuda a la recuperación parcial pero no garantiza la reproducción completa de la secuencia.

3. Modelo de Amenaza Realista: Datos Redactados y PII

El estudio simula un escenario realista donde un adversario obtiene una versión redactada de los datos de entrenamiento (por ejemplo, mediante una publicación regulatoria o una filtración parcial) y utiliza el modelo para recuperar la PII redactada.

• Relleno Dirigido: Cuando solo los tokens de PII están enmascarados y el contexto circundante está revelado, los DLM muestran alta extraibilidad. En el conjunto de datos Enron, LLaDA-8B ajustado finamente logró un 40.5% de recuperación para direcciones de correo electrónico y 28.9% para números de teléfono.
• Comparación con ARM: Bajo un ataque estricto condicionado por prefijo, los DLM parecían más seguros que los ARM (LLaDA: 16.3% vs. LLaMA: 35.9% de recuperación para correos electrónicos). Sin embargo, bajo relleno dirigido, los DLM igualaron o superaron la línea base ARM (LLaDA: 40.5% vs. LLaMA: 35.9%). Esto indica que las evaluaciones solo por prefijo subestiman severamente los riesgos de los DLM en escenarios realistas que involucran datos redactados.

4. Influencia de los Parámetros de Decodificación

• Pasos de Desruido ($T$): Un $T$ más alto (más pasos de refinamiento) aumenta la recuperación, mientras que las configuraciones de bajo $T$ orientadas al rendimiento ocultan el contenido memorizado.
• Tamaño del Bloque ($b$): Los tamaños de bloque más grandes (desruido completamente paralelo) aumentan significativamente el éxito de la extracción en comparación con bloques pequeños (comportamiento tipo AR), identificando el paralelismo bidireccional como un impulsor principal de la filtración.
• Estrategia de Remascaramiento: El remascaramiento basado en la confianza (comprometer predicciones de alta confianza) amplifica la extracción en comparación con el remascaramiento aleatorio.
• Temperatura ($\tau$): La decodificación codiciosa ($\tau \to 0$) generalmente produce la extracción más fuerte.

5. Persistencia a través de SFT

Una etapa posterior de Ajuste Fino Supervisado (SFT) sobre datos de instrucciones redistribuye pero no elimina la memorización. Si bien la recuperación de correos electrónicos disminuyó ligeramente después del SFT, la recuperación de números de teléfono permaneció prácticamente sin cambios, lo que sugiere que las cadenas numéricas cortas e idiosincrásicas son ortogonales a los objetivos de seguimiento de instrucciones y sobreviven al proceso de alineación.

Significado y Afirmaciones

El artículo argumenta que la evaluación de seguridad actual de los DLM es incompleta porque depende de protocolos condicionados por prefijo diseñados para ARM. Mediante la introducción de la extracción por relleno, los autores demuestran que:

1. Los DLM presentan un mayor riesgo de filtración de datos de entrenamiento de lo que se pensaba, particularmente cuando los adversarios pueden aprovechar el contexto bidireccional o acceder a datos de entrenamiento redactados.
2. La geometría de la máscara es un factor crítico en la memorización, siendo el relleno condicionado por bordes y dirigido el que revela vulnerabilidades invisibles para el sondeo solo por prefijo.
3. Los parámetros de decodificación actúan como palancas tanto para la amplificación como para la mitigación; los practicantes pueden ajustar estos parámetros para equilibrar el rendimiento y la resistencia a la filtración.

Los autores concluyen que, aunque los DLM pueden parecer más seguros bajo métricas tradicionales basadas en prefijos, su naturaleza bidireccional crea canales únicos y potentes para la extracción de datos que deben abordarse en futuras investigaciones de seguridad y estrategias de despliegue.