💻 ciencias de la computación

Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors

Este artículo demuestra que la destilación de conocimiento sin datos mediante inicialización compartida falla al intentar sanear modelos privados, ya que las consultas con ruido gaussiano pueden transmitir inadvertidamente datos de entrenamiento memorizados y puertas traseras del profesor a las redes estudiantes.

Autores originales: Siddhant Agarwal

Publicado 2026-10-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Siddhant Agarwal

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los modelos suelen entrenarse con vastas colecciones de información privada, desde registros médicos hasta mensajes personales. Para proteger estos datos, los investigadores han desarrollado una técnica llamada destilación de conocimiento. Imagine a un maestro chef que ha aprendido a cocinar a partir de un libro de recetas familiares secreto. Para compartir las habilidades del chef sin revelar el libro, este entrena a un nuevo y más pequeño aprendiz para que imite el estilo de cocina del maestro utilizando únicamente ingredientes aleatorios y sin sentido, como agua pura o harina sin sazonar. La esperanza es que, debido a que el aprendiz nunca ve los ingredientes originales, aprenda solo la técnica general y olvide los secretos específicos. Este método se ha considerado durante mucho tiempo una forma segura de compartir modelos de IA manteniendo la privacidad de los datos de entrenamiento originales. También se utiliza para intentar eliminar "puertas traseras" ocultas (activadores secretos plantados por atacantes que obligan al modelo a comportarse mal) mediante el reentrenamiento del modelo con datos limpios y aleatorios.

Sin embargo, un nuevo estudio desafía esta creencia largamente sostenida. Los investigadores descubrieron que, si el maestro y el aprendiz parten exactamente del mismo plano básico, el aprendiz aún puede aprender los secretos, incluso cuando se le alimenta con ruido aleatorio. El estudio demuestra que este proceso no desinfecta el modelo como se pensaba anteriormente. En cambio, actúa como una tubería oculta que transfiere no solo las habilidades generales, sino también los detalles específicos y memorizados de los datos privados, incluyendo puertas traseras y registros privados. Este descubrimiento sugiere que simplemente reentrenar un modelo con entradas aleatorias no es suficiente para proteger la privacidad si el punto de partida del entrenamiento es conocido por un externo.

Los investigadores probaron esta idea utilizando modelos de reconocimiento de imágenes entrenados con conjuntos de datos estándar como dígitos escritos a mano y artículos de vestir. Crearon un escenario en el que un modelo "maestro" fue entrenado con datos privados que incluían imágenes mal etiquetadas especiales e indicadores ocultos diseñados para actuar como puertas traseras. Luego intentaron crear un modelo "estudiante" haciendo que este imitara las respuestas del maestro ante el ruido aleatorio, un proceso conocido como destilación libre de datos. Crucialmente, compararon dos escenarios: uno donde el estudiante comenzaba con la misma configuración inicial que el maestro, y otro donde el estudiante comenzaba con una configuración completamente diferente y aleatoria.

Los resultados fueron impactantes. Cuando el estudiante y el maestro compartían el mismo plano de partida, el estudiante heredaba con éxito los secretos del maestro. A pesar de que el estudiante fue entrenado únicamente con estática aleatoria, logró identificar las imágenes privadas específicas que el maestro había memorizado. En un experimento que involucró dígitos escritos a mano, el modelo estudiante pudo adivinar correctamente si una imagen específica formaba parte del conjunto de entrenamiento privado del maestro con un AUC de 0.86, un nivel muy superior al azar. Además, el estudiante también heredó los activadores de la puerta trasera. Al presentarle imágenes con un patrón oculto específico, el modelo estudiante activaba el mismo comportamiento malicioso que el maestro, con una tasa de éxito de incremento del 93 por ciento. Esto sucedió incluso cuando al estudiante solo se le mostraban las salidas internas del maestro que no se utilizaban, señales que nunca formaron parte del entrenamiento original y que no tenían un significado obvio.

En contraste, cuando el estudiante comenzó con un plano de partida diferente e independiente, no aprendió nada de los secretos. El mismo entrenamiento con ruido aleatorio produjo un modelo que no podía identificar las imágenes privadas ni activar las puertas traseras. Esto demuestra que la filtración no fue causada por el ruido aleatorio en sí, sino por el punto de partida compartido. Los investigadores encontraron que este efecto era particularmente fuerte cuando el modelo maestro no había sido entrenado durante demasiado tiempo, manteniéndose cerca de su estado original. A medida que el maestro se alejaba de su punto de partida mediante un entrenamiento extensivo, la filtración se volvía más difícil de explotar, pero no desaparecía por completo. El estudio también mostró que esta vulnerabilidad se extiende más allá de los modelos de imágenes simples hacia los modelos de lenguaje, donde cadenas de caracteres aleatorios fueron suficientes para extraer códigos secretos que habían sido insertados en el texto privado de entrenamiento.

Los investigadores explicaron este fenómeno analizando cómo cambian los modelos durante el entrenamiento. Encontraron que cuando dos modelos comparten un punto de partida, el acto de imitar las respuestas del maestro al ruido aleatorio efectivamente empuja la configuración interna del estudiante en la misma dirección que la del maestro. Debido a que la configuración del maestro fue moldeada por los datos privados, la configuración del estudiante es empujada en esa misma dirección, transportando la información privada con ella. El ruido aleatorio actúa como un vehículo que excita las partes adecuadas del modelo para revelar estas direcciones ocultas. El estudio demostró que esta transferencia ocurre independientemente de si la información que se mueve es conocimiento general útil o un secreto específico y memorizado. El proceso no puede distinguir entre ambos.

Para probar si esta vulnerabilidad podía corregirse, los investigadores probaron varias defensas. Encontraron que añadir ruido aleatorio a las respuestas que daba el maestro no detenía el ataque; un atacante simplemente podría hacer más preguntas para promediar el ruido y aun así recuperar los secretos. También descubrieron que restringir la salida para que solo contuviera datos sin sentido no ayudaba, ya que la información oculta todavía se transfería. Las únicas defensas efectivas que identificaron fueron utilizar la privacidad diferencial —una garantía matemática que limita lo que cualquier pieza de dato individual puede enseñar al modelo— o asegurar que el modelo privado comience desde una inicialización diferente y secreta que no sea compartida con el público. Sin embargo, esta última opción es difícil para los modelos que se ajustan (fine-tuning) a partir de bases públicas populares, ya que requiere abandonar los beneficios de ese punto de partida público.

Este trabajo cambia fundamentalmente la forma en que vemos la seguridad de compartir modelos de IA. Demuestra que la suposición de que las entradas aleatorias actúan como un filtro es incorrecta cuando los modelos comparten un origen común. El estudio concluye que, en una era en la que la mayoría de los modelos de IA se construyen mediante el ajuste fino de unos pocos modelos base públicos, el punto de partida compartido es una pieza de información crítica que los atacantes pueden utilizar. Las evaluaciones de privacidad y seguridad para estos modelos deben considerar ahora a un adversario que conoce la base pública y que puede usar consultas aleatorias para extraer detalles privados, demostrando que la destilación libre de datos no es un refugio seguro para la información sensible.

Resumen Técnico: El ruido no es un sanitizador

Planteamiento del problema

El artículo desafía la suposición predominante de que la destilación de conocimiento sin datos (entrenar un modelo estudiante con ruido puro o entradas sintéticas) actúa como un sanitizador de privacidad. Se cree comúnmente que si un estudiante nunca ve datos de entrenamiento privados, no puede heredar los registros memorizados del profesor (por ejemplo, ejemplos "canario" mal etiquetados) o puertas traseras (backdoors) implantadas.

El autor identifica una condición crítica bajo la cual esta intuición falla: la inicialización compartida. En el aprendizaje automático moderno, los modelos privados son frecuentemente ajustados (fine-tuned) a partir de puntos de partida base públicos. Si un adversario conoce la inicialización pública ( $\theta_0$ ) utilizada por el profesor privado, puede inicializar un modelo estudiante con los mismos parámetros. El autor investiga si este punto de partida compartido crea un canal encubierto que permite al estudiante heredar la memorización a nivel de instancia y las puertas traseras del profesor, incluso cuando se entrena exclusivamente con ruido gaussiano y potencialmente solo a través de salidas "auxiliares" semánticamente vacías.

Metodología y marco teórico

Análisis teórico: Transporte de parámetros

El autor formaliza el ataque utilizando el Kernel de Tangente Neuronal (NTK) y el régimen de entrenamiento linealizado, donde la dinámica de la red se aproxima bien mediante la linealización alrededor de la inicialización.

Teorema 1 (Transporte de parámetros filtrado): El artículo demuestra que cuando un estudiante y un profesor comparten una inicialización $\theta_0$ , el desplazamiento de parámetros del estudiante ( $\theta_S - \theta_0$ ) es una transformación lineal del desplazamiento del profesor ( $\theta_T - \theta_0$ ).
$\theta_S(t) - \theta_0 = (I - e^{-\eta t K_Q}) \Delta$
Aquí, $\Delta$ es el cambio total de parámetros del profesor, y $K_Q$ es un operador de canal que depende únicamente de la arquitectura, la distribución de consultas $Q$ y la inicialización. Crucialmente, el filtro $(I - e^{-\eta t K_Q})$ es independiente de los datos. No puede distinguir entre los cambios de parámetros que codifican conocimiento generalizable y aquellos que codifican registros memorizados o puertas traseras.
Puntos ciegos (Proposición 1): Para redes ReLU de una sola capa oculta, las únicas direcciones que no pueden filtrarse son las simetrías de reescalado por neurona. Bajo distribuciones de consulta de soporte completo (como el ruido gaussiano), el canal es efectivamente ciego al contenido semántico del desplazamiento, transportando todos los componentes a tasas determinadas por su visibilidad ante las consultas.
Presupuesto de consultas y desajuste: El artículo deriva que la filtración escala con el número de restricciones escalares ( $N \times m$ ) en relación con los parámetros ( $p$ ). También muestra que, si bien un pequeño desfase de inicialización ( $\epsilon$ ) enmascara la señal, un desfase grande (inicialización independiente) rompe por completo el mecanismo de transporte lineal.

Configuración experimental

El autor evalúa esta amenaza a través de tres conjuntos de datos de imágenes (MNIST, Fashion-MNIST, CIFAR-10) y un modelo de lenguaje de tipo transformer a nivel de caracteres.

Modelo de amenaza: Un adversario posee el checkpoint base público ( $\theta_0$ ) pero no tiene acceso a los datos de entrenamiento privados $D$ . El adversario puede consultar la API del profesor con entradas arbitrarias (específicamente ruido gaussiano) y recibe los logits.
Estrategia de ataque: El adversario inicializa un estudiante en $\theta_0$ y minimiza la pérdida de imitación sobre consultas de ruido.
Sondas (Probes):
1. Inferencia de membresía: Utilizando registros "canario" mal etiquetados insertados en el conjunto de entrenamiento privado.
2. Extracción de puerta trasera: Utilizando una puerta trasera de envenenamiento de datos (un parche de disparador específico).
3. Extracción de secretos: En el modelo de lenguaje, utilizando secretos aleatorios de seis dígitos insertados en el texto de ajuste fino.
Controles: Los experimentos comparan estudiantes inicializados desde la $\theta_0$ compartida frente a aquellos con inicializaciones independientes, y frente a profesores limpios (sin canarios/puertas traseras).

Resultados clave

1. El ruido es una distribución de consulta suficiente

Contrario a la creencia de que el ruido es poco informativo, los experimentos muestran que el ruido gaussiano puro es suficiente para transmitir la memorización a nivel de instancia.

MNIST/MLP: Un estudiante entrenado únicamente con ruido con una inicialización compartida logró un AUC de membresía de 0.988 (casi idéntico al 0.989 del profesor) y extrajo correctamente etiquetas erróneas para el 65.7% de los canarios miembros.
Puertas traseras: La destilación basada solo en ruido transmitió puertas traseras con un incremento de la tasa de éxito de ataque (ASR) de 99.4%, igualando al profesor. Notablemente, esto fue más fiable que la destilación sobre datos limpios de la distribución, que falló en transmitir la puerta trasera en algunos casos porque los datos limpios rara vez activan la región específica del disparador.

2. El canal auxiliar "subliminal"

Un hallazgo significativo es que las salidas semánticamente vacías filtran información privada.

Cuando el profesor libera solo logits auxiliares (salidas que nunca fueron entrenadas para la tarea privada y que no portan información de clase), el estudiante aún hereda la memorización del profesor.
Resultados: En MNIST, el canal auxiliar produjo un AUC de membresía de 0.86 y un incremento de ASR de puerta trasera del 93%.
Control: Cuando el estudiante utilizó una inicialización independiente, el mismo canal auxiliar no transportó señal (AUC $\approx$ 0.53, incremento de puerta trasera $\approx$ 14%), demostrando que la filtración depende de la inicialización compartida, no de las salidas en sí mismas.

3. Amenaza de ajuste fino realista

En un escenario realista donde un proveedor ajusta un modelo base público con datos privados:

Un atacante con la base pública y consultas de ruido recuperó el 92.7% de las etiquetas memorizadas en MNIST y la puerta trasera completa.
En el conjunto de datos más difícil, CIFAR-10, el ataque fue más débil pero aún significativo: el ataque de base compartida logró un AUC de membresía calibrado de 0.736 y un incremento de puerta trasera del 38.4%, mientras que una base hermana (inicialización independiente) logró un rendimiento cercano al azar.

4. Extensión a modelos de lenguaje

El fenómeno se extiende a los transformers. Cadenas de caracteres aleatorios fueron suficientes para extraer secretos (PIN de seis dígitos) ajustados en un transformer a nivel de caracteres. El modelo del atacante logró una exposición de 19.36 bits (comparable a los 19.65 bits del modelo privado), mientras que una base hermana con consultas aleatorias no logró recuperar los secretos de manera efectiva.

5. Limitaciones y fronteras

Deriva del profesor (Teacher Drift): El ataque se debilita a medida que el profesor se aleja de la inicialización (por ejemplo, CNNs fuertemente entrenadas o épocas largas de entrenamiento), de acuerdo con la degradación de la aproximación de entrenamiento lineal.
Arquitectura: El canal auxiliar es más débil para Redes Neuronales Convolucionales (CNN) porque el ruido isotrópico induce una diversidad de activación baja en las características convolucionales en comparación con los MLP. Sin embargo, los ataques de ruido de logit completo siguen siendo efectivos en CNNs.

Defensas evaluadas

El autor evalúa varias estrategias de mitigación:

Perturbación de salida (Ruido de Logit): Añadir ruido a las respuestas de la API es ineficaz contra un atacante sin datos. Dado que el atacante puede emitir nuevas consultas de ruido, puede promediar el ruido del gradiente. Solo aumenta el costo de las consultas por un factor constante.
Desajuste de inicialización: Usar un desfase secreto de la inicialización pública es efectivo pero costoso. El desfase debe ser grande ( $\alpha \gtrsim 0.7$ ) para romper el canal, lo que efectivamente sacrifica la utilidad del checkpoint público para los modelos ajustados.
Privacidad Diferencial (DP): DP-SGD es la única defensa que logra limitar la filtración con éxito. Con $\epsilon \approx 1.5$ , la señal de membresía y la puerta trasera fueron eliminadas efectivamente tanto del profesor como del estudiante destilado, aunque a costa de la precisión del modelo.

Significado y afirmaciones

El artículo afirma que altera fundamentalmente la comprensión de la destilación sin datos como un mecanismo de privacidad.

Rechazo de la sanitización: El autor argumenta que "el ruido no es un sanitizador". La creencia de que destilar sobre entradas no informativas elimina la memorización se basa en una visión del espacio de funciones (lo que las consultas revelan). El artículo reemplaza esto con una visión del espacio de parámetros: si el estudiante y el profesor comparten una inicialización, las consultas solo necesitan excitar las direcciones de los parámetros donde se escribieron los datos privados.
Canal encubierto: La inicialización compartida convierte el proceso de destilación en un canal encubierto que transporta el desplazamiento de parámetros del profesor, independientemente de si ese desplazamiento contiene conocimiento generalizable o secretos memorizados.
Implicación práctica: Los checkpoints públicos son ahora parte de la superficie de ataque. Las evaluaciones de privacidad de modelos ajustados a partir de bases públicas deben asumir un adversario que posee el checkpoint base. "Sin datos" no equivale a "preservación de la privacidad" en presencia de una inicialización compartida.

El artículo concluye que las defensas efectivas deben actuar sobre los parámetros (por ejemplo, Privacidad Diferencial o grandes desfases de inicialización) en lugar de sobre la interfaz de salida (por ejemplo, ruido de logit o restricción de canales de salida).