Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment

1. Declaración del Problema

El artículo aborda el fenómeno del aprendizaje subliminal en la Destilación de Conocimiento (KD).

• Contexto: En KD, un modelo estudiante se entrena para imitar a un modelo profesor. Trabajos recientes (Cloud et al., 2025) demostraron que si un estudiante se inicializa cerca de un profesor, puede adquirir inadvertidamente "rasgos" (por ejemplo, comportamientos desalineados o capacidades específicas de clasificación) incluso cuando el proceso de destilación se dirige explícitamente solo a logits de "sin clase" (salidas auxiliares) y los datos de entrenamiento no contienen ejemplos del rasgo.
• La Brecha: La teoría existente explica esto mediante la alineación de gradientes entre el objetivo de destilación y el objetivo del rasgo, pero esta teoría se basa en una suposición de descenso de gradiente de un solo paso. Sigue sin estar claro si esta alineación persiste y conduce causalmente a la adquisición de rasgos en un entorno de entrenamiento realista de múltiples pasos donde los parámetros evolucionan con el tiempo.
• Desafío de Mitigación: Una estrategia de mitigación reciente, Entrenamiento Límite (Yanagisawa et al., 2025), afirma suprimir la adquisición de rasgos en Modelos de Lenguaje Grande (LLM) mediante el uso de un regularizador KL anillado. Se desconoce si este método funciona en entornos donde dominan los efectos de gradiente de primer orden, o si simplemente retrasa el problema.

2. Metodología

Los autores realizaron experimentos empíricos utilizando la configuración de Destilación de Logits Auxiliares MLP en MNIST (reproduciendo a Cloud et al., 2025).

• Configuración Experimental:

  • Modelo: Un Perceptrón Multicapa (MLP) con 10 logits de clase y 3 logits "sin clase" (auxiliares).
  • Inicialización: El profesor y el estudiante comparten una inicialización idéntica.
  • Profesor: Entrenado en MNIST utilizando solo los 10 logits de clase (Entropía Cruzada).
  • Estudiante: Entrenado para minimizar la divergencia KL solo en los 3 logits de "sin clase".
  • Objetivo: Observar si el estudiante adquiere la capacidad de clasificar dígitos (el "rasgo") a pesar de nunca haber visto etiquetas de clase durante el entrenamiento.

• Investigaciones:

  1. Monitoreo de Alineación de Gradientes: Los autores rastrearon el producto interno (alineación) entre el gradiente del rasgo ($\nabla_\theta L_{trait}$) y el gradiente de destilación ($\nabla_\theta L_{distill}$) a través de 100 semillas de entrenamiento.
  2. Intervención Causal (Proyección de Gradiente): Para probar la causalidad, modificaron la regla de actualización de destilación. Proyectaron el gradiente de destilación sobre el plano normal del gradiente del rasgo siempre que ambos estuvieran alineados positivamente, eliminando efectivamente el componente alineado al rasgo de la actualización:
     $$\tilde{g}_{distill} = \begin{cases} g_{distill} - \frac{\langle g_{distill}, g_{trait} \rangle}{\|g_{trait}\|^2} g_{trait} & \text{si } \langle g_{distill}, g_{trait} \rangle > 0 \\ g_{distill} & \text{en caso contrario} \end{cases}$$
  3. Evaluación de Mitigación (Entrenamiento Límite): Aplicaron Entrenamiento Límite, que añade un regularizador KL para mantener los logits auxiliares del estudiante cerca de la distribución del modelo base, con la fuerza de regularización anillada a cero con el tiempo.

3. Contribuciones Clave

1. Validación Empírica de la Alineación Sostenida: Demostraron que la alineación positiva de gradientes entre los objetivos del rasgo y de destilación persiste a lo largo del entrenamiento de múltiples pasos, aunque débilmente.
2. Prueba Causal: Demostraron que esta alineación es el motor principal del aprendizaje subliminal al mostrar que eliminar el componente alineado al rasgo del gradiente detiene completamente la adquisición del rasgo sin obstaculizar el proceso de destilación.
3. Limitación de las Mitigaciones Actuales: Mostraron que el Entrenamiento Límite falla en suprimir la adquisición de rasgos en este régimen, sugiriendo que simplemente atenuar la alineación temprana es insuficiente cuando dominan los efectos de primer orden.

4. Resultados

A. La Alineación de Gradientes Persiste

• Observación: A través de 100 semillas, la alineación fue positiva en el 78.1% de los pasos de entrenamiento.
• Magnitud: La similitud del coseno promedio fue baja ($0.0075 \pm 0.0017$), indicando que los gradientes son casi ortogonales pero con un ligero sesgo positivo consistente.
• Correlación: La adquisición del rasgo (medida por la precisión de clasificación de dígitos) fue más rápida durante la fase temprana de entrenamiento donde la alineación fue más alta.
• Rendimiento: El estudiante alcanzó una precisión final de prueba promedio de 55.28% (significativamente por encima del nivel de azar del 10%), confirmando que ocurrió aprendizaje subliminal.

B. Rol Causal de la Alineación (Proyección de Gradiente)

• Intervención: Cuando se eliminó el componente alineado al rasgo del gradiente de destilación:
  • Adquisición de Rasgo: Colapsó a niveles cercanos al azar (10.14% de precisión frente al 55.28% del control).
  • Calidad de Destilación: Permaneció sin afectar. Las curvas de divergencia KL (pérdida de destilación) fueron visualmente idénticas al grupo de control.
  • Conclusión: Esto confirma que la ligera alineación positiva es el mecanismo causal para la adquisición de rasgos y que los efectos de primer orden dominan en esta configuración.

C. Fallo del Entrenamiento Límite

• Mecanismo: El entrenamiento límite redujo con éxito la alineación de gradientes durante el primer epoch.
• Resultado: A pesar de la reducción de la alineación temprana, falló en suprimir la adquisición de rasgos.
  • Precisión final con Entrenamiento Límite: 48.97% (comparado con 55.28% del control).
  • La adquisición del rasgo simplemente se retrasó. A medida que la fuerza de regularización KL decayó a cero, la alineación y la adquisición del rasgo se reanudaron, llevando a un estado final similar al control sin mitigación.

5. Significado e Implicaciones

• Clarificación del Mecanismo: El artículo establece que el aprendizaje subliminal en entornos de múltiples pasos es impulsado por una alineación positiva débil y sostenida de gradientes, en lugar de un efecto de inicialización único.
• Crítica a las Estrategias de Mitigación: Los resultados desafían la eficacia de estrategias de mitigación "suaves" como el Entrenamiento Límite en regímenes dominados por efectos de gradiente de primer orden. Simplemente ralentizar o atenuar la alineación al inicio del entrenamiento es insuficiente; el componente alineado al rasgo debe ser eliminado explícitamente para prevenir la transmisión.
• Implicaciones de Seguridad: Si un modelo estudiante hereda una desalineación de un profesor a través de este mecanismo, los filtros de seguridad estándar en el conjunto de datos de destilación pueden ser ineficaces. El artículo sugiere que una mitigación robusta requiere una intervención activa en el espacio de gradientes (por ejemplo, proyección) en lugar de solo regularización.
• Investigación Futura: Los autores señalan que, aunque la proyección de gradientes es efectiva, requiere conocimiento del gradiente del rasgo "verdad fundamental", lo cual a menudo no está disponible en escenarios del mundo real. Desarrollar métodos para identificar y eliminar estos componentes sin una verdad fundamental explícita sigue siendo un desafío abierto crítico.