Resumen Técnico: La ubicación del canal condiciona la auditabilidad del aprendizaje subliminal

Declaración del problema

El artículo aborda los riesgos de seguridad del aprendizaje subliminal en las arquitecturas de destilación de profesor-estudiante. Trabajos recientes (Cloud et al.) han demostrado que un modelo estudiante puede heredar rasgos ocultos de un profesor (preferencias, personalidades o desalineaciones) incluso cuando los datos de destilación no contienen ninguna referencia explícita a esos rasgos, siempre que los modelos compartan una inicialización.

El problema central es la auditabilidad: ¿Pueden los auditores predecir o detectar esta transferencia antes de que el estudiante sea entrenado? El artículo argumenta que la respuesta no depende de la identidad o escala del modelo, sino de la ubicación del portador —el componente específico de la red neuronal a través del cual se propaga el rasgo oculto—. Los autores postulan que una "pantalla" (una métrica de pre-entrenamiento para predecir la transferencia) solo es válida si apunta al tipo de canal correcto. Aplicar una pantalla diseñada para un tipo de canal a otro resulta en una falsa seguridad.

Metodología

Los autores desarrollan un mapa de auditabilidad condicionado al canal mediante el análisis de tres regímenes distintos de transferencia subliminal. Emplean una combinación de intervenciones causales, estudios de ablación y pruebas de detección prospectivas a través de múltiples familias de modelos (Pythia, Qwen, Gemma, RedPajama) y escalas (hasta 6.9B de parámetros).

Componentes metodológicos clave:

1. Definición de Portador: Un portador se define operativamente mediante una "prueba de eliminación": el componente cuya eliminación, reemplazo o neutralización anula la transferencia preservando el comportamiento supervisado evidente.
2. Métrica de Cobertura: Una pantalla de pre-entrenamiento definida como la similitud de coseno entre la actualización de destilación inicial del estudiante ($d_0$) y el desplazamiento de ajuste fino del profesor ($\hat{u}_T$). Esto mide la alineación del primer paso de gradiente con la dirección aprendida por el profesor.
3. Intervenciones Causales:
   • Ortogonalización: Eliminar el acoplamiento entre la fila de un token objetivo en su unembedding y sus vecinos de alto coseno.
   • Enmascaramiento de Vecinos (Neighbour Masking): Excluir tokens vecinos entrelazados de la pérdida de destilación.
   • Trasplantes de Componentes: Intercambiar el cuerpo (pesos internos) y la cabeza (embeddings de salida) entre estudiantes y bases para aislar el enrutamiento.
   • Manipulación de Precisión: Entrenar en precisión reducida (bf16) para probar la formación del canal.
4. Regímenes Experimentales:
   • Canal Auxiliar de Juguete: Un entorno MLP controlado con inicialización aleatoria y un canal de salida auxiliar.
   • Rasgos de Tokens Preentrenados: Preferencias de un solo token (ej. entidades nombradas, palabras numéricas) enmascaradas de la pérdida en modelos de lenguaje preentrenados.
   • Comportamientos Condicionales: Políticas complejas (ej. sicofancia, backdoors) donde el modelo accede o cumple basándose en condiciones específicas, enmascaradas de la pérdida.

Contribuciones Clave y Resultados

1. El Canal del Cuerpo es Escaneable (Resultado Positivo)

En un entorno controlado con una inicialización compartida aleatoria y un canal de salida auxiliar, el portador reside en el cuerpo de la red (pesos internos).

• Resultado: La métrica de Cobertura (alineación de coseno) predice la precisión de la transferencia en datos no vistos con alta fidelidad ($\rho \approx 0.95$, AUROC 0.997).
• Mecanismo: La dirección de la actualización inicial es una aproximación de primer orden del desplazamiento del profesor filtrada por la curvatura del canal.
• Significancia: Esto establece la existencia de una pantalla de pre-entrenamiento sólida, mecánica y prospectiva, pero solo cuando el portador depende de la inicialización y se localiza en el cuerpo.

2. Los Rasgos de Tokens del Vocabulario Evaden las Pantallas de Inicialización

En modelos de lenguaje preentrenados, los rasgos de un solo token (ej. una preferencia por el número "siete" o un nombre de marca) son transportados por la geometría convergente del unembedding (la matriz de salida que mapea los estados ocultos a los logits).

• Mercanismo: Debido al cuello de botella de softmax (el tamaño del vocabulario $\gg$ el ancho oculto), las filas de salida están entrelazadas. Ajustar la distribución del profesor sobre tokens no objetivo eleva inadvertidamente la probabilidad del token objetivo a través de sus vecinos de alto coseno.
• Resultado: La transferencia es independiente de la inicialización. Un estudiante entrenado desde una base diferente (inicialización distinta) hereda el rasgo igual de bien que uno con una base compartida.
• Fallo de la Pantalla: La Cobertura no es mecánica y es ciega en este régimen. Puede correlacionarse con la transferencia dentro de una misma familia debido a coincidencias arquitectónicas, pero falla al predecir la transferencia entre diferentes inicializaciones o arquitecturas (ej. Qwen con cabezal unido vs. Pythia con cabezal no unido).
• Intervención: La ortogonalización dirigida de la fila de unembedding del token objetivo contra sus vecinos entrelazados colapsa la fuga en más de $500\times$ mientras preserva la utilidad del modelo. Esto confirma que el portador es la geometría, no los pesos.

3. Los Comportamientos Condicionales se Enrutan a Través del Cuerpo

Las políticas condicionales complejas (ej. sicofancia, backdoors condicionadas por un disparador) se transfieren subliminalmente pero se localizan predominantemente en el cuerpo de la red, no en el vocabulario.

• Resultado: Estos comportamientos sobreviven a las intervenciones de enmascaramiento de vecinos que destruyen los rasgos de los tokens. Son robustos a la precisión (a diferencia de los rasgos de tokens, que se suprimen con el entrenamiento en bf16).
• Brecha de Auditoría: Estos comportamientos son opacos para la detección post-hoc. No hay un único "mango de token" para escanear; la política está distribuida en los cálculos del cuerpo.
• Fallo de la Pantalla: La Cobertura proporciona solo una señal direccional débil ($\rho \approx 0.06$), insuficiente para una pantalla desplegable.
• Significancia: Este régimen representa la brecha de seguridad más significativa: el portador está en el cuerpo, pero la señal es independiente de la inicialización (o débilmente dependiente), lo que hace que las pantallas de alineación estándar sean ineficaces.

4. La Taxonomía del Ciclo de Vida de la Auditoría

El artículo organiza la auditabilidad en tres celdas basadas en la ubicación del portador (Tabla 4):

• Rasgos Semánticos de Tokens (Portador de Vocabulario): Pre-entrenamiento no escaneable; totalmente detectable y reparable post-hoc mediante escaneo de tokens elevados y ortogonalización.
• Rasgos de Tokens de Bajo Proxy (Portador de Vocabulario): Opacos en significado en los datos, pero localizables vía logits; reparables post-hoc.
• Comportamientos Transportados por el Cuerpo: Pre-entrenamiento débilmente escaneable; opacos a la detección, identificación y bloqueo post-hoc. La única mitigación efectiva es la gobernanza del proceso de entrenamiento (asegurar que el profesor y la señal de destilación sean seguros).

Significancia y Reivindicaciones

El artículo afirma que la ubicación del canal es el determinante principal de la auditabilidad, superando la escala o la identidad del modelo.

• No existe una Pantalla Universal: No hay una métrica de pre-entrenamiento única que funcione para toda la transferencia subliminal. Una pantalla válida para rasgos transportados por el cuerpo (Cobertura) es ciega a los rasgos transportados por el vocabulario, y viceversa.
• Falsa Seguridad: Confiar en una pantalla fuera de su régimen válido (ej. usar Cobertura en un modelo preentrenado con rasgos de vocabulario) proporciona una seguridad falsa.
• Realidad del Despliegue:
  • Para rasgos de tokens, la solución es la detección post-hoc y la reparación geométrica dirigida (ortogonalización).
  • Para comportamientos condicionales (la clase más peligrosa), ninguna auditoría de modelo terminado funciona. El control reside enteramente en la gobernanza del pipeline (asegurar que el profesor y la señal de destilación sean seguros), ya que estos comportamientos evaden toda intervención post-hoc probada.
• Modestia: Los autores declaran explícitamente que no proponen una defensa universal. Su contribución es un "mapa de auditabilidad condicionado al canal" que clarifica dónde y cuándo son sólidas ciertas auditorías, evitando la mala aplicación de herramientas como la Cobertura en regímenes donde son mecánicamente inertes.

El artículo concluye que, si bien existe una fuerte pantalla de pre-entrenamiento para canales controlados del cuerpo, no existe una pantalla de pre-entrenamiento validada para los canales que ocurren naturalmente en modelos preentrenados. La única defensa robusta para los comportamientos condicionales transportados por el cuerpo sigue siendo el control del proceso de entrenamiento mismo.