A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting

Resumen Técnico: Un resultado negativo sobre la transferencia de activación entre modelos en un entorno multi-salto de Pythia

Planteamiento del problema
Investigaciones recientes han demostrado que los modelos de lenguaje pueden transmitir rasgos de comportamiento (por ejemplo, preferencias o desalineación) a otros modelos a través de señales ocultas embebidas en los datos de entrenamiento generados, un proceso conocido como "aprendizaje subliminal". Sin embargo, esta transferencia está mediada por los datos, ocurre durante el entrenamiento mediante el ajuste fino (fine-tuning) y depende de que el receptor se adapte a la distribución del emisor. Este artículo investiga un canal más estricto y directo: la transferencia de activación en tiempo de inferencia. La pregunta central es si un modelo emisor puede comunicar estados de razonamiento intermedios útiles a nivel de instancia a un modelo receptor mediante la traducción e inyección directa de activaciones ocultas, eludiendo por completo el cuello de botella del lenguaje natural. El estudio pregunta específicamente si una única instancia de estado de razonamiento puede transferirse sin ninguna adaptación o ajuste fino del receptor.

Metodología
El experimento utiliza un entorno controlado que involucra a dos modelos de la familia Pythia: un emisor (Pythia-160M) y un receptor (Pythia-410M). Ambos comparten la arquitectura GPT-NeoX y el mismo tokenizador, pero difieren en sus dimensiones ocultas.

1. Tarea: Razonamiento multi-salto (multi-hop), donde los modelos deben responder preguntas basadas en un contexto proporcionado. El conjunto de evaluación consta de 396 muestras.
2. Mecanismo de traducción: Se entrena una capa de traducción lineal fuera de línea (offline) para mapear los estados ocultos desde la dimensión de 160M del emisor a la dimensión de 410M del receptor. El objetivo de entrenamiento minimiza el error L2 contra las activaciones normalizadas del receptor.
3. Protocolo de inyección:
   • Emisor: Procesa la instrucción (prompt) de la tarea, y se extraen los estados ocultos de la capa 8.
   • Receptor: Procesa la misma instrucción. En la capa 16, los estados ocultos nativos del receptor son:
     • Reemplazados: Sustituidos enteramente por las activaciones traducidas del emisor.
     • Inyectados aditivamente: Un pequeño vector traducido se añade al estado nativo.
     • Corregidos por escala: Los vectores traducidos se reescalan para coincidir con la norma L2 nativa del receptor antes de la inyección.
   • Baselines (Líneas de base): Incluye un baseline de "Sin inyección" y un baseline de "Relé de lenguaje natural" (donde el emisor genera texto, el cual el receptor lee).
4. Controles: El estudio emplea controles rigurosos, incluyendo "Auto-inyección B-a-B" (inyectar los propios estados del receptor para verificar el mecanismo de hook) y "Traducción aleatoria/desordenada" (inyectar estados traducidos de muestras incorrectas) para aislar los modos de fallo.

Resultos clave
El artículo reporta un resultado negativo acotado: aunque la capa de traducción logra un alto alineamiento offline, las activaciones transferidas no logran mejorar el rendimiento descendente (downstream).

• Alineación offline vs. Usabilidad causal: La capa de traducción lineal aprende exitosamente un mapeo fuerte, logrando una similitud de coseno normalizada de ~0.97 y una $R^2$ normalizada de ~0.88 a través de las semillas. A pesar de este alto alineamiento representacional, la inyección de estos estados no produce ninguna mejora sobre el baseline de "Sin inyección".
• Métricas de rendimiento:
  • Inyección aditiva: Muestra una contención media de límites de palabra de 0.0926, estadísticamente indistinguible del baseline sin inyección (0.0884) con intervalos de confianza que cruzan el cero.
  • Inyección de reemplazo: Es consistentemente destructiva. Reemplazar el estado del receptor con las activaciones traducidas reduce el rendimiento a casi cero (0.0025).
  • Corrección de escala: El reescalado de los vectores traducidos para que coincidan con la norma L2 del receptor (que era aproximadamente dos órdenes de magnitud mayor que los vectores traducidos sin corregir) no rescata el rendimiento. El reemplazo corregido por escala sigue estando significativamente por debajo del baseline (0.0076 vs. 0.0884).
• Análisis de fallos: La cadena de ablación revela dos factores de fallo:
  1. Desajuste de la norma L2: Los vectores sin corregir son demasiado pequeños (norma ~0.85 vs. ~68.70), causando interferencia destructiva.
  2. Error de dirección/distribución residual: Incluso tras corregir la norma, el rendimiento permanece muy por debajo del baseline. Esto indica que la dirección o la distribución del estado traducido es fundamentalmente incompatible con la computación causal del receptor, incluso si el espacio vectorial está estadísticamente alineado.
• Validaciones de control:
  • Auto-inyección B-a-B: Coincide exactamente con el baseline sin inyección, confirmando que el hook de inyección en sí mismo no degrada el rendimiento.
  • Controles de desorden (Shuffled): Inyectar estados traducidos de muestras erróneas es tan destructivo como el reemplazo directo, lo que demuestra que la señal es específica de la identidad de la muestra, no una propiedad vectorial genérica.

Contribuciones clave

1. Separación de Alineación y Usabilidad: La principal contribución es la demostración empírica de que el alineamiento representacional offline (alta similitud de coseno/$R^2$) no es suficiente para la usabilidad causal en el receptor. Un vector puede estar perfectamente alineado en un espacio normalizado y, aun así, ser inutilizable como reemplazo de la trayectoria del estado interno del receptor.
2. Cuantificación de modos de fallo: El estudio descompone el fallo en un desajuste de magnitud (norma L2) y un error de dirección/distribución residual, identificando a este último como el factor dominante que impide la transferencia exitosa.
3. Definición de alcance: El artículo aclara que, si bien el "aprendizaje subliminal" (transferencia mediada por datos en tiempo de entrenamiento) funciona, la inyección de activación lineal en tiempo de inferencia no extiende automáticamente esta capacidad, particularmente cuando el receptor no está adaptado a la distribución del emisor.

Significado y afirmaciones
El artículo concluye que, para que la comunicación de activación de modelo a modelo tenga éxito, el objetivo de diseño debe cambiar. No es suficiente optimizar solo el ajuste representacional emisor-receptor (alineamiento offline). El trabajo futuro deberá probablemente optimizar el uso causal en el receptor, requiriendo potencialmente objetivos de entrenamiento que tengan en cuenta cómo el receptor utiliza realmente el estado inyectado.

Los autores declaran explícicamente que este es un resultado negativo acotado, limitado a una familia de modelos, una tarea y un mecanismo de traducción lineal. No es una afirmación de imposibilidad general sobre todas las formas de direccionamiento de activación (activation steering) o unión de modelos (model stitching). Sin embargo, impone un estándar más estricto al campo: para que la transferencia de estados ocultos sea útil, el receptor debe ser capaz de integrar causalmente el estado insertado como parte de su propia computación, una condición que no se cumple mediante el simple mapeo lineal offline en este entorno.