Resumen Técnico: Colisión Creativa: Dirección de la Persona Directorial y Competencia en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

El direccionamiento de activaciones (activation steering) se ha consolidado como un mecanismo potente para modificar el comportamiento de los Modelos de Lenguaje de Gran Escala (LLM) durante la inferencia, mediante la inyección de direcciones semánticas aprendidas en el flujo residual. Mientras que la investigación previa ha aplicado con éxito esta técnica a tareas de dirección única —como mejorar la veracidad, la seguridad o personas específicas—, la dinámica de la colisión multivectorial permanece inexplorada. Específicamente, se desconoce qué ocurre cuando dos vectores de dirección semánticamente opuestos se superponen y compiten por el control representacional. Este artículo aborda este vacío investigando el régimen de "Colisión Creativa", donde se interpolan direcciones morales y estilísticas opuestas para observar interacciones no lineales, degradación de la coherencia y dominancia direccional.

Metodología

1. Corpus de Contraste Directorial

Los autores construyeron un corpus emparejado $D = \{(x^{SPL}_i, x^{SCO}_i)\}$ que consiste en 100 fragmentos cada uno de las filmografías de Steven Spielberg y Martin Scorsese.

• Spielberg: Extraído de películas como E.T., La lista de Schindler y Rescatando al soldado Ryan, caracterizadas por arcos de redención, catarsis emocional y resolución optimista.
• Scorsese: Extraído de películas como Buenos muchachos, Taxi Driver y Casino, caracterizadas por la ambigüedad moral, la violencia y trayectorias autodestructivas.
• Emparejamiento: Los pares se emparejaron según situaciones narrativas (por ejemplo, confrontación, elección moral) para aislar el tono moral directorial del complejo de la trama.

2. Extracción de Vectores de Dirección

Utilizando un transformador de decodificación solo (decoder-only) de 14 mil millones de parámetros (40 capas), los autores extrajeron vectores de dirección mediante la diferencia de medias contra un corpus base neutral compartido $B$.

• Vectores: $v^{(l)}_{SPL}$ y $v^{(l)}_{SCO}$ se computaron como la diferencia entre la media de la activación del corpus respectivo del director y la base en la capa $l$.
• Normalización: Los vectores fueron normalizados $\ell_2$. Notablemente, no eran antiparalelos; en la capa 28, su similitud de coseno era $\approx 0.29$, lo que indica un subespacio representacional compartido para el contenido emocional cinematográfico a pesar de las divergentes resoluciones morales.

3. Protocolo de Interpolación y Direccionamiento

El estudio introdujo una familia paramétrica de vectores interpolados:
$$v^{(l)}_\alpha = (1 - \alpha)\hat{v}^{(l)}_{SPL} + \alpha\hat{v}^{(l)}_{SCO}, \quad \alpha \in [0, 1]$$

• Direccionamiento: El vector interpolado se añadió al flujo residual en las capas $L = \{20, \dots, 38\}$ con un coeficiente de direccionamiento $\lambda \in \{0.5, 1.0, 1.5, 2.0\}$.
• Evaluación: Se generaron 50 pasajes de ficción creativa por condición. Las métricas incluyeron:
  • Valencia Moral: Calificada por un clasificador ajustado ($[-1, +1]$).
  • Coherencia: Medida mediante la perplejidad a nivel de token bajo el modelo base sin direccionamiento.
  • Dominancia Direccional: Probabilidad asignada por un clasificador estilométrico a la clase Spielberg.
  • Estilo Superficial: Métricas que incluyen longitud de oración, densidad de diálogo y diversidad léxica.

Resultados Clave

1. Valencia Moral No Monotónica

Contrario a la expectativa ingenua de que el tono moral cambiaría linealmente de Spielberg (positivo) a Scorsese (negativo) a medida que $\alpha$ aumenta, los resultados fueron no monotónicos.

• Con $\lambda = 1.0$, la valencia moral fue más negativa en $\alpha = 0.25$ ($MV \approx -0.38$) en lugar de en $\alpha = 1.0$.
• Esta "incoherencia moral" en puntos intermedios sugiere una interferencia constructiva donde el componente de Scorsese introduce oscuridad pero no logra dominar, creando un estado penalizado.
• Con magnitudes de direccionamiento altas ($\lambda = 1.5$), la señal moral colapsó por completo hacia casi cero, indicando que el flujo residual fue desplazado fuera del manifold de texto natural.

2. El Valle de Coherencia

Surgió un hallazgo contraintuitivo respecto a la coherencia de la generación (perplejidad).

• Direccionamiento Puro: El direccionamiento de un solo director ($\alpha=0$ o $1$) causó los mayores incrementos de perplejidad con un $\lambda$ alto.
• Colisión Intermedia: Las condiciones con vectores mixtos ($\alpha \in \{0.25, 0.5\}$) se mantuvieron significativamente más coherentes.
• Explicación Geométrica: Los autores demostraron que interpolar dos vectores unitarios no antiparalelos ($\rho < 1$) reduce la norma $\ell_2$ del vector resultante. La norma se minimiza en $\alpha = 0.5$. Dado que el costo de coherencia escala con la magnitud de la perturbación, los puntos de colisión intermedia aplican una perturbación efectiva más débil, preservando la proximidad del modelo al manifold de texto natural.

3. Dominancia Direccional

La firma representacional de Spielberg exhibió una dominancia robusta a través de casi todo el rango de interpolación.

• Para $\alpha \in \{0.0, 0.25, 0.50, 0.75\}$, el clasificador estilométrico asignó una probabilidad de $\approx 1.0$ a la clase Spielberg.
• Solo en $\alpha = 1.0$ (Scorsese puro) el clasificador se acercó a la frontera de decisión ($P \approx 0.49$).
• Mecanismos: Esto se atribuye a (1) un sesgo previo en los datos de preentrenamiento hacia narrativas prosociales y (2) la amplificación de alineación vía RLHF, que refuerza la generación positiva, actuando efectivamente como un prior persistente de la dirección de Spielberg.

4. Localización por Capas

Los efectos morales de ambos directores alcanzaron su punto máximo en la Capa 28 (aproximadamente el 70% de la profundidad en el modelo de 40 capas).

• Los efectos fueron aproximadamente antisimétricos ($\Delta MV \approx -0.50$ para Scorsese, $+0.47$ para Spielberg).
• Esta colocalización sugiere que la Capa 28 funciona como un "hub de tono moral" compartido donde las propiedades semánticas de alto nivel son codificadas causalmente, apoyando la hipótesis de representación lineal para la valencia moral.

5. Amplificación Moral

La descomposición de la valencia moral en subpuntuaciones positivas ($p+$) y negativas ($p-$) reveló que el régimen de colisión ($\alpha \approx 0.25$) produjo textos con tanto puntuaciones morales positivas altas como negativas altas simultáneamente. Esta "amplificación moral" indica que la colisión puede generar textos con mayor complejidad moral y explicitud que cualquiera de los extremos de un director puro.

Significancia y Reivindicaciones

El artículo afirma avanzar en la comprensión de las direcciones semánticas en competencia en los espacios de activación de los transformadores. Sus contribuciones principales son:

1. Implicaciones de Seguridad: La robusta dominancia direccional del contenido prosocial sugiere que los modelos ajustados para la utilidad mantienen un prior interno fuerte contra el contenido moralmente oscuro. Dirigirse hacia contenido indeseable requiere magnitudes de activación sustancialmente mayores que dirigirse hacia contenido benigno, elevando el umbral empírico para ataques adversarios a nivel de activación.
2. Principio de Diseño para la Coherencia: El "valle de coherencia" proporciona un principio geométrico: cuando se requiere una magnitud de direccionamiento alta, interpolar entre dos direcciones semánticamente opuestas puede preservar mejor la coherencia que aplicar una sola dirección con una magnitud total equivalente, siempre que los vectores sean no antipodales.
3. Generación Creativa: El efecto de "amplificación moral" sugiere que inyectar deliberadamente un pequeño componente de dirección opuesta puede aumentar la tensión narrativa y la profundidad moral sin abandonar la persona dominante, ofreciendo una nueva herramienta para la generación creativa controlable.
4. Interpretabilidad Mecanicista: La identificación de la Capa 28 como un sustrato compartido de tono moral y la confirmación de direcciones de valencia moral lineales proporcionan objetivos concretos para futuros estudios de trazado causal y descomposición de características.

Los autores enfatizan que, si bien la capacidad de dirigirse hacia contenido oscuro ya existía, su trabajo cuantifica la resistencia impuesta por el ajuste fino de alineación. Consideran que el hallazgo de que tal direccionamiento es difícil de lograr es un resultado neto positivo para la literatura de seguridad, reconociendo al mismo tiempo que la "amplificación moral" puede ser explotada para la generación de contenido de alta intensidad.