The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation

Resumen Técnico: La Efectividad de los Vectores de Estilo para Dirigir Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Controlar el comportamiento de los Modelos de Lenguaje de Gran Escala (LLM) en el momento de la inferencia es crítico para alinear los resultados con los requisitos de seguridad humana y los objetivos de comunicación. Si bien la ingeniería de prompts y el ajuste fino (fine-tuning) son métodos establecidos, a menudo carecen de un control estilístico preciso o requieren recursos computacionales significativos. El direccionamiento por activación (activation steering) ofrece una alternativa ligera al modificar directamente las activaciones internas del modelo para guiar la generación. Sin embargo, la investigación previa se ha basado principalmente en clasificadores automatizados o ejemplos ilustrativos para demostrar su viabilidad. Existe una brecha significativa respecto a si los humanos pueden realmente percibir un direccionamiento matizado en los resultados de los LLM, particularmente en lo que respecta al tono emocional, y cómo dicho direccionamiento impacta la calidad y la comprensibilidad del texto.

Metodología
El estudio emplea un enfoque de direccionamiento de estilo basado en activaciones adaptado de Konen et al. [2], utilizando el modelo LlaMA-3-8B-Lexi-Uncensored. La metodología consta de tres fases primarias:

1. Construcción de Vectores: Los vectores de estilo se derivan del conjunto de datos GoEmotions (mapeado a las seis emociones básicas de Ekman: ira, asco, miedo, alegría, tristeza, sorpresa). Para un estilo objetivo $t$ y estilos contrastivos $c$, se computan los vectores de activación media $\bar{a}^{(i)}$ para cada capa $i$. El vector de estilo $v^{(i)}(t)$ se calcula como la diferencia entre la activación media objetivo y la media de las activaciones contrastivas:
   $$v^{(i)}(t) = \bar{a}^{(i)}(t) - \frac{1}{s}\sum_{j=1}^{s} \bar{a}^{(i)}(c_j)$$
2. Direccionamiento en el Momento de la Inferencia: Durante la generación, las activaciones originales $a^{(i)}(x)$ se modifican añadiendo el vector de estilo escalado:
   $$\hat{a}^{(i)}(x) = a^{(i)}(x) + \lambda \cdot v^{(i)}(t)$$
   Aquí, $\lambda$ actúa como un parámetro de escala que controla la intensidad del direccionamiento. El estudio aplica estos vectores a través de todas las capas del modelo.
3. Evaluación:
   • Evaluación Automática: Un modelo DistilRoBERTa preentrenado clasifica la intensidad de la emoción, y el propio modelo LlaMA-3 califica la comprensibilidad del texto en una escala de 1 a 10.
   • Evaluación Humana: Un estudio intrasujeto ($N=190$) reclutado vía Prolific. Los participantes calificaron más de 7,000 textos generados en cuanto a la intensidad emocional percibida (escala 0–7) y la comprensibilidad del texto (escala 0–7) a través de 19 prompts, 6 emociones y 8 fuerzas de direccionamiento ($\lambda \in [0.00, 0.35]$).

Contribuciones Clave
El artículo avanza en la literatura en tres direcciones específicas:

1. Primera Evaluación Humana: Proporciona la primera evaluación humana a gran escala del direccionamiento de activación para el tono emocional, yendo más allá de las métricas automatizadas para evaluar la intensidad percibida y la calidad del texto.
2. Análisis de Fuerza de Direccionamiento vs. Calidad: Analiza el compromiso (trade-off) entre la intensidad del direccionamiento y la calidad del resultado, identificando que las fuerzas moderadas preservan la fluidez mientras que las fuerzas altas degradan la coherencia.
3. Comparación de Arquitecturas de Modelos: Demuestra que la actualización de Alpaca (en trabajos previos) a LlaMA-3 produce efectos de direccionamiento más consistentes y pronunciados a través de emociones y fuerzas.

Resultos

• Intensidad Emocional: Las calificaciones humanas confirmaron un aumento claro en la intensidad emocional percibida para cinco de las seis emociones (ira, asco, miedo, alegría, tristeza) a medida que $\lambda$ aumentaba. Los efectos más fuertes se observaron para el asco ($\eta^2_p = 0.616$) y el miedo ($\eta^2_p = 0.540$). La sorpresa mostró una capacidad de direccionamiento mínima ($\eta^2_p = 0.042$), sin cambios significativos en la intensidad percibida.
• Alineación Humano-Modelo: Hubo una fuerte alineación entre las calificaciones de calidad humanas y las del modelo (media de Pearson $r = 0.776$). Aunque los evaluadores humanos fueron más conservadores en sus calificaciones de límite superior, las tendencias en la amplificación emocional y el declive en la comprensibilidad ante valores altos de $\lambda$ fueron reflejadas estrechamente por los clasificadores automáticos.
• Calidad del Texto: La comprensibilidad se mantuvo estable para fuerzas de direccionamiento hasta $\lambda \approx 0.15$. Más allá de este umbral, la calidad del texto (fluidez y coherencia) comenzó a degradarse significativamente. El estudio señala que los evaluadores humanos también percibieron una "co-percepción" de emociones (por ejemplo, el direccionamiento hacia la ira también aumentó la percepción de asco), lo que refleja la naturaleza multidimensional de la percepción emocional humana, que los clasificadores de un solo eje del modelo no capturaron completamente.
• Fiabilidad: La fiabilidad inter-evaluador fue alta para los juicios agregados (ICC $\approx 0.71–0.87$) para la mayoría de las emociones, aunque la consistencia individual de los evaluadores varió.

Significancia
El artículo sostiene que el control basado en activaciones es un método escalable y efectivo para dirigir el comportamiento de los LLM a través de dimensiones afectivas. Valida que:

• El direccionamiento por activación puede amplificar con éxito las emociones objetivo de manera controlada sin necesidad de reentrenamiento.
• Las fuerzas de direccionamiento moderadas ($\lambda \approx 0.15$) ofrecen un equilibrio viable entre la expresividad emocional y la comprensibilidad del texto.
• La puntuación automática puede servir como un proxy fiable para la calidad percibida por humanos, reduciendo potencialmente el costo de futuras evaluaciones.
• La técnica es particularmente efectiva para las arquitecturas LlaMA-3, sugiriendo que la capacidad del modelo influye en la eficacia de la ingeniería de activación.

Los autores concluyen que, si bien el método es efectivo, requiere una calibración específica para cada emoción para gestionar el compromiso entre la intensidad y la coherencia, y que el trabajo futuro debería explorar la generalizabilidad a diálogos de múltiples turnos y atributos estilísticos más abstractos.