The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation

Resumo Técnico: A Eficácia de Vetores de Estilo para Direcionar Grandes Modelos de Linguagem

Definição do Problema
Controlar o comportamento de Grandes Modelos de Linguagem (LLMs) durante a inferência é crítico para alinhar os resultados com requisitos de segurança humana e objetivos de comunicação. Embora a engenharia de prompts e o ajuste fino (fine-tuning) sejam métodos estabelecidos, eles frequentemente carecem de controle estilístico preciso ou exigem recursos computacionais significativos. O direcionamento por ativação (activation steering) oferece uma alternativa leve ao modificar diretamente as ativações internas do modelo para guiar a geração. No entanto, pesquisas anteriores basearam-se primariamente em classificadores automatizados ou exemplos ilustrativos para demonstrar a viabilidade. Existe uma lacuna significativa quanto ao fato de os humanos conseguirem, de fato, perceber o direcionamento matizado nos outputs de LLMs, particularmente no que diz respeito ao tom emocional, e como tal direcionamento impacta a qualidade e a compreensibilidade do texto.

Metodologia
O estudo emprega uma abordagem de direcionamento de estilo baseada em ativação adaptada de Konen et al. [2], utilizando o modelo LlaMA-3-8B-Lexi-Uncensored. A metodologia consiste em três fases primárias:

1. Construção de Vetores: Os vetores de estilo são derivados do dataset GoEmotions (mapeado para as seis emoções básicas de Ekman: raiva, nojo, medo, alegria, tristeza, surpresa). Para um estilo alvo $t$ e estilos contrastantes $c$, os vetores de ativação média $\bar{a}^{(i)}$ são computados para cada camada $i$. O vetor de estilo $v^{(i)}(t)$ é calculado como a diferença entre a ativação média alvo e a média das ativações contrastantes:
   $$v^{(i)}(t) = \bar{a}^{(i)}(t) - \frac{1}{s}\sum_{j=1}^{s} \bar{a}^{(i)}(c_j)$$
2. Direcionamento em Tempo de Inferência: Durante a geração, as ativações originais $a^{(i)}(x)$ são modificadas pela adição do vetor de estilo escalonado:
   $$\hat{a}^{(i)}(x) = a^{(i)}(x) + \lambda \cdot v^{(i)}(t)$$
   Aqui, $\lambda$ atua como um parâmetro de escala que controla a intensidade do direcionamento. O estudo aplica esses vetores em todas as camadas do modelo.
3. Avaliação:
   • Avaliação Automática: Um modelo DistilRoBERTa pré-treinado classifica a intensidade da emoção, e o próprio LlaMA-3 avalia a compreensibilidade do texto em uma escala de 1 a 10.
   • Avaliação Humana: Um estudo intra-sujeito ($N=190$) recrutado via Prolific. Os participantes avaliaram mais de 7.000 textos gerados em termos de intensidade emocional percebida (escala 0–7) e compreensibilidade do texto (escala 0–7) através de 19 prompts, 6 emoções e 8 forças de direcionamento ($\lambda \in [0.00, 0.35]$).

Principais Contribuições
O artigo avança a literatura em três direções específicas:

1. Primeira Avaliação Humana: Fornece a primeira avaliação humana em larga escala do direcionamento de ativação para tom emocional, indo além de métricas automatizadas para avaliar a intensidade percebida e a qualidade do texto.
2. Análise de Força de Direcionamento vs. Qualidade: Analisa o compromisso (trade-off) entre a intensidade do direcionamento e a qualidade do output, identificando que forças moderadas preservam a fluência enquanto forças maiores degradam a coerência.
3. Comparação de Arquitetura de Modelo: Demonstra que a atualização do Alpaca (em trabalhos anteriores) para o LlaMA-3 resulta em efeitos de direcionamento mais consistentes e pronunciados através de emoções e forças.

Resultados

• Intensidade Emocional: As avaliações humanas confirmaram um aumento claro na intensidade emocional percebida para cinco das seis emoções (raiva, nojo, medo, alegria, tristeza) conforme $\lambda$ aumentava. Os efeitos mais fortes foram observados para nojo ($\eta^2_p = 0.616$) e medo ($\eta^2_p = 0.540$). A surpresa mostrou mínima direcionabilidade ($\eta^2_p = 0.042$), sem mudança significativa na intensidade percebida.
• Alinhamento Humano-Modelo: Houve um forte alinhamento entre as classificações de qualidade humana e baseadas em modelo (média de Pearson $r = 0.776$). Embora os avaliadores humanos tenham sido mais conservadores em suas classificações de limite superior, as tendências de amplificação emocional e o declínio na compreensibilidade em valores altos de $\lambda$ foram estreitamente espelhados pelos classificadores automáticos.
• Qualidade do Texto: A compreensibilidade permaneceu estável para forças de direcionamento até $\lambda \approx 0.15$. Além desse limiar, a qualidade do texto (fluência e coerência) começou a degradar significativamente. O estudo observa que os avaliadores humanos também perceberam a "co-percepção" de emoções (ex: o direcionamento para raiva também aumentou a percepção de nojo), refletindo a natureza multidimensional da percepção emocional humana, que os classificadores de modelo unidimensionais não capturaram totalmente.
• Confiabilidade: A confiabilidade inter-avaliador foi alta para julgamentos agregados (ICC $\approx 0.71–0.87$) para a maioria das emoções, embora a consistência individual dos avaliadores tenha variado.

Significância
O artigo afirma que o controle baseado em ativação é um método escalável e eficaz para direcionar o comportamento de LLMs através de dimensões afetivas. Ele valida que:

• O direcionamento por ativação pode amplificar com sucesso as emoções alvo de maneira controlável sem retreinamento.
• Forças de direcionamento moderadas ($\lambda \approx 0.15$) oferecem um equilíbrio viável entre expressividade emocional e compreensibilidade do texto.
• A pontuação automática pode servir como um proxy confiável para a qualidade percebida por humanos, potencialmente reduzindo o custo de avaliações futuras.
• A técnica é particularmente eficaz para arquiteturas LlaMA-3, sugerindo que a capacidade do modelo influencia a eficácia da engenharia de ativação.

Os autores concluem que, embora o método seja eficaz, ele requer calibração específica para cada emoção para gerenciar o compromisso entre intensidade e coerência, e que trabalhos futuros devem explorar a generalização para diálogos de múltiplos turnos e atributos estilísticos mais abstratos.