Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

Resumo Técnico: "Onde os Modelos Encontram a Felicidade? Vetores de Emoção em LLMs de Pesos Abertos"

Problema
Trabalhos recentes de Sofroniew et al. (2026) identificaram "vetores de emoção" dentro do espaço de ativação interna do modelo proprietário Claude Sonnet 4.5. Descobriu-se que esses vetores codificam conceitos emocionais, influenciam causalmente o comportamento do modelo e exibem uma estrutura geométrica que espelha frameworks psicológicos humanos (especificamente o modelo circumplexo de valência e excitação de Russell). No entanto, permanecia incerto se essas descobertas eram específicas do regime de treinamento único do Claude ou se representavam uma propriedade geral de grandes modelos de linguagem (LLMs). Além disso, a evolução dessas representações através da profundidade da rede e a influência das metodologias de extração (especificamente o corpus de histórias usado) não haviam sido exploradas. Este artigo aborda três questões centrais: (1) Os vetores de emoção são generalizáveis para modelos de pesos abertos? (2) Como a emergência da geometria de valência varia entre as camadas do modelo? (3) Como a escolha do corpus de histórias afeta a extração desses vetores?

Metodologia
Os autores replicaram e estenderam a análise de vetores de emoção em dois modelos de pesos abertos: APERTUS-8B (um transformer de 32 camadas com pesos, dados e código totalmente abertos) e GEMMA-4-E4B (um transformer de 42 camadas).

1. Construção do Dataset: Seguindo Sofroniew et al. (2026), os autores geraram datasets sintéticos contendo 1.539 histórias para cada uma das 171 emoções distintas. Crucialmente, eles criaram dois corpora independentes: um gerado pelo APERTUS-8B e outro pelo GEMMA-4-E4B. Para cada emoção, os modelos foram instruídos a escrever histórias onde os personagens experimentavam a emoção alvo sem nomeá-la, baseando-se em pistas indiretas (ações, sensações físicas, diálogos). Um conjunto fixo de 40 histórias neutras também foi gerado para servir como baseline.
2. Extração de Vetor de Contraste: Para cada emoção e camada, os autores extraíram as ativações do fluxo residual (residual stream). Para isolar sinais específicos de emoção de características linguísticas gerais, realizaram um processo de duas etapas:
   • Média das ativações entre tokens e histórias para formar um vetor bruto.
   • Projeção para fora do subspace "agnóstico à emoção", subtraindo a projeção do vetor bruto sobre os componentes principais (top $K$) derivados das 40 histórias neutras (que explicam 50% da variância neutra).
3. Análise:
   • PCA & Correlação: A Análise de Componentes Principais (PCA) foi aplicada às matrizes de contraste. Os dois primeiros componentes principais (PC1, PC2) foram correlacionados com classificações humanas de valência e excitação (arousal) do Léxico NRC.
   • Similaridade entre Camadas: O Alinhamento de Kernel Centrado (CKA) foi usado para medir a similaridade representacional entre as camadas.
   • Estabilidade Direcional: A similaridade de cosseno foi computada entre os vetores de direção de valência (o eixo mais correlacionado com as classificações humanas) entre camadas adjacentes para rastrear a estabilidade.

Principais Contribuições e Resultados

• Generalização de Vetores de Emoção: O estudo recuperou com sucesso a geometria de valência em ambos os modelos de pesos abertos, demonstrando que os vetores de emoção não são exclusivos do Claude.

  • APERTUS-8B: Alcançou um pico de correlação PC1–valência de $r = 0,76$ (usando histórias geradas pelo Gemma).
  • GEMMA-4-E4B: Alcançou um pico de correlação PC1–valência de $r = 0,83$ (usando histórias geradas pelo Gemma).
  • Esses picos aproximam-se ou excedem o $r = 0,81$ relatado para o Claude Sonnet 4.5, confirmando a generalidade do fenômeno em diferentes arquiteturas.

• Trajetórias de Emergência Divergentes: Embora ambos os modelos tenham atingido picos de correlação semelhantes, a profundidade na qual as representações de valência emergiram diferiu significamente:

  • GEMMA-4-E4B: Exibiu codificação precoce seguida de colapso. As correlações de valência atingiram o pico por volta da camada 16 (aprox. 38% da profundidade) e depois caíram para zero nas camadas posteriores. A análise CKA mostrou um gradiente suave em todas as camadas, sugerindo que o espaço representacional permaneceu estável mesmo enquanto o eixo específico de valência degradava.
  • APERTUS-8B: Exibiu emergência tardia. As correlações de valência estavam próximas de zero na primeira metade da rede, subindo bruscamente após a camada 18 e estabilizando-se nas camadas superiores (atingindo o pico entre as camadas 23–31). A análise CKA revelou uma "transição de fase" distinta nas camadas intermediárias, indicando uma reorganização do espaço representacional.

• Excitação Dependente de Corpus: A extração da excitação (PC2) foi altamente sensível ao corpus de histórias.

  • Ambos os modelos mostraram um alinhamento PC2–excitação significativamente mais forte quando avaliados em histórias geradas pelo Gemma ($r$ até 0,45) comparado a histórias geradas pelo Apertus ($r \le 0,21$).
  • Isso sugere que pistas linguísticas relevantes para a excitação estão distribuídas de forma desigual entre os corpora gerados, e que a escolha do corpus de estímulo é um fator metodológico substantivo, e não apenas um detalhe de implementação.

• Espaço Estável, Eixo Instável: Os autores observaram um descompasso entre a estabilidade do espaço representacional geral (CKA) e a estabidade do eixo de valência específico. No GEMMA-4-E4B, o espaço permaneceu semelhante entre as camadas mesmo onde a correlação de valência colapsou, implicando que a informação de valência é preservada, mas codificada ao longo de um eixo que se desloca.

Significância e Alegações
O artigo alega que representações emocionais de alto nível semelhantes podem surgir de diferentes caminhos computacionais dentro de redes neurais. As descobertas sugerem que:

1. Universalidade: Vetores de emoção são uma propriedade geral de LLMs, não um artefato do treinamento de um modelo específico.
2. Implicações de Interpretabilidade: O "onde" e o "como" da codificação de emoção variam conforme a arquitetura. Monitorar ou direcionar (steering) esses vetores requer uma seleção cuidadosa de camadas, pois a camada ideal para intervenção difere entre os modelos (precoce para o Gemma, tardia para o Apertus).
3. Rigor Metodológico: A extração de vetores de emoção é sensível ao corpus de entrada. O estudo destaca que a escolha do corpus pode impactar significativamente a recuperabilidade de dimensões emocionais específicas (particularmente a excitação), necessitando de conjuntos de estímulos diversos para uma análise robusta.

Os autores concluem que, embora a geometria de pico do espaço emocional seja consistente, a trajetória de desenvolvimento dessas representações é específica de cada modelo, com implicações para intervenções de direcionamento (steering) direcionadas e monitoramento de segurança em modelos de pesos abertos.