Resumo Técnico: Emotions Where Art Thou

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem proficiência em análise de sentimento e geração de texto emocional, os mecanismos internos pelos quais eles representam e processam a emoção permanecem subexplorados. A literatura existente foca majoritariamente no comportamento de saída (precisão de classificação ou qualidade de geração) ou trata a emoção como um rótulo externo, em vez de uma representação latente interna. Há uma falta de compreensão sobre a estrutura geométrica das representações emocionais dentro dos estados ocultos dos LLMs: especificamente, se as emoções são codificadas em um manifold de baixa dimensão consistente, como essas representações se alinham entre diferentes conjuntos de dados e idiomas, e se podem ser manipuladas causalmente sem degradar o conteúdo semântico.

Metodologia

Os autores empregam uma abordagem multifacetada combinando análise geométrica, alinhamento cross-domain e intervenção causal para investigar o espaço latente emocional de LLMs decoder-only (especificamente LLaMA 3.1, OLMo v2 e Ministral).

1. Extração de Subespaços Emocionais (Centered-SVD):
   Os autores utilizam a Decomposição de Valor Singular Centralizada (Centered SVD) nos estados ocultos ao nível de sentença. As ativações de tokens são agrupadas pela média (mean-pooling) para criar representações de sentença, que são então centralizadas e decompostas. Isso isola direções ortogonais de variação, sob a hipótese de que, quando o conteúdo emocional é a diferença estruturada dominante, os componentes principais capturam os eixos afetivos primários.

2. Alinhamento Cross-Dataset e Cross-Lingual:
   Para testar a universalidade, o estudo alinha subespaços emocionais derivados de um conjunto de dados sintético (onde sentenças neutras são reescritas para emoções específicas) com aqueles de oito conjuntos de dados diversos escritos por humanos, abrangendo cinco idiomas (Inglês, Espanhol, Alemão, Hindi, Italiano, Francês).

   • Métricas de Alinhamento: Similaridade de cosseno dos centroides emocionais e regressão linear (ajuste de mínimos quadrados) para mapear espaços sintéticos para reais.
   • Preservação Geométrica: O artigo introduz métricas de estresse (Stress-1, Stress-2, Sammon) e métricas de distorção (distorção média, distorção $\ell_2$, distorção $\sigma$) para quantificar quão bem as distâncias par a par entre emoções são preservadas durante o alinhamento, distinguindo entre escalonamento global e deformação anisotrópica.

3. Análise de Codificação Neural (ML-AURA):
   Utilizando o framework ML-AURA, os autores analisam a seletividade de neurônios. Os neurônios são tratados como detectores baseados em limiar, e sua capacidade de distinguir emoções específicas (um-contra-todos) é medida via Área Sob a Curva de Precisão-Recall (AUC-PR). Isso determina se a codificação emocional é localizada em neurônios específicos ou distribuída pela rede.

4. Direcionamento Causal (Módulo de Intervenção):
   Um módulo de intervenção aprendido é treinado para manipular a percepção emocional interna. O módulo opera dentro do subespaço emocional derivado de SVD, aplicando um deslocamento aos estados ocultos em camadas selecionadas. O objetivo de treinamento combina:

   • Perda de Token ($L_{token}$): Força a classificação em direção a um token de emoção alvo usando cross-entropy e perda de margem.
   • Perda de Preservação Semântica ($L_{sem}$): Minimiza a distância (cosseno e $\ell_2$) entre os estados ocultos originais e deslocados para garantir que o conteúdo semântico permaneça intacto.

Principais Resultados

1. Existência de um Manifold Emocional Universal

O estudo identifica um subespaço emocional de baixa dimensão que é direcionado e estável através das camadas.

• Consistência Geométrica: Os modelos exibem alta similaridade de cosseno de centroide (0,83–0,93) entre as direções emocionais reais e sintéticas.
• Generalização Cross-Lingual: Estruturas emocionais generalizam-se através de oito conjuntos de dados e cinco idiomas com baixa distorção de alinhamento. Variantes ajustadas por instrução (instruction-tuned) geralmente mostram maior similaridade de cosseno e menor erro de regressão do que modelos base, sugerindo um alinhamento mais próximo ao manifold sintético.
• Análise de Distorção: Embora o alinhamento global seja forte, a coerência geométrica local varia. O OLMo v2 mostra maior estresse e distorção comparado ao LLaMA e Ministral, particularmente em variantes instruction-tuned, sugerindo um manifold emocional mais frágil. No entanto, mesmo em casos de alta distorção, subconjuntos substanciais de camadas preservam uma geometria coerente.

2. Estrutura Interna e "Psicologia do Modelo"

• Codificação Distribuída: Contrário às teorias localistas, a informação emocional não está confinada a neurônios específicos ou camadas tardias. A análise ML-AURA revela que uma alta porcentagem de neurônios (ex: ~75% em média para emoções de Ekman) exibe seletividade, sendo tristeza e surpresa as mais pervasivas. Isso apoia uma visão construcionista onde a emoção emerge de componentes distribuídos e de múltiplos propósitos.
• Eixos Interpretáveis: Os principais componentes principais (PCs) do subespaço emocional alinham-se com dimensões psicológicas estabelecidas, apesar da ausestência de supervisão explícita:
  • PC1: Assemelha-se a uma dimensão de Valência (prazer vs. desprazer).
  • PC2: Reflete Dominância/Controle (submissão vs. autonomia).
  • PC3: Mapeia a motivação de Aproximação-Evitação.
  • PC4: Corresponde a Arousal/Urgência.
• Estabilidade: O ranking das emoções ao longo desses eixos principais permanece altamente estável entre as camadas (correlações de Spearman > 0,80 para os principais PCs).

3. Controlabilidade da Percepção Emocional

O módulo de direcionamento aprendido manipula com sucesso o estado emocional interno do modelo enquanto preserva a semântica.

• Desempenho: A precisão pós-direcionamento para emoções alvo frequentemente excede 80–90% em conjuntos de dados de inglês e não-ingleses. Emoções básicas (tristeza, raiva, medo, neutro) mostram o controle mais forte, enquanto categorias sutis (inveja, excitação) mostram mais variabilidade, particularmente em idiomas de baixos recursos como o Hindi.
• Preservação Semântica: As perdas de similaridade semântica permanecem baixas, confirmando que a intervenção desloca a interpretação afetiva sem alterar o significado semântico central do texto.

Significância e Alegações

O artigo afirma revelar uma geometria afetiva consistente e manipulável dentro dos LLMs. As principais contribuições incluem:

1. Codificação Direcional: Demonstrar que as representações emocionais não são aleatórias, mas sim direcionais, codificadas em um subespaço de baixa dimensão que é estável através da profundidade e transferível entre domínios linguísticos.
2. Estrutura Emergente: Mostrar que um manifold emocional estruturado emerge naturalmente durante o pré-treinamento sem supervisão emocional explícita, alinhando-se com taxonomias psicológicas clássicas (ex: Valência-Arousal-Dominância).
3. Controle Causal: Estabelecer que a percepção emocional interna pode ser direcionada com alta precisão usando um módulo de intervenção aprendido, provando que o subespaço emocional não é apenas interpretável, mas funcionalmente controlável.

Os autores concluem que os LLMs internalizam um manifold afetivo latente estruturado. Embora existam limitações relativas à esparsidade lexical em idiomas de baixos recursos e à fragilidade do manifold em certos modelos (ex: OLMo v2), os achados fornecem um relato fundamental de como os LLMs representam e modulam a emoção, oferecendo um caminho para o deployment mais seguro e interpretável de IA afetiva.