Resumo Técnico: Negativo Antes do Positivo: Processamento Assimétrico de Valência em Modelos de Linguagem de Grande Escala

Declaração do Problema

Enquanto a interpretabilidade mecânica mapeou com sucesso como os Modelos de Linguagem de Grande Escala (LLMs) codificam associações factuais e conceitos abstratos como direções lineares, o processamento interno da valência emocional permanece pouco compreendido. Estudos anteriores basearam-se amplamente em sondagem correlacional ou análise comportamental, deixando abertas questões críticas:

1. Os LLMs possuem estruturas internas dedicadas para valência, ou dependem de correspondência superficial de tokens?
2. As representações emocionais estão localizadas em etapas específicas de processamento ou distribuídas difusamente?
3. Os sinais observados refletem um rastreamento genuíno de valência ou meramente detecção de tópico (por exemplo, reconhecer a palavra "rejeitado" sem compreender o sentimento negativo)?

Trabalhos existentes (por exemplo, Sofroniew et al., 2026) identificaram emoções funcionais em modelos fechados, mas careciam de localização causal e controles rigorosos para confusões de tópico. Este artigo aborda essas lacunas investigando se a valência é processada através de um mecanismo causal específico de camada em LLMs de código aberto.

Metodologia

Os autores empregam correção de ativação (activation patching) e vetores de direção (steering vectors) em três modelos de código aberto ajustados para instruções: Llama-3.2-1B, Qwen2.5-1.5B e Qwen2.5-3B. Esses modelos abrangem duas famílias arquitetônicas (Atenção Multi-cabeça vs. Atenção com Consulta Agrupada) e duas escalas.

Design Experimental

1. Design de Pares de Prompt: O estudo constrói 100 pares de prompts limpos/corrompidos por condição.

   • Condição de Boas Notícias: O prompt limpo descreve um resultado positivo; o prompt corrompido descreve a mesma situação de forma neutra.
   • Condição de Controle Negativo: O prompt limpo descreve um resultado negativo; o prompt corrompido é idêntico à linha de base corrompida da "Boas Notícias".
   • Linha de Base Corrompida Compartilhada: Este design garante que qualquer diferença nos efeitos de correção seja atribuível exclusivamente à valência, e não ao tópico ou à formulação.
   • Domínios: Os prompts cobrem academia, carreira e vida pessoal para garantir que as descobertas não sejam específicas de domínio.

2. Correção de Ativação:

   • O modelo é executado com entradas corrompidas, enquanto as ativações do fluxo residual em camadas específicas são substituídas por ativações em cache de execuções limpas.
   • Métrica: Um escore de lacuna de logit é calculado com base na massa de probabilidade de tokens âncora positivos versus negativos predefinidos na distribuição do próximo token.
   • Objetivo: Identificar a "camada causal superior" onde a correção restaura o comportamento de saída limpo, indicando onde o sinal de valência é computado.

3. Teste de Inversão de Valência:

   • Para descartar a detecção de tópico, o estudo verifica se a lacuna de escore muda de sinal quando a valência inverte (Boas vs. Negativa) enquanto o tópico permanece constante. Uma representação genuína de valência deve produzir efeitos de sinal oposto (lacunas anti-correlacionadas), enquanto a detecção de tópico produziria lacunas correlacionadas.

4. Direcionamento Causal:

   • Um vetor de direção de valência é extraído do fluxo residual na camada causal superior identificada (diferença média entre ativações limpas e corrompidas).
   • Este vetor é adicionado ou subtraído de prompts emocionalmente neutros para testar se ele desloca causalmente a saída do modelo em direção à valência positiva ou negativa.

Principais Resultados

1. Rastreamento Direcional de Valência

Todos os três modelos demonstraram a capacidade de distinguir conteúdo emocional em suas distribuições de saída, com precisão de sinal variando de 79% a 95% entre as condições. A família Qwen exibiu lacunas de escore mais nítidas do que o Llama-1B.

2. Descarte de Detecção de Tópico

O Teste de Inversão de Valência produziu taxas de inversão de 69% (Llama-1B), 80% (Qwen-1.5B) e 85% (Qwen-3B). Essas taxas são significativamente acima da linha de base de chance de 50%, confirmando que os modelos rastreiam a valência como uma variável interna separável, em vez de simplesmente reconhecer palavras-chave de tópico.

3. Localização Assimétrica em Profundidade (Descoberta Central)

O estudo revela uma clara dissociação em profundidade no processamento de valência:

• Valência Negativa: Localiza-se causalmente em camadas iniciais (atingindo o pico em 14–27% da profundidade do modelo). A correção nessas camadas restaura fortemente as saídas negativas.
• Valência Positiva: Atinge o pico em camadas médias a tardias (atingindo o pico em 53–66% da profundidade do modelo).
• Significância Estatística: Testes U de Mann-Whitney confirmam que essa dissociação é altamente significativa em todos os modelos ($p < 10^{-10}$).
• Interpretação: Resultados negativos parecem ser processados por um "detector rápido e raso" que depende de palavras lexicalmente distintivas (por exemplo, "rejeitado"), enquanto resultados positivos exigem integração contextual mais profunda para montar uma representação mais rica.

4. Estrutura Causal Assimétrica

• Controle Negativo: Mostra localização causal estreita. Há uma forte correlação negativa ($\rho \approx -0,5$ a $-0,68$) entre a magnitude da correção e a força da resposta, indicando que uma única camada dominante impulsiona a resposta negativa.
• Boas Notícias: Mostra processamento difuso. A correlação entre a magnitude da correção e a força da resposta é fraca ou não significativa ($\rho \approx 0,1$ a $0,37$), sugerindo que a valência positiva está distribuída pela rede, em vez de ser roteada através de uma única camada.

5. Controlabilidade

Experimentos de direcionamento confirmaram que as camadas identificadas codificam a valência como uma direção linear manipulável.

• Adicionar a direção "boas notícias" a prompts neutros deslocou 92–100% das saídas em direção à valência positiva.
• Subtrair a direção deslocou as saídas em direção à valência negativa.
• A relação entre a força de direcionamento ($\alpha$) e a mudança no escore de valência ($\Delta$) foi monotonicamente crescente, confirmando que o vetor extraído é um recurso linear genuíno.

Significado e Alegações

O artigo alega que a valência emocional em LLMs não é um estado interno monolítico, mas uma computação assimétrica com caminhos causais distintos para entradas positivas e negativas.

• Insight Mecanístico: As descobertas sugerem que a valência negativa e positiva não são meramente extremos opostos de um único eixo, mas são processadas por meio de mecanismos computacionais distintos (detecção precoce e localizada vs. integração tardia e distribuída).
• Potencial de Supervisão: Como a valência negativa está localizada em camadas iniciais e é previsivelmente controlável, ela representa um alvo concreto para supervisão baseada em interpretabilidade. Monitorar essas camadas iniciais poderia permitir intervenção antes que o modelo monte uma resposta completa.
• Generalização: A assimetria mantém-se em diferentes escalas de modelo e arquiteturas de atenção (MHA vs. GQA), sugerindo que é uma propriedade fundamental do processamento de valência baseado em transformadores, e não um artefato de um design de modelo específico.

Os autores concluem que entender por que essas polaridades exigem diferentes profundidades computacionais pode revelar aspectos fundamentais de como os transformadores codificam conteúdo semântico e emocional. Eles afirmam explicitamente não prever impactos sociais negativos diretos decorrentes desta pesquisa, vendo-a, em vez disso, como um passo em direção a implantações de modelos mais seguras e interpretáveis.