Resumo Técnico: Colisão Criativa: Direcionamento de Persona Direcional e Competição em Grandes Modelos de Linguagem

Declaração do Problema

O direcionamento de ativação (activation steering) estabeleceu-se como um mecanismo potente para modificar o comportamento de Grandes Modelos de Linguagem (LLMs) durante a inferência, injetando direções semânticas aprendidas no fluxo residual. Embora pesquisas anteriores tenham aplicado com sucesso essa técnica a tarefas de direção única — como aumentar a veracidade, segurança ou personas específicas — a dinâmica de colisão multivetorial permanece inexplorada. Especificamente, desconhece-se o que ocorre quando dois vetores de direção semanticamente opostos são sobrepostos e competem pelo controle representacional. Este artigo aborda essa lacuna investigando o regime de "Colisão Criativa", onde direções morais e estilísticas opostas são interpoladas para observar interações não lineares, degradação de coerência e dominância direcional.

Metodologia

1. Corpus de Contraste Direcional

Os autores construíram um corpus pareado $D = \{(x^{SPL}_i, x^{SCO}_i)\}$ consistindo de 100 excertos de cada uma das filmografias de Steven Spielberg e Martin Scorsese.

• Spielberg: Extraído de filmes como E.T., A Lista de Schindler e O Resgate do Soldado Ryan, caracterizados por arcos de redenção, catarse emocional e resolução otimista.
• Scorsese: Extraído de filmes como Goodfellas, Taxi Driver e Cassino, caracterizados por ambiguidade moral, violência e trajetórias autodestrutivas.
• Pareamento: Os pares foram combinados com base em situações narrativas (ex: confronto, escolha moral) para isolar o tom moral do diretor da complexidade do enredo.

2. Extração de Vetores de Direcionamento

Usando um transformador de decodificação apenas (decoder-only) de 14 bilhões de parâmetros (40 camadas), os autores extraíram vetores de direcionamento via diferença de média contra um corpus de linha de base neutra compartilhada $B$.

• Vetores: $v^{(l)}_{SPL}$ e $v^{(l)}_{SCO}$ foram computados como a diferença entre a média das ativações do respectivo corpus do diretor e a linha de base na camada $l$.
• Normalização: Os vetores foram $\ell_2$-normalizados. Notavelmente, eles não eram antiparalelos; na camada 28, sua similaridade de cosseno era $\approx 0,29$, indicando um subespaço representacional compartilhado para conteúdo emocional cinematográfico, apesar de resoluções morais divergentes.

3. Protocolo de Interpolação e Direcionamento

O estudo introduziu uma família paramétrica de vetores interpolados:
$$v^{(l)}_\alpha = (1 - \alpha)\hat{v}^{(l)}_{SPL} + \alpha\hat{v}^{(l)}_{SCO}, \quad \alpha \in [0, 1]$$

• Direcionamento: O vetor interpolado foi adicionado ao fluxo residual nas camadas $L = \{20, \dots, 38\}$ com um coeficiente de direcionamento $\lambda \in \{0,5, 1,0, 1,5, 2,0\}$.
• Avaliação: Foram geradas 50 passagens de ficção criativa por condição. As métricas incluíram:
  • Valência Moral: Pontuada por um classificador ajustado (fine-tuned) ($[-1, +1]$).
  • Coerência: Medida via perplexidade ao nível de token sob o modelo base não direcionado.
  • Dominância Direcional: Probabilidade atribuída por um classificador estilométrico à classe Spielberg.
  • Estilo de Superfície: Métricas incluindo comprimento de frase, densidade de diálogo e diversidade lexical.

Principais Resultados

1. Valência Moral Não Monotônica

Ao contrário da expectativa ingênua de que o tom moral mudaria linearmente de Spielberg (positivo) para Scorsese (negativo) conforme $\alpha$ aumenta, os resultados foram não monotônicos.

• Em $\lambda = 1,0$, a valência moral foi mais negativa em $\alpha = 0,25$ ($MV \approx -0,38$) do que em $\alpha = 1,0$.
• Esta "incoerência moral" em pontos intermediários sugere uma interferência construtiva onde o componente Scorsese introduz escuridão, mas falha em dominar, criando um estado penalizado.
• Em altas magnitudes de direcionamento ($\lambda = 1,5$), o sinal moral colapsou inteiramente para próximo de zero, indicando que o fluxo residual foi empurrado para fora do manifesto de texto natural.

2. O Vale da Coerência

Um achado contraintuitivo surgiu em relação à coerência de geração (perplexidade).

• Direcionamento Puro: O direcionamento de um único diretor ($\alpha=0$ ou $1$) causou os maiores aumentos de perplexidade em altos valores de $\lambda$.
• Colisão Intermediária: Condições com vetores mistos ($\alpha \in \{0,25, 0,5\}$) permaneceram significativamente mais coerentes.
• Explicação Geométrica: Os autores provaram que interpolar dois vetores unitários não antiparalelos ($\rho < 1$) reduz a norma $\ell_2$ do vetor resultante. A norma é minimizada em $\alpha = 0,5$. Como o custo de coerência escala com a magnitude da perturbação, os pontos de colisão intermediária aplicam uma perturbação efetiva mais fraca, preservando a proximidade do modelo com o manifesto de texto natural.

3. Dominância Direcional

A assinatura representacional de Spielberg exibiu uma dominância robusta em quase todo o intervalo de interpolação.

• Para $\alpha \in \{0,0, 0,25, 0,50, 0,75\}$, o classificador estilométrico atribuiu uma probabilidade de $\approx 1,0$ à classe Spielberg.
• Somente em $\alpha = 1,0$ (Scorsese puro) o classificador se aproximou da fronteira de decisão ($P \approx 0,49$).
• Mecanismos: Isso é atribuído a (1) um viés prévio nos dados de pré-treinamento para narrativas pró-sociais e (2) amplificação de alinhamento via RLHF, que reforça a geração positiva, agindo efetivamente como um prior persistente de direção Spielberg.

4. Localização por Camada

Os efeitos morais de ambos os diretores atingiram o pico na Camada 28 (aproximadamente 70% da profundidade no modelo de 40 camadas).

• Os efeitos foram aproximadamente antissimétricos ($\Delta MV \approx -0,50$ para Scorsese, $+0,47$ para Spielberg).
• Essa co-localização sugere que a Camada 28 funciona como um "hub de tom moral" compartilhado, onde propriedades semânticas de alto nível são codificadas causalmente, apoiando a hipótese de representação linear para a valência moral.

5. Amplificação Moral

A decomposição da valência moral em subescores positivos ($p+$) e negativos ($p-$) revelou que o regime de colisão ($\alpha \approx 0,25$) produziu textos com ambos os escores morais altos e negativos simultaneamente. Esta "amplificação moral" indica que a colisão pode gerar textos com maior complexidade e profundidade moral do que o extremo de qualquer diretor puro.

Significância e Alegações

O artigo afirma avançar a compreensão de direções semânticas concorrentes nos espaços de ativação de transformers. Suas principais contribuições são:

1. Implicações de Segurança: A robusta dominância direcional de conteúdo pró-social sugere que modelos ajustados para utilidade mantêm um prior interno forte contra conteúdo moralmente sombrio. Direcionar para conteúdo indesejável requer magnitudes de ativação substancialmente maiores do que direcionar para conteúdo benigno, elevando o patamar empírico para ataques de nível de ativação adversariais.
2. Princípio de Design para Coerência: O "vale da coerência" fornece um princípio geométrico: quando uma alta magnitude de direcionamento é necessária, interpolar entre duas direções semanticamente opostas pode preservar a coerência melhor do que aplicar uma única direção com magnitude total equivalente, desde que os vetores não sejam antipodais.
3. Geração Criativa: O efeito de "amplificação moral" sugere que injetar deliberadamente um pequeno componente de direção oposta pode aumentar a tensão narrativa e a profundidade moral sem abandonar a persona dominante, oferevendo uma nova ferramenta para geração criativa controlável.
4. Interpretabilidade Mecanística: A identificação da Camada 28 como um substrato compartilhado de tom moral e a confirmação de direções de valência moral lineares fornecem alvos concretos para futuros estudos de rastreamento causal e decomposição de características.

Os autores enfatizam que, embora a capacidade de direcionar para conteúdo sombrio já existisse, seu trabalho quantifica a resistência imposta pelo ajuste fino de alinhamento. Eles veem o achado de que tal direcionamento é difícil de alcançar como um ponto positivo para a literatura de segurança, ao mesmo tempo em que reconhecem o potencial da "amplificação moral" para ser explorada na geração de conteúdo de alta intensidade.