Resumo Técnico: Conceptores para Direcionamento Semântico

Declaração do Problema

Métodos de direcionamento baseados em ativação visam controlar o comportamento de Modelos de Linguagem de Grande Escala (LLMs) no momento da inferência, sem retreinamento. O paradigma dominante representa conceitos semânticos como vetores únicos (por exemplo, via Adição de Ativação ou Adição de Ativação Contrastiva), injetando uma direção de diferença de média nos estados ocultos. Essa abordagem sofre de duas limitações fundamentais:

1. Reducionismo Geométrico: Conceitos semânticos (por exemplo, sentimento, inclinação política) frequentemente ocupam subespaços multidimensionais dentro do espaço de ativação do modelo. Reduzi-los a um único vetor descarta a estrutura residual e o contexto, potencialmente levando à perda de fluência ou a saídas degeneradas.
2. Sobrecarga de Supervisão: A seleção da camada ótima para intervenção geralmente requer o treinamento de classificadores de sondagem em cada camada, um processo supervisionado custoso que escala com a profundidade do modelo e a quantidade de conceitos.

Metodologia

Os autores propõem o uso de Conceptores, matrizes de projeção suave originalmente desenvolvidas para redes neurais recorrentes (Jaeger, 2024), adaptadas aqui para LLMs baseados em transformadores.

Mecanismo Central

Dado um conjunto de vetores de ativação $\{x_1, \dots, x_N\}$ associados a um conceito, uma matriz de conceptor $C$ é definida como a solução de um problema de reconstrução regularizado:
$$C = R(R + \alpha^{-2}I)^{-1}$$
onde $R$ é a matriz de correlação amostral das ativações e $\alpha$ é um parâmetro de abertura. Na base de autovetores de $R$, $C$ atua como um mecanismo de portão suave, atenuando direções com base em sua energia de sinal. Direções de alta energia são preservadas, enquanto ruído de baixa energia é suprimido.

Escolhas de Design Principais

• Treinamento Bipolar: Diferentemente de métodos unipolares anteriores que direcionam para um único polo (por exemplo, sentimento "positivo"), esta abordagem agrega ativações de ambos os polos de um conceito bipolar (por exemplo, sentimento positivo e negativo) em uma única matriz de correlação. Isso captura o subespaço completo entre polos, em vez de apenas o vetor de diferença.
• Seleção de Camada via Cota do Conceptor: Para evitar a sondagem supervisionada, os autores utilizam a cota do conceptor $q(C) = \frac{1}{d}\text{tr}(C)$, uma métrica livre de parâmetros que representa a dimensionalidade efetiva suave do subespaço do conceito. Valores altos de cota correlacionam-se com camadas onde o conceito está bem separado.
• Composicionalidade Booleana: Conceptores suportam álgebra booleana em forma fechada (E, OU, NÃO) diretamente nas matrizes, permitindo a composição de direcionamento sem acesso aos dados de ativação originais.
  • NÃO: $\neg C = I - C$ (suprime um conceito).
  • E: $C_A \land C_B = (C_A^{-1} + C_B^{-1} - I)^{-1}$ (retém apenas as direções de subespaço compartilhadas).

Contribuições Principais

1. Caracterização Geométrica: Os autores demonstram que subespaços bipolares subsumem estritamente as linhas de base de vetores únicos, capturando $\ge 95\%$ da direção de diferença de média usada por métodos anteriores, enquanto retêm estrutura adicional multidimensional.
2. Diagnósticos Livres de Parâmetros: A cota do conceptor é mostrada como capaz de prever a separabilidade do conceito (medida pela AUC da sondagem) com correlações de Pearson de até $r=0,96$ em três modelos ajustados para instruções (Gemma-2-2B-IT, Gemma-2-9B-IT, Qwen-2.5-3B-Instruct) e três dimensões semânticas, superando métricas tradicionais baseadas em variância.
3. Análise de Composicionalidade: O artigo estabelece que a composição booleana é governada pela sobreposição de subespaços.
   • NÃO é eficaz mesmo com baixa sobreposição (por exemplo, separando inclinação política de sentimento).
   • E requer relação temática e sobreposição significativa de subespaço (por exemplo, posição sobre aborto e direitos LGBTQ) para produzir direcionamento conjunto significativo.
4. Robustez e Segurança: Uma avaliação sistemática do espaço de design em cinco eixos (posicionamento, escopo de token, regra de combinação, fonte de treinamento, modo autoregressivo) revela que o direcionamento por conceptor produz substancialmente menos saídas degeneradas (13% vs. 58% para linhas de base aditivas), enquanto iguala ou supera métodos aditivos em taxas de vitória.

Resultados Experimentais

A avaliação abrange três modelos e três conceitos (sentimento, inclinação política, depressão).

• Desempenho: Conceptores alcançam taxas de vitória de 0,70–0,82 em tarefas de sentimento, superando significativamente as linhas de base aditivas (0,50–0,62). A vantagem é mais pronunciada em camadas onde os subespaços dos conceitos são multidimensionais.
• Degeneração: Métodos aditivos frequentemente produzem texto repetitivo ou incoerente (saídas degeneradas). A interpolação por conceptor reduz essa taxa para 13%, sugerindo que conceptores direcionam dentro da variedade de ativação natural do modelo, em vez de empurrar estados para fora da distribuição.
• Composicionalidade:
  • Em cenários de baixa sobreposição (Política $\times$ Sentimento, sobreposição $\approx 0,19$), a operação E-NÃO isola com sucesso um conceito (por exemplo, sentimento) enquanto suprime o outro, aguçando a seletividade.
  • Em cenários de alta sobreposição (Aborto $\times$ LGBTQ, sobreposição $\approx 0,50$), a operação E ativa com sucesso ambos os conceitos simultaneamente, uma capacidade não alcançável com métodos de vetor único.
• Generalização: O método generaliza para conjuntos de teste retidos maiores (500 prompts) e mantém robustez contra prompts adversariais (por exemplo, instruções de sistema explícitas de inclinação à direita).

Significado e Alegações

O artigo alega que o direcionamento por conceptor oferece uma alternativa geometricamente fundamentada, composicional e praticamente mais segura ao direcionamento de direção única. Ao preservar o subespaço multidimensional completo de um conceito, os conceptores evitam a perda de informação inerente à subtração de vetores. A capacidade de realizar operações booleanas sem retreinamento ou acesso aos dados originais permite controle complexo de múltiplos conceitos (por exemplo, "seja político, mas não partidário"), algo que era difícil de alcançar anteriormente.

Os autores posicionam este trabalho como um passo em direção ao alinhamento no momento da inferência, onde conceitos prejudiciais podem ser suprimidos (via NÃO) enquanto se preservam capacidades-alvo, movendo a segurança composicional da engenharia de prompts para operações algébricas rotineiras. Eles notam explicitamente que o método é avaliado em modelos menores (até 9 bilhões de parâmetros) e que a escalabilidade para modelos de tamanho de implantação permanece uma direção futura, embora a geometria subjacente seja alegada como agnóstica à arquitetura.

Limitações Reconhecidas:

• A avaliação é limitada a três modelos e três conceitos semânticos.
• Altas forças de direcionamento ainda podem levar a incoerência residual.
• Experimentos de composicionalidade são atualmente limitados a dois pares de conceitos.
• O método depende de classificadores automatizados para pontuação, o que pode introduzir viés.
• Considerações éticas sobre o potencial de amplificar viés ou manipular enquadramento são explicitamente levantadas, enquadrando o trabalho como uma análise de controlabilidade, e não como uma ferramenta de persuasão.