Semantic Structure of Feature Space in Large Language Models

1. Formulação do Problema

Embora pesquisas recentes tenham estabelecido que características semânticas específicas (por exemplo, engano, recusa, bajulação) em Grandes Modelos de Linguagem (LLMs) são codificadas como direções lineares em estados ocultos, a abordagem predominante trata essas características de forma isolada. Essa perspectiva assume que as características são ortogonais (independentes). No entanto, pesquisas psicológicas (especificamente a tradição do "diferencial semântico") sugerem que as associações semânticas humanas são altamente intercorrelacionadas e podem ser reduzidas a um subespaço de baixa dimensionalidade (por exemplo, Avaliação, Potência, Atividade).

O artigo aborda uma lacuna crítica: As relações geométricas entre características semânticas em LLMs espelham as associações psicológicas humanas? Especificamente, investiga se os espaços de características de LLMs são compostos por eixos independentes ou se exibem não ortogonalidade significativa (emaranhamento) que reflete estruturas culturais e cognitivas humanas.

2. Metodologia

O estudo emprega uma metodologia em múltiplas etapas, combinando dados de pesquisa, análise de ativação e experimentos de intervenção em modelos Llama 3 (3B e 70B) e modelos Qwen3.

A. Construção de Dados

• Base Humana: Uma pesquisa com 1.750 respondentes avaliou 360 palavras em 32 escalas semânticas (por exemplo, bonito-feio, macio-duro). Este conjunto de dados serve como verdade fundamental para associações semânticas humanas.
• Vetores de Características de LLM (Palavras): Para cada uma das 360 palavras, vetores de características foram extraídos dos estados ocultos do LLM.
  • Protocolo: Quatro prompts foram usados por palavra (por exemplo, "Fale sobre {palavra}", "Defina {palavra}").
  • Extração: As ativações foram coletadas de camadas específicas (Camada 8 para 3B, Camada 40 para 70B) e médias entre tokens e prompts para criar um único vetor robusto por palavra.
• Eixos Semânticos de LLM: 32 eixos semânticos foram construídos usando um design de par contrastivo.
  • Para cada escala (por exemplo, bom-ruim), 10 pares de antônimos foram selecionados.
  • Vetores de características para cada antônimo foram gerados, e o vetor do eixo foi calculado como a diferença média entre os vetores de antônimos positivos e negativos:
    $$\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$$

B. Técnicas Analíticas

1. Correlação de Projeção: Projetou vetores de características de palavras nos eixos semânticos e correlacionou essas projeções com as classificações da pesquisa humana.
2. Alinhamento Geométrico: Calculou Similaridades de Cosseno entre os próprios eixos semânticos para testar se os eixos são não ortogonais. Essas similaridades geométricas foram então correlacionadas com as correlações em pares encontradas nos dados da pesquisa humana.
3. Redução de Dimensionalidade: Aplicou Análise de Componentes Principais (PCA) tanto aos dados da pesquisa quanto aos eixos semânticos de LLM para determinar se a variância em ambos os espaços é capturada por um subespaço de baixa dimensionalidade (especificamente os primeiros 3 componentes). Análise de Correlação Canônica (CCA) foi usada para alinhar os subespaços dos dados de LLM e humanos.
4. Intervenções de Direcionamento (Steering): Para testar implicações práticas, os autores realizaram intervenções de "direcionamento".
   • Mecanismo: Adicionou um vetor de eixo semântico escalado ($\alpha \hat{f}$) ao fluxo residual durante a passagem direta de um prompt pedindo ao modelo para classificar uma palavra.
   • Medição: Mediu a mudança na probabilidade do modelo de selecionar um antônimo específico (efeito de transbordamento) em escalas fora do alvo.
   • Hipótese: Se os eixos estiverem geometricamente alinhados, o direcionamento ao longo de um eixo deve causar efeitos de transbordamento previsíveis em outros eixos, proporcionais à sua similaridade de cosseno.

3. Contribuições Principais

1. Validação de Geometria Semelhante à Humana: Demonstrou que a estrutura geométrica dos espaços de características de LLM não é aleatória ou puramente ortogonal, mas espelha de perto as associações semânticas psicológicas humanas.
2. Não Ortogonalidade de Características: Provou que os eixos semânticos em LLMs são significativamente não ortogonais. A similaridade de cosseno entre dois eixos no modelo prevê a correlação entre essas escalas em pesquisas humanas.
3. Subespaço de Baixa Dimensionalidade: Mostrou que uma parte substancial da variância nas características semânticas de LLM (como nos dados humanos) reside dentro de um subespaço de baixa dimensionalidade (aproximadamente 3 dimensões), reproduzindo a estrutura "Avaliação-Potência-Atividade" encontrada na psicologia clássica.
4. Transbordamento Preditivo de Direcionamento: Estabeleceu um link causal entre alinhamento geométrico e comportamento do modelo. Direcionar um modelo ao longo de um eixo semântico induz efeitos de "transbordamento" previsíveis em outros eixos, cuja magnitude é determinada pela similaridade de cosseno entre os eixos.

4. Resultados Principais

• Correlação de Projeção: Há uma forte correlação positiva ($r > 0,3$ a $r > 0,8$) entre a projeção de vetores de palavras em eixos semânticos de LLM e as classificações humanas dessas palavras. Isso vale tanto para modelos pequenos (3B) quanto grandes (70B).
• Correlação de Eixos: As similaridades de cosseno entre eixos semânticos de LLM são altamente preditivas das correlações entre essas escalas na pesquisa humana ($r \approx 0,8$). Isso confirma que a geometria interna do modelo codifica associações culturais humanas.
• Alinhamento PCA:
  • Dados de pesquisa humana reduzidos efetivamente a 3 dimensões.
  • Eixos semânticos de LLM também mostraram que os três primeiros componentes principais explicaram a maioria da variância (>45% para 3B, >33% para 70B).
  • CCA revelou altas correlações entre os subespaços 3D do LLM e a pesquisa humana, indicando que os modelos "pensam" sobre esses conceitos de maneira estruturalmente semelhante aos humanos.
• Transbordamento de Direcionamento:
  • Direcionar uma palavra para um atributo específico (por exemplo, bonito) fez com que o modelo classificasse a palavra mais alto em atributos geometricamente semelhantes (por exemplo, macio).
  • Há uma forte relação linear ($r \approx 0,65 - 0,68$) entre a similaridade de cosseno de dois eixos e a magnitude do efeito de transbordamento.
  • Nota: O modelo 70B mostrou magnitudes de transbordamento menores do que o modelo 3B, sugerindo que modelos maiores são mais resilientes ao direcionamento, mas a relação estrutural (geometria prevendo transbordamento) permanece consistente.

5. Significado e Implicações

• Além do Isolamento: As descobertas desafiam a visão de características de LLM como um catálogo de "botões" independentes. Em vez disso, as características devem ser compreendidas através de suas relações geométricas e dos subespaços que formam.
• Segurança e Controle de IA: Se características críticas para segurança (por exemplo, verdadeiro-falso, seguro-perigoso) residem em um subespaço de baixa dimensionalidade compartilhado, controlar uma pode afetar inadvertidamente outras devido ao emaranhamento geométrico. Isso complica o "direcionamento de características", mas também oferece uma maneira de auditar modelos entendendo essas estruturas relacionais.
• Engenharia de Representação: O estudo valida que técnicas usadas em embeddings de palavras estáticas (como análise de ângulos e dimensões culturais) são aplicáveis e frutíferas para representações profundas de LLM.
• Alinhamento Cognitivo: Os resultados sugerem que, apesar de serem treinados em texto bruto, LLMs desenvolvem representações internas que se alinham estruturalmente com modelos cognitivos humanos do mundo, reforçando a ideia de que LLMs capturam estruturas semânticas humanas.

Em conclusão, o artigo argumenta que a geometria do espaço de características é significativamente humana. Compreender os ângulos entre características e os subespaços que definem é essencial para interpretar, auditar e controlar Grandes Modelos de Linguagem.