From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

Título: De Associações a Ativações: Comparando a Geometria Semântica Comportamental e de Estado Oculto em LLMs

1. Problema e Motivação

Na ciência cognitiva, o conhecimento semântico é frequentemente tratado como uma estrutura latente (não observável diretamente), que deve ser inferida através do comportamento (ex: tarefas de associação de palavras). Com o advento dos Grandes Modelos de Linguagem (LLMs), surge uma questão empírica crucial: até que ponto a geometria semântica interna (estados ocultos) de um LLM pode ser recuperada ou inferida apenas a partir de seu comportamento observável?

Diferentemente dos humanos, onde apenas o comportamento é acessível, nos LLMs é possível observar tanto as respostas (comportamento) quanto as representações internas (estados ocultos das camadas do transformador). O objetivo deste trabalho é investigar se tarefas comportamentais padronizadas (psicolinguísticas) podem servir como instrumentos de medição precisos para reconstruir a organização semântica interna desses modelos, sem acesso aos logits ou pesos internos.

2. Metodologia

Os autores propõem um framework que compara geometrias derivadas do comportamento com geometrias derivadas de estados ocultos, utilizando Representational Similarity Analysis (RSA).

• Modelos e Dados:

  • Foram avaliados 8 modelos transformadores instruídos (ex: Llama-3.1, Mistral, Gemma, Falcon, Phi-4, Qwen2.5).
  • Um vocabulário compartilhado de 5.000 substantivos em inglês (extraídos do SUBTLEX-US e filtrados via corpus C4).
  • Coleta de mais de 17,5 milhões de tentativas (trials) em total.

• Paradigmas Comportamentais:
  Dois paradigmas foram utilizados para gerar matrizes de similaridade comportamental ($S_{beh}$):

  1. Escolha Forçada (Forced Choice - FC): O modelo recebe uma palavra-chave e 16 candidatos, devendo selecionar exatamente 2 palavras mais relacionadas. Isso gera uma matriz de contagem densa e controlada.
  2. Associação Livre (Free Association - FA): O modelo recebe uma palavra-chave e deve gerar 5 associações distintas. Isso gera uma matriz mais esparsa e de cauda longa.
  • As matrizes de comportamento foram reponderadas usando PPMI (Informação Mútua Ponto a Ponto Positiva) para mitigar efeitos de frequência global.

• Extração de Estados Ocultos:
  Para cada modelo, foram extraídas representações de palavras em diferentes camadas ($\ell$) e sob quatro estratégias de contexto:

  1. Média (Averaged): Média de 50 sentenças naturais do corpus C4.
  2. Significado (Meaning): Prompt fixo "Qual é o significado da palavra {w}?".
  3. Tarefa (FC): O prompt usado na tarefa de escolha forçada (sem a lista de candidatos).
  4. Tarefa (FA): O prompt usado na associação livre.
  • As similaridades internas ($S_{hid}$) foram calculadas como a similaridade cosseno entre os vetores de estado oculto, com centralização da média (mean-centering) para corrigir anisotropia.

• Análises de Avaliação:

  1. RSA (Representational Similarity Analysis): Correlação de Pearson entre as matrizes de similaridade de pares de palavras dos estados ocultos e das referências comportamentais/lexicais.
  2. Sobreposição de Vizinhos Mais Próximos (NN@k): Medida local de quão bem os vizinhos mais próximos em um espaço correspondem ao outro.
  3. Regressão Ridge em Palavras de Teste (Held-out-words): Tentativa de prever a similaridade de estados ocultos de pares de palavras não vistos durante o treinamento, usando como preditores: similaridades lexicais (FastText, BERT), consenso entre modelos e similaridades comportamentais (FC/FA).

3. Contribuições Principais

1. Alinhamento Comportamento-Ativação: Demonstração empírica de que o comportamento de um LLM (especialmente em tarefas de escolha forçada) preserva informações recuperáveis sobre sua geometria semântica interna, mesmo sem acesso aos logits.
2. Predição além de Baselines: A similaridade comportamental, particularmente a de Escolha Forçada, prevê similaridades de estados ocultos em palavras não vistas, superando baselines lexicais (FastText, BERT) e o consenso entre modelos.
3. Dataset e Reprodutibilidade: Liberação de um dataset em larga escala (17,5M+ trials) e código completo para reprodutibilidade, cobrindo múltiplos modelos e paradigmas.

4. Resultados Chave

• Escolha Forçada (FC) vs. Associação Livre (FA):

  • O comportamento de Escolha Forçada alinha-se significativamente melhor com a geometria de estados ocultos do que a Associação Livre.
  • A FC apresenta correlações RSA médias de $r \approx 0.46$ (com estratégias de extração alinhadas à tarefa), enquanto a FA fica em torno de $r \approx 0.19$.
  • Motivo: A FC concentra as observações em um conjunto de candidatos compartilhado, criando uma matriz de resposta menos esparsa e com melhor relação sinal-ruído. A FA dispersa a probabilidade, resultando em uma matriz esparsa com menos interseções compartilhadas entre as palavras-chave.

• Estratégias de Extração e Camadas:

  • O alinhamento é mais forte em camadas intermediárias (aprox. camadas 10-20) quando se usam prompts de "Significado" ou "Tarefa".
  • A estratégia "Média" (contextos naturais) desloca o pico de alinhamento para camadas mais profundas, mas com correlações geralmente menores para FC.

• Consenso entre Modelos:

  • A similaridade compartilhada entre diferentes LLMs (consensus) é um preditor muito forte da geometria interna de um modelo-alvo ($r \approx 0.79$), sugerindo a existência de um "espaço semântico platônico" ou universal compartilhado entre modelos distintos.

• Regressão Ridge:

  • Adicionar a similaridade comportamental (FC) ao modelo de regressão (que já inclui FastText, BERT e consenso) aumenta o $R^2$ médio em +0.022.
  • A FA contribui marginalmente (+0.002), indicando que a FC captura nuances específicas da organização interna que os baselines lexicais e o consenso não capturam.

5. Significado e Implicações

• Validação de Hipóteses Cognitivas: O estudo valida a premissa central da ciência cognitiva de que o comportamento estruturado é uma janela para estados internos latentes. Se o comportamento de um LLM (apenas as saídas discretas) pode prever sua estrutura interna, isso sugere que a "caixa preta" não é totalmente opaca.
• Interpretabilidade Prática: Para cenários onde apenas o acesso à API (comportamento) está disponível, tarefas de Escolha Forçada são ferramentas superiores para inferir a organização semântica do modelo em comparação com tarefas de geração aberta.
• Limitações: O vocabulário foi restrito a substantivos de alta frequência em inglês. Além disso, a análise é correlacional; forte alinhamento não prova causalidade direta (que os estados ocultos causam o comportamento específico), embora a arquitetura do modelo sugira essa relação.

Conclusão: O trabalho demonstra que a geometria semântica interna de LLMs é recuperável através de medições comportamentais, mas a fidelidade dessa recuperação depende criticamente do desenho da tarefa. Tarefas controladas e comparativas (Escolha Forçada) oferecem um sinal muito mais limpo e informativo sobre a estrutura interna do modelo do que a associação livre.