Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

Resumo Técnico: Representações de Modelos de Linguagem e Julgamentos Humanos de Plausibilidade de Eventos

1. Problema e Motivação

Os Modelos de Linguagem (LMs) são frequentemente utilizados para tarefas que exigem a distinção entre fatos reais, cenários hipotéticos e ficção ou nonsense. No entanto, estudos recentes questionaram a capacidade dos LMs de categorizar sentenças com base em sua "modalidade" (possível, impossível, inconcebível), sugerindo que suas estimativas de probabilidade são apenas reflexos de características superficiais e não de um entendimento real do mundo.

O problema central investigado é: Os LMs possuem representações internas coerentes das categorias modais que vão além das probabilidades de saída? Além disso, o artigo busca entender como essas representações se desenvolvem (em escala, camadas e treinamento) e se elas refletem as intuições humanas de categorização.

2. Metodologia

Os autores empregam técnicas de interpretabilidade mecânica para investigar as representações internas dos modelos. O trabalho é dividido em quatro estudos principais:

• Identificação de Vetores de Diferença Modal (Modal Difference Vectors):

  • Utilizando a técnica de Adição de Ativação Contrastiva (CAA), os autores extraem vetores lineares que representam a diferença entre pares de categorias modais (ex: Provável vs. Impossível).
  • Esses vetores são calculados subtraindo as representações de ativação (hidden states) de pares de sentenças minimamente diferentes que pertencem a categorias modais distintas.
  • Datasets: Foram utilizados múltiplos conjuntos de dados (Hu et al., 2025b; Goulding et al., 2024; etc.) contendo sentenças classificadas como: Provável, Improvável, Impossível (violação de leis físicas/naturais) e Inconcebível (violação de restrições de seleção semântica/conceitual).
  • Modelos: Uma variedade de modelos de diferentes escalas (GPT-2, Llama-3.2, OLMo-2, Gemma-2) e tamanhos (de 1B a 13B+ parâmetros).

• Análise de Desenvolvimento (Escalonamento, Camadas e Treinamento):

  • Investigação de quando e como os vetores de diferença modal emergem em função do número de parâmetros, profundidade da camada e etapas de treinamento.

• Modelagem do Comportamento Humano:

  • Os vetores de diferença modal são projetados para criar um espaço de características 3D.
  • Modelos de regressão logística são treinados para prever a distribuição de respostas de participantes humanos (ex: proporção de pessoas que classificam um evento como "possível" ou "impossível") baseando-se nessas projeções.

• Interpretação de Características:

  • Correlação das projeções dos vetores com avaliações humanas de características interpretáveis (ex: probabilidade subjetiva do evento, imagibilidade, gramaticalidade, valência emocional).

3. Contribuições Principais

1. Descoberta de Vetores de Diferença Modal: Demonstração de que os LMs contêm representações lineares específicas que discriminam categorias modais, superando as estimativas de probabilidade bruta do modelo.
2. Mapeamento do Desenvolvimento: Identificação de uma ordem consistente de emergência dessas representações: distinções grosseiras (ex: Inconcebível vs. Outros) aparecem primeiro, seguidas por distinções mais finas (ex: Provável vs. Impossível, depois Provável vs. Improvável).
3. Correspondência com Intuições Humanas: Evidência de que o espaço de características derivado desses vetores captura nuances do comportamento de categorização humana, incluindo a incerteza e a natureza gradativa dos julgamentos humanos.
4. Interpretabilidade Semântica: Ligação direta entre vetores específicos e conceitos humanos compreensíveis, como "imagibilidade" para distinguir eventos impossíveis de inconcebíveis.

4. Resultados Chave

• Desempenho de Classificação (RQ1):

  • Para modelos com ≥ 2 bilhões de parâmetros, os vetores de diferença modal superam consistentemente as estimativas de probabilidade e outras linhas de base (como componentes principais) na classificação de sentenças por categoria modal em conjuntos de dados de generalização.
  • Modelos menores (< 2B) não conseguem formar esses vetores de forma confiável, indicando um limiar de escala necessário para essa representação.

• Dinâmica de Emergência (RQ2):

  • As distinções modais emergem em uma ordem hierárquica intuitiva durante o treinamento e através das camadas:
    1. Primeiro: Distinção entre Inconcebível e todas as outras categorias (baseada em violações de restrições de seleção).
    2. Depois: Distinção entre Provável e Impossível.
    3. Em seguida: Distinção entre Provável e Improvável.
    4. Por fim: Distinção mais fina entre Improvável e Impossível.
  • Isso reflete o desenvolvimento cognitivo humano, onde crianças distinguem o "impossível" do "inconcebível" antes de refinar julgamentos de probabilidade.

• Modelagem Humana (RQ3):

  • O espaço de características gerado pelas projeções nos vetores de diferença modal prevê com maior precisão a distribuição de respostas humanas do que as probabilidades do modelo.
  • Sentenças que caem entre os clusters no espaço vetorial geram maior desacordo entre humanos, replicando a natureza "fuzzy" (difusa) das intuições humanas.

• Interpretação (RQ4):

  • O vetor Provável-Improvável correlaciona-se fortemente com a "probabilidade subjetiva do evento".
  • O vetor Impossível-Inconcebível correlaciona-se seletivamente com a imagibilidade (capacidade de visualizar o evento) e a presença de objetos físicos/espaços. Isso sugere que a capacidade de "imaginar" um cenário é o fator chave que os humanos (e os modelos) usam para distinguir o impossível (que viola leis físicas, mas é imaginável) do inconcebível (que é semanticamente incoerente e não imaginável).

5. Significado e Implicações

Este trabalho oferece uma nova perspectiva sobre como os Modelos de Linguagem representam o conhecimento do mundo:

• Além da Probabilidade: Os LMs não dependem apenas de estatísticas superficiais; eles codificam ativamente conceitos de plausibilidade e modalidades em seus espaços latentes.
• Modelos de Mundo (World Models): A descoberta de que os vetores de diferença modal refletem as intuições humanas sugere que os LMs podem estar aprendendo "teorias intuitivas" sobre a física e a causalidade, similares às humanas.
• Ferramenta para Ciência Cognitiva: A técnica proposta permite usar os LMs como uma ferramenta para investigar a própria cognição humana, gerando hipóteses testáveis (ex: o papel da imaginação na distinção entre impossível e inconcebível).
• Aplicações Práticas: Para sistemas de IA de alto risco, a capacidade de distinguir fatos de fantasia ou nonsense é crucial. Este método oferece uma maneira mais robusta de detectar essas categorias do que apenas confiar na perplexidade ou probabilidade do modelo.

Em suma, o artigo demonstra que, ao contrário de crenças anteriores, os LMs desenvolvem representações internas ricas e estruturadas sobre a plausibilidade de eventos, que espelham e podem até elucidar os mecanismos de categorização modal humana.