Parallelograms Strike Back: LLMs Generate Better Analogies than People

Título: Paralelogramos Contra-Atacam: LLMs Geram Analogias Melhores que Humanos

1. Problema e Contexto

O estudo aborda a natureza dos modelos de analogia de quatro termos (ex: $A:B::C:D$).

• O Modelo Clássico: Tradicionalmente, as analogias são modeladas geometricamente como "paralelogramos" em um espaço vetorial, onde a relação entre $A$ e $B$ é representada por um vetor que, quando aplicado a $C$, resulta em $D$ ($D \approx C + B - A$).
• O Desafio Recente: Trabalhos anteriores (Peterson et al., 2020) sugeriram que este modelo geométrico falha ao capturar como os humanos produzem analogias. Em vez disso, heurísticas de similaridade local simples (como escolher uma palavra muito similar a $C$, ignorando a relação $A:B$) pareciam explicar melhor o comportamento humano.
• A Questão Central: A falha do modelo de paralelogramo deve-se a ser um modelo ruim das relações analógicas em si, ou simplesmente porque os humanos são ruins em gerar analogias que preservam a relação correta? O surgimento de Grandes Modelos de Linguagem (LLMs) oferece uma oportunidade para testar essa hipótese, já que LLMs podem realizar raciocínio relacional emergente.

2. Metodologia

Os autores compararam diretamente as completudes de analogias geradas por humanos e por seis LLMs de última geração (incluindo modelos fechados como GPT-5-mini e o4-mini, e abertos como DeepSeek-V3.1, Qwen3 e Gemma-3).

• Dados: Foram utilizados 846 itens de analogia de quatro termos do conjunto de dados de Peterson et al. (2020), cobrindo diversas relações semânticas (ex: parte-todo, antônimos, causa-efeito).
• Geração: Os LLMs foram promptados com 4 variações semânticas equivalentes de cada analogia, repetidas 10 vezes cada (temperatura = 1.0), gerando um total de 203.040 respostas.
• Avaliação Humana: 390 participantes humanos avaliaram a qualidade das analogias (tanto as geradas por humanos quanto as pelos LLMs) em uma escala de 1 a 7, julgando o quão similar era a relação $C:D$ em comparação a $A:B$.
• Análise Vetorial: Todas as palavras foram mapeadas usando embeddings GloVe (300 dimensões) para calcular:
  1. Alinhamento ao Paralelogramo: Similaridade entre o vetor da relação $(B-A)$ e o vetor da resposta $(D-C)$.
  2. Similaridade Local: Similaridade entre $C$ e $D$ (regra $C:D$) e heurísticas de vizinho mais próximo (NN).
  3. Acessibilidade Lexical: Frequência das palavras geradas (usando o pacote wordfreq).

3. Contribuições e Resultados Principais

A. LLMs são julgados como superiores aos humanos

• As analogias geradas por LLMs receberam pontuações de similaridade relacional significativamente mais altas do que as geradas por humanos na maioria dos casos.
• O modelo GPT-5-mini apresentou a maior vantagem, seguido pelo o4-mini e Qwen3-235B.

B. O Modelo de Paralelogramo é um bom preditor de "boa analogia", mesmo que não descreva a geração humana

• Predição de Respostas: Tanto as respostas de humanos quanto as de LLMs foram melhor previstas por heurísticas de similaridade local do que pelo modelo de paralelogramo (replicando Peterson et al., 2020).
• Gap de Desempenho: No entanto, o modelo de paralelogramo foi significativamente melhor em prever as respostas dos LLMs do que as dos humanos. A lacuna de desempenho entre o modelo de paralelogramo e as heurísticas locais foi muito menor para os LLMs.
• Correlação com Qualidade: O alinhamento ao paralelogramo no espaço de embeddings (GloVe) foi um forte preditor positivo das avaliações humanas. Ou seja, quanto mais uma resposta se encaixava na estrutura geométrica do paralelogramo, mais os humanos a consideravam uma boa analogia.

C. O Papel da Acessibilidade Lexical (Frequência de Palavras)

• As respostas dos LLMs tendiam a usar palavras de menor frequência (menos acessíveis) do que as dos humanos.
• A baixa frequência das palavras foi um preditor negativo (ou seja, palavras menos frequentes receberam notas mais altas).
• Isso sugere que os humanos, sob pressão cognitiva ou limitações de recuperação, tendem a escolher palavras comuns e acessíveis, que muitas vezes resultam em analogias mais fracas, enquanto os LLMs conseguem acessar termos mais precisos e menos frequentes.

D. A "Cauda Longa" das Respostas Humanas

• A vantagem dos LLMs não se deve a serem uniformemente superiores em todas as respostas, mas sim a uma distribuição diferente:
  • Humanos: Produzem uma "cauda longa" de completudes de baixa qualidade (respostas raras e fracas).
  • LLMs: Concentram suas respostas em poucas opções dominantes (modais).
• Experimento Modal: Quando a comparação foi restrita apenas às respostas mais frequentes (modais) de ambos os sistemas, a vantagem estatística dos LLMs desapareceu. As respostas modais de humanos e LLMs foram julgadas como estatisticamente equivalentes.
• Conclusão Parcial: A superioridade percebida dos LLMs vem da sua consistência em evitar as respostas ruins da cauda longa humana, não de uma superioridade absoluta em todas as gerações.

E. Representações Internas vs. Espaço de Embeddings

• Os autores testaram se o alinhamento ao paralelogramo nas representações internas dos LLMs (camadas residuais) explicava a qualidade.
• Resultado: O alinhamento ao paralelogramo no espaço de embeddings externo (GloVe) predizia melhor as avaliações humanas do que as representações internas dos próprios LLMs.
• Implicação: Os LLMs não necessariamente "pensam" em paralelogramos geométricos em suas representações latentes; em vez disso, eles geram respostas que satisfazem as restrições relacionais que os humanos valorizam, e que são capturadas por modelos de distribuição como o GloVe.

4. Significado e Conclusão

O artigo oferece uma reavaliação do modelo clássico de paralelogramo:

1. Validade Psicológica: O modelo de paralelogramo não é um modelo ruim das relações analógicas em si; ele captura o que os humanos consideram uma "boa analogia".
2. Falha Humana vs. Modelo: A discrepância observada anteriormente (onde heurísticas locais pareciam melhores) deve-se à dificuldade humana em produzir consistentemente analogias que respeitem a estrutura relacional geométrica, e não à incapacidade do modelo de descrever a relação.
3. Capacidade dos LLMs: Os LLMs demonstram uma capacidade superior de gerar respostas que satisfazem essas restrições relacionais e de evitar a degradação cognitiva (escolha de palavras muito acessíveis) que afeta os humanos.

Em suma, os LLMs "contra-atacam" o modelo de paralelogramo, provando que a estrutura geométrica é fundamental para analogias de alta qualidade, e que os humanos, muitas vezes, falham em gerar tais respostas, enquanto os LLMs o fazem com mais consistência.