Parallelograms Strike Back: LLMs Generate Better Analogies than People

Probleemstelling

De studie onderzoekt de geldigheid van het klassieke parallelogrammodel voor woordanalogieën (de structuur $A:B::C:D$). Volgens dit model, geïntroduceerd door Rumelhart en Abrahamson (1973), bestaan concepten als punten in een geometrische mentale ruimte, waarbij relaties worden weergegeven als vectoren. Het oplossen van een analogie zou dan betekenen dat men de vector $B-A$ toepast op $C$ om $D$ te vinden ($D \approx C + B - A$).

Eerdere onderzoek (Peterson et al., 2020) suggereerde echter dat dit model slecht presteert bij het voorspellen van door mensen gegenereerde analogieën. In plaats daarvan bleken eenvoudige lokale similariteitsheuristieken (bijvoorbeeld het kiezen van een woord dat sterk lijkt op $C$, zonder rekening te houden met de relatie tussen $A$ en $B$) een betere voorspeller te zijn. De centrale vraag van dit artikel is: faalt het parallelogrammodel omdat het een slecht model is van relationele relaties, of omdat mensen simpelweg moeite hebben om analogieën te genereren die aan deze relationele constraints voldoen? De auteurs onderzoeken dit door Large Language Models (LLMs) te vergelijken met mensen.

Methodologie

1. Data en Stimuli:

• De auteurs gebruikten een dataset van 846 woordanalogieën uit eerdere studies (Green et al., 2010; Kmiecik & Morrison, 2013; Jurgens et al., 2012).
• Ze promptten zes state-of-the-art LLMs (twee gesloten bron: GPT-5-mini, o4-mini; vier open source: DeepSeek-V3.1, Qwen3-235B, Qwen3-32B, Gemma-3-27B) om de ontbrekende termen ($D$) in te vullen.
• Om robustheid te garanderen, werd elke analogie 40 keer gegenereerd per model (4 verschillende prompt-varianten $\times$ 10 herhalingen met temperatuur = 1.0).
• Dit resulteerde in 203.040 LLM-antwoorden, vergeleken met 26.265 menselijke antwoorden uit de oorspronkelijke dataset.

2. Menselijke Evaluatie:

• Deelnemers: 390 moedertaalsprekers van het Engels (via Prolific).
• Taak: Deelnemers beoordeelden op een schaal van 1 tot 7 hoe sterk de relatie tussen $C$ en $D$ overeenkwam met de relatie tussen $A$ en $B$.
• Er werden 4.048 analogieën gebruikt voor de beoordeling, bestaande uit de stimuli en de gegenereerde antwoorden van zowel mensen als LLMs.

3. Analyse en Modellen:

• Embeddings: Woorden werden vertegenwoordigd met 300-dimensionale GloVe-embeddings (getraind op Common Crawl).
• Voorspellende Modellen: Drie regels werden getest om de verdeling van antwoorden te voorspellen:
  1. Parallelogrammodel: Ranken op basis van de vector $v(B) - v(A) + v(C)$.
  2. $C:D$ Similariteit: Ranken op basis van de cosinus-similariteit tussen $C$ en $D$ (ignoreren van de $A:B$ relatie).
  3. Nearest-Neighbor (NN) Heuristiek: Kiezen of $D$ dichter bij $B$ of $C$ ligt, afhankelijk van de afstand van $A$.
• Metriek: Cumulative Proportion Retrieved (CPR) werd gebruikt om te meten hoeveel van de werkelijke antwoorden in de top-$\tau$% van de voorspellingen van het model zaten.
• Regressieanalyse: Om te bepalen wat de hogere scores van LLMs verklaart, werden vier voorspellers geanalyseerd: parallelogram-alignment, lokale similariteit, NN-score en woordfrequentie (als maat voor lexicaal bereik).

Belangrijkste Bijdragen en Resultaten

1. LLMs genereren objectief betere analogieën
Mensen beoordeelden LLM-gegenereerde analogieën consequent als beter dan menselijk gegenereerde analogieën. De gemiddelde ratingverschillen waren statistisch significant voor de meeste modellen (bijv. GPT-5-mini had een effectgrootte $b = 0.18$). De enige uitzondering was Qwen3-32B, waarbij geen significant verschil werd gevonden.

2. Het parallelogrammodel voorspelt LLM-antwoorden beter dan menselijke antwoorden
Hoewel lokale similariteitsheuristieken (zoals $C:D$ similariteit) over het algemeen nog steeds de beste voorspellers waren voor de volledige verdeling van antwoorden (zowel bij mensen als LLMs), presteerde het parallelogrammodel beduidend beter bij LLMs dan bij mensen.

• De kloof tussen de prestaties van het parallelogrammodel en de similariteitsheuristieken was meer dan twee keer zo groot voor mensen als voor LLMs.
• Dit suggereert dat LLMs de relationele structuur van het parallelogrammodel beter volgen dan mensen.

3. Wat verklaart het voordeel van LLMs?
Een regressieanalyse toonde aan dat twee factoren de hogere scores van LLMs voorspellen:

• Parallelogram-alignment: Hoe beter de LLM-antwoorden de vectorrelatie in de GloVe-ruimte volgen, hoe hoger de menselijke beoordeling.
• Lexicaal bereik (Woordfrequentie): LLMs gebruikten vaker minder frequente (minder toegankelijke) woorden dan mensen. Mensen neigden om minder frequente woorden hoger te beoordelen.
• Opmerkelijk: Lokale similariteit ($C:D$) was geen positieve voorspeller; sterker zelfs, als LLM-antwoorden te veel leken op $C$, werden ze lager beoordeeld.

4. De "Long Tail" van menselijke antwoorden
Het voordeel van LLMs wordt niet gedreven door uniform superieure antwoorden, maar door het feit dat mensen een lange staart van zwakke antwoorden produceren.

• Menselijke antwoorden waren veel verspreider (modale antwoorden waren slechts 64% van de totale respons).
• LLMs concentreerden zich op een paar dominante antwoorden (85%).
• Cruciaal resultaat: Wanneer de vergelijking beperkt wordt tot alleen de modale (meest frequente) antwoorden van zowel mensen als LLMs, verdwijnt het voordeel van de LLM. De scores zijn dan statistisch niet significant verschillend. Echter, zelfs binnen deze modale antwoorden voorspellen parallelogram-alignment en lagere woordfrequentie nog steeds welke antwoorden beter worden beoordeeld.

5. Interne representaties vs. Menselijke oordelen
De auteurs onderzochten of de interne representaties van de LLMs (in de residual stream) het parallelogrammodel volgen. Ze vonden dat de parallelogram-alignment in de externe GloVe-ruimte menselijke oordelen beter voorspelt dan de interne embeddings van de LLMs zelf. Dit suggereert dat LLMs niet noodzakelijkerwijs "geometrisch" denken in hun interne lagen, maar wel antwoorden genereren die voldoen aan de relationele constraints die mensen als goed ervaren.

Significantie en Conclusie

De studie biedt een nieuw perspectief op de debatten over analogisch redeneren:

1. Herwaardering van het parallelogrammodel: Het model is niet per se een slechte beschrijving van wat een "goede" analogie is. Mensen prefereren parallelogram-achtige relaties, maar zijn vaak niet in staat om deze consistent te genereren onder cognitieve druk of beperkingen.
2. LLMs als cognitieve benchmark: LLMs blijken beter in staat om relationele constraints te respecteren en minder afhankelijk te zijn van de "gemakkelijke" route van lokaal gelijke woorden, wat leidt tot door mensen als superieur ervaren output.
3. Rol van Lexicale Bereikbaarheid: Mensen waarderen analogieën met minder frequente woorden hoger, wat suggereert dat creativiteit in analogieën deels wordt gedefinieerd door het vermogen om verder te kijken dan de meest toegankelijke woorden.

Kortom, het parallelogrammodel blijft een krachtige theorie voor wat mensen als een goede analogie beschouwen, maar menselijke productie is vaak suboptimaal, terwijl LLMs deze relationele structuur consistentere kunnen repliceren.