💬 NLP

Parallelograms Strike Back: LLMs Generate Better Analogies than People

Die Studie zeigt, dass Large Language Models (LLMs) bei der Erzeugung von Wortanalogien besser mit dem geometrischen Parallelogramm-Modell übereinstimmen als Menschen, was darauf hindeutet, dass das Modell die relationalen Strukturen korrekt beschreibt, während Menschen häufig versagen, diese Relationen konsequent zu erfüllen.

Ursprüngliche Autoren: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Parallelogramme schlagen zurück: Warum KI bessere Analogien findet als Menschen

Stellen Sie sich vor, Sie spielen ein Wortspiel. Jemand sagt: „König ist zu Königin wie Mann ist zu ...?" Die meisten von uns würden sofort „Frau" sagen. Das ist eine klassische Analogie.

Einige Forscher haben lange geglaubt, dass unser Gehirn dabei wie ein Geometer funktioniert: Wir stellen uns Wörter als Punkte in einem unsichtbaren Raum vor. Die Beziehung zwischen „König" und „Königin" ist wie ein Pfeil (ein Vektor). Wenn wir diesen Pfeil auf „Mann" anwenden, landen wir automatisch bei „Frau". Das nennt man das Parallelogramm-Modell.

Aber vor kurzem sagten andere Forscher: „Nein, das stimmt nicht! Menschen sind bei solchen Aufgaben zu faul oder zu abgelenkt. Wir wählen einfach das Wort, das dem dritten Wort am ähnlichsten klingt (z. B. bei 'Mann' wählen wir 'Junge', weil es ähnlich klingt, nicht weil die Beziehung stimmt)."

Die große Frage:
Ist das Parallelogramm-Modell einfach falsch, oder sind wir Menschen nur schlecht darin, diese perfekten geometrischen Beziehungen zu finden?

Um das herauszufinden, haben die Autoren dieser Studie eine neue Art von „Geometer" ins Rennen geschickt: Künstliche Intelligenz (LLMs). Sie haben KI-Modelle die gleichen Analogie-Rätsel lösen lassen wie Menschen und dann von echten Leuten bewerten lassen: „Welche Antwort ist besser?"

Hier ist das Ergebnis, einfach erklärt:

1. Die KI ist der „perfekte Schüler", wir sind die „abgelenkten Schüler"

Wenn die Menschen die Antworten der KI und ihre eigenen verglichen haben, urteilten sie fast immer: „Die Antwort der KI ist besser!"

Warum? Weil die KI-Antworten viel besser dem Parallelogramm-Modell folgten.

Die KI denkt (oder zumindest simuliert sie) wie ein strenger Geometer. Sie berechnet den „Pfeil" von A zu B und zieht ihn auf C. Das Ergebnis passt perfekt.
Wir Menschen machen das oft auch, aber wir lassen uns ablenken. Wir wählen Wörter, die uns gerade einfallen oder die ähnlich klingen, auch wenn die logische Beziehung nicht ganz stimmt.

2. Der „lange Schwanz" der schlechten Antworten

Das Interessanteste an der Studie ist, warum die KI besser abschneidet. Es liegt nicht daran, dass die KI immer genial ist.

Stellen Sie sich eine Party vor:

Die KI ist wie ein sehr disziplinierter DJ. Er spielt fast immer die besten, passendsten Songs.
Wir Menschen sind wie eine laute Menschenmenge. Die meisten von uns singen die richtigen Songs mit. Aber es gibt immer eine kleine Gruppe, die völlig daneben singt, falsche Texte erfindet oder einfach nur „Müll" von sich gibt.

In der Studie gab es viele Antworten von Menschen, die sehr schwach waren (der „lange Schwanz"). Wenn man nur die beliebtesten Antworten von Mensch und KI vergleicht (also die, die am häufigsten genannt wurden), dann ist die KI nicht mehr besser als der Mensch. Wir sind also im Durchschnitt gleich gut, aber die KI macht viel seltener „dumme Fehler".

3. Das Geheimnis: Seltene Wörter und klare Logik

Die KI bekam bessere Noten, weil sie zwei Dinge besser machte:

Sie hielt sich an die Logik: Ihre Antworten passten perfekt in das geometrische Parallelogramm.
Sie nutzte „schwierigere" Wörter: Die KI wählte oft Wörter, die seltener sind (z. B. statt „Junge" eher „Knabe" oder „Nachwuchs"). Menschen neigen dazu, die ersten, einfachsten Wörter zu nehmen, die ihnen in den Sinn kommen. Die KI wagte es, kreativere, seltenere Begriffe zu wählen, die die Beziehung präziser beschreiben.

4. Das große Missverständnis

Früher dachten Forscher: „Das Parallelogramm-Modell ist falsch, weil Menschen es nicht gut nutzen."
Diese Studie sagt: „Nein, das Modell ist richtig! Es beschreibt genau, was wir als gute Analogie empfinden."

Das Problem ist nur, dass wir Menschen im echten Leben oft zu faul oder zu abgelenkt sind, um dieses perfekte Muster zu finden. Die KI hingegen ist wie ein Roboter, der dieses Muster immer befolgt – und genau deshalb finden wir ihre Antworten „besser".

Fazit in einem Satz

Die KI ist nicht unbedingt klüger als wir, aber sie ist zuverlässiger. Sie macht weniger „Dumme-Fehler" und hält sich strikter an die logische Struktur, die wir eigentlich von einer guten Analogie erwarten. Wir Menschen sind kreativ, aber manchmal auch etwas unordentlich – und genau diese Unordnung macht unsere Analogien in den Augen der Zuhörer oft schlechter.

1. Problemstellung

Das Paper untersucht die klassische Debatte um die Natur von Wortanalogien (Vier-Term-Analogien der Form $A:B::C:D$ ).

Der Parallelogramm-Modell-Ansatz: Traditionell wird angenommen, dass Analogien geometrisch als Parallelogramme in einem semantischen Raum modelliert werden können, wobei Relationen als Vektoren dargestellt werden ( $D \approx C + (B - A)$ ).
Die Herausforderung: Neuere Verhaltensstudien (z. B. Peterson et al., 2020) zeigten, dass dieses geometrische Modell menschliche Analogieproduktion schlecht vorhersagt. Stattdessen scheinen einfache Heuristiken der lokalen Ähnlichkeit (z. B. die Wahl eines Wortes, das $C$ sehr ähnlich ist) menschliche Antworten besser zu erklären.
Die offene Frage: Scheitert das Parallelogramm-Modell daran, dass es die menschliche Repräsentation von Relationen falsch abbildet, oder sind Menschen einfach nicht gut darin, analoge Relationen präzise zu generieren? Die Autoren nutzen Large Language Models (LLMs), um diese Frage zu klären, da LLMs komplexe relationale Reasoning-Fähigkeiten zeigen.

2. Methodik

Die Studie vergleicht systematisch menschliche und maschinelle Antworten auf ein etabliertes Datenset.

Datenbasis:
- Es wurden 846 Wortanalogie-Stems aus Peterson et al. (2020) verwendet (abgeleitet aus Green et al., Kmiecik & Morrison, und Jurgens et al.).
- LLMs: Sechs State-of-the-Art-Modelle wurden getestet (zwei geschlossene OpenAI-Modelle: gpt-5-mini, o4-mini; vier Open-Source-Modelle: DeepSeek-V3.1, Qwen3-235B, Qwen3-32B, Gemma-3-27B).
- Prompting: Jedes Analogie-Problem wurde mit vier semantisch äquivalenten Prompt-Varianten 10 Mal bei Temperatur 1.0 generiert, was insgesamt über 200.000 LLM-Antworten ergab.
Menschliche Bewertung:
- 390 Teilnehmer bewerteten auf einer 7-Punkte-Skala, wie ähnlich die Beziehung zwischen $C$ und $D$ der Beziehung zwischen $A$ und $B$ ist.
- Es wurden sowohl menschliche als auch LLM-generierte Completions ( $D$ ) bewertet.
Analysemodelle:
- Embeddings: Alle Wörter wurden in 300-dimensionale GloVe-Vektoren eingebettet.
- Vorhersagemodelle: Drei Regeln wurden verglichen:
  1. Parallelogramm-Modell: $D$ wird durch Vektorarithmetik ( $C + B - A$ ) vorhergesagt.
  2. $C:D$ -Ähnlichkeit: Nur die Ähnlichkeit zwischen $C$ und $D$ zählt.
  3. Nearest-Neighbor (NN) Heuristik: Entscheidung basierend darauf, ob $A$ näher an $B$ oder $C$ liegt.
- Metriken: Cumulative Proportion Retrieved (CPR) zur Bewertung der Vorhersagegenauigkeit und Regressionen zur Erklärung der Bewertungsunterschiede.

3. Wichtige Beiträge und Ergebnisse

A. LLMs erzeugen qualitativ bessere Analogien

Ergebnis: Menschen bewerten LLM-generierte Analogien konsistent höher als menschliche Antworten.
Statistik: Die meisten LLMs zeigten einen signifikanten Vorteil (z. B. gpt-5-mini: $b = 0.18, p < .001$ ). Nur Qwen3-32B zeigte keinen signifikanten Vorteil.
Nuance: Der Vorteil ist nicht uniform. Bei sehr einfachen Relationen (z. B. "Contrary") sind Mensch und Maschine gleich gut. Der Unterschied entsteht durch eine "lange Verteilungsschwanz" (Long Tail) schwacher Antworten bei Menschen, während LLMs konzentrierter auf dominante, hochwertige Antworten antworten.

B. Das Parallelogramm-Modell ist ein besserer Prädiktor für LLMs

Vorhersagekraft: Alle drei Modelle (Parallelogramm, $C:D$ -Ähnlichkeit, NN) sagen LLM-Antworten besser vorher als menschliche Antworten.
Vergleich der Modelle: Während lokale Ähnlichkeitsheuristiken (insbesondere $C:D$ ) für beide Gruppen insgesamt besser funktionieren als das Parallelogramm-Modell, ist die Lücke zwischen Parallelogramm und lokalen Heuristiken bei LLMs deutlich kleiner als bei Menschen. LLMs folgen der Parallelogramm-Struktur also stärker als Menschen.

C. Treiber der höheren Bewertungen

Eine Regressionsanalyse identifizierte zwei Hauptfaktoren, die erklären, warum LLMs besser bewertet werden:

Parallelogramm-Ausrichtung: Je stärker die LLM-Antwort der geometrischen Parallelogramm-Struktur im Embedding-Raum entspricht, desto höher die Bewertung.
Lexikalische Zugänglichkeit (Wortfrequenz): LLMs verwenden häufiger niedrigere Frequenzwörter (weniger zugängliche Wörter) als Menschen. Diese weniger häufigen Wörter wurden von den Bewertern höher eingestuft.

Wichtig: Die lokale Ähnlichkeit ( $C:D$ ) erklärt den Vorteil der LLMs nicht. Tatsächlich korrelierte eine höhere Ähnlichkeit zu $C$ sogar mit leicht niedrigeren Bewertungen für LLMs.

D. Interne Repräsentationen vs. Ausgabequalität

Frage: Entsteht der Vorteil durch eine geometrisch strukturierte interne Repräsentation der LLMs?
Ergebnis: Nein. Die Parallelogramm-Ausrichtung in den internen Vektoren der LLMs (aus den Restschichten extrahiert) sagte die menschlichen Bewertungen kaum vorher.
Schlussfolgerung: Die Parallelogramm-Struktur in externen Verteilungsräumen (wie GloVe) erfasst, was Menschen als gute Analogie werten. LLMs generieren Antworten, die diese Struktur erfüllen, ohne dass ihre internen Repräsentationen notwendigerweise geometrisch im Sinne des Parallelogramm-Modells organisiert sein müssen.

E. Der "Modal"-Effekt

Wenn man nur die häufigsten (modalen) Antworten von Mensch und Maschine vergleicht (und die "schlechten" langen Schwänze der menschlichen Antworten ausschließt), verschwindet der Vorteil der LLMs.
Dennoch bleiben Parallelogramm-Ausrichtung und niedrigere Wortfrequenz auch bei diesen modalen Antworten signifikante Prädiktoren für höhere Bewertungen.

4. Bedeutung und Fazit

Das Paper liefert eine wichtige Neubewertung des klassischen Parallelogramm-Modells der Analogie:

Rehabilitation des Modells: Das Parallelogramm-Modell ist kein schlechtes Modell für gute Analogien. Es scheitert nicht daran, dass die Relationen nicht geometrisch sind, sondern daran, dass Menschen unter kognitiven Constraints (Zeitdruck, Abrufschwierigkeiten) oft Antworten produzieren, die dieser Relation nicht genügen.
Mensch vs. Maschine: Menschen sind oft nicht in der Lage, die relationale Konsistenz (Parallelogramm) bei der Generierung aufrechtzuerhalten, erkennen aber diese Konsistenz bei der Bewertung sofort an. LLMs hingegen generieren konsistenter relationale Antworten, die den menschlichen Qualitätsvorstellungen entsprechen.
Rolle der Heuristiken: Lokale Ähnlichkeitsheuristiken bleiben starke Prädiktoren für die Verteilung der Antworten (sowohl bei Menschen als auch bei LLMs), da starke Analogien oft sowohl relationale als auch semantische Ähnlichkeiten aufweisen.
Methodischer Gewinn: Der Vergleich mit LLMs erlaubt es, zwischen der Fähigkeit, eine Relation zu erkennen, und der Fähigkeit, sie aktiv zu generieren, zu unterscheiden. LLMs fungieren hier als "ideale" Generatoren, die die menschlichen Präferenzen für relationale Konsistenz besser erfüllen als Menschen selbst.

Zusammenfassend zeigt die Studie, dass LLMs menschliche Analogiebewertungen übertreffen, indem sie Antworten produzieren, die stärker den geometrischen Mustern des Parallelogramm-Modells entsprechen und weniger von der bloßen lexikalischen Verfügbarkeit von Wörtern abhängen.