💬 NLP

Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

Diese Studie zeigt, dass die Surprisal-Werte von Sprachmodellen zwar moderate Korrelationen mit Annotationen zur Metapher-Neuheit aufweisen, jedoch divergente Skalierungsverhalten zeigen – abnehmend in der Vorhersagekraft bei größeren Modellen auf korpusbasierten Daten, aber zunehmend bei synthetischen Daten –, was ihre Einschränkungen als umfassende Metrik für linguistische Kreativität verdeutlicht.

Ursprüngliche Autoren: Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das nächste Wort in einem Satz zu erraten. Wenn der Satz „Die Katze saß auf der...“ lautet, kann Ihr Gehirn (und ein Computerprogramm) leicht „Matte“ erraten. Das war leicht vorherzusagen, also war es nicht sehr überraschend. Aber wenn der Satz lautet: „Die Katze saß auf der... Qualle“, macht Ihr Gehirn einen Rückwärtsschritt. Dieses Wort war schwer vorherzusagen, also hat es eine hohe „Surprisal“ (Überraschung).

Dieses Paper stellt eine einfache Frage: Kann dieses Gefühl von „Überraschung“ uns helfen, den Unterschied zwischen einer langweiligen, alten Metapher und einer frischen, kreativen Metapher zu erkennen?

Die große Idee: Vorhersehbarkeit vs. Kreativität

Metaphern sind wie mentale Brücken. Manchmal ist die Brücke ein gut ausgetretener Pfad, den jeder kennt, wie zum Beispiel zu sagen: „Ich habe sein Argument angegriffen“. Jeder weiß, dass man keine Waffe gegen eine Rede einsetzt; es ist eine Standardphrase. Dies ist eine konventionelle Metapher.

Andere Male ist die Brücke brandneu und wackelig, wie zum Beispiel zu sagen: „Das festgenommene Wasser“. Man muss innehalten und nachdenken: Wie kann Wasser festgenommen werden? Es steht nicht im Wörterbuch. Dies ist eine neuartige Metapher.

Die Forscher wollten sehen, ob Computerprogramme (genannt Sprachmodelle) ihren „Überraschungsmesser“ nutzen können, um diese neuen, kreativen Brücken zu entdecken. Die Theorie lautete: Wenn ein Wort schwer vorherzusagbar ist, ist es vielleicht eine kreative Metapher.

Das Experiment: Zwei verschiedene Welten

Das Team testete diese Idee anhand von zwei sehr unterschiedlichen Arten von Daten, und die Ergebnisse waren wie eine Erzählung von zwei Städten:

1. Die „echte Welt“-Stadt (Korpusbasierte Daten)
Sie untersuchten echte Sätze aus Büchern, Nachrichten und Gesprächen.

Das Ergebnis: Hier funktionierte der „Überraschungsmesser“ ganz ordentlich, aber mit einer Wendung. Kleinere, einfachere Computermodelle waren tatsächlich besser darin, die kreativen Metaphern zu entdecken als die riesigen, superintelligenten Modelle.
Die Analogie: Stellen Sie sich einen kleinen, lokalen Detektiv vor, der die Nachbarschaft gut kennt. Er bemerkt die seltsamen, neuen Dinge, weil er sie nicht überanalysiert. Der riesige Detektiv (die große KI) hat so viele Daten gesehen, dass er beginnt, überall etwas Seltsames zu erwarten, was ihn weniger sensibel für das macht, was in einem spezifischen Satz tatsächlich „neu“ ist. Je größer das Modell wurde, desto schlechter wurde es in dieser speziellen Aufgabe.

2. Die „Spielzeugfabrik“-Stadt (Synthetische Daten)
Sie verwendeten auch Sätze, die sorgfältig in einem Labor (oder von einer anderen KI) konstruiert wurden, wobei der einzige Unterschied darin bestand, ob die Metapher alt oder neu war.

Das Ergebnis: Hier drehten sich die Regeln um. Die größeren, intelligenteren Modelle wurden viel besser darin, die kreativen Metaphern zu entdecken.
Die Analogie: In einer kontrollierten Spielzeugfabrik glänzt der riesige Detektiv. Da die Spielzeuge perfekt sind und die Regeln streng sind, kann das massive Gehirn seine enorme Kraft nutzen, um die subtilen Unterschiede zu sehen, die der kleine Detektiv übersieht.

Der „Cloze“-Trick: In beide Richtungen schauen

Die Forscher probierten auch einen neuen Trick aus. Standardmäßige „Überraschung“ betrachtet nur die Wörter vor dem Zielwort (wie beim Lesen eines Satzes von links nach rechts). Aber um eine Metapher zu verstehen, muss man oft auch sehen, was danach kommt.

Sie entwickelten eine „Cloze“-MethMethode (ähnlich einem Lückentext-Spiel). Sie versteckten das metaphorische Wort, zeigten dem Modell den ganzen Satz (einschließlich des Endes) und fragten: „Welches Wort gehört hierher?“

Das Ergebnis: Dieser „in beide Richtungen schauende“ Ansatz machte den Computer im Allgemeinen klüger darin, die Metaphern zu entdecken. Es war, als würde man dem Detektiv eine Karte der ganzen Straße geben, anstatt nur die Straßenecke, an der er gerade steht. Dieser Trick funktionierte jedoch am besten für die „echten Welt“-Sätze und verwirrte die Modelle bei den „Spielzeugfabrik“-Sätzen manchmal.

Was ist mit der Lehre der KI, wie ein Mensch zu sprechen?

Das Team versuchte auch, „Instruction-Tuned“-Modelle zu verwenden (KI, die darauf trainiert wurde, menschlichen Anweisungen zu folgen und nett zu chatten).

Das Ergebnis: Überraschenderweise machte es die KI nicht besser darin, kreative Metaphern zu erkennen, wenn sie darauf trainiert wurde, wie ein Mensch zu sprechen. Tatsächlich machte es sie für einige Modelle bei dieser spezifischen mathematischen Aufgabe sogar schlechter. „Gesprächig“ zu sein, half ihnen nicht dabei, „kreativ“ zu sein.

Das Fazit

Das Paper kommt zu dem Schluss, dass „Surprisal“ (wie unerwartet ein Wort ist) ein brauchbares Werkzeug ist, um kreative Metaphern zu finden, aber es ist kein Zauberstab.

Es funktioniert mäßig gut (etwa 40–50 % Korrelation), was bedeutet, dass es hilfreich ist, aber weit davon entfernt, perfekt zu sein.
Der Kontext zählt: Ob die KI mit unordentlichen, realen Texten oder sauberen, laborgefertigten Texten arbeitet, verändert alles.
Die Größe zählt: Größer ist nicht immer besser; manchmal ist kleiner schärfer, abhängig von den Daten.

Kurz gesagt: Während Computer durch die Messung dessen, wie „überrascht“ sie sind, einen Hinweis auf die menschliche Kreativität erhalten können, kämpfen sie immer noch damit, die Magie einer wirklich neuartigen Metapher vollumfänglich zu erfassen. Sie brauchen mehr als nur einen Überraschungsmesser, um die Kunst der Sprache zu verstehen.

Technische Zusammenfassung: Überraschungswert (Surprisal) und Urteile zur Metapher-Neuheit

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, linguistische Kreativität zu quantifizieren, insbesondere die Unterscheidung zwischen konventionellen und neuartigen Metaphern, unter Verwendung von Large Language Models (LMs). Da das Verständnis von Metaphern komplexe semantische Prozesse und domänenübergreifende Abbildungen umfasst, bleibt die Trennung von neuartigen Metaphern und konventionellen Metaphern für menschliche Annotatoren schwierig und wird in der computergestützten Metapheranalyse selten berücksichtigt. Die Autoren untersuchen, ob der Surprisal (Überraschungswert) – ein probabilistisches Maß für Vorhersehbarkeit, definiert als der negative Logarithmus der Wahrscheinlichkeit eines Wortes im Kontext ( $-\log p(w_i | w_{<i})$ ) – als zuverlässige Metrik für die Neuheit von Metaphern dienen kann. Sie zielen darauf ab, zu bestimmen, ob der Surprisal von LMs mit menschlichen Annotationen der Neuheit korreliert und wie Modellgröße, Datensatztyp (korpusbasiert vs. synthetisch) und Kontextmodellierung diese Korrelation beeinflussen.

Methodik
Die Studie verwendet ein systematisches experimentelles Design mit vier Datensätzen und 16 kausalen LM-Varianten:

Datensätze:
- Korpusbasiert: Zwei Teilmengen des VU Amsterdam Metaphor Corpus (VUAMC).
  - VUA-ratings: Enthält kontinuierliche Neuheitswerte (-1 bis +1), die durch Crowd-Sourcing mittels Best-Worst-Scaling ermittelt wurden.
  - VUA-dictionary: Enthält binäre Neuheitslabels basierend auf einer Wörterbuch-Methode, bei der eine Metapher als neu gilt, wenn ihre kontextuelle Bedeutung in den Wörterbucheinträgen fehlt.
- Synthetisch: Zwei kontrollierte Datensätze.
  - Lai2009: Psycholinguistische Stimuli mit festen Strukturen, die literale, konventionelle, neuartige und anomale Verwendungen spezifischer Wörter enthalten.
  - GPT-4o-metaphors: Ein Toy-Datensatz, der durch Prompting von GPT-4o erstellt wurde, um Sätze mit konventionellen und neuartigen Bedeutungen spezifischer Verben und Nomen zu generieren.
Modelle:
- Drei Familien von Decoder-only kausalen LMs: GPT-2 (4 Größen), Llama 3 (3 Größen) und Qwen2.5 (3 Größen).
- Sowohl Base- als auch Instruction-tuned Varianten wurden evaluiert, um den Einfluss von Alignment auf den Surprisal zu bewerten.
Berechnung des Surprisal:
- Direct-surprisal: Standardmäßiger Left-to-Right Surprisal, berechnet für das Zielwort gegeben den vorangehenden Kontext.
- Cloze-surprisal: Eine von den Autoren vorgeschlagene neue Methode, die den Rechtskontext einbezieht. Das Zielwort wird durch eine Lücke ersetzt, der vollständige Satz (einschließlich des Zielworts) wird als Vervollständigung angehängt, und der Surprisal wird für das Zielwort in dem zweiten Vorkommen gemessen. Dies konditioniert die Wahrscheinlichkeit auf den vollständigen Satzkontext.
Evaluierung:
- Korrelationsmetriken (Pearson's $r$ , Spearman's $\rho$ , Rank-biserial $r_b$ und AUC) wurden zwischen den Surprisal-Werten und den Neuheitsannotationen berechnet.
- Analysen wurden über verschiedene Modellgrößen, Datensatztypen und Genre-Splits (Fiktion, Nachrichten, akademisch, Konversation) hinweg durchgeführt.

Wesentliche Ergebnisse

Moderate Korrelationen: Der Surprisal von LMs liefert signifikante, positive, aber moderate Korrelationen mit Metapher-Neuheitsannotationen über alle Datensätze hinweg. Die stärksten Ergebnisse wurden mit GPT2-base auf VUA-ratings beobachtet ( $r = .419$ , $r_b = .638$ ).
Divergierende Skalierungseffekte: Die Beziehung zwischen Modellgröße und Korrelationsstärke hängt vom Datensatztyp ab:
- Korpusbasierte Daten: Zeigen einen inversen Skalierungseffekt. Die Korrelationsstärke nimmt ab, wenn die Modellgröße steigt. Die Autoren führen dies darauf zurück, dass größere Modelle Erwartungen zuweisen, die nicht menschenähnlich sind, was oft mit der Seltenheit von Wörtern in natürlichen Korpora korreliert.
- Synthetische Daten: Zeigen eine Qualitäts-Power-Hypothese (positive Skalierung). Die Korrelationsstärke nimmt mit der Modellgröße zu, da synthetische Datensätze die lexikalische Frequenz und Identität kontrollieren und so die Dimension der Neuheit effektiver isolieren.
Cloze-surprisal: Die von den Autoren vorgeschlagene Cloze-surprisal-Methode verbessert im Allgemeinen die Korrelationen, insbesondere für GPT-2-Modelle auf korpusbasierten Daten (z. B. Steigerung von $r_b$ auf .687 bei VUA-ratings). Sie verschiebt die Verteilung der Surprisal-Werte weg von Null und erfasst besser den für die Metapherverarbeitung erforderlichen vollständigen Kontext. Gelegentlich verschlechtert sie jedoch die Leistung bei synthetischen Datensätzen.
Instruction-tuning: Instruction-tuning verbessert den Zusammenhang zwischen Surprisal und Neuheit nicht konsistent. In vielen Fällen, insbesondere bei Qwen-Modellen und synthetischen Datensätzen, reduzierte Instruction-tuning die Korrelation im Vergleich zu Base-Modellen.
Genre-Effekte: Die Korrelationsstärke variiert je nach Genre und zeigt eine Beziehung zu Metapher-Dichte und Modell-Perplexität. Beispielsweise zeigte das Genre „Konversation“ eine hohe Perplexität, aber eine starke Korrelation mit Wörterbuch-basierten Neuheitslabels.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass der Surprisal zwar die Annotationen der Metapher-Neuheit teilweise erklären kann, aber als alleiniges Maß für linguistische Kreativität ein begrenztes Metrik bleibt. Die Autoren argumentieren, dass die Interpretation von Metaphern die semantische Integration und domänenübergreifende Abbildung umfasst, was über einfache Vorhersehbarkeit hinausgeht.

Der primäre Beitrag der Studie liegt in der Aufdeckung divergierender Skalierungsmuster basierend auf der Art des Datensatzes. Sie legt nahe, dass der beobachtete „inverse Skalierungseffekt“ in Studien zur Lesezeit auf Korpusdaten durch Störfaktoren der lexikalischen Frequenz getrieben sein könnte, während synthetische Daten, die diese Faktoren kontrollieren, einen positiven Skalierungseffekt offenbaren. Die Autoren fordern neuartige Maße und Datensätze, die systematische Annotationen der Metapher-Neuheit über Genres und Settings hinweg bereitstellen, und merken an, dass qualitativ hochwertige Annotationen derzeit knapp sind. Sie positionieren den Surprisal als ein vielversprechendes, aber unvollständiges Werkzeug, das am besten in Verbindung mit anderen Metriken verwendet werden sollte, die direkt auf neuartige Interpretationen und Domänen-Abbildungen abzielen.