Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
Diese Studie zeigt, dass pragmatisches Schlussfolgern in großen Sprachmodellen, bewertet durch skalare Diversität, keine stabile Kompetenz darstellt, sondern vielmehr eine variable Interaktion zwischen internen probabilistischen Repräsentationen und aufgabeninduzierten Prompting-Verhalten ist, was den entscheidenden Einfluss des Evaluationsdesigns auf die Interpretation von Modellfähigkeiten unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein neuer Roboter-Freind menschliche Gespräche wirklich versteht oder ob er nur gut darin ist, mitzuspielen, wenn Sie die richtigen Fragen stellen. Genau darum geht es in dem Papier „Evaluating Pragmatic Reasoning in Large Language Models" von Ye-eun Cho.
Hier ist die Geschichte der Studie, in einfachen Worten mit einigen hilfreichen Analogien aufgeschlüsselt.
Die große Frage: Ist der Roboter intelligent oder nur gut im Schauspielen?
Large Language Models (LLMs) sind wie extrem gut gebildete Schüler, die fast alles im Internet gelesen haben. Sie sind hervorragend in Grammatik und Fakten. Aber können sie die versteckte Bedeutung dessen verstehen, was Menschen sagen?
In menschlichen Gesprächen sagen wir oft Dinge wie: „Einige Kekse wurden gegessen." Wir meinen damit nicht nur „mindestens einer"; wir implizieren normalerweise „nicht alle". Dies nennt man eine skalare Implikatur. Es ist eine subtile soziale Regel: Wenn ich „einige" sage, deute ich damit an, dass ich „alle" nicht gesagt habe, weil „alle" nicht zutraf.
Die große Frage, die die Forscher stellten, lautet: Verstehen diese KI-Modelle diese versteckte Bedeutung wirklich, oder geben sie nur vor, sie zu verstehen, wenn wir sie höflich fragen?
Die zwei Arten, den Roboter zu testen
Um dies zu beantworten, verwendeten die Forscher zwei verschiedene Methoden, um die Modelle zu testen, ähnlich wie zwei verschiedene Arten, das Wissen eines Schülers zu prüfen:
Der „innere Bauchcheck" (Direkte Wahrscheinlichkeit):
Stellen Sie sich vor, Sie bitten den Roboter, das nächste Wort in einem Satz vorherzusagen, ohne dass er laut sprechen muss. Sie schauen sich seine innere Mathematik an, um zu sehen, was er tatsächlich für am wahrscheinlichsten hält.- Analogie: Dies ist wie das Betrachten der Gehirnwellen eines Schülers während einer Prüfung. Es zeigt, was er instinktiv weiß, bevor er versucht, eine Antwort zu geben.
Die „mündliche Prüfung" (Metasprachliches Prompting):
Dies geschieht, wenn Sie den Roboter direkt fragen: „Wenn ich sage ‚einige Kekse wurden gegessen', bedeutet das dann ‚nicht alle Kekse wurden gegessen'? Bitte antworten Sie mit Ja oder Nein."- Analogie: Dies ist wie wenn Sie den Schüler bitten, die Hand zu heben und seine Antwort laut zu erklären. Es ist das, was er sagt, dass er weiß, was möglicherweise davon beeinflusst wird, wie die Frage gestellt wird.
Das Experiment: Eine Speisekarte mit 60 verschiedenen „Einigen"
Die Forscher testeten nicht nur einen einzigen Satz. Sie verwendeten eine „Speisekarte" mit 60 verschiedenen Wortpaaren (wie einige/alle, warm/heiß, gut/ausgezeichnet).
- Einige Paare sind für Menschen leicht abzuleiten (wie einige impliziert nicht alle).
- Einige Paare sind schwieriger oder schwächer (wie warm impliziert nicht immer nicht heiß).
Diese Vielfalt wird als skalare Diversität bezeichnet. Es ist wie ein Koch, nicht nur daran zu testen, wie gut er Steak kocht, sondern wie er mit 60 verschiedenen Zutaten umgeht, von zarten Kräutern bis hin zu zähen Wurzeln.
Was sie fanden: Die Wendung
Die Ergebnisse waren überraschend und zeigten, dass es keine einzige „Wahrheit" darüber gibt, wie intelligent diese Modelle sind.
1. Der „Bauchcheck" und die „mündliche Prüfung" stimmen nicht überein
Oft erzählten die innere Mathematik des Roboters (Bauchcheck) und seine gesprochene Antwort (mündliche Prüfung) völlig unterschiedliche Geschichten.
- Manchmal sagte die innere Mathematik des Roboters: „Ich verstehe das wirklich nicht", aber wenn man ihn höflich fragte, sagte er: „Ja, ich verstehe es!"
- Zu anderen Zeiten war die innere Mathematik selbstbewusst, aber die gesprochene Antwort verwirrt.
- Das Fazit: Man kann nicht nur eine Methode betrachten, um zu wissen, ob der Roboter „kompetent" ist. Es ist wie ein Schüler, der die Antwort im Kopf kennt, aber einfriert, wenn er aufgefordert wird zu sprechen, oder umgekehrt.
2. Das „Schauspiel" hängt vom Drehbuch ab
Die Art und Weise, wie die Forscher die Frage stellten, machte einen großen Unterschied.
- Wenn sie eine einfache Frage stellten, sagte der Roboter vielleicht „Nein".
- Wenn sie eine höfliche Einleitung hinzufügten wie: „Du bist ein hilfreicher Assistent, sag mir...", sagte der Roboter plötzlich „Ja".
- Das Fazit: Die „Darbietung" des Roboters ändert sich je nach Drehbuch. Es ist nicht unbedingt so, dass der Roboter etwas Neues gelernt hat; er reagiert einfach auf den Stil der Frage.
3. Unterschiedliche Roboter, unterschiedliche Persönlichkeiten
Die Studie testete zwei verschiedene Arten von KI-Modellen (Flan-T5 und Qwen).
- Flan-T5 war etwas konsistenter. Seine innere Mathematik und seine gesprochene Antworten waren einander näher.
- Qwen war sehr dramatisch. Seine innere Mathematik war oft sehr niedrig (es schien die Antwort nicht zu „wissen"), aber wenn man es direkt fragte, gab es perfekte Antworten, fast so, als würde es schauspielern.
- Das Fazit: Nur weil ein KI-Modell intelligent wirkt, bedeutet das nicht, dass alle KI-Modelle auf die gleiche Weise funktionieren.
4. Der „Vergleichs"-Trick
Als die Forscher den Roboter baten, zwei Optionen nebeneinander zu vergleichen („Was ist besser: A oder B?"), wurde der Roboter bei der Aufgabe viel besser, als wenn sie ihn baten, einen einzelnen Satz allein zu beurteilen.
- Das Fazit: Es ist für den Roboter einfacher, die richtige Antwort zu wählen, wenn er eine Auswahl hat, anstatt eine Antwort aus dem Nichts generieren zu müssen.
Das endgültige Urteil
Das Papier kommt zu dem Schluss, dass wir nicht sagen können: „Diese KI verfügt über pragmatisches Schlussfolgern" oder „Diese KI verfügt nicht darüber".
Stattdessen ist pragmatisches Schlussfolgern in der KI wie ein Tanz zwischen zwei Partnern:
- Das interne Wissen des Roboters (was er tatsächlich gelernt hat).
- Die Art und Weise, wie wir die Frage stellen (das Prompt).
Wenn Sie den Tanzpartner (das Prompt) oder die Musik (die Aufgabe) ändern, verändert sich der Tanz. Der Roboter „lügt" oder „weiß" im menschlichen Sinne nicht unbedingt; er reagiert einfach auf die spezifische Situation, in der er sich befindet.
Kurz gesagt: Um zu verstehen, ob eine KI menschliche Nuancen versteht, können Sie ihr nicht einfach eine Frage stellen und die Antwort auf den ersten Blick glauben. Sie müssen beobachten, wie sie sich in vielen verschiedenen Situationen verhält, denn ihre „Kompetenz" ist kein festes Merkmal – es ist eine Mischung aus dem, was sie weiß, und der Art, wie Sie sie fragen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.