When Models Know More Than They Say: Probing Analogical Reasoning in LLMs
Die Studie zeigt, dass bei offenen Sprachmodellen die abgefragten internen Repräsentationen rhetorische Analogien deutlich besser erkennen als die direkte Prompting-Antwort, während beide Methoden bei narrativen Analogien ähnlich schwach abschneiden, was auf eine taskspezifische Diskrepanz zwischen internem Wissen und äußerem Verhalten hindeutet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal etwas verschlossenen Bibliothekar. Er hat Millionen von Büchern gelesen und kann fast alles auswendig zitieren. Aber wenn Sie ihn fragen: „Verstehst du wirklich die tiefe Bedeutung dieser Geschichte?", zögert er.
Genau das untersucht diese neue Forschungsarbeit. Die Wissenschaftler wollen herausfinden: Wissen diese KI-Modelle (wie LLMs) mehr, als sie uns sagen können?
Hier ist die einfache Erklärung der Studie, verpackt in ein paar anschauliche Bilder:
1. Das große Rätsel: Die zwei Arten von „Ähnlichkeit"
Die Forscher haben zwei verschiedene Arten von Aufgaben gestellt, um zu testen, wie gut die KI Analogien (Vergleiche) erkennt:
Aufgabe A: Die „Geschichten-Ähnlichkeit" (Narrative Parallelism)
- Das Bild: Stellen Sie sich vor, Sie haben eine Geschichte über einen jungen Mann, der ein Unternehmen gründet und scheitert, aber daraus lernt. Dann haben Sie eine Geschichte über eine Prinzessin, die einen Drachen bekämpft und daraus lernt.
- Die Frage: Sind diese beiden Geschichten strukturell gleich? (Beide handeln vom „Scheitern und Wachsen").
- Das Problem: Die Oberfläche ist völlig anders (Business vs. Fantasy). Die KI muss die tiefe Struktur erkennen, nicht nur die Wörter.
Aufgabe B: Die „Stil-Ähnlichkeit" (Rhetorical Parallelism)
- Das Bild: Stellen Sie sich einen Dichter vor, der sagt: „Die Stärke wird schwach, die Gesundheit wird verletzt." Und ein anderer sagt: „Die Hoffnung bricht, die Liebe stirbt."
- Die Frage: Passen diese Sätze stilistisch zusammen? (Beide nutzen das gleiche grammatikalische Muster: Substantiv + wird + Verb).
- Das Problem: Hier geht es um das Muster und den Rhythmus, nicht um die tiefe Handlung.
2. Der große Test: „Fragen" vs. „Durchleuchten"
Die Forscher haben die KI auf zwei völlig unterschiedliche Arten getestet:
Methode 1: Das „Fragen" (Prompting)
Das ist, als würden Sie den Bibliothekar direkt ansprechen: „Hey, finde mir eine Geschichte, die wie diese hier ist."- Ergebnis: Die KI versucht, die Antwort zu formulieren. Bei den einfachen Stil-Mustern (Aufgabe B) scheitert sie oft kläglich, obwohl sie die Muster eigentlich kennt. Bei den tiefen Geschichten (Aufgabe A) ist sie auch nicht besonders gut.
Methode 2: Das „Durchleuchten" (Probing)
Das ist, als würden Sie den Bibliothekar nicht fragen, sondern seine Gehirnzellen direkt scannen. Man schaut sich an, welche Neuronen im Inneren des Computers feuern, wenn er die Texte liest.- Ergebnis: Hier wird es spannend!
- Bei den Stil-Mustern (Aufgabe B): Die „Gehirnscan"-Daten waren perfekt! Die KI wusste zu 93 %, welche Sätze zusammengehören. Sie wusste es also genau. Aber als man sie fragte (Prompting), gab sie nur 18 % richtige Antworten.
- Bei den tiefen Geschichten (Aufgabe A): Hier war das Gehirn der KI auch nicht besonders schlau. Sowohl beim Fragen als auch beim Durchleuchten war die Leistung schwach (ca. 35 %).
- Ergebnis: Hier wird es spannend!
3. Die überraschende Entdeckung: Das „Stumme Genie"
Das Wichtigste an dieser Studie ist die Erkenntnis über die Diskrepanz:
- Bei den Stil-Mustern: Die KI ist wie ein stummer Genie. Sie hat die Lösung im Kopf (man kann sie im Inneren sehen), aber sie kann sie nicht in Worte fassen, wenn man sie direkt danach fragt. Es ist, als hätte sie eine Antwort auf einer Zunge, die sie aber nicht herausspucken kann.
- Bei den tiefen Geschichten: Die KI ist hier einfach noch nicht schlau genug. Sie hat die Information im Inneren gar nicht richtig gespeichert, also kann sie sie weder zeigen noch sagen.
4. Was bedeutet das für uns?
Die Forscher sagen: Wir dürfen nicht nur auf das achten, was die KI uns sagt.
Wenn wir nur testen, wie gut eine KI auf eine Frage antwortet (Prompting), unterschätzen wir vielleicht ihr wahres Potenzial. Sie könnte viel mehr „wissen" (in ihren inneren Datenstrukturen), als sie uns mitteilen kann.
- Die Metapher: Stellen Sie sich vor, Sie haben einen Schüler, der eine Matheaufgabe im Kopf gelöst hat (er weiß die Antwort), aber wenn Sie ihn bitten, den Lösungsweg aufzuschreiben, macht er Fehler. Wenn Sie nur auf das geschriebene Blatt schauen, denken Sie, er ist schlecht in Mathe. Aber wenn Sie ihm einen „Gehirnscan" machen, sehen Sie, dass er die Lösung eigentlich kennt.
Fazit in einem Satz
Diese Studie zeigt, dass KI-Modelle manchmal mehr wissen, als sie sagen können, besonders bei strukturellen Mustern, und dass wir neue Methoden brauchen, um zu verstehen, was in ihren „Gehirnen" wirklich vorgeht, statt nur auf ihre Antworten zu hören.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.