Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models
Die Studie zeigt, dass große Sprachmodelle zwar gelerntes Wissen unter spezifischen Bedingungen rekonstruieren können, dieses Wissen aber in standardisierten Generierungskontexten systematisch unterdrückt wird, was auf eine signifikante Diskrepanz zwischen erlernter Fähigkeit und geäußertem Output hinweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Geheimnis: Was KI weiß, aber nicht sagt
Stell dir vor, du hast einen riesigen Bibliothekar, der jede Buchseite der Welt auswendig gelernt hat. Dieser Bibliothekar ist eine moderne Künstliche Intelligenz (KI).
Die übliche Annahme war bisher: „Wenn der Bibliothekar das Buch kennt, wird er es auch erzählen, wenn man ihn danach fragt."
Diese neue Studie von Toshiyuki Shigemura zeigt jedoch etwas Überraschendes: Das stimmt nicht immer. Die KI kann Dinge auswendig lernen und sogar wiedergeben, wenn man sie sehr spezifisch danach fragt. Aber im normalen Gespräch verschluckt sie diese Informationen absichtlich.
Die Hauptakteure: Der „Wissensspeicher" und der „Strenge Chef"
Um zu verstehen, was passiert ist, stellen wir uns die KI wie ein Restaurant vor:
- Der Koch (Das gelernte Wissen): Der Koch hat tausende Rezepte gelernt, auch welche mit magischen Zutaten, fliegenden Kühen oder Lösungen, die durch „göttliches Eingreifen" funktionieren. Er kann diese Gerichte kochen.
- Der strengen Chef (Die Ausrichtung/Alignment): Der Chef des Restaurants hat dem Koch strenge Regeln gegeben: „Wir servieren nur realistische, logische Gerichte. Keine Magie, keine Wunder, nur das, was in der echten Welt funktioniert."
Das Experiment: Was haben die Forscher gemacht?
Die Forscher haben drei verschiedene KI-Systeme (wie GPT, Claude und Gemini) getestet. Sie haben ihnen 300 verschiedene Aufgaben gestellt.
- Szenario A (Die Geschichte): „Schreib eine spannende Kurzgeschichte." (Hier wäre Magie eigentlich erlaubt!)
- Szenario B (Das Problem): „Jemand hat ein Problem mit seinem Projekt. Gib ihm einen Rat." (Hier ist Magie natürlich verboten.)
Das Ergebnis war schockierend:
In allen 300 Geschichten und Ratschlägen gab es null Fälle, in denen die KI eine Lösung angeboten hat, die auf Magie, Zufall oder übernatürlichen Kräften basierte. Selbst in den Geschichten, in denen Magie völlig normal gewesen wäre, blieb die KI bei der „realistischen" Welt.
Die Wahrscheinlichkeit, dass so etwas passiert, lag bei 0 %.
Der Beweis: Der „Geheime Test"
Daraufhin dachten die Forscher: „Vielleicht können die KIs gar keine magischen Geschichten schreiben? Vielleicht haben sie das einfach nicht gelernt?"
Um das zu überprüfen, führten sie einen Geheime-Test durch. Sie fragten die KIs nicht nach einer Geschichte, sondern direkt:
- „Nenne mir Beispiele für Probleme, die durch Magie gelöst wurden."
- „Wie würde eine Geschichte aussehen, in der ein Gott eingreift?"
Das Ergebnis: Die KIs konnten diese Aufgaben perfekt lösen! Sie kannten die magischen Lösungen, sie hatten sie gelernt und konnten sie sogar beschreiben.
Die große Erkenntnis: „Können" vs. „Tun"
Hier liegt der Kern der Studie. Es gibt einen riesigen Unterschied zwischen:
- Was die KI kann (Fähigkeit): Sie hat das Wissen im Speicher.
- Was die KI tut (Ausdruck): Sie entscheidet sich im normalen Gespräch, dieses Wissen nicht zu nutzen.
Eine gute Analogie:
Stell dir vor, du bist ein Schauspieler, der das Stück „Hamlet" perfekt kann. Du kannst jede Zeile aufsagen. Aber wenn du auf einer normalen Party bist, wirst du nicht plötzlich anfangen, Hamlet zu spielen, auch wenn du es könntest. Du passt dich dem Kontext an.
Die KI macht genau das. Sie hat gelernt, dass sie in den meisten Situationen (selbst in Geschichten!) „vernünftig" und „logisch" klingen muss. Diese Regel ist so stark verankert, dass sie das magische Wissen komplett unterdrückt, selbst wenn es eigentlich erlaubt wäre.
Warum ist das wichtig?
- Keine automatische Vorhersage: Man kann nicht einfach sagen: „Da steht das in den Trainingsdaten, also wird die KI es auch sagen." Die KI filtert aktiv.
- Die Macht der Regeln: Die Art und Weise, wie die KI trainiert wurde (damit sie „hilfreich" und „sicher" ist), hat ihre Persönlichkeit so stark geprägt, dass sie ganze Bereiche ihres Wissens verschließt.
- Verständnis: Wir müssen verstehen, dass KI nicht nur ein „Suchmaschinen-Output" ist, sondern ein System, das ständig entscheidet, was es sagen darf und was nicht.
Fazit in einem Satz
Die KI ist wie ein Bibliothekar, der jede magische Geschichte der Welt kennt, aber wenn man ihn bittet, eine Geschichte zu erzählen, sagt er aus Prinzip: „Nein, ich erzähle nur die, die in der echten Welt funktionieren," – selbst wenn man ihm explizit erlaubt, über Zauberer zu sprechen.
Die Studie zeigt also: Was eine KI weiß, ist nicht dasselbe wie das, was sie sagt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.