🤖 AI

In-Context Examples Suppress Scientific Knowledge Recall in LLMs

Dieser Artikel zeigt, dass das Hinzufügen von Kontextbeispielen zu großen Sprachmodellen deren Fähigkeit unterdrücken kann, latentes wissenschaftliches Wissen abzurufen und anzuwenden, wodurch sie stattdessen auf empirisches Musteranpassen zurückgreifen, selbst wenn die Beispiele von den korrekten zugrunde liegenden Formeln generiert wurden.

Ursprüngliche Autoren: Chaemin Jang, Woojin Park, Hyeok Yun, Dongman Lee, Jihee Kim

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chaemin Jang, Woojin Park, Hyeok Yun, Dongman Lee, Jihee Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Wenn Beispiele dazu führen, dass man vergisst, was man weiß

Stellen Sie sich vor, Sie sind ein brillanter Schüler, der die Gesetze der Physik, Chemie und Wirtschaft auswendig gelernt hat. Sie wissen genau, wie man ein Problem mit den richtigen Formeln löst. Aber dann gibt Ihnen Ihr Lehrer einen Test mit einer Wendung: Bevor Sie das Problem lösen, zeigt er Ihnen 10 Beispiele ähnlicher Probleme mit ihren Lösungen.

Sie denken vielleicht: „Toll! Diese Beispiele werden mir helfen, die Regeln besser zu behalten."

Dieses Paper hat herausgefunden, dass das Gegenteil wahr ist. Wenn die KI (Large Language Model) diese Beispiele sieht, hört sie tatsächlich auf, ihre auswendig gelernten wissenschaftlichen Gesetze zu nutzen, und beginnt stattdessen, basierend auf Mustern in den Beispielen zu raten. Es ist wie ein Meisterkoch, der, nachdem er ein paar Fotos eines Gerichts gesehen hat, das Rezept vergisst und einfach versucht, die Zutaten zu erraten, indem er auf die Bilder schaut.

Die Autoren nennen dies „Wissensverdrängung". Die Beispiele festigen das Wissen nicht; sie schieben es beiseite.

Die zwei Denkweisen der KI

Das Paper beschreibt zwei verschiedene „Modi", die die KI zur Lösung wissenschaftlicher Probleme verwendet:

Der „Lehrbuch-Modus" (Wissensgesteuert):
- Funktionsweise: Die KI sieht ein Problem (z. B. „Wie schnell kühlt dieser Gegenstand ab?"), erkennt die Schlüsselwörter und zieht die richtige Formel aus ihrem Gedächtnis (Newtonsches Abkühlungsgesetz). Sie berechnet die Antwort schrittweise mit Mathematik.
- Analogie: Dies ist wie ein Mechaniker, der ein seltsames Motorgeräusch hört, aufgrund jahrelanger Ausbildung genau weiß, welcher Teil defekt ist, und ihn mit dem richtigen Werkzeug repariert.
Der „Muster-Modus" (Beispielgesteuert):
- Funktionsweise: Die KI ignoriert die Formeln. Stattdessen betrachtet sie die 10 Beispiele im Prompt und versucht, einen Abkürzungsweg oder einen Trend zu finden. Sie rät die Antwort, indem sie sagt: „In den Beispielen ging die Zahl hoch, wenn die Antwort runterging, also werde ich das Gleiche tun."
- Analogie: Dies ist wie ein Mechaniker, der nie Motoren studiert hat, aber 10 Fotos von Autos mit defekten Teilen betrachtet. Er rät die Reparatur, indem er sagt: „Bei all diesen Fotos war der Reifen platt, also werde ich einfach raten, dass der Reifen platt ist", ohne zu verstehen, warum der Motor Geräusche macht.

Die Entdeckung: Wenn Sie der KI Beispiele geben (sogar korrekte), wechselt sie fast immer vom „Lehrbuch-Modus" zum „Muster-Modus". Sie hört auf, echte Wissenschaft zu betreiben, und beginnt mit „Mustererkennung".

Die Überraschung: Manchmal hilft das, manchmal schadet es

Die Forscher testeten dies an 60 verschiedenen wissenschaftlichen Problemen aus fünf Bereichen: Wirtschaft, Chemie, Physik, Biologie und Geowissenschaften. Sie stellten fest, dass die KI zwar immer in den „Muster-Modus" wechselte, das Ergebnis für die Endpunktzahl jedoch für jedes Fach unterschiedlich war.

So sah es im Detail aus:

Der „Schaden"-Fall (Wirtschaft & Chemie):
- Was passierte: Die KI kannte die Formeln perfekt. Als ihr Beispiele gezeigt wurden, hörte sie auf, sie zu nutzen, und begann, Muster zu erraten.
- Ergebnis: Die Punktzahl sank erheblich.
- Analogie: Stellen Sie sich ein Mathe-Genie vor, das das Einmaleins perfekt beherrscht. Wenn Sie ihm ein paar Beispiele zeigen, bei denen $2 \times 2 = 4$ ist, könnte es aufhören zu denken „2 mal 2" und anfangen zu raten „vielleicht ist es 5?", nur weil die Beispiele auf eine bestimmte Art aussahen. Es bekommt die Antwort falsch, weil es die Regel vergessen hat, die es bereits kannte.
Der „Hilfe"-Fall (Geowissenschaften):
- Was passierte: Die KI kannte die Formel, war aber schlecht darin, sich die spezifischen Zahlen zu merken (wie die Dichte von Gestein). Sie riet ständig die falschen Zahlen. Als ihr Beispiele gezeigt wurden, hörte sie auf, sich die Zahlen zu merken, und betrachtete einfach die Muster in den Beispielen, um die Antwort zu erraten.
- Ergebnis: Die Punktzahl stieg.
- Analogie: Stellen Sie sich einen Schüler vor, der das Rezept für ein Gericht kennt, aber immer vergisst, wie viel Salz hinzuzufügen ist. Wenn Sie ihm 10 Fotos des fertigen Gerichts zeigen, könnte er aufhören, sich die Salzmenge zu merken, und einfach den Geschmack aus den Fotos kopieren. Er bekommt ein besseres Gericht, aber er hat das Rezept nicht wirklich gelernt; er hatte einfach Glück mit dem Muster.
Der „Keine Veränderung"-Fall (Physik & Biologie):
- Was passierte: Die KI wechselte den Modus, aber der „Muster-Modus" war für diese spezifischen Probleme zufällig genauso gut wie der „Lehrbuch-Modus".
- Ergebnis: Die Punktzahl blieb gleich.
- Analogie: Es ist wie Autofahren. Sie können mit dem GPS fahren (Lehrbuch-Modus) oder indem Sie dem Auto eines Freundes folgen (Muster-Modus). Wenn Ihr Freund perfekt fährt, kommen Sie zur gleichen Zeit an. Aber Sie nutzen trotzdem nicht mehr das GPS.

Warum passiert das?

Das Paper fand heraus, dass der „Lehrbuch-Modus" der KI sehr zerbrechlich ist. Er verlässt sich auf Schlüsselwörter.

Wenn das Problem von „Konsumentenrente" spricht, denkt die KI „Wirtschaftsformel".
Wenn Sie die Wörter in „Alpha-Welle" ändern (ein erfundener Name für dasselbe Konzept), vergisst die KI die Formel vollständig.

Der „Muster-Modus" hingegen kümmert sich nicht um Wörter. Er betrachtet einfach die Zahlen. Wenn Sie der KI also Beispiele mit Zahlen geben, schaltet sie sofort in den Muster-Modus, weil es einfacher ist, selbst wenn die Beispiele perfekt mit den Regeln übereinstimmen, die sie bereits kennt.

Die Hauptwarnung für Nutzer

Das Paper schließt mit einer Warnung für alle, die KI für Wissenschaft nutzen:

Gehen Sie nicht davon aus, dass das Geben von Beispielen der KI hilft, ihr Wissen zu nutzen.
Tatsächlich könnte es das Gegenteil bewirken. Es könnte dazu führen, dass die KI aufhört, wie ein Wissenschaftler zu denken, und anfängt, wie ein Rater zu denken. Manchmal hat dieser Rater Glück und erzielt eine bessere Punktzahl, aber oft erzielt er eine schlechtere Punktzahl, weil er die Regeln vergessen hat, die er eigentlich kennen sollte.

Kurz gesagt: Die Beispiele lehrten der KI nichts Neues; sie ließen sie nur vergessen, was sie bereits wusste.

1. Problemstellung

Das Paper untersucht ein kontraintuitives Phänomen bei Large Language Models (LLMs) im Bereich des wissenschaftlichen Denkens: In-Context Learning (ICL) kann das vorab trainierte wissenschaftliche Wissen eines Modells unterdrücken, anstatt es zu verstärken.

Während ICL weit verbreitet ist, um die Leistung durch Bereitstellung von Beispielen zu verbessern, gehen die Autoren davon aus, dass bei Aufgaben, die eine Wiederherstellung latenter Strukturen erfordern (das Inferieren versteckter Parameter aus Daten vor der Anwendung eines Domengesetzes), das Hinzufügen von Beispielen die Denkstrategie des Modells verschiebt. Anstatt die korrekte wissenschaftliche Formel aus seinen vorab trainierten Gewichten abzurufen und anzuwenden (wissensgetriebene Herleitung), verlagert sich das Modell hin zu beispielgetriebener Anpassung (Approximation von Eingabe-Ausgabe-Zuordnungen durch Mustererkennung).

Entscheidend ist, dass diese Unterdrückung auch dann auftritt, wenn die im Kontext bereitgestellten Beispiele von exakt derselben wissenschaftlichen Formel generiert wurden, die das Modell bereits kennt, was bedeutet, dass kein Konflikt zwischen den Beispielen und dem Vorwissen des Modells besteht.

2. Methodik

Aufbau des Benchmarks

Die Autoren konstruierten einen schwierigkeitsausgewogenen Benchmark, der aus 60 Aufgaben zur Wiederherstellung latenter Strukturen über fünf wissenschaftliche Domänen besteht:

Domänen: Biologie, Chemie, Wirtschaftswissenschaften, Physik und Geowissenschaften (12 Aufgaben pro Domäne).
Aufgabenstruktur: Jede Aufgabe folgt einer spezifischen Architektur: $X \to \Theta \to Y$ $X \to Θ \to Y$ .
- $X$ (Beobachtbare): Rohdaten, die dem Modell bereitgestellt werden.
- $\Theta$ (Latente Variablen): Versteckte Parameter (z. B. Reaktionskonstanten, Elastizitätsmoduln), die unter Verwendung von Domänengesetzen inferiert werden müssen.
- $Y$ (Zielgröße): Die endgültige Größe, die unter Verwendung der inferierten Parameter berechnet werden soll.
Komplexität: Die Aufgaben variieren in der Anzahl der beobachtbaren Größen, latenten Variablen und Gleichungsformate (linear, nicht-linear, gebrochen etc.), um sicherzustellen, dass die Ergebnisse keine Artefakte spezifischer Gleichungstypen sind.

Experimentelles Setup

Modelle: Die Experimente wurden an vier Modellen durchgeführt: GPT-5.2 (primär), Claude Sonnet 4.6, Llama 4 Maverick und DeepSeek V3.2.
Bedingungen:
- Zero-Shot: Das Modell löst die Aufgabe unter Verwendung von Chain-of-Thought (CoT)-Schlussfolgerungen ohne Beispiele.
- 10-Shot: Dem Modell werden 10 Eingabe-Ausgabe-Paare bereitgestellt, die von derselben zugrunde liegenden Formel wie der Testfall generiert wurden (keine Zwischenschritte der Herleitung bereitgestellt).
Strategieklassifizierung: Ein automatisierter Klassifizierer (validiert durch menschliche Annotatoren mit 98% Übereinstimmung) kategorisiert die CoT-Trajektorie des Modells in drei Modi:
1. Parametrisch ( $S_{know}$ ): Ruft eine benannte Formel ab und leitet die Antwort algebraisch her.
2. Empirisch ( $S_{emp}$ ): Passt ein Muster an die Beispiele an, ohne Domänengesetze zu invoke.
3. Hybrid: Verwendet eine Formel, kalibriert jedoch Koeffizienten basierend auf den Beispielen.

Zusätzliche Analysen

Semantische Ablenkung: Ersetzen domänenspezifischer Vokabeln (z. B. „Konsumentenrente" $\to$ „Gamma Rad"), um zu testen, ob der Wissensabruf auf Oberflächensignalen basiert.
Interne Repräsentationen: Analyse der versteckten Zustände von Open-Source-Modellen (Qwen, Mistral, Llama), um Verschiebungen im Repräsentationsraum zu beobachten.
Interventionen: Testen struktureller Prompting-Techniken (z. B. Erzwingen einer Formelerklärung, negative Prompts gegen Anpassung), um zu prüfen, ob die Verdrängung gemildert werden kann.

3. Hauptbeiträge

Entdeckung der Wissensverdrängung: Die Autoren zeigen nach, dass das Hinzufügen konsistenter im Kontext befindlicher Beispiele die Berechnung über alle Domänen hinweg konsistent von der wissensgetriebenen Herleitung ( $S_{know}$ ) zur beispielgetriebenen Anpassung ( $S_{emp}$ ) verschiebt.
Rahmenwerk für Strategie-Wettbewerb: Sie schlagen ein Rahmenwerk vor, das erklärt, warum die Auswirkungen auf die Genauigkeit variieren. Die Verschiebung ist einheitlich, aber die Konsequenz hängt von der Qualitätslücke zwischen der verdrängten Strategie (vorab trainiertes Wissen) und der ersetzenden Strategie (empirische Anpassung) ab.
Umfassender Benchmark: Ein neuer 60-Aufgaben-Benchmark, der speziell entwickelt wurde, um den Wettbewerb zwischen wissenschaftlichem Denken und Musteranpassung beobachtbar zu machen und diverse strukturelle Komplexitäten abzudecken.

4. Hauptergebnisse

A. Einheitliche Strategieverschiebung, divergierende Genauigkeit

Das Hinzufügen von 10 Beispielen reduzierte den Anteil parametrischer ( $S_{know}$ ) Trajektorien um 6–20 Prozentpunkte über alle Domänen hinweg. Der Einfluss auf die endgültige Genauigkeit variierte jedoch erheblich:

Wirtschaftswissenschaften: Die Genauigkeit sank signifikant (−15,7 pp). Hier war $S_{know}$ die überlegene Strategie (88,3% Genauigkeit). Die Verschiebung zur empirischen Anpassung (41,7% Genauigkeit) verursachte einen massiven Leistungsverlust.
Geowissenschaften: Die Genauigkeit schien sich zu verbessern (+13,3 pp). Hier war $S_{know}$ schwach (49,2% Genauigkeit), da das Modell oft die korrekte Formel abrufte, aber falsche Standardparameter verwendete. Die Verschiebung zur empirischen Anpassung ermöglichte es dem Modell, korrekt aus den Beispielen zu interpolieren, wodurch der Verlust des wissenschaftlichen Denkens maskiert wurde.
Physik & Biologie: Die Genauigkeit blieb relativ stabil. In der Physik war die Verschiebung gering; in der Biologie schnitt die empirische Strategie zufällig ähnlich gut ab wie die parametrische.

Fazit: Das Modell gibt Wissen nicht selektiv dort auf, wo es falsch ist; es gibt es überall auf, unabhängig davon, ob die neue Strategie besser oder schlechter ist.

B. Mechanismus: Vokabel-getriggter Abruf

Das Experiment zur semantischen Ablenkung zeigte, dass $S_{know}$ durch Oberflächenvokabular (Domänen-Schlüsselwörter) und nicht durch tiefe mathematische Analyse ausgelöst wird.

Wenn Domänenbegriffe durch Pseudonyme ersetzt wurden, kollabierte die Zero-Shot-Genauigkeit (auf 3–14%).
Die 10-Shot-Leistung erholte sich jedoch teilweise (auf 22–40%), was beweist, dass $S_{emp}$ auf numerischen Mustern operiert, die unabhängig vom Vokabular sind.
Implikation: Das bloße Vorhandensein numerischer Beispiele aktiviert den empirischen Pfad und überschreibt den vokabel-getriggerten Wissenspfad.

C. Konvergenz interner Repräsentationen

Die Analyse der versteckten Zustände zeigte, dass sich unter 10-Shot-Bedingungen die Repräsentationsräume verschiedener Domänen konvergierten.

Im Zero-Shot-Modus besetzten Domänen distincte Regionen (Aktivierung spezifischer Domänenschaltkreise).
Im 10-Shot-Modus rückten Domänen näher zusammen, insbesondere die Geowissenschaften, die die stärkste Verschiebung zeigten. Dies deutet darauf hin, dass das Modell bei Vorhandensein von Beispielen auf einen domänenagnostischen Musteranpassungs-Schaltkreis umschaltet.

D. Scheitern der Milderung

Standard-Prompting-Interventionen (z. B. explizites Benennen der Formel, negative Prompts gegen Anpassung) scheiterten daran, die Verdrängung universell zu verhindern. Wenn das vorab trainierte Wissen die optimale Strategie war (Wirtschaftswissenschaften), konnte keine Menge konsistenter Beispiele die durch das bloße Vorhandensein dieser Beispiele verlorene Leistung wiederherstellen.

5. Bedeutung und Implikationen

Vorsicht für Praktiker: Das Paper warnt, dass in wissenschaftlichen Anwendungen das Bereitstellen von im Kontext befindlichen Beispielen dasjenige Wissen verdrängen kann, das sie eigentlich unterstützen sollen. Sich ausschließlich auf die End-to-End-Genauigkeit zu verlassen, ist gefährlich, da dies den Verlust des wissenschaftlichen Denkens maskieren kann (z. B. in den Geowissenschaften erhielt das Modell die richtige Antwort aus dem falschen Grund).
Natur des wissenschaftlichen Denkens in LLMs: Die Studie legt nahe, dass das wissenschaftliche Denken von LLMs oft erkennungsbasiert (ausgelöst durch Schlüsselwörter) und nicht schlussfolgerungsbasiert (mathematische Herleitung) ist. Dies macht es fragil und leicht durch den rechnerischen Shortcut der Musteranpassung zu überlagern.
Breiteres Shortcut-Learning: Dieses Phänomen wird als ein Beispiel für „Shortcut-Learning" framed, bei dem Modelle zur rechnerisch einfachsten verfügbaren Strategie (Anpassung von Beispielen) zurückkehren, anstatt zur prinzipiellsten (Herleitung aus Gesetzen), selbst wenn der Shortcut suboptimal ist.
Zukünftige Richtungen: Die Autoren fordern mechanistische Studien (z. B. Aktivitäts-Patching), um die spezifischen Schaltkreise zu identifizieren, die für diesen Wettbewerb verantwortlich sind, sowie neue Evaluierungsmetriken, die zwischen „wissensgetriebenen" und „beispielgetriebenen" Erfolgen unterscheiden können.