🤖 machine learning

When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

Dieser Beitrag hinterfragt die Annahme, dass korrekte Demonstrationen das In-Context-Learning stets fördern, indem er aufzeigt, dass aufgabenbewahrende Störungen die Leistung durch einen „Shift des kontextuellen Evidenzs" verschlechtern können, und belegt, dass der Nutzen von Beispielen davon abhängt, wie diese die kontextuelle Inferenz beeinflussen, und nicht bloß von ihrer Korrektheit.

Ursprüngliche Autoren: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: „Richtig" sein ist nicht immer „hilfreich"

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Wäsche zu sortieren. Sie zeigen ihm ein paar Beispiele:

Beispiel 1: Eine rote Socke kommt in den Haufen „Rot".
Beispiel 2: Ein blaues Hemd kommt in den Haufen „Blau".

Der Roboter lernt schnell. Dies nennt man In-Context Learning (ICL). Der Roboter betrachtet die Beispiele, die Sie ihm geben (die „Demonstrationen"), und schätzt, wie er mit dem neuen Gegenstand umgehen soll, den Sie ihm gerade übergeben haben.

Die gängige Annahme war: „Solange die Beispiele, die ich dem Roboter zeige, faktisch korrekt sind, wird der Roboter besser lernen."

Dieses Papier beweist, dass diese Annahme falsch ist.

Die Autoren entdeckten ein seltsames Phänomen: Sie können dem Roboter Beispiele geben, die zu 100 % faktisch korrekt sind, aber wenn Sie ändern, wie diese Beispiele aussehen oder klingen, könnte der Roboter verwirrt werden und schlechter abschneiden, als wenn Sie ihm gar keine Beispiele gegeben hätten.

Das Experiment: Der Trick der „Aufgabenerhaltung"

Um dies zu testen, haben die Forscher den Roboter nicht mit falschen Antworten getäuscht. Stattdessen spielten sie ein Spiel mit „gleicher Aufgabe, anderer Geschichte". Sie nannten dies Task-Preserving Perturbation (aufgabenerhaltende Störung).

Stellen Sie sich vor, Sie bringen jemandem das Autofahren bei.

Der Standardweg: Sie zeigen ihm ein Video, wie ein Auto an einer roten Ampel hält. (Korrektes Beispiel).
Der „gestörte" Weg: Sie zeigen ihm ein Video, wie ein anderes Auto an einer roten Ampel hält, aber diesmal ist das Auto ein leuchtend gelbes Cabrio, das Wetter ist sonnig und der Fahrer trägt einen Hut. Die Handlung (Anhalten an einer roten Ampel) ist immer noch korrekt. Die Regel hat sich nicht geändert.

Die Forscher stellten jedoch fest, dass, wenn Sie dem Roboter zu viele dieser „anders aussehenden, aber korrekten" Beispiele zeigen, der Roboter beginnt, sich darüber zu verwirren, was die wahre Regel ist. Er beginnt zu denken: „Vielleicht geht es bei der Regel ja um gelbe Cabrios bei sonnigem Wetter", anstatt „An roten Ampeln anhalten".

Das Kernkonzept: „Verschiebung des kontextuellen Beweismaterials"

Das Papier führt einen ausgefallenen Begriff für diese Verwirrung ein: Contextual Evidence Shift (Verschiebung des kontextuellen Beweismaterials).

Stellen Sie sich vor, der Roboter ist ein Detektiv, der versucht, ein Rätsel zu lösen. Die Beispiele, die Sie ihm geben, sind „Hinweise".

Saubere Hinweise: Alle Hinweise sehen ähnlich aus und deuten klar auf denselben Verdächtigen hin.
Gestörte Hinweise: Die Hinweise sind technisch gesehen immer noch wahr, sehen aber sehr unterschiedlich voneinander aus. Einige sind in roter Tinte geschrieben, einige in blauer; einige sind lange Geschichten, andere kurze Notizen.

Obwohl jeder Hinweis wahr ist, ändert sich die Mischung der Hinweise. Der Detektiv (der Roboter) beginnt, sich auf die falschen Details (wie die Farbe der Tinte) zu konzentrieren, anstatt auf das Hauptverbrechen. Das „Beweismaterial", das der Roboter verwendet, um eine Entscheidung zu treffen, hat sich verschoben, obwohl sich die Fakten nicht geändert haben.

Was sie herausfanden

Die Forscher testeten dies an drei Arten von Aufgaben:

Sentiment-Analyse: Entscheiden, ob eine Filmrezension positiv oder negativ ist.
Logisches Schlussfolgern: Lösen von Rätseln wie „Wenn A wahr ist und A impliziert B, ist dann B wahr?"
Mathe-Wortaufgaben: Lösen einfacher Mathe-Geschichten.

Die Ergebnisse:

Kleine Roboter leiden stärker: Kleinere, weniger leistungsfähige Modelle (wie ein Modell mit 7 Milliarden Parametern) wurden sehr verwirrt, wenn die Beispiele anders aussahen. Ihre Genauigkeit sank erheblich.
Große Roboter sind widerstandsfähiger: Größere, intelligentere Modelle (wie Modelle mit 70 Milliarden Parametern) waren viel besser darin, das „Rauschen" zu ignorieren und bei der wahren Regel zu bleiben. Sie gerieten nicht so sehr in Verwirrung.
Mehr Verwirrung = schlechtere Ergebnisse: Je mehr „anders aussehende" Beispiele sie hinzufügten, desto schlechter performten die kleinen Roboter. In einigen Fällen schaffte der Roboter mit diesen „korrekten" Beispielen schlechteres als wenn sie ihm keine Beispiele gegeben hätten.

Eine einfache Analogie: Die Musik-Playlist

Stellen Sie sich vor, Sie versuchen, einem DJ beizubringen, „Upbeat Pop"-Musik zu spielen.

Standard-Beispiele: Sie geben ihm eine Playlist mit 10 upbeat Pop-Songs. Er lernt die Stimmung perfekt.
Gestörte Beispiele: Sie geben ihm 10 Songs, die immer noch upbeat Pop sind, aber Sie ändern das Cover-Artwork, die Albumnamen und die Reihenfolge der Titel. Die Musik gehört immer noch zum selben Genre, aber die „Verpackung" ist seltsam.

Wenn Sie dem DJ eine Mischung aus Standard- und seltsam verpackten Songs geben, könnte ein Anfänger-DJ verwirrt werden und langsamen Jazz spielen, weil er sich auf die seltsamen Albumcover statt auf den Beat konzentriert. Ein erfahrener DJ (das große Modell) würde die Cover einfach ignorieren und die richtige Musik spielen.

Das Fazit

Das Papier kommt zu dem Schluss, dass wir, wenn wir versuchen, KI-Modelle mit Beispielen zu unterrichten, nicht nur fragen sollten: „Ist dieses Beispiel korrekt?"

Wir müssen auch fragen: „Passt dieses Beispiel zum Muster der anderen Beispiele?"

Wenn alle Beispiele zwar „korrekt" sind, aber zu unterschiedlich voneinander aussehen, können sie die Fähigkeit der KI zum Lernen tatsächlich beeinträchtigen. Die KI braucht einen konsistenten „Vibe" oder „Kontext", um die Regeln zu verstehen, nicht nur einen Haufen faktisch wahrer, aber stilistisch chaotischer Daten.

Kurz gesagt: Korrektheit ist notwendig, aber sie reicht nicht aus. Die Art und Weise, wie Sie die korrekte Information präsentieren, ist genauso wichtig wie die Information selbst.

Technischer Überblick: Wenn korrekte Demonstrationen schaden: Neubewertung der Rolle von Exemplaren beim In-Context-Learning

Problemstellung
In-Context-Learning (ICL) ermöglicht es großen Sprachmodellen (LLMs), sich an neue Aufgaben anzupassen, indem sie sich auf eine kleine Menge von Eingabe-Ausgabe-Demonstrationen stützen, ohne Parameter zu aktualisieren. Eine vorherrschende Intuition besagt, dass Demonstrationen vorteilhaft sind, da sie korrekte Beispiele der Ziel-Aufgabenabbildung liefern. Diese Arbeit identifiziert jedoch ein kontraintuitives Phänomen: Korrektheit von Exemplaren garantiert nicht deren Nützlichkeit. Die Autoren zeigen, dass Demonstrationen individuell unter der Aufgabendefinition gültig sein können (d. h. das Eingabe-Ausgabe-Paar erfüllt die Aufgabenabbildung) und dennoch die ICL-Leistung verschlechtern, wenn sie als kontextuelle Evidenz verwendet werden. Diese „Korrektheits-Nützlichkeits-Lücke" entsteht, weil das Modell nicht lediglich eine Abbildung aus einzelnen Paaren lernt, sondern eine latente Aufgabe, ein Eingabeszenario und eine Entscheidungsregel aus der Mischung aller bereitgestellten Exemplare ableitet.

Methodik: Aufgabenbewahrende Perturbationen
Um den Unterschied zwischen Korrektheit und Nützlichkeit zu isolieren, führen die Autoren aufgabenbewahrende Perturbationen ein. Dieser Rahmen beinhaltet die Modifikation der Eingabeseite von In-Context-Exemplaren unter strikter Wahrung der Aufgabendefinition, des Prompt-Formats und der Demonstrationsreihenfolge. Entscheidend ist, dass jedes pertubierte Exemplar mit dem Ziel gepaart wird, das durch dieselbe Aufgabenabbildung $g_T$ induziert wird, wodurch die Demonstration isoliert betrachtet „korrekt" bleibt.

Der Rahmen umfasst zwei Regime:

Label-Aktualisierende Perturbationen: Aufgabenrelevante Semantik wird verändert, und das Ziel wird entsprechend der Aufgabenabbildung neu berechnet (z. B. Änderung eines Sentencesatzes von positiv zu negativ und Aktualisierung des Labels).
Strenge Zielbewahrende Perturbationen: Das ursprüngliche Ziel bleibt gültig, aber die Eingabe wird so modifiziert, dass sie Ablenkungen enthält oder umsortiert wird (z. B. Hinzufügen irrelevanter numerischer Fakten zu einem Matheproblem oder Einfügen ablenkender Prämissen beim logischen Schlussfolgern).

Die Autoren definieren das Perturbationsverhältnis $\rho$ als den Anteil der Exemplare, die durch diese aufgabenbewahrenden Varianten ersetzt werden. Sie formalisieren den resultierenden Fehlermodus als Shift der kontextuellen Evidenz: Perturbationen verändern die effektive Mischung der Evidenz, die das Modell für die Inferenz verwendet, und verschieben so den vom Modell inferierten Entscheidungskontext, obwohl die zugrunde liegende Aufgabenabbildung unverändert bleibt.

Hauptbeiträge

Identifizierung der Korrektheits-Nützlichkeits-Lücke: Die Arbeit stellt fest, dass eine Demonstration die Bedingung der Korrektheit ( $y_i = g_T(x_i)$ ) erfüllen kann, während sie eine negative Nützlichkeit aufweist (erhöhtes Risiko bei sauberen Abfragen) aufgrund ihrer Interaktion mit dem breiteren Kontext.
Methodischer Rahmen: Die Einführung aufgabenbewahrender Perturbationen als kontrollierter Eingriff. Im Gegensatz zu früheren adversariellen Studien, die Labels oder Aufgabensemantik verändern, bewahrt diese Methode die Aufgabenabbildung, um spezifisch zu testen, wie Verschiebungen in der Eingabeverteilung ICL beeinflussen.
Theoretische Formalisierung: Das Konzept des Shifts der kontextuellen Evidenz wird formalisiert und zeigt, wie Perturbationen die effektive Evidenzmischung ( $m_\theta$ ) verändern, die für die kontextuelle Inferenz verwendet wird, wodurch das nominelle Perturbationsverhältnis vom effektiven Gewicht getrennt wird, das das Modell der pertubierten Evidenz zuweist.

Experimentelle Ergebnisse
Die Autoren evaluierten open-weight, instruktionsfeinabgestimmte Modelle (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) über drei Domänen hinweg: Sentiment-Klassifizierung (SST-2), logisches Schlussfolgern (ProverQA) und Mathe-Wortaufgaben (PROBLEMATHIC).

Leistungsverschlechterung: Über alle Aufgaben hinweg verschlechterte eine Erhöhung des Perturbationsverhältnisses $\rho$ die ICL-Leistung erheblich. In einigen Fällen (z. B. SST-2 mit kleineren Modellen) sank die Leistung unter die Zero-Shot-Baselines.
Skalenabhängigkeit des Modells: Die Verschlechterung war stark skalenabhängig. Kleinere Modelle (z. B. 7B–14B) zeigten eine erhebliche Anfälligkeit, während größere Modelle (z. B. 70B+) relativ stabil blieben. Beispielsweise sank die Genauigkeit von Llama-2-7B bei SST-2 von 96,4 % auf 56,9 % bei 100 % Perturbation, während Llama-3.1-70B nahe bei 100 % blieb.
Aufgabenschwierigkeit: Schwierigere Aufgaben (z. B. komplexes logisches Schlussfolgern oder Matheprobleme) zeigten eine größere Sensitivität gegenüber Perturbationen, insbesondere bei kleineren Modellen.
Positionseffekte: Perturbationen, die in der Nähe der Abfrage platziert wurden (Tail-Perturbationen), waren für kleinere Modelle unverhältnismäßig schädlich, die eine starke Rezensensitivität aufwiesen. Die Analyse der Aufmerksamkeitskarten ergab, dass größere Modelle besser in der Lage waren, die Aufmerksamkeit auf frühe, saubere Exemplare neu zu verteilen, wodurch der Evidenz-Shift gemildert wurde.
Kontrollexperimente: Der Ersatz von Exemplaren durch aufgabenirrelevante faktische Aussagen führte nur zu einer leichten Verschlechterung, was bestätigt, dass der Schaden von aufgabengültiger, aber verteilungsmäßig verschobener Evidenz herrührt und nicht von generischer Prompt-Störung oder einem Versagen der Aufgabenerkennung.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass robustes ICL erfordert, nicht nur zu bewerten, ob Demonstrationen korrekt sind, sondern auch wie sie die kontextuelle Inferenz beeinflussen. Die Autoren behaupten, dass die Wirksamkeit eines Demonstrationssatzes von seiner globalen Zusammensetzung und der resultierenden Evidenzmischung abhängt, nicht nur von der Qualität einzelner Beispiele.

Die Studie kommt zu dem Schluss, dass die „Korrektheit" eines Exemplars eine lokale Eigenschaft ist, während „Nützlichkeit" kontextabhängig ist. Folglich können Standard-ICL-Pipelines, die Exemplare ausschließlich basierend auf Korrektheit oder Ähnlichkeit auswählen, unbeabsichtigt schädliche kontextuelle Evidenz einführen. Die Autoren positionieren ihre Arbeit als erklärende Abstraktion (Shift der kontextuellen Evidenz) und nicht als vollständige mechanistische Erklärung und weisen auf Einschränkungen hin, wie den Fokus auf textbasiertes ICL und kontrollierte Perturbationen. Sie schlagen vor, dass zukünftige Arbeiten Verteidigungsmechanismen untersuchen sollten, die Demonstrationen nach Nützlichkeit und nicht allein nach Korrektheit auswählen oder gewichten.