💬 NLP

Emergence of Context Characteristics Sensitivity in Large Language Models

Diese Arbeit untersucht, wie sich die Sensitivität großer Sprachmodelle gegenüber Kontextmerkmalen über die Phasen des Supervised Fine-Tunings, der Direct Preference Optimization und des Reinforcement Learnings hinweg entwickelt, wobei sie aufzeigt, dass diese Präferenzen in jeder Phase aktiv umgestaltet werden, und unterstreicht die entscheidende Bedeutung ausgewogener Datensätze für das Instruction Fine-Tuning für eine robuste Kontextnutzung.

Ursprüngliche Autoren: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen sehr klugen Schüler vor, der in einem Klassenzimmer sitzt. Dieser Schüler hat eine riesige Bibliothek an Fakten in seinem Kopf gespeichert (parametrisches Wissen), aber der Lehrer reicht ihm für jede Frage auch eine spezifische Lehrbuchseite (den Kontext). Das Ziel ist es, dass der Schüler diese Seite liest und die Frage basierend nur auf dem beantwortet, was er gerade gelesen hat, während er ignoriert, was er bereits weiß.

Diese Arbeit untersucht, wie dieser Schüler lernt, das Lehrbuch zu nutzen, während er drei spezifische „Trainingslager“ (Phasen des Instruction Fine-Tuning) durchläuft: SFT, DPO und RLVR. Die Forscher wollten wissen: Lernt der Schüler, das Buch sorgfältig zu lesen, oder beginnt er, Abkürzungen basierend darauf zu nehmen, wie das Buch aussieht?

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die drei Trainingslager

Betrachten Sie die Ausbildung des Schülers als einen Prozess, der in drei Phasen abläuft:

Phase 1: SFT (Supervised Fine-Tuning): Dies ist, als ob der Schüler Hausaufgaben mit einem Lösungsschlüssel macht. Ihm werden viele Beispiele von „Frage + Lehrbuchseite = Korrekte Antwort“ gezeigt.
Phase 2: DPO (Direct Preference Optimization): Dies ist wie ein Debattierclub. Dem Schüler werden zwei verschiedene Antworten auf dieselbe Frage gezeigt. Ein Lehrer sagt: „Ich mag Antwort A lieber als Antwort B.“ Der Schüler lernt, die „bevorzugte“ Antwort nachzuahmen.
Phase 3: RLVR (Reinforcement Learning with Verifiable Rewards): Dies ist wie eine Abschlussprüfung, bei der der Schüler nur dann Punkte erhält, wenn er die Antwort exakt richtig beantwortet. (Die Arbeit merkt an, dass diese Phase sehr teuer in der Durchführung ist, weshalb sie hauptsächlich die ersten beiden untersuchten haben).

2. Die „Abkürzungen“, die in Phase 1 (SFT) gelernt wurden

Während des ersten Trainingslagers (SFT) lernt der Schüler eine sehr spezifische, etwas faule Gewohnheit. Er beginnt zu beurteilen, ob er der Lehrbuchseite vertrauen soll, basierend darauf, wie leicht sie zu lesen ist, anstatt darauf, ob die Informationen tatsächlich wahr sind.

Die Forscher fanden heraus, dass der Schüler dazu neigt, Folgendes zu bevorzugen:

Längerer Text: Er denkt: „Wenn der Text lang ist, muss er wichtig sein.“ (Eigentlich bevorzugen sie oft kürzere Texte, weil sie leichter zu verarbeiten sind, aber die Arbeit stellt eine komplexe Beziehung hier fest; im Allgemeinen bevorzugen sie Texte, die leicht zu verarbeiten sind).
Vertraute Wörter: Wenn die Lehrbuchseite exakt dieselben Wörter wie die Frage verwendet, denkt der Schüler: „Aha! Das ist die richtige Seite!“, selbst wenn die Bedeutung falsch ist.
Flüssigkeit: Wenn der Text in flüssigem, perfektem Grammatikstil geschrieben ist, vertraut der Schüler ihm. Wenn der Text holprig ist oder Tippfehler enthält, ignoriert der Schüler ihn, selbst wenn der holprige Text die korrekten Fakten enthält.

Die Metapher: Stellen Sie sich vor, der Schüler ist ein Preisrichter bei einem Wettbewerb. Anstatt den Inhalt der Rede zu beurteilen, beurteilt er die Schriftgröße und die Geschmeidigkeit der Stimme. Wenn die Rede laut und klar ist, stimmt er mit „Ja“. Wenn sie leise oder stotternd ist, stimmt er mit „Nein“, ungeachtet der Wahrheit.

3. Die „Korrektur“ in Phase 2 (DPO)

Im zweiten Lager (DPO) versuchten die Forscher, diese schlechten Angewohnheiten zu korrigieren. Sie erwarteten, dass der Schüler lernt, die Abkürzungen zu verlernen und anfängt, den Inhalt sorgfältig zu lesen.

Die Wendung: Das Ergebnis hing vollständig davon ab, was der Lehrer lehrte.

Wenn der Lehrer dem Schüler Beispiele gab, in denen die „guten“ Antworten zufällig lang und flüssig waren und die „schlechten“ Antworten kurz und holprig, dann verstärkte der Schüler seine schlechten Gewohnheiten. Er lernte: „Lang und flüssig = Gut.“
Wenn der Lehrer jedoch die Beispiele sorgfältig ausbalancierte – indem er sicherstellte, dass die „guten“ und die „schlechten“ Antworten gleich aussehen (gleiche Länge, gleiche Flüssigkeit) – dann verlernte der Schüler die Abkürzungen. Er hörte auf, sich darauf zu verlassen, wie der Text aussieht, und begann, sich auf den eigentlichen Inhalt zu verlassen.

Die Metapher: Es ist wie ein Trainer, der einen Athleten unterrichtet. Wenn der Trainer nur Athleten lobt, die rote Schuhe tragen, wird der Athlet denken, dass rote Schuhe ihn schneller machen. Wenn der Trainer möchte, dass der Athlet sich auf die Lauftechnik konzentriert, muss er Athleten, die sowohl rote als auch blaue Schuhe tragen, gleichermaßen loben. Wenn der Trainer nachlässig ist, konzentriert sich der Athlet weiterhin auf die Schuhe statt auf das Laufen.

4. Die wichtigste Erkenntnis

Die Arbeit kommt zu dem Schluss, dass die Fähigkeit eines Modells, Kontext zu nutzen, keine feste Eigenschaft ist, sondern aktiv durch jeden Schritt des Trainings geformt wird.

SFT lehrt Modelle natürlicherweise, Abkürzungen basierend darauf zu nehmen, wie „einfach“ der Text aussieht (Flüssigkeit, Wortüberschneidung).
DPO kann dies entweder verschlimmern oder korrigieren, abhängig davon, wie die Trainingsdaten kuratiert wurden.

Die Lektion: Wenn Sie ein Modell wollen, das zuverlässig die Informationen nutzt, die Sie ihm geben (und sich nicht von der Frage ablenken lässt, wie „hübsch“ der Text aussieht), können Sie nicht einfach Daten in den Trainingsprozess werfen. Sie müssen Ihre Datensätze sorgfältig kuratieren, um sicherzustellen, dass die „guten“ und „schlechten“ Beispiele in Bezug auf Länge, Flüssigkeit und Wortwahl ausgewogen sind. Andernfalls wird das Modell einfach lernen, das Buch nach seinem Einband zu beurteilen.

Technisches Resümee: Entstehung der Sensitivität gegenüber Kontextcharakteristika in Large Language Models

Problemstellung

Large Language Models (LLMs) besitzen die Fähigkeit, den bereitgestellten Kontext zur Beantwortung von Anfragen zu nutzen – eine Eigenschaft, die für Anwendungen wie Retrieval-Augmented Generation (RAG) und den Einsatz von Werkzeugen (Tool Use) essenziell ist. Diese Nutzung ist jedoch oft fragil; Modelle können den Kontext zugunsten ihres parametrischen Wissens ignorieren oder durch irrelevante Informationen abgelenkt werden. Während vorangegangene Forschungen Korrelationen zwischen spezifischen Kontextcharakteristika (z. B. Länge, Fluenz, Ähnlichkeit) und der Kontextnutzung während der Inferenz etabliert haben, bleiben die Mechanismen, durch die Modelle diese Sensitivitäten während des Trainings erwerben, ungeklärt. Insbesondere ist unklar, wie die Phasen des Instruction Fine-Tuning (IFT) die Abhängigkeit eines Modells von diesen Charakteristika prägen.

Methodik

Die Autoren untersuchen die Entwicklung der „Sensitivität gegenüber Kontextcharakteristika“ – definiert als der Grad, in dem der Wert eines Charakters beeinflusst, ob ein Modell den bereitgestellten Kontext nutzt – über drei verschiedene IFT-Stufen hinweg: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) und Reinforcement Learning with Verifiable Rewards (RLVR).

Experimenteller Aufbau

Modelle: Die Studie evaluiert vier Modelle: Llama-3.1-8B, Llama-3.2-1B, OLMo-2-1B und OLMo-2-7B. Für die schrittweise Analyse (Verfolgung von Veränderungen innerhalb einer Stufe) wird Llama-3.2-1B auf denselben Datensätzen feinjustiert, die auch für OLMo-2-1B verwendet wurden.
Datensätze: Drei Datensätze werden verwendet, um Diversität in Aufgabenformaten und Kontext-Wissens-Beziehungen zu gewährleisten:
- ConflictQA und Context-Reliance: Offene QA-Aufgaben mit kontrafaktischen Kontexten, wodurch sichergestellt wird, dass die Genauigkeit die reine Kontextnutzung widerspiegelt.
- DRUID: Eine Aufgabe zur Behauptungsverifizierung, die realistische Interaktionen zwischen Kontext und Wissen abbildet.
Kontextcharakteristika: Drei Familien von Charakteristika werden extrahiert und gemessen:
1. Ähnlichkeit: Jaccard-Ähnlichkeit (Token-Überlappung) und Query-Entity-Überlappung.
2. Fluenz: Flesch-Reading-Ease-Score und Perplexität.
3. Länge: Rohe Zeichenzahlen für Kontext und Query.
Evaluationsmetrik: Die Sensitivität wird mittels der Area Under the Receiver Operating Characteristic (AUROC) Kurve quantifiziert. Diese misst, wie gut der Wert eines spezifischen Charakters korrekte Beispiele (bei denen das Modell den Kontext korrekt genutzt hat) gegenüber inkorrekten Beispielen rankt. Ein AUROC > 0,5 bedeutet, dass höhere Werte des Charakters mit korrekter Kontextnutzung korrelieren.

Kernergebnisse

1. Bildung der Sensitivität während SFT

Die Studie stellt fest, dass SFT konsistent eine spezifische Gruppe von Sensitivitäten über alle Modelle und Datensätze hinweg etabliert. Während SFT entwickeln Modelle eine starke Präferenz für „leicht verständliche“ Kontexte:

Ähnlichkeit: Der AUROC für die Kontext-Query-Jaccard-Ähnlichkeit steigt, was darauf hindeutet, dass Modelle stärker auf lexikalische Überlappung angewiesen sind.
Fluenz: Der AUROC für die Perplexität sinkt (was bedeutet, dass eine niedrigere Perplexität mit Genauigkeit korreliert), was zeigt, dass Modelle flüssige, natürlich klingende Texte bevorzugen.
Länge: Der AUROC für die Kontextlänge sinkt, was darauf hindeutet, dass Modelle kürzere Kontexte bevorzugen, da diese wahrscheinlich leichter zu integrieren sind.

Entscheidend ist, dass die Autoren anmerken, dass diese Sensitivitäten zwar während SFT zunehmen, sich dies jedoch nicht in verbesserter Genauigkeit niederschlägt. Dies deutet darauf hin, dass Modelle diese Charakteristika als Abkürzungen nutzen, um die Kontextnutzung zu signalisieren, anstatt die Relevanz oder Wahrhaftigkeit des Inhalts tatsächlich zu bewerten.

2. DPO und Datensatzcharakteristika

Der Einfluss von DPO ist nicht einheitlich; er hängt stark von den Charakteristika des Präferenzdatensatzes ab (dem Unterschied zwischen „gewählten“ und „abgelehnten“ Antworten).

Resolution vs. Verstärkung: In einigen Fällen (z. B. Llama-3.2-1B) löst DPO die während SFT gelernten Sensitivitäten auf und verschiebt sie zurück auf das Niveau vor dem SFT.
Datensatz-Imbalance: In anderen Fällen (z. B. Llama-3.1-8B) verstärkt DPO bestehende Sensitivitäten. Die Autoren führen dies auf statistische Unterschiede ( $\Delta$ ) in den lexikalischen Charakteristika der gewählten gegenüber den abgelehnten Antworten im Trainingsdatensatz zurück. Wenn die gewählten Antworten im Präferenzdatensatz signifikant andere Längen oder Fluenzen aufweisen als die abgelehnten, verstärkt DPO die Voreingenommenheit des Modells gegenüber diesen spezifischen Charakteristika.
Aufgabenabhängigkeit: Der Effekt von DPO scheint bei der DRUID-Behauptungsverifizierung weniger konsistent zu sein als bei offenen QA-Aufgaben.

3. RLVR-Trends

Obwohl RLVR aufgrund der Rechenkosten nicht schrittweise analysiert wurde, zeigen die Ergebnisse, dass RLVR primatamente die Richtung der durch DPO etablierten Effekte bewahrt, was konsistent mit deren gemeinsamen KL-regularisierten Zielsetzungen ist.

Bedeutung und Beiträge

Der primäre Beitrag der Arbeit ist der Nachweis, dass die Kontextnutzung keine statische Modelleigenschaft ist, sondern in jeder IFT-Stufe aktiv umgestaltet wird.

SFT als Shortcut-Learner: Die Autoren zeigen auf, dass SFT Modelle dazu lehrt, oberflächliche Charakteristika (Fluenz, Länge, Überlappung) als Stellvertreter für Relevanz auszunutzen, anstatt eine robuste Kontextbewertung zu fördern.
Imperativ der Datensatz-Kuration: Die Ergebnisse unterstreichen, dass das Design des Präferenzdatensatzes in DPO entscheidend ist. Um die während SFT geformten Biases zu kontern und eine robuste Kontextnutzung zu gewährleisten, müssen die gewählten und abgelehnten Antworten im Präferenzdatensatz sorgfältig kuratiert werden, sodass sie ähnliche Kontextcharakteristika teilen. Ungleichgewichte in diesen Datensätzen können unbeabsichtigt nicht-robuste Verhaltensweisen verstärken.

Limitationen

Die Autoren räumen ein, dass die Studie auf zwei Modellfamilien (Llama und OLMo) mit jeweils zwei Skalierungen beschränkt ist. Dies ist für die Analyse von Trainingsdynamiken angemessen, aber eine breitere Abdeckung über verschiedene Architekturen hinweg bleibt ein offener Bereich für zukünftige Arbeiten. Zudem konzentriert sich die Studie auf drei gut fundierte Familien von Charakteristika (Ähnlichkeit, Fluenz, Länge), obwohl andere Faktoren, die die Kontextnutzung beeinflussen könnten, existieren können.