🤖 AI

Agentic Context Learning with Self-Discovered Specification

Dieses Paper identifiziert, dass die primäre Herausforderung beim Kontextlernen für große Sprachmodelle nicht bloß der Zugriff auf Inhalte ist, sondern das Erwerfen impliziter, aufgabenspezifischer Spezifikationen, die über den Kontext verteilt sind, und zeigt auf, dass eine einfache Intervention namens PSCI, welche diese Spezifikationen durch adversarielles Prüfen extrahiert und erzwingt, den CL-Bench-Benchmark gegenüber bestehenden Baselines signifikant übertrifft.

Ursprüngliche Autoren: Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihnen wird gerade ein massives, 40.000-seitiges Handbuch für ein brandneues, hochkomplexes Videospiel ausgehändigt. Das Handbuch ist voller Lore, Charakterbiografien und Weltgeschichte. Dann stellt Ihnen ein Freund eine einfache Frage: „Was passiert, wenn ich ein Level überspringe?“

Sie könnten denken, der schwierigste Teil sei es, die Antwort in diesem riesigen Buch zu finden. Sie würden denken: „Wenn ich einfach nach ‚Level überspringen‘ suche, werde ich die Regel finden!“ Aber hier kommt die Wendung: Das Papier argumentet, dass das eigentliche Problem für moderne KI-Modelle nicht darin besteht, die Antwort zu finden (den Inhalt). Das eigentliche Problem ist, die Spielregeln zu finden, die einem sagen, wie man diese Antwort korrekt schreibt (die Spezifikationen).

Das „Beinahe-Treffer“-Rätsel

Die Forscher testeten dies auf einem Benchmark namens CL-Bench, der 1.899 knifflige Aufgaben enthält, bei denen die KI neue Regeln aus langen Texten lernen muss. Die Ergebnisse waren überraschend. Selbst die klügsten KI-Modelle (wie GPT-5.1) lösten nur etwa 22,55 % der Aufgaben perfekt richtig.

Doch als sie genauer hinschauten, stellten sie etwas Seltsames fest. Die KI vertauschte meistens nicht die Fakten. Sie vertuschte das Format.

Der Fakt: Die KI wusste, dass die fehlende ID „404“ war.
Die Regel: Das Handbuch besagte: „Wenn Sie eine fehlende ID sehen, müssen Sie das exakte Flag Sequence_Gap_Warning schreiben.“
Der Fehler: Die KI schrieb „404“, vergaß aber das Flag.

Es war ein „Beinahe-Treffer“. Die KI kannte den Inhalt, aber sie übersah die lokale Spezifikation. Tatsächlich stellte das Papier fest, dass 55,4 % aller Regeln im Test diese spezifischen Verhaltensweisen betrafen (Formate, Reihenfolgen, exakte Phrasen), während nur 22,6 % den faktischen Inhalt betrafen.

Warum „Suchen“ nicht funktionierte

Eine natürliche Vermutung wäre: „Vielleicht findet die KI einfach nicht die richtige Seite im Handbuch.“ Also versuchten die Forscher 12 verschiedene Methoden, um der KI beim Suchen besser zu helfen, wie etwa das Zusammenfassen des Textes oder das Herausziehen relevanter Abschnitte.

Das Ergebnis? Keine davon funktionierte gut. Die besten dieser suchintensiven Methoden erreichten immer noch nur etwa 23 %. Dies deutet darauf sich, dass nicht das Finden der richtigen Seite das Problem ist. Das Problem ist, dass die Regeln oft im Hintergrund verborgen sind – wie eine Fußnote in einem Absatz über „Ereignisse-Semantik“ – und die KI nicht merkt, dass sie ihnen folgen muss, sofern sie nicht explizit danach sucht.

Die Lösung des „Privaten Vertrags“

Um dies zu beweisen, entwarfen die Forscher einen einfachen Trick namens PSCI (Private Specification-Contract Induction). Denken Sie an Folgendes:

Bevor die KI versucht, die Frage zu beantworten, zwingen sie sie zu einer „Pre-Game-Besprechung“.

Induzieren: Die KI liest das gesamte Handbuch und schreibt einen „Privaten Vertrag“ aller gefundenen versteckten Regeln auf (z. B. „Regel 1: Verwenden Sie immer das Flag Sequence_Gap_Warning“).
Generieren: Die KI schreibt ihre Antwort, aber sie muss diesen Vertrag befolgen.
Prüfen: Ein „Schiedsrichter“ (ein weiterer KI-Schritt) prüft die Antwort gegen den Vertrag. Haben Sie das Flag verwendet? Haben Sie die Reihenfolge eingehalten?
Reparieren: Wenn der Schiedsrichter „Nein“ sagt, korrigiert die KI die Antwort, bevor sie sie Ihnen zeigt.

Das Ergebnis? Dieser einfache vierstufige Prozess steigerte den GPT-5.1-Score von 22,55 % auf 28,14 %. Das ist ein Sprung von 5,59 Prozentpunkten, was in dieser Welt gewaltig ist. Es funktionierte auch bei anderen Modellen wie Qwen3.5-27B (Sprung von 14,14 % auf 19,42 %) und Gemini 3 Pro (Sprung von 16,14 % auf 22,31 %).

Was dies ausschließt

Das Papier ist sich sehr klar darüber, was nicht funktioniert:

Nur mehr suchen: Mehr Suchwerkzeuge auf das Problem anzuwerfen, half nicht.
Nur intensiver nachdenken: Die Verwendung der Einstellung „GPT 5.1 (High)“ aus der ursprünglichen CL-Bench-Evaluierung brachte das Modell nur auf 23,7 %, was immer noch niedriger ist als die 28,14 %, die durch den PSCI-Trick erreicht wurden.
Generische Checklisten: Wenn man die KI nur bittet, „ihre Arbeit zu prüfen“, ohne sie zuerst dazu zu bringen, die spezifischen Regeln aus diesem Kontext aufzuschreiben, hilft es nicht. Die Regeln müssen spezifisch für die jeweilige Aufgabe sein.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihren Erkenntnissen, da sie dies rigoros getestet haben. Sie haben nicht nur geraten; sie führten 17 verschiedene „Ablations-Experimente“ durch (das Zerlegen der Methode, um zu sehen, was funktioniert).

Sie bewiesen, dass die Punktzahl massiv einbricht (auf 19,80 %), wenn man die Regeln vertauscht (der KI einen falschen Vertrag gibt), was beweist, dass die Regeln zur spezifischen Aufgabe passen müssen.
Sie bewiesen, dass es fehlschlägt, wenn man den „Vertrags“-Schritt überspringt und die KI einfach nur später bittet, ihre eigene Arbeit zu prüfen. Der Vertrag muss vor der Generierung der Antwort geschrieben werden.
Sie ließen sogar menschliche Experten 100 der Antworten der KI überprüfen. Die Menschen stimmten in 96 % der Fälle mit dem Urteil des Computers überein, was bestätigte, dass die KI tatsächlich besser wurde und nicht nur rät.

Das Fazle

Das Papier legt nahe, dass eine KI, um neue Regeln aus langen Texten zu lernen, nicht einfach nur ein guter Bibliothekar sein kann, der das richtige Buch findet. Sie muss ein guter Anwalt sein, der das Kleingedruckte liest, einen Vertrag über die Regeln aufstellt und diesen Vertrag unterzeichnet, bevor sie irgendeine Arbeit verrichtet.

Obwohl der Wert von 28,14 % der bisher beste ist, merken die Autoren an, dass es noch kein „gelöstes“ Problem ist. Es gibt noch viel Raum für Verbesserungen, insbesondere im Bereich der „Durchsetzung“ – also sicherzustellen, dass die KI den Vertrag, den sie für sich selbst geschrieben hat, auch tatsächlich einhält. Aber die Hauptbotschaft ist klar: Kontextlernen bedeutet nicht nur, die Antwort zu finden; es geht darum, zuerst die Regeln des Spiels zu entdecken.

Technisches Resümee: Agentic Context Learning mit selbstentdeckter Spezifikation

1. Problemdefinition: Der Flaschenhals des Context Learning

Die Arbeit befasst sich mit Context Learning, einer Aufgabe während der Inferenz, bei der Large Language Models (LLMs) lernen müssen, neuartiges, aufgabenspezifisches Wissen aus komplexen, langen Kontexten anzuwenden, das im Pre-Training nicht vorhanden war. Im Gegensatz zu traditionellen Long-Context-Aufgaben (z. B. Dokumentenverständnis), die sich auf das Abrufen relevanter Fakten konzentrieren, erfordert Context Learning, dass das Modell innerhalb einer neu definierten lokalen Umgebung operiert (z. B. ein Produkthandbuch, ein regulatorischer Kodex oder eine API-Spezifikation), in der die Regeln der Gültigkeit oft implizit sind.

Trotz starker Leistungen bei allgemeinen Sprachaufgaben haben Frontier-Modelle in diesem Szenario erhebliche Schwierigkeiten. Auf dem CL-Bench (einem speziell für Context Learning entwickelten Benchmark mit 1.899 Aufgaben) erreichen selbst die besten Modelle eine strikte Erfolgsquote von weniger als 24 %. Die Autoren hypothetisieren, dass die Fehlerzustände nicht bloß auf eine Unfähigkeit zurückzuführen sind, Inhalte innerhalb langer Kontexte abzurufen, sondern auf ein Versagen beim Erwerb lokaler Spezifikationen – also der Verhaltensbeschränkungen, Formatvorgaben, Regeln zur Handhabung von Grenzfällen und Vollständigkeitsbedingungen, die über den Kontext verteilt sind und bestimmen, ob eine Antwort gültig ist.

2. Empirische Analyse und Diagnose

Die Autoren führten eine umfassende empirische Studie auf dem CL-Bench durch, um die Ursache dieser Fehler zu diagnostizieren:

Analyse der Fehlermodi: Während die strikte Erfolgsquote niedrig ist (22,55 %), ist die Erfolgsquote auf Rubrik-Ebene wesentlich höher (76,01 %). Dies deutet darauf hin, dass Modelle oft die meisten Anforderungen erfüllen, aber an einem kritischen Detail scheitern. Bei Aufgaben, die genau um ein Rubrik-Item fehlgeschlagen sind, waren 75,3 % der versäumten Items Spezifikations-Items (Einhaltung lokaler Verhaltensbeschränkungen) und keine Fehler beim faktischen Inhalt.
Taxonomie der Anforderungen: Über 31.592 Rubrik-Items evaluierten 55,4 % den Erwerb von Spezifikationen (Lernen lokaler Regeln), während nur 22,6 % den Erwerb von Inhalten (Abrufen von Fakten) evaluierten.
Die Query-Kontext-Asymmetrie: Eine zentrale Erkenntung ist, dass 76,7 % der Spezifikations-Items nicht allein aus der Benutzeranfrage (Query) ableitbar sind; sie sind über den umgebenden Kontext verteilt (z. B. in Beispielen, Validierungsmustern oder wiederkehrenden Strukturen). Dennoch sind 95,5 % dieser Spezifikationen rückverfolgbar auf den Kontext, was bedeutet, dass es sich um lernbare Verpflichtungen handelt und nicht um verborgene Präferenzen des Evaluators.
Limitierungen bestehender Methoden: Die Autoren evaluierten zwölf Baselines, die Retrieval, Kontext-Restrukturierung, Selbstkorrektur und iteratives Retrieval abdecken. Keine übertraf die direkte Full-Context-Prompting-Baseline um mehr als einen Prozentpunkt. Dies legt nahe, dass Methoden, die auf die Sichtbarmachung query-relevanter Inhalte fokussiert sind, an den validitätsrelevanten Spezifikationen scheitern, welche die Form und das Verfahren der Antwort bestimmen.

3. Methodik: Private Specification-Contract Induction (PSCI)

Um die Diagnose zu validieren, dass der Erwerb von Spezifikationen der Flaschenhals ist, schlagen die Autoren PSCI vor, ein bewusst einfaches, trainingsfreies Test-Time-Scaffold. PSCI operiert in vier sequenziellen Schritten:

Specification Discovery (Induktion): Das Modell induziert einen privaten Spezifikationsvertrag ( $K$ ) aus der Aufgabe ( $x$ ) und dem Kontext ( $c$ ). Dieser Vertrag ist ein strukturierter Satz von Verpflichtungs-Items (Formate, Validierungsprüfungen, Ordnungsbeschränkungen), die für die lokale Gültigkeit erforderlich sind. Entscheidend ist, dass dieser Vertrag vor der Generierung induziert wird und vom öffentlichen Rubric niemals beobachtet wird.
Generation: Das Modell generiert eine erste Entwurfsantwort ( $y_0$ ), bedingt durch die Aufgabe, den Kontext und den induzierten Vertrag $K$ .
Adversarial Checking: Ein adversarieller Checker prüft $y_0$ gegen $K$ (nicht gegen das öffentliche Rubric) und erstellt eine strukturierte Diagnose ( $d$ ), die identifiziert, welche Verpflichtungen erfüllt, teilweise erfüllt oder verletzt wurden.
Repair: Ein Reparatur-Schritt behebt die in $d$ identifizierten Verstöße, um die endgültige Antwort ( $\hat{y}$ ) zu erzeugen, wobei der korrekte Inhalt erhalten bleibt, während der Vertrag erzwungen wird.

Die Kerninnovation besteht darin, den Spezifikationsvertrag als ein Kontrollobjekt zu behandeln, das die Generierung formt, statt als post-hoc Grader zu fungieren.

4. Kernergebnisse

Die Autoren evaluierten PSCI auf dem CL-Bench mit GPT-5.1, Qwen3.5-27B und Gemini 3 Pro:

State-of-the-Art Performance: PSCI erreichte eine strikte Erfolgsquote von 28,14 % mit GPT-5.1 (Medium), was eine absolute Steigerung von +5,59 Prozentpunkten (24,8 % relativer Zuwachs) gegenüber der direkten Baseline (22,55 %) bedeutet. Diese Leistung übertraf sogar GPT-5.1 (High) aus der ursprünglichen CL-Bench-Evaluierung (23,7 %).
Modellübergreifende Generalisierung: Die Gewinne waren konsistent über verschiedene Modelle hinweg:
- Qwen3.5-27B: Verbesserte sich von 14,14 % auf 19,42 % (+5,28 pp).
- Gemini 3 Pro: Verbesserte sich von 16,14 % auf 22,31 % (+6,17 pp).
Gewinne auf Rubrik-Ebene: PSCI verbesserte die globale Rubrik-Erfolgsquote um +5,12 pp. Bemerkenswert ist, dass die Verbesserung bei Spezifikations-Items (Schließung der Lücke um 23,2 %) größer war als bei Inhalts-Items (Schließung um 15,5 %), was bestätigt, dass die Methode den identifizierten Flaschenhals adressiert.
Vergleich mit Baselines: Alle zwölf alternativen Baselines (einschließlich Self-RAG, Reflexion und Iterativem Retrieval) blieben innerhalb von 0,78 pp der direkten Baseline und konnten PSCIs Leistung nicht erreichen.

5. Ablationsstudien und Mechanismus-Validierung

Siebzehn Ablationsstudien wurden durchgeführt, um die Rolle der aufgabenspezifischen Spezifikationen zu isolieren:

Notwendigkeit der Aufgabenspezifität: Das Vertauschen von Verträgen (Verwendung eines Vertrags aus einer anderen Aufgabe) führte dazu, dass die Leistung unter die Baseline sank (19,80 %), was beweist, dass Spezifikationen mit der spezifischen Aufgabe abgestimmt sein müssen.
Erdung im Kontext: Zero-Shot kontext-abgeleitete Spezifikationen verbesserten die Leistung, während generische statische Spezifikationen dies nicht taten, was bestätigt, dass Spezifikationen aus dem aktuellen Kontext extrahiert werden müssen.
Durchsetzung vs. Entdeckung: Die reine Entdeckung (Induktion des Vertrags ohne Prüfung/Reparatur) erreichte 26,09 %, aber die vollständige Pipeline (28,14 %) zeigte, dass die Durchsetzung (Enforcement) entscheidend ist.
Kontrollobjekt vs. Post-Hoc Grader: Die Induktion von Spezifikationen nach der Generierung (Answer-first Ordering) scheiterte (23,67 %), was zeigt, dass der Vertrag als Kontrollobjekt fungieren muss, um den Generierungsprozess zu formen, und nicht nur als Reparaturleitfaden dient.
Recheneffizienz: Mit Rechenleistung vergleichbare Kontrollen (z. B. generische Selbstreflexion, wiederholte statische Spezifikationen) konnten PSCI nicht erreichen, was darauf hindeutet, dass der Gewinn aus der Struktur der Berechnung (Spezifikationsentdeckung und -durchsetzung) resultiert und nicht lediglich aus erhöhten Inferenzkosten.

6. Bedeutung und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

Diagnose: Es identifiziert den Erwerb von Spezifikationen (das Ableiten von in der Query impliziten, aber im Kontext rückverfolgbaren lokalen Verpflichtungen) als den entscheidenden Flaschenhals beim Context Learning, im Gegensatz zum Erwerb von Inhalten.
Methodik: Es führt PSCI ein, ein einfaches, trainingsfreies Scaffold, das durch die explizite Induktion und Durchsetzung dieser lokalen Spezifikationen State-of-the-Art-Ergebnisse erzielt.
Mechanismus: Es demonstriert durch umfangreiche Ablation, dass Context Learning einen zweistufigen Prozess erfordert: Spezifikationsentdeckung (geerdet im Kontext) und Spezifikationsdurchsetzung (via Prüfung und Reparatur).

Die Autoren kommen zu dem Schluss, dass Context Learning nicht nur davon abhängt, die richtigen Fakten abzurufen, sondern auch davon, die lokalen „Spielregeln“ zu erlernen und einzuhalten, die innerhalb des Prompts definiert sind. Sie merken an, dass trotz der signifikanten Verbesserung durch PSCI die Durchsetzung ein verbleibender Engpass bleibt, da Modelle die korrekten Verpflichtungen oft zwar identifizieren, aber Schwierigkeiten haben, diese konsistent in der finalen Ausgabe umzusetzen. Die Arbeit legt nahe, dass zukünftige Fortschritte im Context Learning Mechanismen erfordern, die diese lokalen Validitätsbedingungen besser internalisieren und erzwingen können.