💬 NLP

Retrieved In-Context Principles from Previous Mistakes

Das Papier schlägt Retrieved In-Context Principles (RICP) vor, ein Lehrer-Schüler-Framework, das Fehler von Schülermodellen analysiert und clustert, um maßgeschneiderte Prinzipien auf Aufgabenebene zu generieren, die die Leistung von Large Language Models über verschiedene Reasoning-Benchmarks hinweg verbessern.

Ursprüngliche Autoren: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (dem Schülermodell) beizubringen, knifflige Rätsel zu lösen. Normalerweise unterrichten wir, indem wir ihm perfekte Beispiele dafür zeigen, wie man es richtig macht. Doch diese Arbeit argumentiert, dass wir ihn noch besser unterrichten können, indem wir ihm zeigen, wo er einen Fehler gemacht hat, und erklären, warum.

Die Autoren nennen ihre neue Methode RICP (Retrieved In-Context Principles). Denken Sie daran als an ein intelligentes, zweistufiges Tutor-System, das einen Lehrer und einen Schüler umfasst.

So funktioniert es, anhand einer einfachen Analogie:

Das Problem: Das „Einheits"-Lehrbuch

Frühere Methoden versuchten, aus Fehlern zu lernen, waren aber so, als würde man dem Schüler ein generisches Lehrbuchkapitel mit dem Titel „Wie man Fehler vermeidet" in die Hand drückt.

Der Fehler: Wenn der Schüler bei einem Matheproblem über Pizza feststeckt, hilft es vielleicht nicht genug, eine generische Regel über „Arbeitskontrolle" zu lesen. Umgekehrt ist eine Regel über „Pizza-Mathe" nutzlos, wenn der Schüler ein Logikrätsel löst.
Das Ergebnis: Der Rat war entweder zu vage oder deckte nicht genügend verschiedene Arten von Fehlern ab.

Die Lösung: Der „Personalisierte Tutor" (RICP)

Die RICP-Methode wirkt wie ein Meisterlehrer, der beobachtet, wie der Schüler einen Übungstest macht, seine spezifischen Fehler analysiert und dann einen maßgeschneiderten Lernleitfaden für den nächsten Test erstellt.

Schritt 1: Die „Fehlerobduktion" (Erstellung von Erkenntnissen)

Zuerst versucht das Schülermodell, eine Reihe von Übungsproblemen zu lösen. Das Lehrermodell (eine intelligentere KI) betrachtet diejenigen, die der Schüler falsch gemacht hat.

Was der Lehrer tut: Statt nur „Falsch" zu sagen, schreibt der Lehrer einen Bericht. Er identifiziert die Hauptursache (z. B. „Sie haben vergessen, das Trinkgeld zum Pizzapreis hinzuzufügen") und gibt spezifische Erkenntnisse (z. B. „Überprüfen Sie immer, ob Sie jeden Teil der Gesamtkosten berücksichtigt haben").

Schritt 2: Die „Bibliothek der Lektionen" (Formulierung von Prinzipien)

Hier passiert die Magie. Der Lehrer organisiert diese Fehler in zwei Arten von Ratschlägen:

Die „Allgemeinen Regeln" (Aufgaben-Ebene Prinzipien):
- Analogie: Stellen Sie sich ein Lehrbuchkapitel vor.
- Der Lehrer gruppiert ähnliche Fehler zusammen (z. B. alle Mathefehler bezüglich Proportionen). Aus diesen Gruppen formuliert er breite Regeln, die auf jedes Matheproblem anwendbar sind.
- Beispiel: „Überprüfen Sie Ihre Rechenoperationen immer doppelt."
Die „Persönliche Spickzettel" (Fragen-Ebene Prinzipien):
- Analogie: Stellen Sie sich einen Haftnotiz an der spezifischen Aufgabe vor, die Sie gerade betrachten.
- Für die exakte Frage, die der Schüler beantworten wird, durchsucht der Lehrer die Bibliothek nach den ähnlichsten vergangenen Fehlern. Er zieht dann den spezifischen Rat heraus, der nur auf diese Situation zutrifft.
- Beispiel: „Für dieses spezifische Pizza-Problem denken Sie daran, das Trinkgeld zum Grundpreis hinzuzufügen, nicht nur das Trinkgeld zu berechnen."

Schritt 3: Der „Prüfungstag" (Nutzung der Prinzipien)

Wenn der Schüler eine neue Frage erhält:

Er erhält die Allgemeinen Regeln (das Lehrbuchkapitel), um auf dem richtigen Weg zu bleiben.
Er erhält den Persönlichen Spickzettel (die Haftnotiz), der auf diese spezifische Frage zugeschnitten ist.
Er kombiniert diese mit seinen normalen Anweisungen, um das Problem zu lösen.

Entscheidend: Der Lehrer muss während der Prüfung nicht anwesend sein. Der Schüler verwendet einfach die Notizen, die der Lehrer zuvor vorbereitet hat. Dies macht den Betrieb schnell und kostengünstig.

Warum ist das besser?

Die Arbeit testete dies an sieben verschiedenen „Prüfungsausschüssen" (Datensätzen), die Mathematik, gesunden Menschenverstand und Logik umfassten.

Anpassungsfähigkeit: Im Gegensatz zu alten Methoden, die allen denselben Rat gaben, liefert RICP den richtigen Rat für die spezifische Frage.
Abdeckung: Durch das Gruppieren von Fehlern stellt es sicher, dass der Schüler aus einer Vielzahl von Fehlern lernt, nicht nur aus den häufigsten.
Ergebnisse: Als sie diese „Fehlerskizzen" zu Standard-KI-Prompting-Methoden hinzufügten, wurden die Schülermodelle erheblich schlauer und genauer, insbesondere bei schwierigen Logik- und Matheproblemen.

In Kürze

Anstatt einer KI nur zu zeigen, wie man Dinge richtig macht, lehrt diese Methode sie, wie man vermeidet, Dinge falsch zu machen, indem sie ihre vergangenen Misserfolge analysiert. Es entsteht ein hybrider Leitfaden, der sowohl breite Weisheit (für allgemeine Sicherheit) als auch spezifische Tipps (für das unmittelbare Problem) bietet und der KI hilft, viel mehr wie ein Mensch zu reasoning, der aus seinen eigenen Fehlern lernt.

Technische Zusammenfassung: Abruf von Prinzipien im Kontext (RICP)

Problemstellung

Während In-Context Learning (ICL) sich als effektiv erwiesen hat, um Large Language Models (LLMs) mithilfe korrekter Beispiele an nachgelagerte Aufgaben anzupassen, stehen neuere Ansätze, die versuchen, die Leistung durch das Lernen aus Fehlern zu verbessern, vor zwei kritischen Einschränkungen:

Mangelnde Anpassungsfähigkeit: Bestehende Methoden wenden typischerweise einen festen Satz von Prinzipien auf alle Fragen an. Dieser statische Ansatz berücksichtigt nicht die spezifischen Nuancen einzelner Probleme, was potenziell zu Verwirrung führt, wenn allgemeine Prinzipien nicht anwendbar sind.
Unzureichende Fehlerabdeckung: Aktuelle Methoden passen die Verteilung der Prinzipien oft nicht an, um ein breites Spektrum von Fehlern abzudecken. Dies führt zu einer übermäßigen Betonung ähnlicher Fehler, verengt den Umfang der behandelbaren Fehler und erhöht die Inferenzkosten durch unnötigen Token-Verbrauch.

Methodik: Abruf von Prinzipien im Kontext (RICP)

Die Autoren schlagen RICP vor, ein neuartiges Lehrer-Schüler-Framework, das entwickelt wurde, um Prinzipien zu generieren und abzurufen, die aus Fehlern des Schülermodells abgeleitet sind. Das Framework arbeitet in drei distincten Stufen:

1. Erkenntnisgenerierung

Das Schülermodell wird an einem Trainingsdatensatz ( $D_{train}$ ) evaluiert, um falsche Lösungen ( $D_{neg}$ ) zu sammeln. Ein stärkeres Lehrermodell analysiert jeden Fehler und generiert:

Übergeordnete Gründe ( $R_i$ ): Eine Kategorisierung des Fehlers (z. B. „Falsche Anwendung der Proportion").
Spezifische Erkenntnisse ( $I_i$ ): Detaillierte Anleitung, um ähnliche zukünftige Fehler zu vermeiden.

2. Formulierung von Prinzipien

Um Vielfalt und Anpassungsfähigkeit in Einklang zu bringen, setzt RICP hierarchisches Clustering ein:

Aufgabenbezogene Prinzipien (Task-Level Principles): Die übergeordneten Gründe werden mittels K-Means auf Vektor-Einbettungen (BGE) geclustert. Fragen innerhalb desselben Clusters teilen ähnliche Fehlermuster. Das Lehrermodell sampelt aus diesen Clustern, um aufgabenbezogene Prinzipien zu formulieren, die als allgemeine Richtlinien dienen, die über alle Fragen einer Aufgabe hinweg geteilt werden.
Fragenbezogene Prinzipien (Question-Level Principles): Für eine spezifische Inferenzfrage ruft das System die $m$ ähnlichsten Fragen aus jedem Grund-Cluster ab. Die mit diesen abgerufenen Fragen verbundenen Erkenntnisse werden dann geclustert und gesampelt, um fragenbezogene Prinzipien zu generieren. Dies stellt sicher, dass die Anleitung hochgradig spezifisch für die Semantik der aktuellen Frage ist.

3. Nutzung der Prinzipien

Während der Inferenz werden sowohl aufgabenbezogene als auch fragenbezogene Prinzipien an den bestehenden Prompt des Schülermodells angehängt ( $P_{ENHANCED} = P_{TASK} \oplus P_{QUESTION} \oplus P_{BASE}$ ). Entscheidend ist, dass das Lehrermodell während der Inferenzphase nicht benötigt wird, was den Rechenaufwand reduziert.

Hauptbeiträge

Neuartiges Framework: Die Einführung von RICP, einem Lehrer-Schüler-Framework, das von einem Lehrer generierte Prinzipien nutzt, um Schülermodelle daran zu hindern, spezifische Fehler zu wiederholen.
Verbesserte Anpassungsfähigkeit und Abdeckung: Durch die Generierung sowohl von aufgabenbezogenen (vielfältigen) als auch fragenbezogenen (angepassten) Prinzipien mittels hierarchischem Clustering erweitert die Methode die Fehlerabdeckung erheblich und bietet gleichzeitig präzise, fragen-spezifische Anleitung.
Orthogonalität und Effizienz: RICP ist orthogonal zu bestehenden Prompting-Strategien (z. B. Chain of Thought, Auto CoT) und erfordert keine Lehrer-Intervention während der Inferenz, was eine nahtlose Integration und Leistungssteigerungen über verschiedene Prompting-Methoden hinweg ermöglicht.

Experimentelle Ergebnisse

Die Autoren evaluierten RICP über sieben Benchmarks, die drei Denkaufgaben abdecken: Mathematisches Reasoning (GSM8K, SVAMP, MathQA, AQuA), Common-Sense-Reasoning (CSQA, StrategyQA) und Logisches Reasoning (LogiQA). Die Experimente nutzten GPT-3.5-Turbo und Qwen-Turbo als Schülermodelle, wobei GPT-4-Turbo als Lehrer diente.

Konsistente Verbesserung: RICP verbesserte die Leistung aller getesteten Prompting-Methoden (Standard, Zero-shot CoT, Few-shot CoT, Auto CoT, Complex CoT) konsistent über verschiedene Modelle und Benchmarks hinweg.
Signifikante Gewinne: Es wurden bemerkenswerte relative Verbesserungen beobachtet, wie beispielsweise eine 22,6%ige Verbesserung gegenüber Zero-shot CoT und 20,0% gegenüber Complex CoT auf dem AQuA-Datensatz unter Verwendung von GPT-3.5-Turbo.
Ablationsstudien: Das Entfernen entweder von aufgabenbezogenen oder fragenbezogenen Prinzipien führte zu einer Leistungsverschlechterung, was die Notwendigkeit beider Komponenten bestätigt. Insbesondere waren fragenbezogene Prinzipien entscheidend, um Fehler in spezifischen Kontexten zu verhindern (z. B. Auto CoT auf MathQA).
Wirksamkeit des Abrufs: Die angepasste Abrufung von Prinzipien schnitt deutlich besser ab als eine zufällige Auswahl, was zeigt, dass die Relevanz der abgerufenen Erkenntnisse für eine effektive Führung des Modells von entscheidender Bedeutung ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RICP die Einschränkungen vorheriger Ansätze des „Lernens aus Fehlern" effektiv adressiert, indem es einen Mechanismus für dynamische, kontextbewusste Anleitung bereitstellt. Durch das Clustern von Fehlern basierend auf zugrunde liegenden Gründen und das Abrufen relevanter Erkenntnisse für spezifische Fragen stellt die Methode sicher, dass das Modell umfassende, dennoch präzise Anweisungen erhält.

Die Autoren betonen, dass RICP besonders effektiv für logische Fehler ist, die im mathematischen Reasoning weit verbreitet sind, und dass die Methode nahtlos mit anderen Techniken wie Retrieval-Augmented Generation (RAG) oder externen Tools integriert werden kann. Die Studie kommt zu dem Schluss, dass die Nutzung von von einem Lehrer generierten Erkenntnissen durch einen strukturierten Abruf- und Clustering-Prozess die Reasoning-Fähigkeiten von LLMs erheblich verbessert, ohne zusätzliche Inferenzkosten zu verursachen.

Anerkannte Einschränkungen:

Die Methode erfordert, dass das Lehrermodell deutlich fortschrittlicher ist als das Schülermodell, um die Qualität der generierten Prinzipien sicherzustellen.
Obwohl die Inferenzkosten nicht steigen, entsteht ein Overhead im Zusammenhang mit der Vorkonstruktion von Prinzipien (Erkenntnisgenerierung und Clustering) im Vergleich zum direkten Few-Shot-Learning.