💬 NLP

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES ist ein neuartiges Framework für selbstverbesserndes LLM-Reasoning, das dynamisch ein modulares Gedächtnis aus schrittweisen Instruktionspaaren erweitert und einen grob-zu-feinen, lernbaren Selektionsmechanismus einsetzt, um die Gedächtniskomposition und die Genauigkeit des Reasonings unter realistischen Testzeitbeschränkungen zu optimieren.

Ursprüngliche Autoren: Ruilin Tong, Dong Gong

Veröffentlicht 2026-07-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruilin Tong, Dong Gong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Schlaue Notizbuch“ für KI

Stellen Sie sich vor, Sie haben einen brillanten, aber sturen Freund (die KI), der groß darin ist, Rätsel zu lösen, aber ein schreckliches Gedächtnis hat. Jedes Mal, wenn Sie ihm eine neue Matheaufgabe stellen, tut er so, als hätte er noch nie zuvor eine gesehen. Er löst sie zwar, aber wenn Sie ihm später eine ähnliche Frage stellen, muss er wieder ganz von vorne anfangen.

Normalerweise müssten Sie diesen Freund jahrelang zurück in die Schule schicken, damit er alles neu lernt (das nennt man „Training“ oder das Aktualisieren der Modellparameter), um ihn schlauer zu machen. Aber was, wenn Ihr Freund ein abgeschlossenes Buch ist, das Sie nicht zurück in die Schule schicken können? Sie können sein Gehirn nicht verändern.

MILES ist ein neuer Weg, um diesem Freund zu helfen, während er arbeitet, schlauer zu werden, ohne sein Gehirn zu verändern. Es gibt ihm ein dynamisches, lernbares Notizbuch, in das er in Echtzeit schreiben und nachschlagen kann.

Das Problem mit alten Notizbüchern

Frühere Versuche, einer KI ein „Gedächtnis“ zu geben, hatten zwei Hauptmängel:

Das „Ganze-Lösung“-Notizbuch: Einige Methoden speicherten die kompletten Antworten auf vergangene Probleme. Wenn Sie eine Frage stellten, die zu 90 % ähnlich war wie eine alte, funktionierte es großartig. Aber wenn die Frage auch nur leicht anders war (ein „neuartiges“ Problem), war die alte Antwort nutzlos. Es war, als würde man versuchen, ein Rezept für „Apfelkuchen“ zu verwenden, um einen „Blaubeermuffin“ zu backen.
Das „Heuristik“-Notizbuch: Andere Methoden speicherten kleine Schritte (wie „durch 2 teilen“ oder „die Einheiten prüfen“). Aber die KI musste raten, welchen Schritt sie als Nächstes verwenden sollte, indem sie nur schaute, wie ähnlich sich die Wörter waren. Es war, als würde ein Koch ein zufälliges Gewürzglas greifen, weil das Etikett dem gesuchten ähnlich sah, in der Hoffnung auf das Beste.

Die MILES-Lösung: Ein „modulares“ und „lernbares“ System

MIches ändert das Spiel, indem es logisches Denken wie einen Lego-Baukasten behandelt und nicht wie einen einzelnen Block aus Beton.

1. Die Bausteine: „Teilziele“ und „Teilanweisungen“

Anstatt ganze Antworten zu speichern, zerlegt MILES Probleme in winzige, wiederverwendbare Lego-Steine.

Das Teilziel (Das Etikett): Eine kurze Beschreibung dessen, was als Nächstes getan werden muss (z. B. „Bruch vereinfachen“).
Die Teilanweisung (Der Stein): Ein spezifischer Tipp in natürlicher Sprache, wie man es macht (z. B. „Dividiere Zähler und Nenner durch den größten gemeinsamen Teiler“).

Betrachten Sie dies als einen Werkzeugkasten, in dem jedes Werkzeug ein klares Etikett hat.

2. Der „Smarte Selektor“ (Der lernbare Kopf)

Das ist der magische Teil. In der Vergangenheit griff die KI einfach nach dem Werkzeug, das dem aktuellen Problem am ähnlichsten sah. MILES gibt der KI für jedes einzelne Werkzeug im Kasten einen persönlichen Assistenten (einen „Selection Head“).

Wie es lernt: Wenn die KI ein Problem selbstbewusst löst (sie bekommt die richtige Antwort), schaut MILES zurück auf die Schritte, die sie unternommen hat. Es fragt: „Hey, als wir das Werkzeug ‚Bruch vereinfachen‘ benutzt haben, hat uns das geholfen, die richtige Antwort zu finden?“
Das Training: Wenn die Antwort „Ja“ lautet, lernt der Assistent, diesem Werkzeug in ähnlichen Situationen zu vertrauen. Wenn die Antwort „Nein“ lautet, lernt der Assistent, dieses Werkzeug zu vermeiden.
Keine Schule nötig: Das Gehirn der KI bleibt eingefroren. Nur diese winzigen „Assistenten“ (die sehr kleine Computerprogramme sind) werden aktualisiert.

3. Der zweistufige Suchprozess

Wenn die KI vor einem neuen Problem steht, nutzt MILES eine „Grob-zu-Fein“-Suche, wie das Suchen eines Buches in einer Bibliothek:

Ebene 1 (Die grobe Suche): Die KI scannt schnell die Etiketten (Teilziele), um ein paar vielversprechende Werkzeuge zu finden. Es ist, als würde man durch die „Mathe“-Abteilung gehen und ein paar Bücher greifen, die vielleicht relevant sein könnten.
Ebene 2 (Die Expertenprüfung): Die „Assistenten“ (Selection Heads) nehmen diese wenigen Kandidaten und bewerten sie basierend auf ihrer Erfahrung. „Warte, dieses Werkzeug hat bei Algebra super funktioniert, aber bei Geometrie versagt. Lass uns lieber das andere nehmen.“

Wie es in Echtzeit funktioniert (Der „Selbstbewusst vs. Unsicher“-Ablauf)

Das System arbeitet in zwei Modi, je nachdem, wie sicher sich die KI ist:

Der „Selbstbewusste“ Modus (Lernphase):
Wenn die KI ein Problem mühelos löst und die richtige Antwort erhält, betrachtet sie dies als eine „Trainingssitzung“. Sie zerlegt ihre erfolgreichen Schritte, speichert sie als neue Lego-Steine im Notizbuch und bringt ihren Assistenten bei, welche Werkzeuge in dieser Situation am besten funktionierten. Das Notizbuch wird mit jedem Erfolg reicher.
Der „Unsichere“ Modus (Hilfsphase):
Wenn die KI feststeckt oder unsicher ist, hört sie auf zu raten. Stattdessen öffnet sie das Notizbuch, bittet ihre Assistenten um Rat und nutzt die besten Werkzeuge, um ihr Denken zu leiten. Es ist wie ein Schüler, der die Hand hebt, um dem Lehrer um einen Hinweis zu bitten, wenn er nicht weiterweiß.

Warum das wichtig ist (Die Ergebnisse)

Das Paper testete MILES bei schwierigen Mathe- und Naturwissenschaftsprüfungen (wie AIME und MATH-500).

Bessere Genauigkeit: Es löste konsistent mehr Probleme korrekt als andere Methoden, die Gedächtnis oder Suche nutzen.
Effizienz: Es verschwendete nicht so viel Rechenleistung durch zufällige Versuche; es nutte das „gelernte“ Gedächtnis, um den richtigen Pfad schneller zu wählen.
Übertragbarkeit: Das von einem KI-Modell erstellte Notizbuch konnte tatsächlich einem anderen KI-Modell dabei helfen, Probleme zu lösen. Es ist, als ob ein Meisterkoch ein Kochbuch schreibt, das ein Junior-Koch sofort aufgreifen und nutzen kann, selbst wenn sie sich nie begegnet sind.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie spielen ein Videospiel.

Der alte Weg: Sie versuchen, jedes Level durch Raten zu bestehen. Wenn Sie sterben, fangen Sie von vorne an.
Der bisherige „Gedächtnis“-Weg: Sie führen eine Liste mit „Gewinnstrategien“ für bestimmte Level. Wenn Sie Level 5 sehen, nutzen Sie die Strategie für Level 5. Wenn Sie Level 5.1 sehen, stecken Sie fest.
Der MILES-Weg: Sie führen einen dynamischen Strategieführer, der sich selbst aktualisiert. Wenn Sie ein Level gewinnen, schreibt der Guide automatisch auf, welcher Zug in dieser speziellen Situation am besten funktioniert hat. Wenn Sie das nächste Mal vor einem schwierigen Sprung stehen, zeigt Ihnen der Guide nicht nur eine Liste; er hat einen „smarten Filter“, der sagt: „Basierend auf deinen bisherigen Siegen ist der ‚Doppelsprung‘ hier zu 90 % wahrscheinlich erfolgreich.“

MILES ermöglicht es der KI, Erfahrung zu sammeln und mit der Zeit schlauer zu werden – nicht indem sie ihr Gehirn neu trainiert, sondern indem sie lernt, ihre wachsende Bibliothek an Tipps und Tricks besser zu nutzen.

Technisches Resümee: MILES (Modular Instruction Memory with Learnable Selection)

Problemformulierung

Große Sprachmodelle (LLMs) haben signifikante Denkfähigkeiten durch Test-Time-Computation-Techniken wie Chain-of-Thought (CoT), Self-Consistency und Tree Search demonstriert. Bestehende Ansätze behandeln jedoch jedes Problem weitgehend isoliert. In praktischen Szenarien, in denen Probleme sequenziell auftreten, versäumen es Modelle, Erfahrungen über verwandte Abfragen hinweg zu akkumulieren und wiederzuverwenden. Das Aktualisieren der Modellparameter für jedes neue Problem ist oft nicht praktikabel, insbesondere bei geschlossenen oder eingefrorenen Modellen.

Obwohl externe Gedächtnismethoden existieren, leiden diese unter kritischen Einschränkungen:

Mangelnde Generalisierung: Methoden, die ganze Lösungsvorlagen oder Strategien speichern, scheitern oft, wenn neue Probleme neuartige Strukturen aufweisen.
Heuristische Selektion: Auf Schritt-Ebene basierende Gedächtnisansätze verlassen sich typischerweise auf heuristische Selektion (z. B. Ähnlichkeitsabruf oder Prompting) anstatt auf die Optimierung der Korrektheit der Endantwort.
Trainingsbeschränkungen: Das Erlernen von Selektionsrichtlinien erfordert meist groß angelegte annotierte Datensätze, feste Aktionsräume oder Parameteraktualisierungen, was ineffizient für Test-Time-Settings ist, in denen das Gedächtnis inkrementell expandiert und die Supervision begrenzt ist.

Die zentrale Herausforderung besteht darin, ein externes Gedächtnis zu organisieren, zu pflegen und wiederzuverwenden, das die Denkgenauigkeit mit zunehmender Erfahrung verbessert, ohne die zugrunde liegenden LLM-Parameter zu aktualisieren.

Methodik: MILES-Framework

MILES (Modular Instruction Memory with LEarnable Selection) adressiert diese Herausforderungen, indem es eine Selbstverbesserung zur Testzeit durch die Akkumulation und Komposition wiederverwendbarer, schrittweiser Denkmodule ermöglicht. Das Framework operiert auf einem eingefrorenen LLM und besteht aus vier Kernkomponenten:

1. Modulare asymmetrische Gedächtnisstruktur

MILES speichert das Gedächtnis als eine Sammlung modularer Einheiten, die als asymmetrische Paare $(g_i, u_i)$ definiert sind:

Sub-Ziel-Embedding ( $g_i$ ): Ein dichter Vektor, der das Ziel eines Denk-Schritts zusammenfasst. Er dient als Retrieval-Key.
Sub-Instruktion ( $u_i$ ): Eine natürliche Sprachdirektive, die verwendet wird, um die Generierung des LLM zu konditionieren, wenn die Einheit angewendet wird.
Selektions-Head: Jede Gedächtniseinheit ist mit einem leichten, lernbaren Selektions-Head ( $\pi_{\theta_a}$ ) verknüpft, der die Anwendbarkeit der Einheit angesichts des aktuellen Denkzustands vorhersagt.

Diese Struktur ermöglicht eine inkrementelle Expansion; neue Einheiten und die dazugehörigen Heads können hinzugefügt werden, ohne bestehende Komponenten neu trainieren zu müssen.

2. Coarse-to-Fine Retrieval-Mechanismus

Um die Effizienz des Abrufs mit der Selektionsgenauigkeit in Einklang zu bringen, nutzt MILES einen zweistufigen Selektionsprozess:

Layer 1 (Coarse Retrieval): Basierend auf der Sub-Ziel-Ähnlichkeit. Das LLM generiert Kandidaten-Schrittziele, und deren Embeddings werden mittels Cosinus-Ähnlichkeit mit gespeicherten Sub-Zielen verglichen. Ein pro Einheit effektiver Schwellenwert filtert irrelevante Einheiten heraus. Diese Schicht erleichtert die Gedächtnisexpansion und die Sammlung von Trainingsdaten.
Layer 2 (Learned Applicability Scoring): Ein gelernter Selektions-Head bewertet die Anwendbarkeit abgerufener Kandidaten basierend auf dem vollständigen Denkzustand. Um variable Zustandslängen zu handhaben, nutzt MILES ein Kontext-Codebuch (geclusterte Embeddings vergangener Schrittziele und Bedingungen), um über Max-Similarity-Pooling feste Feature-Vektoren zu erstellen.
Kombinierter Score: Die finale Selektion kombiniert die semantische Ähnlichkeit aus Layer 1 mit dem gelernten Anwendbarkeits-Score aus Layer 2.

3. Lernbare Gedächtniskomposition

MILES behandelt die Gedächtnisselektion als sequenzielles Entscheidungsproblem. Das Ziel ist es, die Wahrscheinlichkeit einer korrekten Endantwort zu maximieren.

Datensammlung für das Training: Für „konfidente“ Stichproben (bei denen mehrere LLM-Rollouts auf dieselbe Antwort übereinstimmen) führt das System eine Monte Carlo Tree Search (MCTS) unter Verwendung von Layer 1 Sampling durch. Dies generiert Trajektorien, in denen Sub-Instruktionen angewendet werden, wobei die resultierende Korrektheit als Pseudo-Label dient.
Optimierung: Die Selektions-Heads werden mittels Binary Cross-Entropy auf diesen gesammelten Trajektorien trainiert. Das Ziel ist eine Annäherung an eine optimale Policy unter einer KL-Divergenz-Beschränkung, was die Heads dazu ermutigt, Einheiten zu wählen, die zu korrekten Antworten führen, während Overfitting durch One-vs-Rest-Klassifikation und Ensemble-Methoden vermieden wird.

4. Inferenz-Pipeline

Das System leitet Test-Samples basierend auf ihrer Konfidenz:

Konfidente Samples: Werden zur Erweiterung des Gedächtnisses und zum Training der Selektions-Heads verwendet. Das LLM generiert Antworten; sind diese konsistent, wird die Trajektorie für die MCTS-Datensammlung und die Zusammenfassung des Gedächtnisses genutzt.
Unsichere Samples: Werden einer Gedächtnis-gestützten Baumsuche zugeführt. Das System ruft Kandidaten via Layer 1 ab, rerankt sie via Layer 2 und wendet die beste Sub-Instruktion an, um den nächsten Denk-Schritt zu leiten, wobei dieser Prozess bis zum Erreichen einer Endantwort wiederholt wird.

Wichtigste Beiträge

MILES-Framework: Ein neuartiges Framework zur Selbstverbesserung zur Testzeit, das modular aus konfidenten Denk-Trajektorien ein instruktionsbasiertes Gedächtnis inkrementell aufbaut und gelernte Erinnerungen auf unsichere Fälle anwendet – ohne Parameter-Updates, externe Supervision oder feste Aktionsräume.
Modulare asymmetrische Gedächtnisstruktur: Eine Struktur aus (Sub-Ziel, Sub-Instruktion)-Paaren mit pro Element spezifischen Selektions-Heads, die einen Coarse-to-Fine-Mechanismus ermöglicht, der sowohl inkrementelle Gedächtnisexpansion als auch lernbare Komposition unterstützt.
Lernbare Gedächtniskomposition: Eine Methode, um leichte Selektions-Heads aus Rollout-Ergebnissen auf konfidenten Samples zu trainieren, was eine selbstüberwachte, auf Korrektheit optimierte Gedächtniskomposition unter begrenzten Test-Time-Daten ermöglicht.
Empirische Validierung: Umfangreiche Experimente zeigen, dass MILES vorangegangene Methoden über sechs Reasoning-Benchmarks und vier Backbone-Modelle hinweg erreicht oder übertrifft und dabei überlegene Accuracy-Efficiency-Tradeoffs erzielt.

Experimentelle Ergebnisse

Die Autoren evaluierten MILES auf sechs Benchmarks (MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering) unter Verwendung von vier Backbones (GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct).

Genauigkeit (Accuracy): MILES erreicht oder übertrifft konsistent Baseline-Methoden (einschließlich Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts und Dynamic CheatSheet). Bemerkenswerte Verbesserungen wurden bei kleineren Open-Weight-Backbones beobachtet, bei denen andere gedächtnisbasierte Methoden die Leistung von Zero-shot CoT nicht übertreffen konnten.
Effizienz: MILES dominiert die Accuracy-vs-Token-Frontier. Im Gegensatz zu Baselines, die mit steigendem Rechenaufwand stagnieren, verbessert sich MILES kontinuierlich, wenn das Token-Budget durch den Aufbau zusätzlicher Gedächtniseinheiten wächst.
Transferierbarkeit: Das Framework unterstützt den Cross-Model-Transfer. Ein aus Rollouts von Hilfsmodellen (z. B. Qwen3-30B) konstruiertes Gedächtnis verbessert effektiv die Leistung eines anderen, stärkeren, eingefrorenen Backbones (z. B. GPT-4.1-mini).
Ablationsstudien: Das Entfernen entweder der groben Retrieval-Schicht oder des gelernten Selektions-Heads verschlechtert die Leistung signifikant, was die Notwendigkeit des Zwei-Schichten-Mechanismus validiert. Die gelernten Heads schneiden besser ab als alternative Reranker, die auf Zustandsähnlichkeit oder LLM-Prompting basieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass MILES zeigt, dass die modulare Gedächtniskomposition ein praktikabler und effektiver Mechanismus zur Selbstverbesserung eingefrorener LLMs zur Testzeit ist.

Die zentralen Punkte der Bedeutung sind:

Komplementarität: Der schrittweise Ansatz der Gedächtniskomposition ergänzt bestehende Prompting- und Test-Time-Search-Methoden und bietet einen zusätzlichen Weg zur Verbesserung durch akkumulierte Erfahrung.
Robustheit: Die Methode ist robust gegenüber verschiedenen Modellfamilien und Datensatzverteilungen und benötigt weder externe Process Reward Models (PRMs) noch kuratierte Trainingsdatensätze.
Skalierbarkeit: Durch die Entkopplung der Gedächtnisselektion von Parameter-Updates bietet MILES einen Weg für kontinuierliche Verbesserungen in Settings, in denen die Modellgewichte nicht modifiziert werden können.

Die Autoren kommen zu dem Schluss, dass das Erlernen von wiederverwendbarem Selektionswissen eine vielversprechende Richtung für den Aufbau kontinuierlich lernender Denk-Systeme darstellt, räumen jedoch Einschränkungen hinsichtlich des Rechenaufwands der Rollout-basierten Datensammlung und der Abhängigkeit von den Instruktionsfolgebefähigkeiten des zugrunde liegenden LLM ein.