🤖 machine learning

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

Diese Arbeit zeigt auf, dass die Integration eines einfachen, auf Repräsentationen basierenden Diversitätsbonus, der aus vortrainierten Hidden States abgeleitet wird, sowohl in das Sampling zur Inferenzzeit als auch in das Reinforcement Learning nach dem Training die Leistung und die Probeneffizienz von Sprachmodellen signifikant steigert, indem die Entdeckung neuartiger Verhaltensweisen gefördert wird, anstatt lediglich bestehende zu verfeinern.

Ursprüngliche Autoren: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Veröffentlicht 2026-07-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer nicht nur Anweisungen befolgen, sondern tatsächlich lernen, selbstständig zu denken, indem sie Rätsel lösen und Code schreiben, indem sie es versuchen, scheitern und es erneut versuchen. Dies ist das Reich des Reinforcement Learning (RL), eines Zweigs der künstlichen Intelligenz, bei dem ein Agent lernt, indem er mit seiner Umgebung interagiert, um Belohnungen zu maximieren. Denken Sie an das Training eines Hundes: Wenn er sich setzt, bekommt er ein Leckerli; wenn er springt, bekommt er nichts. Mit der Zeit lernt der Hund die besten Verhaltensweisen, um die meisten Leckerlis zu erhalten.

In der Welt der großen Sprachmodelle (die superintelligenten KI-Chatbots, die wir heute nutzen) wird dieser Prozess als „Post-Training“ bezeichnet. Wissenschaftler füttern das Modell mit einer Mathematikaufgabe oder einer Programmieraufgabe, lassen es eine Antwort generieren und prüfen, ob diese korrekt ist. Wenn sie es ist, erhält das Modell eine „Belohnung“ und lernt, diese spezifische Aufgabe beim nächsten Mal besser zu lösen. Es gibt jedoch einen Haken. Aktuelle Methoden wirken oft wie ein Schüler, der nur die Antworten aus dem Lehrbuch auswendig lernt. Sie werden sehr gut in den spezifischen Tricks, die sie bereits kennen, aber sie entdecken selten neue Wege, um Probleme zu lösen. Sie werden lediglich präziser in dem, was sie bereits können. Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir diese KI-Modelle dazu bringen, neugierige Entdecker zu sein, anstatt nur Auswendiglernende? Können wir sie dazu ermutigen, ungewöhnliche, neuartige und vielfältige Ansätze auszuprobieren, um Lösungen zu finden, die ihnen ihr Basistraining nie gezeigt hat?

Dieses Papier mit dem Titel „Representation-Based Exploration for Language Models“ taucht genau in diese Frage ein. Die Forscher Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy und Jordan T. Ash schlagen eine kluge neue Methode vor, um KI-Modelle zur Exploration zu bewegen. Anstatt das Modell einfach nur zufällig raten oder einfach das wiederholen zu lassen, was es bereits weiß, geben sie dem Modell einen „Diversitätsbonus“. Stellen Sie sich vor, Sie suchen nach einem verborgenen Schatz in einem riesigen Wald. Ein zufälliger Wanderer würde vielleicht nur umherirren, während ein kluger Wanderer versuchen würde, jeden unterschiedlichen Baumtyp zu besuchen, um sicherzustellen, dass er keinen Hinweis übersieht. Dieses Papier schlägt vor, die eigenen internen „Gedanken“ (die Hidden States) des KI-Modells zu nutzen, um zu messen, wie unterschiedlich eine neue Idee im Vergleich zu den bereits ausprobierten Ideen ist. Wenn sich eine Idee im Vergleich zu früheren Versuchen „frisch“ oder „neuartig“ anfühlt, erhält sie eine Bonusbelohnung, was das Modell dazu ermutigt, diesen neuen Pfad weiter zu erkunden.

Das Team testete diese Idee auf zwei Hauptwegen. Zuerst untersuchten sie die „Inference-Time“-Exploration, was wie ein einmaliger Test ist. Sie generierten tausende Antworten zu einer einzigen Mathematikaufgabe und nutzten ihren „Diversitätsbonus“, um die interessantesten Antworten auszuwählen, die überprüft werden sollten. Sie fanden heraus, dass diese Methode unglaublich effizient ist. Beispielsweise verbesserte die Anwendung ihrer Methode mit einem Modell namens Qwen-2.5-14b-Instruct die Effizienz beim Finden einer korrekten Antwort bei einem schwierigen Mathematik-Datensatz namens MATH um über 50 % im Vergleich zum bloßen zufälligen Auswählen von Antworten. Tatsächlich benötigten sie für einige Aufgaben 3- bis 13-mal weniger Versuche, um eine korrekte Lösung zu finden, wenn sie diese Explorationsstrategie verwendeten.

Zweitens integrierten sie diese Explorationsstrategie in den eigentlichen Trainingsprozess (Post-Training). Sie wollten sehen, ob dies dem Modell helfen kann, neue Verhaltensweisen zu erlernen, anstatt nur alte zu schärfen. Die Ergebnisse waren vielversprechend. Als sie das Modell mit diesem Diversitätsbonus trainierten, generierte es nicht nur bessere Antworten für die alten Tricks, sondern begann auch, Antworten zu generieren, die viel neuartiger und kreativer aussah. Auf einem anspruchsvollen Mathematik-Wettbewerbsdatensatz namens AIME 2024 schnitt ihr explorationsgestärktes Modell so gut ab wie eine Standard-Trainingsmethode, die viermal so viele Stichproben verwendete. Dies deutet darauf darauf hin, dass wir durch die gezielte Förderung von Diversität KI-Modellen helfen können, neue Fähigkeiten zu entdecken, ohne massive Mengen an zusätzlicher Daten oder Rechenleistung zu benötigen.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Allheilmittel ist, das alle Probleme löst. Sie fanden heraus, dass die Methode am besten mit stärkeren, fähigeren Modellen funktioniert; schwächere Modelle profitierten teilweise nicht oder wurden sogar schlechter. Sie zeigten auch, dass dieser Ansatz dem Modell zwar hilft, neue Lösungen zu finden, dies aber nicht zwangsläufig bedeutet, dass das Modell im allgemeinen Sinne „schlauer“ ist, sondern dass es besser darin ist, den riesigen Raum der möglichen Antworten zu navigieren, um die richtige zu finden. Das Papier legt nahe, dass diese „gezielte Exploration“ ein praktischer Weg nach vorne ist, der eine Möglichkeit bietet, über das bloße Schärfen bestehender Fähigkeiten hinauszugehen und hin zur Entdeckung wahrhaft neuer Verhaltensweisen in Sprachmodellen zu gelangen.

Technisches Resümee: Repräsentationsbasierte Exploration für Sprachmodelle

Problemstellung

Reinforcement Learning (RL) hat gezeigt, dass es das Potenzial hat, Sprachmodelle (LMs) für Aufgaben mit verifizierbaren Belohnungen, wie etwa mathematisches Denken oder Codegenerierung, zu verbessern. Eine kritische Einschränkung aktueller RL-Post-Training-Techniken ist jedoch die Ungewissheit darüber, ob sie tatsächlich neue Verhaltensweisen entdecken oder lediglich bereits vorhandene Fähigkeiten des Basismodells, die mit einer moderaten Wahrscheinlichkeit präsent sind, „schärfen“ (verstärken). Bestehende Evidenz deutet darauf an, dass Standard-RL-Rezepte oft daran scheitern, Fähigkeiten freizusetzen, die im vortrainierten Modell nicht vorhanden sind, und stattdessen zu bekannten Lösungen konvergieren. Darüber hinaus werden die Datenkuratierung und algorithmische Interventionen zur Abmilderung dessen zu Engpässen, insbesondere in komplexen, offenen Domänen.

Das Paper postuliert, dass gezielte Exploration – die explizite Anreizsetzung für das Modell, wahrhaft neuartige und diverse Verhaltensweisen zu entdecken – essenziell ist, um das volle Potenzial von RL für das logische Denken von Sprachmodellen auszuschöpfen. Die zentrale Herausforderung besteht darin, Neuartigkeit und Diversität innerhalb des kombinatorisch riesigen Sprachraums in skalierbarer Weise zu quantifizieren und gleichzeitig das in vortrainierten Modellen eingebettete Vorwissen zu nutzen, um diese Suche effizient zu leiten.

Methodik

Die Autoren schlagen eine repräsentationsbasierte Explorationsstrategie vor, die elliptische Boni nutzt, die aus den verborgenen Zuständen (Hidden States) des vortrainierten Sprachmodells abgeleitet werden. Die Methodik wird durch einen zweigliedrigen Ansatz evaluiert:

1. Selektion zur Inferenzzeit

Um die Rolle der Diversität von Optimierung und Generalisierung zu isolieren, definieren die Autoren zunächst ein Selektionsproblem zur Inferenzzeit. Gegeben sei ein Prompt $x$ und ein großer Pool von $N$ Kandidatenantworten, die von einem fixierten Modell $\pi$ generiert wurden; das Ziel ist es, eine Teilmenge von $k$ Antworten auszuwählen, die maximal divers ist und eine hohe Wahrscheinlichkeit besitzt, eine korrekte Antwort zu enthalten.

Mechanismus (RepExp): Der Algorithmus wählt iterativ Antworten aus, um einen elliptischen Bonus zu maximieren. Für eine Antwort $y$ wird der Merkmalsvektor $\bar{h}_\theta(x, y)$ konstruiert, indem die Hidden States der letzten Schicht des Modells über die Token der Antwort gemittelt werden.
Diversitätsmetrik: Die Neuartigkeit einer Kandidatenantwort $y$ gegeben eine Menge zuvor ausgewählter Antworten wird definiert als $div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ , wobei $\Sigma$ die Kovarianzmatrix der ausgewählten Merkmale ist. Die inverse Kovarianz wird effizient mittels der Woodbury-Identität aktualisiert.
Ziel: Dieser Ansatz wählt einen „Coreset“ diverser Antworten aus, um einen Verifizierer abzufragen, mit dem Ziel, die Effizienz des Verifizierers zu verbessern (Reduzierung der Anzahl der Stichproben, die benötigt werden, um eine korrekte Antwort zu finden).

2. RL Post-Training

Die Autoren integrieren diese Explorationsstrategie in die GRPO (Group Relative Policy Optimization) Post-Training-Pipeline.

Belohnungs-Augmentierung: Anstatt eine Teilmenge auszuwählen, wird der elliptische Bonus direkt zur extrinsischen Belohnung addiert. Für einen Rollout $y_i$ wird die Belohnung zu $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ .
Implementierung: Die Kovarianzmatrix $\Sigma$ wird für jedes Batch von Trainings-Rollouts neu initialisiert, um die Neuartigkeit relativ zum aktuellen Batch zu messen. Die Merkmalsvektoren werden zur Gewährleistung der Skalierbarkeit mittels spärlicher Zufallsprojektion auf eine niedrigere Dimension (z. B. 512) projiziert.

3. Erweiterung auf Token-Ebene (Vorläufig)

Als Proof-of-Concept untersuchen die Autoren auch die Modifikation des autoregressiven Generierungsprozesses selbst. Durch die Störung der Token-Level-Logits mit einem elliptischen Bonus bei jedem Generierungsschritt zielen sie darauf ab, Diversität während des Generierungsprozesses zu steuern, anstatt erst post-hoc zu selektieren.

Zentrale Beiträge und Erkenntnisse

1. Verbesserte Verifizierer-Effizienz (Inferenzzeit)

Das Paper zeigt, dass repräsentationsbasierte Exploration die Verifizierer-Effizienz über eine breite Palette von Modellen (Phi, Llama, Qwen) und Aufgaben (MATH, GSM8K, MBPP+, Game of 24) signifikant verbessert.

Ergebnis: Für Modelle wie Qwen-2.5-14b-Instruct erreicht die Methode eine Steigerung von über 50 % bei der Anzahl der benötigten Stichproben, um eine korrekte Antwort zu finden, im Vergleich zum Zufallssampling.
Korrelation mit der Modellstärke: Die Vorteile der Exploration skalieren mit der Modellstärke; stärkere Modelle (z. B. Qwen-32B) profitieren erheblich, während schwächere Modelle keine Verbesserung oder sogar eine Verschlechterung zeigen können.
Sensitivität gegenüber Schwierigkeit: Die Methode erzielt die größten Effizienzgewinne bei den schwierigsten Fragen (z. B. den obersten 20 % der schwierigsten Fragen in MATH).

2. Verbesserte Post-Training-Performance und Diversität

Die Integration der repräsentationsbasierten Exploration in das RL Post-Training liefert eine überlegene Performance im Vergleich zu Standard-GRPO und „Unlikeliness“-Baselines.

Pass@k Verbesserung: Die Methode hält die pass@k-Raten für große Werte von $k$ aufrecht oder verbessert sie, während Standard-GRPO die Performance im Vergleich zum Basismodell für große $k$ oft verschlechtert (ein Phänomen, das als „Diversity Collapse“ bekannt ist).
Sample-Effizienz: Auf dem AIME 2024 Benchmark erreicht das post-trainierte Qwen-2.5-7b-Instruct unter Verwendung von RepExp eine pass@80, die der pass@256 von Standard-GRPO entspricht, was eine 3-fache Verbesserung der Testzeit-Sample-Effizienz darstellt.
Anti-Sharpening: Analysen der Log-Likelihoods unter dem Basismodell zeigen, dass RepExp Antworten generiert, die signifikant neuartiger (geringere Likelihood) sind als jene von Standard-GRPO, welches dazu neigt, die Verteilung des Basismodells zu schärfen. Dies deutet darauf hin, dass die Methode erfolgreich aus dem „Sharpening-Regime“ entkommt.

3. Anwendung auf hochkostspielige Verifizierung

In einem vorläufigen Experiment zur Proteinsequenz-Generierung (bei der die Verifizierung durch Laborexperimente teuer ist) verbesserte die Methode die Verifizierer-Effizienz um bis zu das 56,9-fache im Vergleich zum Zufallssampling, was das Potenzial in Domänen demonstriert, in denen die Verifizierung kostspielig ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass gezielte Exploration, geleitet durch eine prinzipielle, repräsentationsbasierte Vorstellung von Diversität, ein praktischer Weg ist, um neue Verhaltensweisen in Sprachmodellen jenseits bloßer Schärfung zu entdecken.

Neuartigkeit des Ansatzes: Im Gegensatz zu vorangegangenen Arbeiten, die auf Hilfsnetzwerken (z. B. Random Network Distillation) oder komplexer Datenkuratierung beruhen, nutzt diese Methode die eigenen Hidden States des vortrainierten Modells und erfordert keine zusätzliche Lernmechanik.
Validierungsstrategie: Die Autoren betonen den Wert ihrer zweistufigen Evaluierung (Inferenzzeit-Selektion gefolgt von Post-Training) als Weg, die Vorteile der Diversität von anderen RL-Mechanismen zu entkoppeln.
Moderater Umfang: Die Autoren räumen ein, dass ihre aktuelle Implementierung ein „einfaches, prinzipielles“ Schema ist. Sie behaupten nicht, alle Explorationsprobleme gelöst zu haben, schlagen aber vor, dass dieser Ansatz eine starke Baseline und einen Rahmen zum Verständnis der Trade-offs komplexerer Strategien bietet. Sie merken an, dass die Token-Level-Exploration zwar vielversprechend ist, derzeit jedoch höhere Rechenkosten verursacht, die einer Optimierung bedürfen.

Zusammenfassend argumentieren die Autoren, dass durch die explizite Anreizsetzung zur Entdeckung diverser Verhaltensweisen mittels repräsentationsbasierter Boni Sprachmodelle dazu geleitet werden können, neuartige Lösungen zu finden, die das Standard-RL-Post-Training übersieht, wodurch ihre logischen Denkfähigkeiten effektiver erweitert werden.