🤖 AI

STORM: Stepwise Token Optimization with Reward-Guided Beam Search

STORM ist ein selbstüberwachtes Framework, das die lexikalische Abfrageerweiterung durch die Verwendung einer belohnungsgesteuerten Beam-Suche optimiert, um die Token-Ebene der Generierung gegenüber Retrieval-Metriken zu optimieren, was ein effizientes, transparentes und leistungsstarkes Retrieval ermöglicht, das mit dichten neuronalen Modellen konkurriert, ohne dass eine spezialisierte Indizierung erforderlich ist.

Ursprüngliche Autoren: Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein bestimmtes Rezept in einer riesigen, chaotischen Bibliothek zu finden. Sie fragen den Bibliothekar (die Suchmaschine): „Wie backe ich einen Kuchen?“

Das Problem: Die Vokabular-Lücke
Der Bibliothekar ist sehr schnell und verwendet ein Standard-Dateisystem (genannt BM25). Der Bibliothekar sucht jedoch nur nach den exakten Wörtern, die Sie eingegeben haben. Wenn das beste Rezept in der Bibliothek den Titel „Köstlicher Vanille-Biskuit mit Buttercreme“ trägt, Sie aber nur nach „Kuchen“ gefragt haben, könnte der Bibliothekar es übersehen, weil das Wort „Kuchen“ nicht im Titel steht.

Dies ist das „Vokabular-Mismatch“. Sie müssen dem Bibliothekar helfen zu verstehen, dass „Kuchen“ auch als „Biskuit“, „Dessert“ oder „Backwerk“ bezeichnet werden kann.

Die alten Lösungen

Der menschliche Helfer: Sie könnten einen Menschen engagieren, der Ihre Suchanfrage für Sie umschreibt. Aber Menschen sind teuer und langsam.
Die KI-Vermutung: Sie könnten eine kluge KI (ein Large Language Model) fragen, um bessere Wörter zu raten. Aber die KI schlägt oft Wörter vor, die zwar gut klingen, aber tatsächlich nicht helfen, das Rezept zu finden. Sie könnte „Backen“ oder „Mehl“ vorschlagen, welche zu allgemein sind und die Suche überladen.
Das blinde Ausprobieren: Einige Methoden lassen die KI ganze Sätze raten und prüfen dann, ob es funktioniert hat. Wenn es nicht geklappt hat, muss die KI wieder ganz von vorne anfangen zu raten. Das ist langsam und ineffizient, weil die KI nicht weiß, welches spezifische Wort zum Scheitern geführt hat.

Die neue Lösung: STORM
Der Paper stellt STORM vor (Stepwise Token Optimization with Reward-guided beam search). Betrachten Sie STORM als einen intelligenten Echtzeit-Editor, der der KI hilft, die perfekte Suchanfrage Wort für Wort zu schreiben, während sie ständig das Dateisystem der Bibliothek überprüft.

So funktioniert es, unter Verwendung einer kreativen Analogie:

Die „Baumkletterer“-Analogie

Stellen Sie sich vor, die KI versucht, einen Baum zu erklimmen, um die beste Frucht (die besten Suchbegriffe) zu finden.

Standard-KI: Die KI wählt einen Ast aus und klettert bis ganz nach oben. Erst wenn sie die Spitze erreicht hat, stellt sie fest: „Oh nein, dieser Ast trägt keine Früchte.“ Sie muss den ganzen Weg wieder hinunterklettern und einen anderen Ast versuchen. Das ist langsam und verschwenderisch.
STORM: STORM nutzt eine Reward-guided Beam Search. Stellen Sie sich vor, die KI klettert, aber bei jedem einzelnen Schritt (jedem neuen Wort, das sie hinzufügt) prüft ein „Punktezähler“ sofort den Bibliotheksindex.
- Wenn die KI ein Wort wie „Biskuit“ hinzufügt, sagt der Punktezähler: „Großartig! Das passt zu einem echten Rezept. Mach weiter!“
- Wenn die KI ein Wort wie „köstlich“ hinzufügt, sagt der Punktezähler: „Stopp! Dieses Wort ist zu gewöhnlich; es wird uns nicht helfen, das spezifische Rezept zu finden. Schneide diesen Ast sofort ab.“

STORM beschneidet (schneidet weg) die schlechten Äste, während sie wachsen. Es behält nur die Pfade, die tatsächlich zu guten Ergebnissen führen.

Warum das eine große Sache ist

1. Es lernt durch Tun, nicht durch Auswendiglernen
STORM benötigt keinen Menschen, der ihm beibringt, was eine „gute“ Suchanfrage ist. Es lernt völlig eigenständig. Es generiert eine Suchanfrage, prüft, ob es gute Dokumente findet, und wenn ja, merkt es sich diesen Pfad. Wenn nicht, vergisst es diesen Pfad. Es ist wie ein Hund, der lernt, einen Ball zu apportieren, indem er nur dann gelobt wird, wenn er den richtigen Ball zurückbringt.

2. Es ist blitzschnell
Viele KI-Suchwerkzeuge sind langsam, weil sie lange, ausgeklügelte Absätze schreiben, um zu erklären, was man möchte. STORM ist anders. Es schreibt kurze, prägnante Listen von Schlüsselwörtern (wie „Biskuit“, „Vanille“, „Butter“).

Das Ergebnis: Es findet bessere Ergebnisse als die alten Methoden, aber es tut dies so schnell wie die einfache, „dumme“ Suchmaschine (BM25). Es muss das Dateisystem der Bibliothek nicht neu aufbauen; es spricht nur die Sprache des Bibliothekar besser.

3. Es spricht viele Sprachen (selbst wenn es nur Englisch gelernt hat)
Der überraschendste Teil des Papers ist, dass STORM nur mit englischen Daten trainiert wurde. Dennoch schnitt es bei Tests in 18 verschiedenen Sprachen (wie Französisch, Chinesisch oder Swahili) besser ab als spezialisierte, teure KI-Modelle, die speziell für diese Sprachen entwickelt wurden.

Die Analogie: Es ist, als würde man jemandem Schach beibringen, indem man nur die englischen Regeln verwendet, aber dann kann diese Person perfekt auf Spanisch, Französisch und Japanisch spielen, ohne jemals diese Sprachen gelernt zu haben. Die KI hat die Logik des Findens guter Wörter gelernt, nicht nur die spezifischen englischen Wörter.

Das Fazrem

STORM ist eine neue Art, Suchmaschinen intelligenter zu machen, ohne sie langsamer oder teurer zu machen. Es fungt wie ein Echtzeit-Coach für die KI, der ihr zu jedem Schritt zuflüstert: „Gutes Wort, mach weiter!“ oder „Schlechtes Wort, stopp genau dort!“ Dies ermöglicht es selbst kleineren, günstigeren KI-Modellen, Informationen so gut oder sogar besser zu finden als massive, teure Modelle – und das alles unter Verwendung der einfachen, schnellen Dateisysteme, die Bibliotheken seit Jahrzehnten nutzen.

Technisches Resümee: STORM (Stepwise Token Optimization with Reward-Guided Beam Search)

Problemstellung

Die moderne Informationsabfrage (Information Retrieval, IR) steht vor einem Zielkonflikt zwischen Effizienz und Effektivität. Dichte (dense) und gelernte spärliche (learned-sparse) neuronale Modelle bieten eine hohe Retrieval-Leistung, erfordern jedoch spezialisierte Indizes, die bei jeder Modelländerung neu aufgebaut werden müssen, was erhebliche Infrastrukturkosten verursacht. Im Gegensatz dazu sind lexikalische Retriever wie BM25 hochgradig effizient und transparent auf Standard-Invertierten Indizes, leiden jedoch unter dem Problem des „Vokabular-Mismatch“ (Vocabulary Mismatch), bei dem relevante Dokumente Begriffe enthalten, die in der Benutzeranfrage fehlen.

Obwohl Large Language Models (LLMs) Abfragen umschreiben können, um diese Lücke zu schließen, weisen bestehende Ansätze folgende Einschränkungen auf:

Prompt-basierte Rewriter generieren oft gut geformte, aber retrieval-ineffektive Begriffe oder lange Pseudo-Dokumente, was eine hohe Inferenzlatenz verursacht, da sie während der Generierung nicht mit dem Retriever kommunizieren.
Reinforcement Learning (RL)-Ansätze, die gegen Retrieval-Belohnungen trainiert werden, beobachten die Belohnung typischerweise erst, nachdem die gesamte Sequenz generiert wurde. Diese sequenzbasierte Überwachung schafft einen Explorationsengpass, da es schwierig ist, zu identifizieren, welche spezifischen lexikalischen Begriffe zur Belohnung beigetragen haben, was zu langsamer Konvergenz oder dem Kollaps auf generische Erweiterungen führt.

Methodik

Die Autoren führen STORM (Stepwise Token Optimization with Reward-guided beaM search) ein, ein selbstüberwachtes Framework für die lexikalische Abfrageerweiterung, das Retrieval-Belohnungen in Token-basierte Signale umwandelt.

Kernmechanismus: Reward-Guided Beam Search

Im Gegensatz zum Standard-Beam-Search, der Kandidaten basierend auf der Wahrscheinlichkeit auswählt, nutzt STORM das Retrieval-System selbst als Leitfaden während des Generierungsprozesses.

Schrittweise Bewertung (Stepwise Scoring): In jedem Generationsschritt werden Kandidaten-Keyword-Sequenzen gegen einen BM25-invertierten Index bewertet.
Pruning (Beschneidung): Zweige mit geringen Retrieval-Belohnungen werden sofort abgeschnitten. Dies konzentriert die Exploration auf Vokabular, das nachweislich effektiv für das Retrieval ist, anstatt sich allein auf das interne parametrische Wissen des LLM zu verlassen.
Trainingsschleife: Das Framework passt die Architektur der Generative Cooperative Networks (GCN) an. Anstatt eines gelernten Diskriminators verwendet es eine vordefinierte Retrieval-Belohnungsfunktion.
- Proposal-Verteilung: Trainingsproben werden aus einer Mischung aus Standard-Nucleus-Sampling und einem Reward-guided Beam Search gezogen.
- Zielsetzung: Die Policy wird aktualisiert, um die KL-Divergenz zwischen der Policy und einer durch die Retrieval-Belohnung gewichteten Zielverteilung zu minimieren.

Belohnungsfunktion

Die Belohnungsfunktion $R(\hat{y})$ kombiniert drei Komponenten, um die Retrieval-Qualität zu optimieren und gleichzeitig Ineffizienz zu bestrafen:

Retrieval-Qualität: Gemessen durch nDCG@100 gegenüber Cross-Encoder-Pseudo-Labels (destilliert aus den OpenSearch Project MS-MARCO Hard Negatives).
Vokabular-Strafe (Vocabulary Penalty): Ein Strafterm basierend auf der Dokumentfrequenz (DF) der generierten Begriffe, der das Modell davon abhält, hochfrequente, nicht diskriminative Begriffe auszugeben.
Längen-Regularisierung: Ein Log-Likelihood-Term, der als Prior für die Token-Auswahl fungiert und die Sequenzlänge regularisiert, um die Generierung zu langen oder wenig informativen Zeichenfolgen zu verhindern.

Zentrale Beiträge

Selbstüberwachtes Training: Eine Methode für das lexikalische Query-Rewriting, die keine von Menschen geschriebenen Rewrites benötigt; die Überwachung wird vollständig aus der Bewertung der generierten Erweiterungen durch den Retriever abgeleitet.
Token-basierte Exploration: Die Einführung der Reward-guided stochastischen Beam-Search, die das verzögerte, sequenzbasierte Retrieval-Feedback in ein unmittelbares Token-Signal transformiert und das Modell dabei unterstützt, während der Generierung retrieval-effektives Vokabular zu entdecken.
Infrastrukturschonende Effizienz: STORM erreicht eine wettbewerbsfähige Effektivität bei einer Inferenzlatenz, die mit der von einfachem BM25 vergleichbar ist, da es kurze Keyword-Strings anstelle von vollständigen Pseudo-Dokumenten generiert.

Experimentelle Ergebnisse

Die Autoren evaluierten STORM über In-Domain-, Out-of-Domain- und mehrsprachige Benchmarks mit Qwen3-Backbones, die von 0,6B bis 8B Parametern reichen.

In-Domain (TREC DL, MS-MARCO): STORM übertrifft konsistent Prompt-basierte Rewriter (HyDE, MuGI, W2P) und RL-basierte Baselines (QUESTER) über alle Modellgrößen hinweg. Bei 8B erreicht es die Leistung von kompetitiven LLM-Rewritern oder übertrifft diese sogar.
Out-of-Domain (BEIR): STORM erzielt das höchste mittlere nDCG@10 über 12 BEIR-Collections. Bemerkenswert ist, dass selbst das 0,6B STORM-Modell im Durchschnitt alle 0,6B-Baselines übertrifft, was eine robuste Generalisierung zeigt.
Zero-Shot Mehrsprachigkeit (MIRACL): Trainiert ausschließlich auf englischen MS-MARCO-Daten, transferiert STORM-8B Zero-Shot auf 1-18 Sprachen und erreicht ein durchschnittliches nDCG@10 von 48,4. Dies übertrifft im Durchschnitt dedizierte mehrsprachige dichte Retriever (mDPR, mContriever, mColBERT), obwohl es auf einem rein lexikalischen Backend basiert.
Vergleich mit proprietären Modellen: STORM-8B (Qwen3) übertrifft im Durchschnitt über In-Domain- und BEIR-Datensätze mehrere Query-Rewriter, die auf dem wesentlich größeren GPT-4.1-Modell basieren (z. B. MuGI-GPT4, Q2D-GPT4), was darauf hindeutet, dass das Belohnungssignal effektiver ist als Chain-of-Thought-Prompting für Retrieval-Aufgaben.
Effizienz: STORM hält eine Retrieval-Latenz auf dem Niveau von einfachem BM25 (~0,01s) ein, obwohl es Abfragen mit deutlich mehr Begriffen (bis zu 8-mal mehr) ausgibt. Dies wird dadurch erreicht, dass die Belohnungsfunktion hochfrequente Begriffe bestraft, die andernfalls kostspielige Index-Traversierungen verursachen würden. Die Generierungslatenz ist ebenfalls niedriger als bei konkurrierenden LLM-Rewritern (z. B. 4,39s für STORM-8B gegenüber 34,2s für W2P).

Bedeutung und Behauptungen

Das Paper positioniert STORM als kompetitive, infrastrukturschonende Alternative zum dichten neuronalen Retrieval. Seine primäre Bedeutung liegt in der Demonstration, dass:

Lexikalische Erweiterung effektiv optimiert werden kann, ohne dichte Indizes oder massive proprietäre Modelle zu benötigen.
Reward-guided Decoding ein praktikables allgemeines Werkzeug ist, um die Generierung mit nicht-differenzierbaren Retrieval-Zielen abzugleichen und so den Explorationsengpass der sequenzbasierten RL zu lösen.
Zero-Shot-Transfer in mehrsprachige Umgebungen mit einem rein lexikalischen Ansatz möglich ist, was die Annahme in Frage stellt, dass ein dichter semantischer Abgleich zwingend für das sprachübergreifende Retrieval notwendig ist.

Die Autoren kommen zu dem Schluss, dass STORM eine robuste Balance zwischen Effektivität und Effizienz bietet und somit eine praktische Lösung für Suchmaschinen und Retrieval-Augmented Generation (RAG)-Systeme darstellt, bei denen Index-Neubauzeiten kostspielig oder die Latenz kritisch ist.

Einschränkungen

Die Autoren räumen ein, dass STORM zwar die Lücke zu gelernten spärlichen Retrievern (wie SPLADE-v2) bei In-Domain-Aufgaben verringert, diese jedoch nicht vollständig schließt, was wahrscheinlich auf die Unfähigkeit zurückzuführen ist, die reichhaltigen kontextuellen Beziehungen zu erfassen, die durch die Term-Gewichtungsmechanismen dichter Modelle kodiert werden. Zudem ist die optimale Generierungslänge datensatzabhängig, was einen Kompromiss zwischen Latenz und Effektivität erfordert.