🤖 AI

STORM: Stepwise Token Optimization with Reward-Guided Beam Search

STORM is een zelfgesuperviseerd framework dat lexicale query-expansie verbetert door middel van reward-gestuurde beam search om de token-niveau generatie te optimaliseren tegenover retrieval-metrieken, wat efficiënte, transparante en hoogpresterende retrieval mogelijk maakt die even goed presteert als dense neurale modellen zonder dat gespecialiseerde indexering vereist is.

Oorspronkelijke auteurs: Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar een specifiek recept in een enorme, chaotische bibliotheek. Je vraagt aan de bibliothecaris (de zoekmachine): "Hoe maak ik een taart?"

Het Probleem: De Vocabulairekloof
De bibliothecaris is erg snel en gebruikt een standaard archiefsysteem (genaamd BM25). De bibliothecaris kijkt echter alleen naar de exacte woorden die je hebt getypt. Als het beste recept in de bibliotheek de titel "Heerlijke Vanille Spons met Botercreme" heeft, maar je vroeg alleen om "taart", kan de bibliothecaris het missen omdat het woord "taart" niet in de titel staat.

Dit is de "vocabulairekloof" (vocabulary mismatch). Je moet de bibliothecaris helpen begrijpen dat "taart" ook "spons", "dessert" of "gebak" kan worden genoemd.

De Oude Oplossingen

De Menselijke Helper: Je zou een mens kunnen inhuren om je zoekopdracht voor je te herschrijven. Maar mensen zijn duur en traag.
De AI-Gok: Je zou een slimme AI (een Large Language Model) kunnen vragen om betere woorden te raden. Maar de AI raadt vaak woorden die weliswaar goed klinken, maar niet echt helpen bij het vinden van het recept. Het kan "bakken" of "bloem" voorstellen, wat te algemeen is en voor veel ruis zorgt.
De Blinde Trial-and-Error: Sommige methoden laten de AI een hele zin raden, en controleert dan of het gewerkt heeft. Als het mislukte, moet de AI weer helemaal opnieuw beginnen met gokken. Dit is traag en inefficiënt omdat de AI niet weet welk specifiek woord de oorzaak van de fout was.

De Nieuwe Oplossing: STORM
Het paper introduceert STORM (Stepwise Token Optimization with Reward-guided beam search). Denk aan STORM als een slimme, real-time editor die de AI helpt om de perfecte zoekopdracht te schrijven, woord voor woord, terwijl hij constant de archiefsystemen van de bibliotheek controleert.

Zo werkt het, met behulp van een creatieve analogie:

De "Boomklimmer" Analogie

Stel je voor dat de AI probeert een boom te beklimmen om het beste fruit te vinden (de beste zoektermen).

Standaard AI: De AI kiest een tak en klimt helemaal naar boven. Pas als hij de top bereikt, controleert hij: "O nee, deze tak heeft geen fruit." Hij moet dan helemaal naar benen terugklimmen en een andere tak proberen. Dit is traag en verspillend.
STORM: STORM gebruikt een reward-guided beam search. Stel je voor dat de AI aan het klimmen is, maar dat er bij elke stap (elk nieuw woord dat hij toevoegt) direct een "scorekeeper" het bibliotheekregister controleert.
- Als de AI een woord als "spons" toevoegt, zegt de scorekeeper: "Geweldig! Dat komt overeen met een echt recept. Ga zo door!"
- Als de AI een woord als "heerlijk" toevoegt, zegt de scorekeeper: "Stop! Dat woord is te algemeen; het zal ons niet helpen om het specifieke recept te vinden. Snijd die tak direct af."

STORM snoeit (snijdt weg) de slechte takken weg terwijl ze groeien. Het houdt alleen de paden vast die daadwerkelijk leiden naar goede resultaten.

Waarom dit een grote doorbraak is

1. Het Leert door te Doen, Niet door te Memoriseren
STORM heeft geen mens nodig om het te leren wat een "goede" zoekopdracht is. Het leert volledig zelfstandig. Het genereert een zoekopdracht, controleert of het goede documenten vindt, en als dat zo is, onthoudt het dat pad. Als dat niet zo is, vergeet het dat pad. Het is als een hond die leert om een bal te halen door alleen geprezen te worden wanneer hij de juiste bal terugbrengt.

2. Het is Razendsnel
Veel AI-zoektools zijn traag omdat ze lange, chique paragrafen schrijven om uit te leggen wat je wilt. STORM is anders. Het schrijft korte, krachtige lijsten met trefwoorden (zoals "spons", "vanille", "boter").

Het Resultaat: Het vindt betere resultaten dan de oude methoden, maar doet dit net zo snel als de basis, "domme" zoekmachine (BM25). Het hoeft het archiefsysteem van de bibliotheek niet te herbouwen; het spreekt alleen de taal van de bibliothecaris beter.

3. Het Spreekt Veel Talen (Zelfs als het alleen Engels heeft geleerd)
Het meest verrassende deel van het paper is dat STORM alleen op Engelse data is getraind. Toch presteerde het bij tests in 18 verschillende talen (zoals Frans, Chinees of Swahili) beter dan gespecialiseerde, dure AI-modellen die specifiek voor die talen zijn gebouwd.

De Analogie: Het is alsof je iemand leert om schaken te spelen met alleen Engelse regels, maar diegene kan daarna perfect schaken in het Spaans, Frans en Japans zonder ooit die talen te hebben geleerd. De AI leerde de logica van het vinden van goede woorden, niet alleen de specifieke Engelse woorden.

De Kernboodschap

STORM is een nieuwe manier om zoekmachines slimmer te maken zonder ze trager of duurder te maken. Het fungeert als een real-time coach voor de AI, die fluistert: "Goed woord, ga zo door!" of "Slecht woord, stop daar maar!" bij elke stap. Hierdoor kunnen zelfs kleinere, goedkopere AI-modellen informatie vinden even goed als (of zelfs beter dan) massieve, dure modellen, terwijl ze gebruikmaken van de eenvoudige, snelle archiefsystemen die bibliotheken al decennia gebruiken.

Technische Samenvatting: STORM (Stepwise Token Optimization with Reward-Guided Beam Search)

Probleemstelling

Moderne informatieverwerking (IR) staat voor een afweging tussen efficiëntie en effectiviteit. Dense en geleerde ijle (learned-sparse) neurale modellen bieden een hoge retrieval-prestatie, maar vereisen gespecialiseerde indices die telkens opnieuw moeten worden opgebouwd wanneer het model verandert, wat aanzienlijke infrastructuurkosten met zich meebrengt. Daartegenover staan lexicale retrievers zoals BM25, die zeer efficiënt en transparant blijven op standaard omgekeerde indices, maar lijden onder het "vocabulary mismatch"-probleem, waarbij relevante documenten termen bevatten die afwezig zijn in de gebruikersquery.

Hoewel Large Language Models (LLMs) queries kunnen herschrijven om deze kloof te overbruggen, hebben bestaande benaderingen beperkingen:

Prompt-gebaseerde herschrijvers genereren vaak welgevormde maar retrieval-ineffectieve termen of lange pseudo-documenten, wat hoge inferentie-latentie veroorzaakt zonder de retriever tijdens de generatie te raadplegen.
Reinforcement Learning (RL)-benaderingen die trainen tegen retrieval-beloningen observeren de beloning doorgaans pas nadat de volledige sequentie is gegenereerd. Deze supervisie op sequentieniveau creëert een exploratie-bottleneck, waardoor het moeilijk is om te identificeren welke specifieke lexicale termen bijdroegen aan de beloning, wat leidt tot trage convergentie of instorting naar generieke expansies.

Methodologie

De auteurs introduceren STORM (Stepwise Token Optimization with Reward-guided beaM search), een zelf-gesuperviseerd framework voor lexicale query-expansie dat retrieval-beloningen omzet in token-niveau signalen.

Kernmechanisme: Reward-Guided Beam Search

In tegen tegenstelling tot standaard beam search, dat kandidaten selecteert op basis van waarschijnlijkheid, gebruikt STORM het retrieval-systeem zelf als gids tijdens het generatieproces.

Stapsgewijze scoring: In elke generatiestap worden kandidaat-keywordsequenties gescoord tegen een BM25 omgekeerde index.
Pruning (Snoeien): Takken met lage retrieval-beloningen worden onmiddellijk gesnoeid. Dit concentreert de exploratie op vocabulaire die aantoonbaar effectief is voor retrieval, in plaats van enkel te vertrouwen op de interne parametrische kennis van de LLM.
Trainingslus: Het framework past de Generative Cooperative Networks (GCN) architectuur aan. In plaats van een geleerde discriminator, gebruikt het een vooraf gedefinieerde retrieval-beloningsfunctie.
- Proposal Distributie: Trainingsmonsters worden getrokken uit een mengeling van standaard nucleus sampling en een reward-guided beam search.
- Doelstelling: Het beleid (policy) wordt bijgewerkt om de KL-divergentie te minimaliseren tussen de policy en een doelverdeling die gewogen is door de retrieval-beloning.

Beloningsfunctie

De beloningsfunctie $R(\hat{y})$ combineert drie componenten om de kwaliteit van de retrieval te optimaliseren terwijl inefficiëntie wordt bestreden:

Retrieval Kwaliteit: Gemeten via nDCG@100 tegen cross-encoder pseudo-labels (gedestilleerd uit OpenSearch Project MS-MARCO Hard Negatives).
Vocabulaire Straf: Een strafterm gebaseerd op de documentfrequentie (DF) van gegenereerde termen, die het model ontmoedigt om hoogfrequente, niet-onderscheidende termen te emitteren.
Lengte Regularisatie: Een log-likelihood term die fungeert als een prior voor tokenselectie en de sequentielengte reguleert, om de generatie van te lange of oninformatieve strings te voorkomen.

Belangrijkste Bijdragen

Zelf-gesuperviseerde Training: Een methode voor lexicale query-herschrijving die geen menselijke herschrijvingen vereist; supervisie wordt volledig afgeleid van de scoring van de gegenereerde expansies door de retriever.
Token-niveau Exploratie: De introductie van reward-guided stochastic beam search, die vertraagde sequentie-niveau retrieval-feedback transformeert naar een onmiddellijk token-niveau signaal, waardoor het model wordt gestuurd bij het ontdekken van retrieval-effectieve vocabulaire tijdens de generatie.
Infrastructuur-lichte Efficiëntie: STORM bereikt een concurrerende effectiviteit terwijl het de inferentie-latentie behoudt die vergelijkbaar is met plain BM25, omdat het korte keyword-strings genereert in plaats van volledige pseudo-documenten.

Experimentele Resultaten

De auteurs evalueerden STORM over in-domain, out-of-domain en meertalige benchmarks met behulp van Qwen3-backbones variërend van 0.6B tot 8B parameters.

In-Domain (TREC DL, MS-MARCO): STORM presteert consistent beter dan prompt-gebaseerde herschrijvers (HyDE, MuGI, W2P) en RL-gebaseerde baselines (QUESTER) over alle modelgroottes heen. Bij 8B evenaart of overtreft het competitieve LLM-herschrijvers.
Out-of-Domain (BEIR): STORM behaalt de hoogste gemiddelde nDCG@10 over 12 BEIR-collecties. Opvallend genoeg presteert zelfs het 0.6B STORM-model gemiddeld beter dan alle 0.6B baselines, wat een robuuste generalisatie aantoont.
Zero-Shot Meertalig (MIRACL): Getraind uitsluitend op Engelse MS-MARCO data, transfereert STORM-8B zero-shot naar 18 talen en behaalt een gemiddelde nDCG@10 van 48.4. Dit overtreft gemiddeld toegewijde meertalige dense retrievers (mDPR, mContriever, mColBERT), ondanks het gebruik van een puur lexicale backend.
Vergelijking met Propriëtaire Modellen: STORM-8B (Qwen3) presteert gemiddeld beter dan verschillende query-herschrijvers gebaseerd op het veel grotere GPT-4.1 model (bijv. MuGI-GPT4, Q2D-GPT4) over in-domain en BEIR-datasets, wat suggereert dat het beloningssignaal effectiever is dan chain-of-thought prompting voor retrieval-taken.
Efficiëntie: STORM behoudt een retrieval-latentie die gelijk is aan plain BM25 (~0.01s), ondanks het uitgeven van queries met aanzienlijk meer termen (tot 8x meer). Dit wordt bereikt omdat de beloningsfunctie hoogfrequente termen straft die anders kostbare index-traversals zouden veroorzaken. De generatie-latentie is ook lager dan bij concurrerende LLM-herschrijvers (bijv. 4.39s voor STORM-8B versus 34.2s voor W2P).

Betekenis en Claims

Het artikel positioneert STORM als een competitief, infrastructuur-licht alternatief voor dense neurale retrieval. De primaire betekenis ligt in het aantonen dat:

Lexicale expansie effectief geoptimaliseerd kan worden zonder dense indices of massieve propriëtaire modellen.
Reward-guided decoding een levensvatbaar algemeen instrument is om generatie af te stemmen op niet-differentieerbare retrieval-doelstellingen, waarmee de exploratie-bottleneck die inherent is aan sequentie-niveau RL wordt opgelost.
Zero-shot transfer naar meertalige omgevingen haalbaar is met een puur lexicale aanpak, wat de aanname uitdaagt dat dense semantische matching strikt noodzakelijk is voor cross-linguale retrieval.

De auteurs concluderen dat STORM een robuust evenwicht biedt tussen effectiviteit en efficiëntie, waardoor het een praktische oplossing is voor zoekmachines en Retrieval-Augmented Generation (RAG) systemen waar index-rebuilds kostbaar zijn of latentie kritiek is.

Beperkingen

De auteurs erkennen dat hoewel STORM de kloof met learned sparse retrievers (zoals SPLADE-v2) op in-domain taken verkleint, het deze niet volledig evenaart, waarschijnlijk door het onvermogen om rijke contextuele relaties te vatten die gecodeerd zijn door term-weighting mechanismen in dense modellen. Daarnaast is de optimale generatie-lengte dataset-afhankelijk, wat een afweging vereist tussen latentie en effectiviteit.