🤖 AI

OLLM: Options-based Large Language Models

Dit paper introduceert OLLM, een lichtgewicht methode die de standaard volgende-tokenvoorspelling vervangt door een set van geleerde opties via een discrete latente variabele, waardoor de controleerbaarheid, robuustheid en efficiëntie van wiskundig redeneren aanzienlijk verbeteren zonder extra uitlijningsverliezen.

Oorspronkelijke auteurs: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) een verhaal schrijft of een wiskundig probleem oplost. Normaal gesproken werkt deze AI als een mens die op een kruispunt staat en één pad kiest om te lopen. Als er twijfel is over welke richting het beste is, probeert de AI het soms met een beetje geluk (willekeur) of door een beetje "temperatuur" toe te voegen, alsof hij een munt opgooit.

Maar wat als die AI in plaats van één pad, een paar verschillende paden tegelijk kan zien en bewaren? Dat is precies wat de onderzoekers van de Universiteit van Bath hebben bedacht met hun nieuwe uitvinding: OLLM (Options-based Large Language Models).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Willekeurige Munt"

Stel je voor dat je een wiskundig raadsel oplost. Soms is het antwoord heel duidelijk (bijvoorbeeld: "2 + 2 = 4"). Maar vaak zijn er op een bepaald punt in de zin meerdere goede manieren om verder te gaan. Een standaard-AI moet dan één keuze maken en hopen dat het goed zit. Als het verkeerde pad kiest, kan de hele oplossing in de war raken. Om dit te voorkomen, gooien ze vaak met een muntje (willekeurige selectie), maar dat is niet altijd slim of betrouwbaar.

2. De oplossing: De "Meerdelige Wegwijzer"

OLLM verandert de manier waarop de AI denkt. In plaats van te vragen: "Welk woord komt hier?", vraagt het: "Welke optie kies ik voor dit woord?"

De onderzoekers hebben een klein, slim geheugenkastje (een 'latente ruimte') toegevoegd aan de AI.

Het Kastje: Dit kastje heeft 10 vakjes (in hun experiment). Elk vakje vertegenwoordigt een andere mogelijke richting of "stijl" van denken.
De Werkwijze: Wanneer de AI een woord moet kiezen, kijkt het niet alleen naar het woord zelf, maar ook naar welk vakje in het kastje het moet gebruiken.
- Voorbeeld: Als de AI het woord "appel" moet kiezen, kan vakje 1 zeggen: "Gebruik 'appel' als we over fruit praten." Vakje 2 kan zeggen: "Gebruik 'appel' als we over de Apple-computer praten."

3. De Analogie: De Chef-kok en de Keukentafel

Stel je een chef-kok voor die een recept schrijft (de AI).

De oude manier: De chef schrijft één recept. Als hij twijfelt of hij nu suiker of zout moet doen, gooit hij een muntje. Als hij het verkeerde doet, is het gerecht verpest.
De OLLM-methode: De chef heeft nu een menukaart met 10 verschillende versies van het recept voor elk ingrediënt.
- Versie A is voor een zoet gebakje.
- Versie B is voor een hartige soep.
- Versie C is voor een experimentele smaak.

De chef (de AI) schrijft nu niet één recept, maar houdt alle 10 versies in zijn hoofd. Een kleine manager (het "beleid" of policy) kijkt naar de situatie en zegt: "Voor dit specifieke moment in het recept, kiezen we Versie B."

4. Waarom is dit zo slim?

Geen gekke foutjes: Omdat de AI alleen kan kiezen uit de 10 versies die hij al tijdens het leren heeft gezien, kan hij niet ineens beginnen met een andere taal spreken of onzin gaan bedenken (wat vaak gebeurt bij standaard AI's). Het is alsof je de chef alleen laat kiezen uit ingrediënten die in de koelkast staan, in plaats van dat hij naar de maan moet springen.
Beter wiskundig denken: In hun test met moeilijke wiskundeproblemen (Olympiade-niveau) bleek dat de standaard-AI maar 51% van de vragen goed had. Met de nieuwe "optie-methode" kon de AI tot 70% goed zijn als je de juiste "versie" (optie) kiest.
Efficiëntie: Het is alsof je in plaats van door een heel groot bos te rennen (alle mogelijke woorden), alleen door een klein, goed verlicht pad loopt (de 10 opties). Dat kost minder energie en gaat sneller.

5. Het Resultaat: Een Slimme Gids

De onderzoekers hebben getoond dat je deze methode kunt gebruiken als een "plug-in". Je hoeft de hele AI niet opnieuw te bouwen; je plakt er gewoon twee kleine laagjes voor (een vertaler en een vertaler terug) die de opties regelen.

Kortom:
OLLM is alsof je een slimme gids geeft aan een reiziger. In plaats van de reiziger te laten raden welke weg hij moet nemen, krijgt hij een kaart met 10 duidelijke routes. Een kleine gids kijkt dan naar de situatie en wijst de beste route aan. Hierdoor maakt de reiziger minder fouten, komt hij sneller aan zijn bestemming en blijft hij op het juiste spoor, zelfs bij de moeilijkste wiskundige uitdagingen.

Titel: OLLM: Options-based Large Language Models

Auteurs: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri (Universiteit van Bath)

1. Het Probleem

Traditionele Large Language Models (LLMs) voorspellen het volgende token op basis van één kansverdeling. Om variatie in de gegenereerde tekst te creëren, vertrouwen ze op heuristieken zoals temperatuur-instellingen of sampling-methoden (bijv. top-k, top-p). Dit heeft echter enkele fundamentele beperkingen:

Gebrek aan expliciete controle: Variatie wordt geïnduceerd via ruis in plaats van via een gestructureerde ruimte van mogelijke opties.
Inefficiëntie bij Reinforcement Learning (RL): Het optimaliseren van een beleid (policy) over de volledige vocabulaire (vaak tienduizenden tokens) is zeer steekproefinefficiënt en kan leiden tot "reward hacking" of ongewenst gedrag (zoals taalwisselingen of degeneratief redeneren).
Multimodaliteit: In natuurlijke taal, en specifiek in wiskundig redeneren, zijn er vaak meerdere plausibele vervolgstappen. Een enkel softmax-laagje dwingt deze alternatieven om te concurreren binnen één kansruimte, wat kan leiden tot overfitting op de dominante modus.

Het paper stelt dat er een behoefte is aan een methode die variatie expliciet modelleert en de zoekruimte voor downstream-beleidsbepaling (policy search) beperkt tot een compacte, betekenisvolle ruimte.

2. Methodologie: OLLM Architectuur

OLLM (Options LLM) introduceert een eenvoudige, algemene methode die de standaard next-token voorspelling vervangt door een set van geleerde opties voor het volgende token, geïndexeerd door een discrete latente variabele.

Architectuur:
OLLM fungeert als een lichtgewicht "plug-in" die twee extra lagen toevoegt aan een bestaand, voorgetraind LLM (voordat de lm_head):

Encoder ( $E_\psi$ ):
- Input: De contextuele verborgen toestand ( $h_t$ ) en de embedding van het volgende waarheidsgetrouwe token ( $e(y_{t+1})$ ).
- Output: Een kansverdeling over een kleine, discrete latente ruimte $Z$ (met $K$ opties, bijvoorbeeld $K=10$ ).
- Doel: Het toewijzen van het juiste token aan een specifieke "optie" of latente cluster, afhankelijk van de context.
Decoder ( $D_\omega$ ):
- Input: De verborgen toestand ( $h_t$ ) en een geselecteerde latente variabele $z$ .
- Output: Een bias-vector die wordt toegevoegd aan de verborgen toestand voordat deze wordt geprojecteerd naar de vocabulaire.
- Doel: Het "buigen" van de logit-verdeling zodat specifieke tokens worden bevorderd binnen de gekozen optie.

Trainingsproces:

Supervised Fine-Tuning (SFT): De encoder en decoder worden getraind om de juiste latente variabele te voorspellen die leidt tot het correcte volgende token.
Regularisatie: Om te voorkomen dat de encoder ineenstort naar één enkele optie (latent collapse), wordt een KL-divergentie-straf gebruikt tegen een uniforme prior. Deze straf wordt adaptief geschaald.
Beleidstraining (Policy Learning): Een compacte policy ( $\pi_\phi$ ) wordt getraind om de encoder na te bootsen. Deze policy voorspelt de latente variabele $z$ puur op basis van de context ( $h_t$ ), zonder toegang tot het antwoord.

Inferentie:
Tijdens inferentie vervangt de policy de encoder. De policy kiest een latente optie $z$ , waarna de decoder de generatie in die specifieke richting stuurt. Dit beperkt de zoekruimte van de policy van de volledige vocabulaire naar de kleine set $Z$ .

3. Belangrijkste Bijdragen

Expliciete Optie-Modellering: In plaats van ruis toe te voegen, leert het model een discrete latente ruimte die meerdere plausibele vervolgstappen (opties) kodificeert.
Lichtgewicht Plug-in: De methode vereist slechts twee extra lagen en maakt het mogelijk om vrijwel elk voorgetraind LLM om te zetten naar een OLLM met minimaal extra trainbare parameters (in het experiment slechts 1,56% van de totale parameters).
Efficiënt Beleidsoptimalisatie: Door te opereren in een lage-dimensionale ruimte van opties (in plaats van de volledige vocabulaire), wordt reinforcement learning (RL) en beleidsbepaling aanzienlijk efficiënter en robuuster.
Geen Extra Labels: In tegenstelling tot eerdere werken voor gecontroleerde generatie, vereist OLLM geen externe labels (zoals sentiment of onderwerp); de opties worden volledig ongesuperviseerd geleerd uit de data.

4. Resultaten

Het model is getest op een 1.7B parameter backbone (een gedistilleerde Qwen2.5/Deepseek R1 variant), getraind op het OpenMathReasoning dataset en geëvalueerd op OmniMath.

Prestaties:
- State-of-the-art LoRA-baselines bereikten een piek van 51% correctheid van het eindantwoord.
- OLLM bereikte onder optimale selectie van de latente variabele (via een "oracle") tot ~70% correctheid.
- De token-per-token nauwkeurigheid steeg van ~74% (baselines) naar ~83% bij OLLM.
Analyse:
- De verbetering komt doordat alternatieve tokens niet meer hoeven te concurreren binnen één enkel softmax-probabiliteits simplex. Door ze te scheiden in verschillende latente opties, kan het model meerdere plausibele voortzettingen behouden zonder over te fiten op de dominante modus.
- Kwalitatieve analyses tonen aan dat OLLM in deterministische situaties (bijv. wiskundige symbolen) consistent is, maar in ambiguïteit (bijv. het kiezen van een redeneringsrichting) verschillende logische paden kan volgen.

5. Betekenis en Toekomstperspectief

De resultaten van dit paper tonen aan dat het introduceren van latente opties de controleerbaarheid, robuustheid en efficiëntie van LLM's, vooral in wiskundig redeneren, aanzienlijk verbetert.

Alignement zonder Extra Kosten: De uitlijning (alignment) ontstaat door de modelstructuur zelf, niet door extra KL-straffen of handgemaakte verliesfuncties.
RL in Latente Ruimte: De methode opent een veelbelovende richting voor Reinforcement Learning in LLMs. Het trainen van een beleid in een compacte latente ruimte van opties vermindert de variantie en voorkomt dat het model "degenerate" paden inslaat die tijdens SFT niet zijn gezien.
Toepassingen: Hoewel getest op wiskunde, is de methode breed toepasbaar op domeinen zoals code-generatie, wetenschappelijke QA en meerstapsplanning, waar het kunnen verkennen van alternatieve oplossingspaden cruciaal is.

Kortom, OLLM biedt een fundamentele verschuiving van "rasteren over een vocabulaire" naar "navigeren in een ruimte van betekenisvolle opties", wat leidt tot betere prestaties en meer controle over de generatie.