🤖 AI

OLLM: Options-based Large Language Models

Die Arbeit stellt OLLM vor, eine effiziente Methode, die die Vorhersage einzelner Tokens in großen Sprachmodellen durch einen Satz diskreter, latenter Optionen ersetzt, um die Kontrollierbarkeit, Robustheit und Sample-Effizienz bei mathematischen Schlussfolgerungen erheblich zu verbessern.

Ursprüngliche Autoren: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der einsame Wegweiser

Stell dir vor, ein großes Sprachmodell (ein KI-Modell) ist wie ein unermüdlicher Reiseleiter, der eine Geschichte erzählt. Bei jedem Wort, das er sagt, muss er sich entscheiden: „Was kommt als Nächstes?"

Normalerweise funktioniert dieser Reiseleiter so: Er schaut auf die bisherige Geschichte und berechnet für jedes mögliche Wort im gesamten Wörterbuch eine Wahrscheinlichkeit.

Ist die Antwort klar (z. B. „Die Sonne geht im ..."), ist er sich zu 100 % sicher: „Osten!".
Ist die Situation unklar (z. B. „Der Held zog sein ..."), hat er viele Möglichkeiten: „Schwert", „Mantel", „Hut", „Karte".

Das Problem bei herkömmlichen KIs ist, dass sie bei dieser unklaren Situation oft verwirrt sind. Sie versuchen, alle Möglichkeiten gleichzeitig in einen Topf zu werfen und wählen dann zufällig oder basierend auf einer simplen Regel (wie „Wähle das wahrscheinlichste"). Das führt oft dazu, dass die KI:

In Sackgassen gerät (falsche Logik).
Die Sprache wechselt (plötzlich auf Französisch redet).
Sich wiederholt oder sinnlos wird.

Es ist, als würde der Reiseleiter bei einer Kreuzung mit 100 Wegen nicht wirklich überlegen, sondern einfach blind einen Weg wählen, in der Hoffnung, dass er richtig ist.

Die Lösung: OLLM – Der Reiseleiter mit dem Options-Set

Die Forscher von der University of Bath haben eine clevere Idee namens OLLM (Options Large Language Models) entwickelt.

Stell dir vor, sie geben dem Reiseleiter nicht mehr nur einen einzigen Wegweiser, sondern ein kleines, übersichtliches Set aus 10 verschiedenen Karten (wir nennen sie „Optionen" oder „latente Variablen").

Wie funktioniert das?

Der Encoder (Der Übersetzer): Bevor das Modell ein Wort ausspricht, schaut es sich den Kontext an und fragt sich: „Welche Art von Entscheidung muss ich hier treffen?"
- Ist es eine klare mathematische Formel? -> Karte 1 (Die „sichere" Karte).
- Ist es eine kreative Geschichte mit vielen Möglichkeiten? -> Karte 5 (Die „kreative" Karte).
- Ist es ein logischer Schritt in einem Beweis? -> Karte 3 (Die „logische" Karte).
Der Decoder (Der Wegbereiter): Sobald eine dieser Karten gewählt wurde, passt sie den Denkprozess des Modells leicht an. Sie sagt quasi: „Okay, wir sind auf Karte 3. Wir suchen jetzt nur noch nach Wörtern, die zu einer logischen Beweisführung passen."
Die Entscheidung: Anstatt aus dem riesigen Wörterbuch mit 50.000+ Wörtern zu wählen, muss das Modell nun nur noch aus diesen 10 vordefinierten Optionen wählen.

Die Analogie: Der Supermarkt vs. Der Spezialist

Das alte Modell: Stell dir vor, du musst ein Rezept kochen, aber du stehst vor einem riesigen Supermarkt mit 50.000 Produkten. Du musst jedes einzelne Produkt prüfen, um zu entscheiden, ob es ein „Zwiebel" oder eine „Knoblauchzehe" ist. Das ist langsam, verwirrend und du könntest versehentlich eine Schokolade nehmen, wenn du müde bist.
Das OLLM-Modell: Du hast einen persönlichen Kochassistenten. Bevor du in den Supermarkt gehst, sagt er dir: „Heute machen wir eine Suppe. Wir brauchen nur drei Dinge: Gemüse, Brühe und Gewürze."
- Er hat dir die 50.000 Produkte ausgeblendet.
- Er hat dir nur die 3 Kategorien (Optionen) gegeben, die jetzt relevant sind.
- Du musst nur noch innerhalb dieser 3 Kategorien die beste Wahl treffen. Das geht viel schneller und du machst weniger Fehler.

Warum ist das so genial?

Weniger Chaos: Da das Modell nicht mehr zwischen „Schwert" und „Hut" und „Karte" und „Schokolade" gleichzeitig kämpfen muss, sondern erst entscheidet, welche Art von Geschichte es erzählt, werden die Entscheidungen sauberer.
Bessere Mathematik: In der Studie haben sie das Modell auf Matheaufgaben trainiert. Das Ergebnis war beeindruckend:
- Die alten Modelle (die besten, die es gab) lagen bei 51 % richtiger Antworten.
- Das neue OLLM-Modell konnte theoretisch bis zu 70 % erreichen, wenn man die richtige „Karte" (Option) auswählt.
- Das bedeutet: Das Modell hat gelernt, verschiedene Denkwege (Optionen) zu speichern, statt sie zu verwechseln.
Einfache Kontrolle: Man kann nun eine kleine „Steuerungs-KI" (eine Policy) trainieren, die einfach nur sagt: „Nimm jetzt Karte 3, weil wir gerade einen logischen Beweis führen." Das ist viel einfacher zu steuern als das gesamte riesige Gehirn der KI.

Zusammenfassung

OLLM ist wie ein Gehirn-Upgrade für KI-Modelle. Statt alles durcheinanderzuwerfen, baut es kleine, organisierte Schubladen (Optionen) ein.

Bei klaren Aufgaben (wie „2+2=...") bleibt es deterministisch (sicher).
Bei schwierigen Aufgaben (wie Mathe-Beweise oder kreative Texte) öffnet es mehrere Schubladen, damit das Modell verschiedene plausible Wege parallel halten kann, ohne den Überblick zu verlieren.

Das Ergebnis ist eine KI, die klüger, kontrollierbarer und effizienter ist, besonders wenn es darum geht, komplexe Probleme wie Mathematik zu lösen. Es ist, als hätte man dem Reiseleiter endlich eine gute Landkarte gegeben, anstatt ihn im Dschungel herumirren zu lassen.

Titel: OLLM: Options-based Large Language Models

Autoren: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri (University of Bath)

1. Problemstellung

Herkömmliche Large Language Models (LLMs) modellieren die nächste Token-Vorhersage als eine einzelne Wahrscheinlichkeitsverteilung über das gesamte Vokabular. Um Vielfalt in der Generierung zu erzeugen, verlassen sie sich auf Heuristiken wie Temperatur-Sampling oder Top-k/p-Filterung. Dies führt jedoch zu mehreren Problemen:

Mangelnde explizite Kontrolle: Die Vielfalt wird nicht strukturell modelliert, sondern durch zufälliges Sampling erzwungen.
Ineffiziente Exploration: Bei der Feinabstimmung durch Reinforcement Learning (RL) operieren Strategien oft im hochdimensionalen Raum des gesamten Vokabulars, was zu schlechter Sample-Effizienz und Phänomenen wie „Reward Hacking" oder ungewolltem Sprachwechsel führt.
Multimodalität: Natürliche Sprache (und insbesondere mathematische Schlussfolgerungen) weist an vielen Positionen mehrere plausible Fortsetzungen auf. Herkömmliche Modelle neigen dazu, sich auf eine dominante Mode zu versteifen (Overfitting), anstatt mehrere gültige Pfade zu erhalten.

Das Papier identifiziert, dass etwa 58 % der Token-Positionen in mathematischen Texten eine hohe Entropie (hohe Ambiguität) aufweisen, während andere deterministisch sind. Ein einheitliches Modell kann diese Mischung aus deterministischen und mehrdeutigen Stellen nicht optimal handhaben.

2. Methodik: Options LLM (OLLM)

OLLM ist eine leichte „Plug-in"-Architektur, die das Standard-Next-Token-Prediction-Modell durch ein Options-basiertes Modell ersetzt. Statt eines einzelnen nächsten Tokens lernt das Modell eine Menge von Optionen, die durch eine diskrete latente Variable indiziert werden.

Architektur

Die Architektur fügt zwei leichte Module vor dem Ausgabekopf (lm_head) eines vortrainierten LLM ein:

Encoder ( $E_\psi$ ):
- Nimmt den kontextuellen Hidden State ( $h_t$ ) und die Einbettung des Ziel-Tokens ( $e(y_{t+1})$ ) während des Trainings entgegen.
- Generiert eine Verteilung über einen kleinen diskreten latenten Raum $Z$ (z. B. $K=10$ Optionen).
- Dies ermöglicht es, dass dasselbe Ziel-Token je nach Kontext (z. B. unterschiedliche logische Pfade in der Mathematik) verschiedenen Optionen zugeordnet wird.
Decoder ( $D_\omega$ ):
- Nimmt den Hidden State ( $h_t$ ) und die gewählte Option $z$ entgegen.
- Erzeugt einen Bias-Vektor $\Delta h_t$ , der zum Hidden State addiert wird, bevor die Projektion auf das Vokabular erfolgt.
- Dies verschiebt die Logits so, dass bestimmte Token-Optionen für die gewählte latente Variable begünstigt werden.

Trainingsziele

Cross-Entropy Loss: Sicherstellt, dass das korrekte Token unter der gewählten Option vorhergesagt wird.
KL-Divergenz-Regularisierung: Verhindert das „Kollabieren" der latenten Variable auf eine einzige Option, indem die Verteilung gegen eine uniforme Prior-Verteilung regularisiert wird. Die Gewichtung wird adaptiv angepasst.
Policy-Learning (Behavioral Cloning): Ein separater, kompakter Policy-Netzwerk ( $\pi_\phi$ ) wird trainiert, um die latente Variable $z$ allein basierend auf dem Hidden State $h_t$ vorherzusagen (nach dem Encoder). Dies ermöglicht die Inferenz ohne Zugriff auf das Ziel-Token.

Inferenz

Während der Inferenz ersetzt der Policy-Netzwerk den Encoder. Der Policy wählt eine Option $z$ aus dem latenten Raum aus, der Decoder passt die Hidden States an, und das LLM generiert den Token. Dies reduziert den Aktionsraum für die Optimierung von $|V|$ (Vokabulargröße) auf $|Z|$ (Anzahl der Optionen, z. B. 10).

3. Wichtige Beiträge

Strukturelle Vielfalt: OLLM macht Variation explizit durch einen kompakten latenten Raum, anstatt sie durch Sampling-Heuristiken zu induzieren.
Effiziente Feinabstimmung: Die Methode ist extrem parameter-effizient. In den Experimenten wurden nur 1,56 % der Parameter eines 1,7-Milliarden-Parameter-Backbones (Qwen2.5 Deepseek R1) trainiert.
Entkopplung von Pfade: Durch die Aufteilung der Token-Wahrscheinlichkeiten auf verschiedene latente Optionen können konkurrierende logische Pfade (z. B. verschiedene Lösungswege in der Mathematik) gleichzeitig optimiert werden, ohne sich gegenseitig im Softmax zu konkurrieren.
Verbesserte RL-Effizienz: Da die Policy im niedrigdimensionalen Optionsraum operiert, ist die Optimierung (z. B. durch RL) deutlich sample-effizienter und vermeidet häufige Fehlausrichtungen (wie Sprachwechsel), da die Exploration auf während des Supervised Fine-Tuning (SFT) gelernte Optionen beschränkt ist.

4. Ergebnisse

Die Methode wurde auf dem OpenMathReasoning-Datensatz trainiert und auf dem OmniMath-Datensatz evaluiert.

Vergleich mit Baselines: State-of-the-Art LoRA-Adapter (Low-Rank Adaptation) erreichten eine maximale Korrektheit der Endantwort von 51 %.
OLLM-Leistung:
- Unter optimaler Auswahl der latenten Variable (theoretisches Maximum) erreichte OLLM eine Korrektheit von ~70 %.
- Die Per-Token-Accuracy stieg von 74 % (LoRA) auf **83 %**.
Qualitative Beobachtungen:
- OLLM lernt echte Diversität: Bei mehrdeutigen Stellen (z. B. Beginn eines Satzes oder logischer Sprung) werden verschiedene Optionen gelernt.
- Bei deterministischen Stellen (z. B. mathematische Symbole wie „_C" nach „triangle AB") kollabiert das Modell konsistent auf eine Option.
- Verschiedene Optionen können zu unterschiedlichen logischen Schlussfolgerungen führen, was die Interpretierbarkeit erhöht.

5. Bedeutung und Ausblick

OLLM demonstriert, dass die Einführung latenter Optionen die Kontrollierbarkeit, Robustheit und Effizienz von LLMs, insbesondere im Bereich des mathematischen Denkens, signifikant verbessert.

Paradigmenwechsel: Statt die Vielfalt durch zufälliges Sampling zu erzwingen, wird sie strukturell in das Modell integriert.
RL-Vorbereitung: Der Ansatz legt den Grundstein für effizientes Reinforcement Learning in LLMs, da die Policy in einem kleinen, gut definierten Aktionsraum operiert, der keine expliziten KL-Strafen oder handgefertigten Ausrichtungsverluste benötigt, um Alignment zu gewährleisten.
Zukunft: Die Autoren planen, RL-Methoden direkt in diesem latenten Optionsraum zu trainieren, um die theoretischen Effizienzgewinne in weitere Leistungssteigerungen umzuwandeln. Die Methode ist zudem auf andere Domänen wie Code-Generierung und wissenschaftliche QA übertragbar.

Zusammenfassend bietet OLLM einen eleganten Weg, die inhärente Multimodalität von Sprache zu nutzen, ohne die Komplexität des gesamten Vokabulars bei der Steuerung der Generierung zu bewältigen.