🤖 machine learning

LEAF: Growing Trees Without Branching for Speech-Aware Large Language Model Post-Training

Het artikel stelt LEAF voor, een retrospectieve boomgebaseerde reinforcement learning-methode die de post-training van spraakbewuste grote taalmodellen verbetert door span-niveau voordelen toe te wijzen aan gedeelde prefixen in rollout-batches, waardoor het bestaande GRPO-stijl benaderingen en zelfs full-parameter baselines met kleinere modellen overtreft.

Oorspronkelijke auteurs: Argyrios Gerogiannis, Yekaterina Yegorova, Mark Hasegawa-Johnson, Venugopal V. Veeravalli

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Argyrios Gerogiannis, Yekaterina Yegorova, Mark Hasegawa-Johnson, Venugopal V. Veeravalli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert hoe hij een verhaal moet schrijven op basis van een gesproken opdracht. In de oude manier (met een methode genaamd GRPO) luistert de leraar naar het hele verhaal dat de student schrijft, geeft er een eindcijfer voor en zegt dan tegen de student: "Goed gedaan met het hele verhaal!" of "Slecht gedaan met het hele verhaal!"

Het probleem met deze aanpak is dat het te onhandig is. Als de student een geweldige opening heeft geschreven maar een verschrikkelijk einde, straft het "slechte cijfer" de geweldige opening net zo hard als het slechte einde. Omgekeerd, als de student een wankele start had maar een briljante afsluiting, beloont het "goede cijfer" de wankele start. De leraar weet niet waar de student het goed of fout heeft gedaan.

Maak kennis met LEAF (Low-rank Exploration with Adaptive Forking).

De onderzoekers aan de University of Illinois stellen een slimmere manier voor om deze spraak-AI-modellen te onderwijzen. In plaats van alleen één cijfer te geven voor het hele verhaal, werkt LEAF als een detective die terugkijkt naar het werk van de student om de exacte momenten te vinden waarop het verhaal een wending nam.

Zo werkt LEAF, met behulp van eenvoudige analogieën:

1. De "Groepsreis"-analogie

Stel je voor dat je 8 studenten op dezelfde wandeling stuurt (de "rollout"). Ze beginnen allemaal samen en lopen dezelfde route voor de eerste mijl. Dan, bij een splitsing in de weg, gaan sommige studenten linksaf en anderen rechtsaf. Uiteindelijk bereiken ze allemaal het einde, en je geeft ze een score op basis van hoe mooi het uitzicht was.

De Oude Manier (GRPO): Je zegt tegen alle 8 de studenten: "Goed gedaan!" of "Slecht gedaan!" op basis van het uiteindelijke uitzicht. Je geeft niet om het feit dat 4 van hen bij mijl 1 het verkeerde pad hebben gekozen.
De LEAF-manier: LEAF kijkt naar de groep en zegt: "Wacht eens even. Iedereen liep de eerste mijl samen. Daarna splitste de groep zich bij mijl 1. Laten we kijken naar de mensen die het linkerpad hebben genomen. Hebben zij een beter uitzicht gekregen? Ja? Dan was de beslissing voor het "linkerpad" goed. Laten we kijken naar de mensen die het rechterpad hebben genomen. Hebben zij een slechter uitzicht gekregen? Ja? Dan was de beslissing voor het "rechterpad" slecht."

2. Het zoeken naar de "Splitsingen" (De vertakking)

In spraak-AI genereert het model woorden één voor één. Soms raakt het in de war of maakt het een riskante gok. LEAF zoekt naar deze momenten van verwarring (zogenaamde "high-surprisal" punten).

Denk aan een Kies je eigen avontuur-boek.

Het model schrijft de eerste paar zinnen.
LEAF vraagt: "Waren al de groepen AI-modellen het eens over deze eerste zinnen?"
Als dat zo is, behandelt LEAF dat als een solide "basis kamp".
Vervolgens zoekt LEAF naar het moment waarop de modellen begonnen te verschillen of andere paden insloegen. Het markeert die plek als een "Fork" (splitsing).

3. Het "Terugspoelen en Belonen"

Zodra LEAF deze splitsingen vindt, spoelt het de tape terug. Het groepeert de reacties op basis van het pad dat ze vóór de splitsing hebben genomen.

Als een groep reacties een specifieke prefix (het begin van de zin) deelde en daarna een hoge score behaalde, geeft LEAF extra punten specifiek aan dat beginstuk.
Als een groep een prefix deelde maar daarna een lage score kreeg, geeft LEAF negatieve punten specifiek aan dat deel, waarbij het tegen het model zegt: "Begin je zinnen niet op die manier."

Dit is als een coach die zegt: "Je hebt de eerste ronde perfect gerend, maar je struikelde bij de 50 meter. Laten we ons trainen richten op het verbeteren van dat specifieke 50-meterstuk, niet op de hele race."

Waarom is dit een grote zaak?

Het onderzoek beweert dat door deze "retrospectieve boom"-methode te gebruiken, LEAF de AI veel beter onderwijst dan de oude methode, zelfs met minder middelen.

Slimmer leren: Het voorkomt dat de AI slechte gewoonten aanleert simpelweg omdat het einde gelukkig uitpakte, of goede gewoonten omdat het einde ongelukkig uitpakte.
Efficiëntie: Het hoeft geen nieuwe verhalen te genereren om te leren. Het analyseert simpelweg de verhalen die het al heeft gegenereerd en vindt de verborgen structuur daarin.
Betere resultaten: Het onderzoek laat zien dat modellen die met LEAF zijn getraind, beter zijn in het beantwoorden van vragen over audio en het vertalen van spraak dan modellen die met de oude methode zijn getraind. Sterker nog, een kleiner model getraind met LEAF presteerde beter dan een veel groter model getraind met de oude methode.

De Kern

LEAF is een nieuwe trainingsmethode voor spraak-AI die stopt met het behandelen van een heel gesprek als één enkele "goede" of "slechte" gebeurtenis. In plaats daarvan breekt het het gesprek af in kleine segmenten, identificeert exact waar de AI een goede of slechte beslissing nam, en geeft krediet (of schuld) aan alleen die specifieke momenten. Het is alsoك een upgrade van een leraar die een heel essay in één keer beoordeelt, naar een leraar die precies de zinnen markeert die aandacht nodig hebben.

Technische Samenvatting: LEAF – Bomen laten groeien zonder vertakking voor Spraakbewuste LLM Post-training

1. Probleemstelling

State-of-the-art post-training methoden voor spraakbewuste Large Language Models (SALLMs), met name die gebruikmaken van Group Relative Policy Optimization (GRPO), lijden aan grove credit assignment (coarse credit assignment). In standaard GRPO wordt een enkele terminale beloning berekend voor een volledere respons en als een identiek scalair voordeel (advantage) naar elke gegenereerde token gestuurd. Deze aanpak negeert de interne structuur van de rollout-batches, waarbij spraakgestuurde completions vaak significante prefixes delen voordat ze divergeren bij kritieke beslissingspunten. Bijgevolg faalt de methode erin om krediet te lokaliseren naar de specifieke segmenten of tokens waar een respons veelbelovend of juist schadelijk wordt. Hoewel boomstructuur-gebaseerde Reinforcement Learning (RL) een fijner alternatief biedt door te vertakken vanaf intermediaire toestanden, is het direct importeren van online boomexpansie in SALLM post-training computationeel onhaalbaar vanwege lange multimodale inputs, gebatchte decoding en taakspecifieke reward-beperkingen.

2. Methodologie: Low-rank Exploration met Adaptive Forking (LEAF)

LEAF pakt deze beperkingen aan door een retrospectieve boomstructuur-gebaseerde RL-methode te introduceren die structurele informatie herstelt uit standaard gebatched rollouts, zonder dat online vertakking of extra decoding vereist is. De methode werkt als volgt:

Retrospectieve Boomconstructie: LEAF samplet dezelfde $K$ volledige responsen als GRPO. In plaats van nieuwe continuaties te genereren, organiseert het deze bestaande responsen in een ijle prefix-boom op basis van gedeelde token-sequenties.
Adaptive Forking via Surprisal: Om te bepalen waar de boom moet "splitsen" (fork), identificeert LEAF high-surprisal token-grenzen (locaties van hoge onzekerheid in het rollout-beleid). Het selecteert greedily een kleine set globale grenzen ( $B$ ) die gescheiden zijn door een minimale afstand ( $\Delta$ ) om ervoor te zorgen dat ze verschillende delen van de respons dekken.
Prefix Groepering en Node Behoud: Bij elke geselecteerde grens worden responsen gegroepeerd op basis van exacte token-prefix gelijkheid. Alleen non-singleton groepen (prefixes gedeeld door ten minste twee responsen) worden behouden als nodes in de boom. Singleton prefixes worden weggegooid omdat ze geen betrouwbare waarde-inschatting kunnen bieden.
Span-Level Credit Assignment:
- Waarde-inschatting (Value Estimation): De waarde van een behouden prefix-node wordt geschat als het gemiddelde van de terminale beloningen van de afstammende responsen.
- Advantage Berekening: LEAF wijst advantages toe aan spans (segmenten van tokens) tussen de behouden nodes in plaats van aan individuele tokens. Het voordeel voor een span is een combinatie van:
  1. Global Advantage: Het verschil tussen de huidige prefix-waarde en de batch-gemiddelde (prompt-niveau) waarde.
  2. Local Advantage: Het verschil tussen de huidige prefix-waarde en de vorige behouden prefix-waarde op hetzelfde pad.
- Multipliciteit Correctie: Een correctiefactor ( $1/\sqrt{n}$ ) wordt toegepast om te voorkomen dat spans die door veel responsen worden gedeeld, enkel door herhaling de update domineren.
Parameter Efficiëntie: LEAF wordt geïnstantieerd met Low-Rank Adaptation (LoRA), waardoor het kan opereren binnen een lichtgewicht budget van trainbare parameters terwijl het streeft naar het evenaren of overtreffen van full-parameter prestaties.

3. Belangrijkste Bijdragen

Nieuw Algoritme: LEAF is de eerste boomstructuur-gebaseerde RL-methode voor spraak post-training en de eerste binnen retrospectieve credit assignment die een onzekerheid-gestuurde mechanisme (surprisal) gebruikt voor het construeren van prefix-niveau supervisie.
Theoretische Rechtvaardiging: De auteurs bieden theoretische ondersteuning die aantoont dat:
- Span-level prefix advantages geldige credit-signalen zijn.
- Het fork-budget ( $B$ ) een trade-off controleert tussen support (aantal gedeelde prefixes) en resolutie (granulariteit van credit).
- Pure prefix matching (het selecteren van grenzen uitsluitend op basis van botsingsfrequentie) bevooroordeeld is naar oppervlakkige, high-collision prefixes; LEAF's gebruik van surprisal mitigeert dit door grenzen te selecteren waar de onzekerheid hoog is.
Empirische Validatie: Het artikel demonstreert dat spraakbegrips-rollouts zeer "forkbaar" zijn (delen prefixes met divergente uitkomsten) over diverse taken en model-backbones.

4. Experimentele Resultaten

De auteurs evalueerden LEAF op vier spraak-taal benchmarks: Short-form Speech QA (LibriSQA), Long-form Speech QA (DailyTalk, LongAudio), en Speech Translation (CoVoST2), gebruikmakend van de Granite Speech en Qwen2-Audio backbones.

Prestaties vs. GRPO: Onder identieke rollout-budgetten ( $K=8$ $K = 8$ ) en LoRA adaptatie-budgetten, presteert LEAF consistent beter dan LoRA-GRPO over alle datasets en backbones.
- Metrics: Verbeteringen werden waargenomen in BLEU, ROUGE, METEOR, BERTScore, en judge-gebaseerde scores (M-Prometheus en GEMBA-DA).
- Tail Risk: LEAF vermindert catastrofale fouten aanzienlijk, wat blijkt uit hogere Conditional Value at Risk (CVaR) scores en een lager aandeel laag-scorende voorbeelden.
- Efficiëntie: LEAF produceert compactere outputs, waardoor het aantal voorspelde tokens wordt verminderd, met name in long-form taken waar GRPO de neiging heeft tot overgeneratie.
Prestaties vs. State-of-the-Art (SOTA): Op de LibriSQA benchmark presteerden met LEAF getrainde modellen (met gebruik van enkel LoRA adapters) beter dan gepubliceerde SOTA-resultaten die full-parameter GRPO training gebruikten.
- Bijvoorbeeld, een 2B parameter model getraind met LEAF (133.7M trainbare parameters) overtrof een full-parameter GRPO baseline (3.01B trainbare parameters).
- Een 1B model getraind met LEAF benaderde de prestaties van de 2B full-parameter baseline.

5. Betekenis en Claims

Het artikel claimt dat LEAF aantoont dat betere credit assignment kan compenseren voor een aanzienlijk kleiner budget van trainbare parameters. Door standaard gebatched rollouts te reorganiseren tot een retrospectieve boom, bereikt LEAF proces-bewuste supervisie zonder de computationele overhead van online boomzoekopdrachten of een aparte process reward model.

De auteurs positioneren LEAF als een methode die de kloof overbrugt tussen de efficiëntie van platte GRPO en de granulariteit van boomstructuur-gebaseerde RL. Zij benadrukken dat het succes van de methode rust op de empirische eigenschap van "forkbaarheid" in spraaktaken—specifiek, dat gesamplede responsen frequent prefixes delen die leiden tot onderscheidbare uitkomsten. Het werk suggereert dat voor SALLMs de bottleneck in post-training vaak niet alleen het reward-ontwerp is, maar de organisatie van de rollouts en de precisie van de credit assignment.

Door de auteurs opgemerkte beperkingen:

Effectiviteit is regime-afhankelijk en vereist dat rollouts vaak genoeg prefixes delen om non-triviale fork-groepen te vormen.
Reward-signalen zijn momenteel beperkt tot corpus BLEU.
Experimenten waren beperkt tot Engels spraakbegrip en specifieke hardwareconfiguraties (enkele training seed per setting).