Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance

Dit paper introduceert Evo, een nieuw type groot taalmodel dat autoregressieve en diffusiemethoden verenigt in een continu evolutionair raamwerk om zowel hoge generatiekwaliteit als snelle inferentie te bereiken.

De kern

Wat is Evo? De "Meester-Regisseur" van Tekst

Stel je voor dat je een tekst schrijft. Meestal doen we dit op twee manieren:

1. De snelle schrijver (Autoregressief): Je schrijft woord voor woord, van links naar rechts. Het is snel, maar als je halverwege een fout maakt, moet je vaak de hele zin opnieuw schrijven. Het is alsof je een trein volgt die niet kan stoppen.
2. De trage schilder (Diffusie): Je begint met een wazig, onduidelijk beeld en maakt het steeds scherper door eroverheen te werken. Dit geeft prachtige resultaten en helpt bij complexe plannen, maar het duurt heel lang omdat je alles meerdere keren moet "opfrissen".

Evo is een nieuw type kunstmatige intelligentie die de beste van beide werelden combineert. Het is alsof je een meester-regisseur hebt die tijdens het schrijven van een filmbesluit: "Deze scène is duidelijk, laten we die snel vastleggen. Maar die scène hier is verwarrend, laten we daar even rustig over nadenken en het detailrijk maken."

---

Hoe werkt het? De "Groeitijd" van Woorden

In plaats van te kiezen tussen "snel schrijven" of "langzaam schilderen", gebruikt Evo een slimme truc: groeitijd.

Stel je voor dat elk woord in een zin een zaadje is.

• Sommige zaadjes (woorden) groeien heel snel uit tot een sterke boom. Deze woorden zijn duidelijk en zeker. Evo behandelt ze als een snelle schrijver: "Ja, dit woord hoort hier, klaar!"
• Andere zaadjes zijn nog onzeker. Ze zijn misschien wazig of het is niet duidelijk welke richting ze op moeten. Evo behandelt deze als een schilder: "Laten we dit woord een beetje 'ruw' laten en er langzaam verf over doen tot het perfect is."

Evo kijkt naar elk woord en vraagt zich af: "Hoe zeker ben ik van dit woord?"

• Zeker? Dan gaat het snel (zoals een autoregressief model).
• Onzeker? Dan neemt het de tijd om te plannen en te verfijnen (zoals een diffusiemodel).

Dit gebeurt allemaal in één keer, in één enkel brein. Het model "leeft" mee met de tekst en past zijn snelheid en nauwkeurigheid per woord aan.

---

Waarom is dit zo cool?

1. Het is niet traag (Snelheid)
Oude diffusiemodellen moesten alles langzaam schilderen, wat erg traag was. Evo is slim: het schildert alleen de moeilijke stukken. De makkelijke stukken schrijft het razendsnel. Hierdoor is Evo net zo snel als de beste snelle schrijvers, maar veel slimmer.

2. Het maakt minder fouten (Kwaliteit)
Omdat Evo de tijd neemt om na te denken over moeilijke onderdelen (zoals wiskundige problemen of complexe code), maakt het veel minder fouten dan de snelle schrijvers die vaak halverwege vastlopen.

3. Het is flexibel
Stel je voor dat je een brief schrijft. De aanhef is makkelijk ("Beste meneer"), maar de kern van je verhaal is ingewikkeld. Een oude AI zou misschien de hele brief met dezelfde snelheid schrijven. Evo past zich aan: snel bij de aanhef, en heel zorgvuldig bij de moeilijke kern.

---

Wat zeggen de resultaten?

De onderzoekers hebben Evo getest op 15 verschillende taken, zoals:

• Rekenen en redeneren: Evo is heel goed in het oplossen van wiskundige raadsels.
• Programmeren: Het kan complexe computercode schrijven.
• Algemeen weten: Het begrijpt de wereld goed.

In de tests deed Evo het beter dan de huidige topmodellen (zoals LLaMA of Qwen), terwijl het net zo snel bleef. Het is alsof je een Formule 1-auto hebt die ook nog eens een perfecte fiets kan rijden.

Samenvattend

Evo is een doorbraak omdat het stopt met de strijd tussen "snel" en "slim". Het leert van de tekst zelf om te beslissen wanneer het snel moet zijn en wanneer het moet nadenken. Het is alsof de AI een intuïtie heeft ontwikkeld voor welke woorden aandacht nodig hebben en welke niet.

Kortom: Evo schrijft niet alleen tekst; het "groeit" tekst, van een ruwe schets naar een perfect eindproduct, precies op het moment dat het nodig is.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) worden momenteel gedomineerd door autoregressieve (AR) architecturen (zoals de Transformer), die tekst token voor token van links naar rechts genereren. Hoewel deze modellen schaalbaar zijn en snel infereren, hebben ze fundamentele beperkingen:

1. Cumulatieve fouten: Door de strikt unidirectionele aard kunnen kleine fouten in vroege tokens zich opstapelen en de kwaliteit van de rest van de generatie ondermijnen.
2. Gebrek aan globale planning: AR-modellen hebben moeite met het plannen van complexe, niet-sequentiële structuren of het iteratief verbeteren van de semantische coherentie van een hele zin.

Aan de andere kant bieden diffusiemodellen (geïnspireerd op beeldgeneratie) voordelen zoals iteratieve zelfcorrectie en betere globale coördinatie door het ontdoen van ruis in meerdere stappen. Echter, bestaande diffusiemodellen voor taal lijden vaak onder:

1. Trage inferentie: Ze vereisen veel iteratieve stappen, wat leidt tot hoge latentie.
2. Gebrek aan controle: Ze hebben vaak moeite met het handhaven van hoge niveau semantiek en presteren vaak slechter op perplexiteit dan AR-modellen.
3. Rigiditeit: Bestaande hybride modellen (AR + Diffusie) behandelen deze paradigma's vaak als aparte fasen of blokken, wat een dynamische balans tussen planning en verfijning binnen één zin beperkt.

Methodologie: Het Evo Framework

Het paper introduceert Evo, een uniek model dat autoregressieve en diffusie-generatie verenigt binnen één continu generatief kader. In plaats van ze als gescheiden methoden te behandelen, conceptualiseert Evo tekstgeneratie als een dualiteit in een latente stroom (latent flow).

Kernconcepten:

• Latente Trajectoria en Evolutie: Elke token $x_i$ is gekoppeld aan een vector-embeddings $z_i$ die evolueert over een progressievariabele $t_i \in [0, 1]$.
  • $t_i \approx 0$: Vertegenwoordigt een hoge mate van zekerheid en correspondeert met autoregressieve verfijning (deterministisch, lokaal).
  • $t_i \approx 1$: Vertegenwoordigt onzekerheid en correspondeert met diffusie-achtige planning (stochastisch, globaal).
• Theoretische Unificatie: De auteurs bewijzen dat zowel AR als diffusiemodellen discretisaties zijn van dezelfde onderliggende kansstroom (probability flow).
  • AR-generatie wordt gezien als een deterministische stroom dicht bij de oorsprong.
  • Diffusie-generatie is een stochastische "score-following" in de limiet.
  • Evo gebruikt een gedeelde vectorveld $F_\theta$ die door een tijds-geconditioneerde Transformer wordt geleerd om deze stroom te regelen.
• Adaptieve Balans: Het model leert voor elke token individueel de progressietijd $t_i$ te voorspellen. Dit stelt het model in staat om adaptief te schakelen tussen globale planning (diffusie) en lokale precisie (AR) op basis van de semantische onzekerheid van de token.
• Trainingsdoel: Het model wordt getraind om een variational Evidence Lower Bound (ELBO) te maximaliseren. Dit doel unificeert next-token predictie en score-gebaseerd ontdoen van ruis in één differentieerbare loss-functie. Het model leert end-to-end zowel de latente codes als hun bijbehorende tijdstappen.

Implementatie:

• Architectuur: Een decoder-only Transformer met gedeelde parameters, aangevuld met sinusvormige tijds-embeddings voor $t_i$.
• Decoding: Tijdens inferentie worden initiële latente states en $t_i$ waarden gesampleerd. Het model voert vervolgens een deterministische verfijning uit over een vast aantal stappen ($K_{max}$), waarbij tokens met lage $t_i$ sneller convergeren (minder stappen nodig) en tokens met hoge $t_i$ meer iteraties ondergaan.

Belangrijkste Bijdragen

1. Theoretische Inzicht: Een formele unificatie van AR en diffusie als twee uitersten van hetzelfde continue generatieve proces, bewezen via gedeelde kansstromen.
2. Nieuwe Architectuur (Evo): Het eerste model dat een continu spectrum van generatiegranulariteit toestaat, waarbij elke token zijn eigen balans tussen planning en realisatie bepaalt via een geleerde progressievariabele.
3. Efficiëntie zonder Kwaliteitsverlies: Het vermijden van de hoge inferentiekosten van traditionele diffusiemodellen door diffusie-achtige berekeningen alleen toe te passen op semantisch onzekere gebieden, terwijl zekerere tokens snel autoregressief worden verwerkt.
4. State-of-the-Art Resultaten: Demonstratie dat dit hybride aanpak superieure prestaties levert op redeneren en coderen, terwijl het de snelheid van AR-modellen behoudt.

Resultaten

Het paper rapporteert resultaten voor Evo 8B (en varianten tot 13B) op 15 verschillende benchmarks, vergeleken met pure AR-modellen (LLaMA3, Qwen2.5), pure diffusiemodellen (LLaDA, MDLM) en eerdere hybrides (BD3-LM, ARD).

• Prestaties:

  • Redeneren & Wiskunde: Evo 8B behaalt state-of-the-art resultaten op GSM8K (86.4 vs 52.7 bij LLaMA3), Math (54.9 vs 15.4), en GPQA.
  • Code Generatie: Uitstekende scores op HumanEval (60.6 vs 34.6) en MBPP (77.4 vs 47.1).
  • Algemene Taal: Sterke prestaties op MMLU, ARC-C en andere begrijpingsbatterijen.
  • Evo overtreft zowel pure AR-modellen (door betere globale planning) als pure diffusiemodellen (door betere lokale precisie en snelheid).

• Efficiëntie:

  • Snelheid: Evo bereikt een inferentiesnelheid van 52 tokens/seconde met een end-to-end latentie van 8.6 seconden. Dit is vergelijkbaar met LLaMA3 (58 tokens/s, 7.4s) en Qwen2.5 (46 tokens/s, 8.1s).
  • Vergelijking: Het is aanzienlijk sneller dan andere hybrides (BD3-LM: 14.2s, ARD: 32.5s) en pure diffusiemodellen (LLaDA: 21.8s), omdat Evo geen vaste blokken of verplichte iteraties voor alle tokens gebruikt.

• Ablatie Studies:

  • Het verwijderen van tijdsconditionering of het gebruik van vaste tijdstappen (puur AR of puur diffusie) leidt tot significante dalingen in nauwkeurigheid en perplexiteit.
  • Het leren van $t_i$ per token is cruciaal; heuristische methoden (gebaseerd op entropie) presteren slechter dan het end-to-end geleerde model.

Betekenis en Impact

Evo vertegenwoordigt een paradigmaverschuiving in het ontwerp van LLM's. Het bewijst dat de keuze tussen autoregressieve snelheid en diffusie-achtige kwaliteit geen "of-of" situatie hoeft te zijn. Door een evolutie-benadering te gebruiken, kan het model dynamisch beslissen wanneer en waar het moet plannen (diffusie) en wanneer het moet uitvoeren (AR).

Dit leidt tot modellen die:

1. Robuuster zijn in redeneren: Door fouten in vroege stadia te corrigeren via globale planning.
2. Efficiënter zijn: Door computatiemiddelen alleen te investeren waar onzekerheid bestaat.
3. Flexibeler zijn: Door een continu spectrum van generatiegranulariteit te ondersteunen in plaats van starre blokken.

De resultaten suggereren dat toekomstige generatie van taalmodellen zich moet richten op het leren van adaptieve generatiestrategieën binnen een unificerend raamwerk, in plaats van het simpelweg combineren van twee losse architecturen.