🤖 machine learning

Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms

Dit artikel betoogt dat de traditionele dichotomie tussen autoregressieve en diffusiemodellen misleidend is, en stelt in plaats daarvan voor dat generatieve pre-training prioriteit moet geven aan het ontwerpen van efficiënte inferentieprocedures voor sequentie-expansie en staatverfijning voordat er trainingsdoelstellingen worden geselecteerd om fundamentele algoritmische beperkingen te overwinnen.

Oorspronkelijke auteurs: Jiaming Song, Linqi Zhou

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaming Song, Linqi Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van AI-beeld- en tekstgeneratie voor als een enorme bouwplaats. Jarenlang heeft de industrie gestrand in discussies over twee specifieke bouwploegen, denkend dat het compleet verschillende soorten zijn:

De "Eén-steen-tegelijk" ploeg (Autoregressieve Modellen): Deze arbeiders leggen één steen, dan nog een steen, dan nog een steen, en bouwen zo een muur van links naar rechts. Ze zijn geweldig in het bouwen van lange muren (zoals het schrijven van lange verhalen), maar ze kunnen een fout in het midden niet herstellen zonder de hele muur af te breken.
De "Beeldhouwer" ploeg (Diffusiemodellen): Deze arbeiders beginnen met een gigantisch blok ruw marmer en hakken er stukje bij beetje aan, waarbij ze de vorm steeds verder verfijnen totdat er een standbeeld verschijnt. Ze zijn geweldig in het maken van hoogwaardige vormen, maar ze werken meestal aan het hele beeld tegelijkertijd in plaats van aan het toevoegen van nieuwe onderdelen.

Het Grote Idee van het Papier:
De auteurs van dit papier zeggen: "Stop met vechten over welke ploeg beter is. Dat is een vals argument."

Ze stellen dat het echte verschil niet gaat over wie er bouwt (het type model), maar over hoe ze bouwen (de inferentieprocedure). Ze stellen voor dat we op twee verschillende manieren moeten kijken naar het opschalen van AI-efficiëntie:

As 1: Sequentie-expansie (Meer dingen toevoegen): De muur langer maken of het verhaal groter maken.
As 2: Staat-verfijning (Bestaande dingen beter maken): Het standbeeld polijsten of een fout in het midden van de muur herstellen.

Het papier beweert dat de beste toekomstige AI niet zomaar een ploeg moet kiezen; het moet de bouwplanning (inferentie) ontwerpen voordat de arbeiders worden ingehuurd (training). Als je plan gebrekkig is, zal geen enkele training de boel kunnen redden.

Hier zijn de drie belangrijkste lessen uit het papier, uitgelegd met alledaagse analogieën:

1. Het "Ontbrekende Instructie" Probleem (De DDIM Fix)

Het Scenario: Stel je voor dat je een GPS-app bent. Je zegt tegen de GPS: "Breng me van Punt A naar Punt B." Maar de GPS weet alleen waar je nu bent (Punt A) en de huidige tijd. Hij weet niet waar je naartoe wilt (Punt B) of wanneer je daar wilt aankomen. Hij raadt slechts een richting op basis van waar je op dit moment bent.

De Claim van het Papier:
Huidige AI-modellen (specifiek "DDIM" samplers) proberen vaak in één grote stap van een ruizige afbeelding naar een heldere afbeelding te springen. Maar de wiskunde die ze gebruiken is als die GPS: het kent de "doeltijd" (de bestemming) niet. Het probeert de sprong te raden zonder te weten waar het naartoe moet landen.
De Fix: Het papier zegt: "Vertel de GPS gewoon de bestemming!" Door simpelweg de "doeltijd" als input aan het brein van de AI toe te voegen, heeft het model plotseling de capaciteit om een perfecte, eenstaps-sprong naar de uiteindelijke afbeelding te maken. Het is een kleine verandering in de instructies die het hele proces laat werken.

2. Het "Pokerhand" Probleem (Multi-Token Voorspelling)

Het Scenario: Stel je voor dat je probeert de volgende twee woorden in een zin te raden: "De pokerhand is een..."
Als je het eerste woord en het tweede woord volledig onafhankelijk van elkaar raadt, zou je bijvoorbeeld "Hoog" en "Huis" kunnen raden. Individueel maken deze woorden zin. Maar samen is "Hoog Huis" geen echte pokerhand. Je moet begrijpen dat "Hoog" en "Huis" met elkaar verbonden zijn.

De Claim van het Papier:
Veel moderne AI-modellen proberen processen te versnellen door meerdere woorden tegelijk te voorspellen. Maar ze voorspellen ze vaak onafhankelijk van elkaar, alsoer ze twee dobbelstenen apart gooien. Dit verbreekt de connectie tussen de woorden.
De Fix: Het papier betoogt dat als je meerdere woorden tegelijk wilt voorspellen, je AI getraind moet worden om de relatie tussen hen te begrijpen (de gezamenlijke distributie). Als je die relatie niet in het voorspellingsproces inbouwt, zal de AI vreemde combinaties blijven maken, en geen enkele hoeveelheid trainingsdata zal het fundamentele gebrek in de manier waarop de AI voorspelt kunnen oplossen.

3. De "Lange Sprong" versus "Babystapjes" (Flow Maps)

Het Scenario: Stel je voor dat je van de voet van een heuvel naar de top moet komen.

De Oude Manier: Je zet kleine, voorzichtig stapjes en controleert na elke stap je evenwicht. Dit is traag en vereist veel stappen.
De Nieuwe Manier: Je leert om één grote, zelfverzekerde sprong rechtstreeks naar de top te maken.

De Claim van het Papier:
De meeste huidige AI-modellen zijn getraind om kleine, babystapjes te zetten (lokale updates). Ze leren hoe ze een klein beetje moeten bewegen, en dan nog een klein beetje meer. Het papier betoogt dat voor AI om snel te zijn, het Flow Maps moet leren.
Beschouw een Flow Map als een "teleportatie-gids". In plaats van te leren hoe je één kleine stap zet, leert de AI het directe pad (de kaart) om van een rommelige staat naar een schone staat te springen in één of twee grote sprongen. Recente methoden beginnen dit te doen, en ze zijn veel sneller omdat ze stoppen met het zetten van babystapjes en beginnen met het maken van lange sprongen.

De Kernboodschap

Het papier concludeert dat we moeten stoppen met het obsessief focussen op de vraag of een model "Autoregressief" of "Diffusie" is. In plaats daarvan moeten we ons afvragen:

Zorgt het plan ervoor dat de AI efficiënt meer inhoud kan toevoegen? (Sequentie-expansie)
Zorgt het plan ervoor dat de AI zijn werk efficiënt kan verfijnen? (Staat-verfijning)

Als de "bouwplanning" (inferentie) van de AI cruciale variabelen mist (zoals de doeltijd) of aannames doet die niet waar zijn (zoals dat woorden onafhankelijk zijn), dan zal de training nooit perfect werken. Ontwerp eerst de zet, en train dan pas de speler.

Technische Samenvatting: Ideeën in Inference-time Scaling kunnen Generatieve Pre-training Algoritmen ten goede komen

Probleemstelling

Het veld van generatieve pre-training wordt momenteel gehinderd door een conceptuele "valse dichotomie" die modellen strikt categoriseert als ofwel autoregressief (voor discrete signalen) of diffusie (voor continue signalen). De auteurs stellen dat dit onderscheid misleidend is omdat het modelfamilies verwart met datarepresentaties, trainingsdoelstellingen en inferentieprocedures.

Het kernprobleem dat wordt geïdentificeerd, is dat de huidige algoritmische vooruitgang is gestagneerd omdat onderzoekers vaak prioriteit geven aan trainingsdoelstellingen (bijv. cross-entropy versus denoising score matching) zonder eerst te waarborgen dat de inferentieprocedure in staat is om efficiënt te schalen. Specifiek betogen de auteurs dat:

De inferentiecapaciteit vaak beperkt is: Trainingsdoelstellingen kunnen niet compenseren voor inferentiekaarten die noodzakelijke argumenten (bijv. doel-tijdstappen) weglaten of onjuiste factorisatie-aannames opleggen (bijv. naïeve onafhankelijkheid bij multi-token voorspelling).
Verkeerde uitlijning van schaling: Het veld mist een verenigd kader voor "inference-time scaling", wat gezien moet worden langs twee afzonderlijke assen: sequentie-expansie (het vergroten van de output) en toestand-verfijning (het herzien van de huidige toestand).

Methodologie en Kader

Het paper stelt een nieuw analytisch kader voor dat prioriteit geeft aan het ontwerp van de inferentieprocedure vóór de trainingsdoelstelling. Het definieert twee primaire assen van inference-time scaling:

Sequentie-expansie: Het vergroten van het aantal gegenereerde tokens, posities of redeneerstappen. Dit is het primaire schaalmechanisme voor autoregressieve modellen (bijv. LLM's), waarbij de rekenkracht schaalt met de lengte van de generatie.
Toestand-verfijning: Het herhaaldelijk bijwerken van een bestaand object zonder noodzakelijkerwijs de lengte te vergroten. Dit is het primaire schaalmechanisme voor diffusiemodellen, waarbij de rekenkracht schaalt met het aantal denoising- of solver-stappen om discretisatiefouten te verminderen.

De auteurs stellen dat deze assen niet exclusief zijn voor specifieke modelfamilies. In plaats daarvan is het zinvolle contrast tussen discrete tokens geleerd met cross-entropy versus continue tokens geleerd met diffusie-achtige doelstellingen, gecombineerd met de specifieke inferentiealgoritmen die gebruikt worden om ze te samplen.

Belangrijke Technische Analyses

Het paper past deze "inference-first" lens toe op drie specifieke gebieden om te demonstreren hoe huidige methoden falen of slagen op basis van hun inferentie-parameterisatie:

1. Beperkingen van DDIM en het Doel-Tijd Argument

Het Probleem: Standaard DDIM-stijl samplers (onder rectified flow formuleringen) definiëren een een-stap update $x_s = x_t + (s-t)v_\theta(x_t, t)$ . Het snelheid netwerk $v_\theta$ ontvangt doorgaans alleen de huidige toestand $x_t$ en de bron-tijd $t$ .
De Fout: Het netwerk mist de doel-tijd $s$ als input. Wiskundig gezien is de partiële afgeleide $\frac{\partial DDIM}{\partial s} = v_\theta(x_t, t)$ onafhankelijk van $s$ . Dit betekent dat het model niet de capaciteit heeft om een functie te leren die $x_t$ in één stap naar een specifieke doel-tijd $s$ mapt, ongeacht de trainingsdoelstelling (zelfs niet met consistency training).
De Oplossing: Het injecteren van de doel-tijd $s$ in de netwerkinputs stelt het model in staat om de directe sprong naar de oplossing te benaderen. Deze eenvoudige modificatie, gecombineerd met Inductive Moment Matching (IMM), maakt stabiele, single-stage algoritmen mogelijk die de kwaliteit van diffusiemodellen evenaren terwijl ze een orde van grootte efficiënter zijn.

2. Multi-Token Predictie (MTP) en Gezamenlijke Verdelingen

Het Probleem: MTP beoogt latentie te verminderen door meerdere tokens parallel te voorspellen. Huidige implementaties samplen deze tokens echter vaak onafhankelijk (naïeve Bayes-aanname), waardoor ze er niet in slagen de gezamenlijke verdeling (joint distribution) van de tokens te representeren.
De Fout: Onafhankelijke sampling negeert correlaties tussen tokens (bijv. in een lijst van een pokerhand zijn "high card" en "two pair" beide geldig, maar "high house" niet). Dit creëert een capaciteitslimiet waarbij het model niet in staat is om geldige combinaties te genereren, zelfs als de marginale waarschijnlijkheden correct zijn.
Huidige Werkwijzen: Methoden zoals self-speculative decoding of het weggooien van MTP-heads tijdens inferentie proberen deze capaciteitsbeperking heuristisch te "corrigeren".
De Implicatie: Echte efficiëntie vereist een inferentiealgoritme dat rekening houdt met token-afhankelijkheden, mogelijk door middel van soft self-revision of door token-afhankelijkheden direct te voorspellen, in plaats van te vertrouwen op rejection sampling of post-hoc correcties.

3. Flow Maps en Lange-Afstand Inferentie

De Verschuiving: Recente literatuur (bijv. Flow Map Matching door Boffi et al.) suggereert dat efficiënte few-step generatie een two-time transport map (van $t$ naar $s$ ) moet leren in plaats van slechts een infinitesimaal snelheidveld.
Het Inzicht: In plaats van lokaal vectorveld numeriek te integreren, zou het model direct lange-afstand inferentiebewegingen moeten parametriseren. Dit omvat methoden zoals Shortcut Models, Mean Flows en Trajectory Distribution Matching (TDM).
Het Principe: Deze methoden delen een gemeenschappelijke inferentie-vorm: ze leren de eindige transport geïnduceerd door lokale dynamica direct, waardoor lange sprongen hanteerbaar worden binnen de modelklasse.

Belangrijkste Bijdragen

Herformulering van de Dichotomie: Het paper stelt dat het fundamentele contrast in generatieve AI niet "autoregressief versus diffusie" is, maar de interactie tussen datarepresentatie (discreet/continu), leerdoelstelling (cross-entropy/diffusie) en inferentieprocedure (expansie/verfijning).
Inference-First Ontwerpprincipe: Het betoogt dat trainingsmethoden fundamentele gebreken in de inferentiekaart niet kunnen herstellen. Als de sampler noodzakelijke argumenten (zoals de doel-tijd variabele) weglaat of onjuiste factorisaties oplegt, kan geen enkele trainingsdoelstelling de resulterende capaciteitslimieten volledig oplossen.
Verenigde Schalingsassen: Het introduceert "sequentie-expansie" en "toestand-verfijning" als universele metrieken voor het evalueren van generatieve pre-training algoritmen, toepasbaar over discrete en continue domeinen.
Technische Diagnose: Het biedt specifieke wiskundige diagnoses voor waarom standaard DDIM samplers falen bij few-step generatie zonder target-time conditionering en waarom naïeve multi-token predictie faalt in het vatten van gezamenlijke verdelingen.

Resultaten en Bewijs

Het paper presenteert geen nieuwe experimentele resultaten gegenereerd door de auteurs, maar synthetiseert bewijs uit recente literatuur om hun claims te ondersteunen:

Inductive Moment Matching (IMM): Citeert [ZES25] om aan te tonen dat het toevoegen van de doel-tijd $s$ aan de input en het gebruik van moment matching een single-stage algoritme creëert dat bij inferentie >10x efficiënter is dan standaard diffusie, terwijl de steekproefkwaliteit behouden blijft.
Flow Map Literatuur: Citeert werken door Boffi, Albergo, en Vanden-Eijnden [BAVE24, BAVE25] en anderen om aan te tonen dat het leren van two-time transport maps (flow maps) een natuurlijker object is voor few-step generatie dan het integreren van lokale snelheidvelden.
Beperkingen van Parallel Decoding: Citeert [KGO+25, ZGZ+26] om aan te tonen dat parallel decoding in diffusie LLM's vaak de kwaliteit verslechtert in gevallen met veel afhankelijkheden door factoriseerde benaderingen, wat de noodzaak voor inferentiealgoritmen die token-afhankelijkheden respecteren valideert.

Betekenis en Claims

Het paper beweert dat het veld zijn focus moet verleggen van het isoleren van optimalisatie van trainingsdoelstellingen naar het ontwerpen van inferentieprocedures die schaalbaar en expressief zijn.

Bescheiden Claim: De auteurs beweren niet alle generatieve problemen te hebben opgelost. In plaats daarvan stellen zij dat "algoritmische vooruitgang prioriteit moet geven aan de efficiëntie van de inferentie-tijd langs twee assen: sequentie-expansie en toestand-verfijning."
Ontwerpimperatief: De centrale les is dat pre-training algoritmen eerst met de inferentieprocedure in gedachten moeten worden ontworpen. Als een inferentiekaart structureel niet in staat is om de doelverdeling te representeren (bijv. door de ontbrekende doel-tijd variabele of door de aanname van onafhankelijkheid waar die niet bestaat), kan training dit niet compenseren.
Toekomstige Richting: Het paper pleit ervoor dat toekomstige generatieve pre-training algoritmen beoordeeld moeten worden op hoe efficiënt ze schalen langs de assen van sequentie-expansie en toestand-verfijning, en of hun inferentie-parameterisaties in staat zijn om stabiele, efficiënte lange-afstand transities en sequentie-expansies in hun gekozen toestandsruimte te representeren.

Samenvattend stelt het paper dat de volgende generatie generatieve modellen niet voort zal komen uit het simpelweg opschalen van huidige diffusie- of autoregressieve architecturen, maar uit het herontwerpen van de inferentiemechanica om efficiënte, lange-afstand toestandstransities en sequentie-expansies mogelijk te maken.