🤖 machine learning

Amortizing intractable inference in large language models

Dit artikel stelt voor om GFlowNets te gebruiken om onhandelbare inferentie in grote taalmodellen te amortiseren, waardoor ze kunnen samplen uit complexe posterieure distributies voor taken zoals beperkte generatie en chain-of-thought redeneren als een data-efficiënt alternatief voor traditionele maximum-likelihood of beloningsmaximaliserende training.

Oorspronkelijke auteurs: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Gepubliceerd 2026-09-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn enorme bibliotheken van menselijke kennis, gecomprimeerd in digitale netwerken die het volgende woord in een zin voorspellen op basis van wat eraan voorafging. Ze zijn getraind om uitstekend te zijn in het voortzetten van een verhaal of het beantwoorden van een vraag wanneer ze een startpunt krijgen, een proces dat natuurlijk van links naar rechts verloopt. Echter, veel van de meest interessante taken die we willen dat deze modellen uitvoeren, vereisen denken in de omgekeerde richting of het invullen van het midden van een verhaal. Stel je voor dat je het begin en het einde van een verhaal krijgt en wordt gevraagd het midden te verzinnen, of dat je wordt gevraagd de redenering achter een specifiek antwoord uit te leggen. In deze scenario's kan het model niet simpelweg het volgende woord raden; het moet zoeken door een enorm, complex landschap van mogelijkheden om het specifieke pad te vinden dat het begin met het einde verbindt. Dit is een moeilijk wiskundig probleem omdat het aantal mogelijke paden zo groot is dat het controleren ervan één voor één onmogelijk is, en de standaardmethoden voor het navigeren door dit landschap blijven vaak steken op slechts één of twee veelvoorkomende routes, waardoor de rijke variëteit aan geldige oplossingen die bestaan, wordt gemist.

Onderzoekers aan het Mila – Quebec AI Institute en de Universiteit van Oxford hebben een nieuwe manier ontwikkeld om deze modellen te leren hoe ze dat complexe landschap moeten navigeren. In plaats van het model te trainen om simpelweg een score te maximaliseren voor het "beste" antwoord, wat vaak leidt tot repetitief en nauw kijkend denken, gebruikten ze een methode genaamd amortized inference. Deze benadering behandelt het probleem als een zoektocht naar een diverse set correcte paden in plaats van één perfect pad. Hiervoor gebruikten ze een techniek die bekend staat als een generative flow network, die fungeert als een gids die leert te samplen uit het volledige bereik van mogelijke oplossingen, waardoor wordt gewaarborgd dat het model verschillende geldige redeneerketens verkent in plaats van te imploderen in één enkel, veelgebruikt patroon.

Het team demonstreerde dit door grote taalmodellen te finetunen om problemen op te lossen die meerstapsredenering vereisen, zoals rekenkundige berekeningen of het classificeren of een filmrecensie een mening of een feit uitdrukt. In één experiment vroegen ze het model om de ontbrekende middelste zin van een kort verhaal in te vullen, gegeven het begin en het einde. Standaardmethoden produceerden vaak zinnen die grammaticaal correct waren maar niet pasten bij de narratieve flow. De nieuwe methode slaagde er echter in om middelste zinnen te genereren die het begin en einde coherent verbonden, wat een veel groter vermogen toonde om de volledige context te begrijpen. In een andere test waarbij eenvoudige wiskundige problemen betrokken waren, werd het model uitgerust met een rekenmachine-tool en werd het gevraagd de berekening in stappen op te splitsen. Terwijl andere trainingsmethoden ervoor zorgden dat het model getallen herhaalde of de tool niet correct gebruikte, leerde de nieuwe aanpak het model om zijn stappen zorgvuldig te plannen, wat leidde tot een dramatische verbetering in nauwkeurigheid, vooral bij problemen die het nog nooit eerder had gezien.

De resultaten suggereren dat deze methode bijzonder krachtig is wanneer data schaars is. In een test met slechts tien voorbeelden van filmrecensies om van te leren, behaalde de nieuwe methode een aanzienlijk hogere nauwkeurigheid dan standaard trainingsmethoden, en bleef deze de andere methoden zelfs met vijftig voorbeelden overtreffen. De onderzoekers ontdekten dat door het model aan te moedigen een brede variëteit aan redeneerpaden te samplen en vervolgens hun conclusies te combineren, het systeem robuuster en betrouwbaarder werd. Dit is een cruciaal onderscheid, omdat het betekent dat het model niet alleen één manier om een probleem op te lossen memoriseert, maar de onderliggende structuur leert van hoe het erdoorheen moet denken. De studie geeft aan dat door de doelstelling te verschuiven van het vinden van het enkel meest waarschijnlijke antwoord naar het verkennen van de volledige diversiteit aan correcte antwoorden, we deze krachtige instrumenten flexibeler en beter geschikt kunnen maken voor complexe redeneertaken.

Het werk benadrukt ook een beperking in hoe huidige modellen vaak worden getraind. Wanneer modellen worden gedreven om een beloning te maximaliseren, zoeken ze vaak naar afkortingen, zoals het herhalen van dezelfde frase of het negeren van de werkelijke logica van een probleem, enkel om een hoge score te halen. De onderzoekers toonden aan dat hun methode deze valstrik vermijdt door de gehele distributie van mogelijke oplossingen te matchen, wat ervoor zorgt dat het model niet instort in één enkele, gebrekkige manier van denken. Deze benadering stelt het model in staat om beter te generaliseren naar nieuwe situaties, zoals het oplossen van rekenkundige problemen met meer cijfers dan waarvoor het getraind was, waar andere methoden faalden. De bevindingen bieden een veelbelovend pad vooruit om kunstmatige intelligentie meer in staat te maken tot werkelijke redenering, bewegend van eenvoudige patroonherkenning naar een meer genuanceerd begrip van hoe men argumenten construeert en problemen stap voor stap oplost.

Technische Samenvatting: Amortisering van Intractabele Inferentie in Large Language Models

Probleemstelling

Autoregressieve Large Language Models (LLMs) comprimeren kennis in conditionele distributies voor het volgende token, waardoor tractabele inferentie beperkt is tot start-naar-einde sampling geconditioneerd op een prefix. Echter, veel kritieke taken—zoals sequentiecontinuatie, tekstinfilling, geconstrueerde generatie en chain-of-thought redeneren—vereisen sampling uit intractabele posterieure distributies.

Specifiek vereisen taken zoals infilling (het genereren van een middensegment $Z$ gegeven een begin $X$ en eind $Y$ ) of redeneren (het vinden van een latente chain-of-thought $Z$ die leidt tot een antwoord $Y$ gegeven een prompt $X$ ) het berekenen van de posterieur $p(Z|X, Y)$ . Hoewel de gezamenlijke likelihood $p_{LM}(XZY)$ eenvoudig te evalueren is, zijn de conditionele distributies die nodig zijn om $Z$ token-voor-token te samplen uit de posterieur intractabel.

Bestaande benaderingen kampen met significante beperkingen:

Markov Chain Monte Carlo (MCMC): Moeilijk om proposal-distributies te ontwerpen voor multi-modale taaldata en vaak onaanvaardbaar traag voor nieuwe inputs.
Reinforcement Learning (RL) / Policy Optimization (bijv. PPO): Deze methoden maximaliseren beloningen maar hebben de neiging te imploderen naar een klein aantal modi, waardoor ze er niet in slagen de volledige diversiteit van de doelverdeling te vangen. Dit leidt tot "overgeoptimaliseerde samplers" wanneer de beloningsfunctie verkeerd gespecificeerd is.
Supervised Fine-Tuning (SFT): Vereist toegang tot samples uit de doelverdeling, die over het algemeen niet beschikbaar zijn voor intractabele problemen.

Methodologie

De auteurs stellen het gebruik van geamortiseerde Bayesiaanse inferentie via Generative Flow Networks (GFlowNets) voor om LLM's te trainen om uit deze intractabele posterieurs te samplen.

Kernframework

De aanpak behandelt het probleem als een latent variabelenmodel waarbij een input $X$ een output $Y$ genereert via een latente variabele $Z$ (bijv. een redeneerketen of ingevulde tekst). Het doel is om een policy $q_{GFN}(Z|X, [Y])$ te trainen om te samplen uit de posterieur $p_{LM}(Z|X, Y) \propto p_{LM}(XZY)$ .

GFlowNet Objectieven: De methode maakt gebruik van GFlowNets, een klasse van diversiteitszoekende reinforcement learning-algoritmen. In tegenstelling tot standaard RL, dat de verwachte beloning maximaliseert, trainen GFlowNets een policy om objecten te samplen met een waarschijnlijkheid die proportioneel is aan een gegeven beloningsfunctie $R(Z)$ .
Definitie van Beloning: De beloning wordt gedefinieerd als de door de basis-LLM toegewezen gezamenlijke likelihood: $R(Z) = p_{LM}(XZY)$ . Dit stelt effectief de doelverdeling in als de Bayesiaanse posterieur.
Trainingsprocedure:
- Initialisatie: De GFlowNet-policy wordt geïnitialiseerd als een kopie van een pre-trained LLM (vaak efficiënt gefinetuned met LoRA).
- Leerdoel: De auteurs hanteren een gemodificeerd Subtrajectory Balance (SubTB) objectief. Dit objectief zorgt ervoor dat de waarschijnlijkheid van het genereren van een volledige sequentie proportioneel is aan de beloning, zelfs wanneer trajecten op elk moment kunnen eindigen.
- Amortisering: Door de policy te conditioneren op de input $X$ (en optioneel $Y$ ), leert het model een generaliseerbare sampler. Dit maakt efficiënte inferentie op ongeziene inputs mogelijk zonder voor elke query dure sampling-procedures zoals MCMC opnieuw uit te voeren.
- Exploratie: Om de combinatorische zoekruimte te beheersen, worden trainingsbatches samengesteld uit trajecten van de huidige policy, een getempereerde versie van de policy en een replay buffer van eerdere trajecten.

Toepassing op Chain-of-Thought

Het paper interpreteert chain-of-thought redeneren als een latent variabele modelleringprobleem. In plaats van het model te instrueren om een enkele keten te genereren, samplet de gefinetunede GFlowNet diverse latente ketens $Z$ . De uiteindelijke voorspelling wordt verkregen via Bayesian Model Averaging: het samplen van meerdere $Z$ 's uit de GFlowNet en het aggregeren van de resulterende $Y$ -voorspellingen van de basis-LLM.

Belangrijkste Bijdragen

Algemeen Algoritme: Een algemene methode voor geamortiseerde sampling uit intractabele LLM-posterieuren met behulp van GFlowNet-objectieven.
Probabilistische Redeneringsbenadering: Een formulering van chain-of-thought redeneren als een Bayesiaans inferentieprobleem, wat efficiënte adaptatie mogelijk maakt voor multi-step rationalisatie-taken.
Empirische Validatie: Demonstratie van de methode over vier verschillende domeinen:
- Zincontinuatie (maximaliseren van likelihood terwijl diversiteit behouden blijft).
  {% endraw %}
- Story infilling (genereren van coherente middensegmenten).
- Subjectiviteitsclassificatie (few-shot learning met latente rationales).
- Integer rekenkunde met toolgebruik (stap-voor-stap redeneren).

Experimentele Resultaten

De auteurs evalueerden de methode tegenover baselines inclusief standaard sampling, diverse beam search, supervised fine-tuning (SFT) en Proximal Policy Optimization (PPO).

Zincontinuatie: GFlowNet fine-tuning bereikte een hogere sample-diversiteit terwijl de log-likelihood hoog bleef vergeleken met diverse beam search, zelfs toen de baseline 5 $\times$ meer rekenkracht kreeg.
Story Infilling: Op de ROCStories dataset presteerde GFlowNet fine-tuning significant beter dan prompting en SFT op het gebied van BERTScore, BLEU-4 en GPT-4 evaluatie, waarbij het infills produceerde die het begin en einde van verhalen beter verbonden.
Subjectiviteitsclassificatie (Few-Shot): Gebruikmakend van een 6B parameter model met slechts 10 gelabelde voorbeelden, bereikte GFlowNet fine-tuning een nauwkeurigheid van 71,4%, waarmee het SFT (64,3%) en few-shot prompting (61,3%) versloeg.
Integer Rekenkunde met Toolgebruik: Op een out-of-distribution (OOD) taak met 5 operanden (getraind op 3-4), bereikte GFlowNet fine-tuning 40,7% nauwkeurigheid. Dit overtrof SFT (12,8%) en PPO (5,6%) aanzienlijk. De auteurs merken op dat PPO leed onder beloningsmisspecificatie, wat leidde tot spookachtige sequenties die de calculator-tool niet geldig aanriepen, terwijl de distributie-matchende benadering van GFlowNet robuust was tegen dit probleem.

Betekenis en Claims

Het paper claimt dat GFlowNet fine-tuning een fundamenteel alternatief biedt voor maximum-likelihood training en reward-maximaliserende policy optimalisatie. De primaire betekenis ligt in:

Diversiteit en Robuustheid: Door de volledige doelverdeling te matchen in plaats van één beloning te maximaliseren, vermijdt de methode mode collapse en is zij robuust tegen beloningsmisspecificatie.
Data-efficiëntie: De geamortiseerde inferentie-aanpak maakt effectieve adaptatie mogelijk aan taken die complexe redenering vereisen met zeer weinig gelabelde voorbeelden.
Generalisatie: De methode demonstreert superieure out-of-distribution generalisatie, met name in redeneertaken waar standaard RL-methoden het oplossingsveld niet effectief verkennen.

De auteurs concluderen dat dit paradigma computationele kracht omzet in betere test-time prestaties zonder extra data te vereisen, wat flexibeler redeneren met LLM's mogelijk maakt. Zij erkennen beperkingen met betrekking tot de schaal van de gebruikte modellen (tot 6B parameters) en het feit dat de methode de inferentiecapaciteiten verbetert, maar niet inherent de hallucinaties of miskalibratieproblemen oplost die geworteld zijn in de kennisrepresentatie van het basismodel.