🤖 machine learning

Destruction is a General Strategy to Learn Generation; Diffusion's Strength is to Take it Seriously; Exploration is the Future

Dit artikel herformuleert diffusiemodellen als een flexibele strategie van informatie-ontzegging door destructie, betoogt hun potentieel in situaties met schaarse data, en verkent toekomstige richtingen voor het aanpakken van exploratie-uitdagingen binnen een diffusie-native kader.

Oorspronkelijke auteurs: Pierre-André Noël

Gepubliceerd 2026-06-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pierre-André Noël

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Leren door Dingen Kapot te Maken

Stel je voor dat je een robot wilt leren hoe hij een perfect landschap moet schilderen.

De Oude Manier (Autoregressief): Je laat de robot een leeg canvas zien en zegt: "Schilder eerst de lucht, dan de bergen, dan de bomen." De robot moet de volgende penseelstreek raden op basis van wat hij al heeft geschilderd. Het is alsof je een huis bouwt steen voor steen, één voor één.
Het Idee van het Papier (Diffusie): In plaats van op te bouwen, begin je met een afgewerkt schilderij en smeer je er modder op totdat het slechts een bruine vlek is. Daarna leer je de robot om naar de modderige vlek te kijken en te raden hoe de schone schildering eronder uitzag. Je doet dit keer op keer, beginnend met een beetje modder en eindigend met veel modder, totdat de robot het proces van het terugdraaien van het smeren perfect heeft geleerd.

De auteur noemt dit "Leren door te Vernietigen." De kern van het argument is dat door informatie opzettelijk te "vernietigen" (het schilderij smeren, woorden maskeren of gegevens door elkaar husselen) en de AI te dwingen te raden wat er verloren is gegaan, het model beter leert, vooral wanneer het niet veel trainingsdata tot zijn beschikking heeft.

Deel 1: De Thesis (Het "Waarom")

1. Vernietiging is een Algemene Strategie
De auteur betoogt dat bijna alle moderne AI-leren een chique versie is van "een stukje van de puzzel verbergen en de student vragen het in te vullen."

Supervised learning: Verberg de antwoordsleutel (label).
Taalmodellen: Verberg het volgende woord.
Diffusiemodellen: Verberg de originele afbeelding door deze in ruis te veranderen.

2. Waarom Diffusie Speciaal is (Het "Rommelige" Voordeel)
De meeste AI-modellen worden getraind om heel georganiseerd te zijn. Ze vernietigen informatie op een strikte, voorspelbare volgorde (zoals een boek lezen van links naar rechts).

De Analogie: Stel je voor dat je een recept probeert te leren.
- Standaard AI: Je leest het recept stap voor stap. Als je een stap mist, kun je niet teruggaan.
- Diffusie AI: De chef gooit alle ingrediënten in een blender, maakt er een smoothie van, en vraagt je vervolgens om het originele recept te raden. Daarna blendt hij het opnieuw, maar dit keer laat hij een paar stukjes wortel zichtbaar.
Het Voordeel: Omdat diffusiemodellen getraind zijn op dit "rommelige" proces — het raden van delen van de afbeelding in willekeurige volgordes, niet alleen van links naar rechts — worden ze flexibeler. De auteur suggereert dat wanneer data schaars is (zoals wanneer je heel weinig foto's hebt om van te leren), dit "rommelige" trainen de AI helpt om subtiele trucjes op te pikken die rigide, ordelijke modellen missen.

3. Het Exploratieprobleem (De "Beloningsval")
Het papier raakt aan een lastig probleem bij het combineren van AI met "Reinforcement Learning" (waarbij een AI punten krijgt als hij een goede job doet).

Het Probleem: Bij standaard AI weten we precies hoe waarschijnlijk een specifieke reeks gebeurtenissen is. Bij Diffusie, omdat de AI de afbeelding in elke volgorde kan raden, is het moeilijk te weten of de AI het juiste antwoord heeft omdat hij slim is, of simpelweg omdat hij door geluk de juiste volgorde heeft geraden.
De Visie van de Auteur: We kunnen de AI er misschien toe aanzetten om te "valsspelen" door hem te belonen voor het eindresultaat zonder te geven om het pad dat hij heeft genomen om daar te komen. De auteur suggereert dat we voorzichtig moeten zijn en de "beloning" misschien als een filter moeten behandelen (alleen de beste resultaten aan de AI laten zien) in plaats van als een gids naar een nieuw pad.

Deel 2: De Tutorial (Het "Hoe" met Diagrammen)

De tweede helft van het papier gebruikt diagrammen om uit te leggen hoe informatie wordt vernietigd en weer opgebouwd. Hier zijn de drie belangrijkste metaforen die worden gebruikt:

1. De "Mash" (Verdelen en Heersen)

Het Concept: Stel je voor dat je een geheime code hebt. Je geeft deze door aan een vriend, maar je "maasht" (mengt) twee verschillende codes samen tot één.
Het Result van: Je vriend ziet de gemaste code en kan niet meer zien van welke originele code deze afkomstig is. Informatie is vernietigd.
De Les: Als je dingen blijft mashing totdat alles hetzelfde lijkt (een "singleton"), heb je alle informatie vernietigd. De taak van de AI is om te leren hoe hij dit kan "ont-mashen".
- Standaard AI: Maasht het laatste woord van een zin weg.
- Diffusie AI: Maasht willekeurige woorden uit de zin, wat een chaotische bende creëert die de AI moet opruimen.

2. De "Shuffle" (De Ruis)

Het Concept: Stel je voor dat je een kaartspel hebt. Je schudt de kaarten, maar je voegt ook een paar extra, neppe kaarten toe uit een ander deck.
Het Resultaat: De originele volgorde is verloren (vernietigd), maar de neppe kaarten (ruis) zijn toegevoegd.
De Les: Dit is als het toevoegen van "Gaussiaanse ruis" (statische elektriciteit) aan een afbeelding. De originele afbeelding wordt overstemd door willekeurige statische ruis. De AI leert de statische ruis te filteren om de afbeelding eronder te vinden. De auteur merkt op dat dit "shufflen" een zeer "organische" manier is om informatie te vernietigen, in tegen tegenover de rigide "Mash".

3. Het "Commutatieve Diagram" (De Kaart)

Het Concept: De auteur introduceert een nieuwe manier om kaarten voor deze AI-processen te tekenen.
De Analogie: Denk aan een metrokaart.
- Standaard Pijlen: Deze zijn als treinrails. Als je van Station A naar B gaat, moet je bij B eindigen. (Deterministisch).
- Harpoenpijlen: Deze zijn als "misschien"-paden. Als je van Station A naar B gaat, kun je bij B eindigen, of je kunt bij C eindigen, afhankelijk van een muntworp. (Probabilistisch).
Het Punt: Deze diagrammen helpen om te visualiseren hoe informatie stroomt, wordt vernietigd en wordt geregenereerd. Ze laten zien dat het "vernietigen" van informatie (convergerende paden) en het "genereren" van informatie (divergerende paden) twee kanten van dezelfde medaille zijn.

De Conclusie

De auteur beweert niet dat hij elk probleem heeft opgelost. In plaats daarvan wijst hij de vinger in een nieuwe richting:

Vernietiging is een krachtig instrument: We moeten "rommelige" manieren om informatie te vernietigen (zoals diffusie) omarmen in plaats van alleen vast te houden aan nette, ordelijke methoden.
Data-schaarste: Deze aanpak zou de sleutel kunnen zijn tot het onderwijzen van AI wanneer we niet over enorme hoeveelheden data beschikken.
Toekomstige Exploratie: We moeten uitzoeken hoe we deze "rommelige" manier van leren kunnen combineren met "beloningsgebaseerd" leren (Reinforcement Learning) zonder de wiskunde te breken.

Kortom: Het papier suggereert dat om een machine te leren creëren, we hem eerst moeten leren hoe hij dingen weer heel moet maken, en dat hoe "rommeliger" het proces van kapotmaken is, hoe slimmer de machine misschien zal worden.

Op basis van de verstrekte blogpost volgt hier een gedetailleerde technische samenvatting van het werk van Pierre-André Noël.

Probleemstelling

Het artikel behandelt de fundamentele aard van generatieve modellering, specifiek diffusiemodellen, door ze te herformuleren binnen de bredere context van "leren door te vernietigen". De auteur daagt de standaarddefinitie van diffusiemodellen uit die strikt steunt op het "injecteren van ruis", en betoogt in plaats daarvan dat de kernmechanisme een vernietigingsproces is dat informatie onthoudt aan de input van een model, die het model vervolgens moet leren reconstrueren.

Het artikel identificeert twee primaire hiaten in het huidige begrip:

Theoretische Unificatie: Diffusiemodellen worden vaak beschouwd als verschillend van andere technieken voor informatie-onthouding (zoals masked language modeling en denoising autoencoders). De auteur streeft ernaar deze te verenigen onder één enkel kader waarbij de "vernietigingsstrategie" de variabele is.
Exploratie en Reinforcement Learning (RL): Er is een theoretische discontinuïteit bij het overzetten van RL-technieken (zoals GRPO) naar diffusiemodellen. Standaardbenaderingen vertrouwen vaak op "off-policy" verwachtingen over decoderingsvolgordes, wat volgens de auteur mogelijk een gebrek aan theoretische grondslag heeft met betrekking tot de specifieke redeneersporen die het model genereert. Het artikel stelt de vraag hoe men de "niet-bewegende doelwit"-aard van standaard diffusietraining kan verzoenen met de exploratieve aard van RL.

Methodologie

Het artikel hanteert een conceptuele en diagrammatische benadering in plaats van het presenteren van nieuwe experimentele benchmarks.

1. Herdefiniëren van Diffusiemodellen
De auteur stelt een strikte definitie voor van generatieve diffusiemodellen, bestaande uit drie componenten:

Dataverdeling: Een doelverdeling waaruit gesampled kan worden.
Vernietigingsproces: Een vooraf gespecificeerd proces (mogelijk stochastisch) dat geleidelijk informatie in dataprocedures vernietigt. Dit is niet beperkt tot Gaussische ruis; het kan ook masking, shuffling of willekeurige transformaties omvatten.
Generatief Proces: Een model dat getraind wordt om de dataverdeling te benaderen door het vernietigingsproces om te keren.

2. Het "Destroy-Then-Generate"-kader
De methodologie verenigt diverse ML-technieken door te identificeren welke informatie wordt onthouden:

Supervised Learning: Onthoudt het label.
Autoregressieve Modellen: Onthouden het volgende token (sequentiële vernietiging).
Masked Modellen (BERT/MDLM): Onthouden specifieke tokens.
Diffusiemodellen: Onthouden informatie via een vernietigingsproces (bijv. ruisinjectie of masking).

3. Diagrammatische Analyse (Generatieve Commutatieve Diagrammen)
Om deze concepten uit te leggen, introduceert de auteur een nieuwe klasse van probabilistische grafische modellen genaamd Generatieve Commutatieve Diagrammen.

Deze diagrammen gebruiken standaard pijlen ( $\to$ ) voor deterministische functies (morfismen) en harpoenen ( $\rightharpoonup$ ) voor stochastische processen.
Ze visualiseren de informatiestroom door "Mash" (berichten samenvoegen, informatie vernietigen) en "Shuffle" (irrelevante informatie toevoegen, ruis genereren) kanalen.
De diagrammen maken onderscheid tussen het "Destruction Story" (Data Processing Inequality: informatie kan niet toenemen door verwerking) en het "Generation Story" (het duale perspectief waarbij informatie wordt gecreëerd door het stochastische proces zelf).

4. Verzoenen van Exploratie
Het artikel analyseert de toepassing van RL op diffusie:

Het bekritiseert de huidige praktijk van het nemen van verwachtingen over verschillende decoderingsvolgordes (off-policy) voor beloningsassignatie, en stelt dat dit modellen kan aanleren om redeneerstappen over te slaan of te hallucineren.
Het suggereert RL te herformuleren als een conditioneringsprobleem (het filteren van de dataverdeling op basis van beloning) om de "niet-bewegende doelwit"-eigenschap van diffusie te behouden.
Het stelt een theoretische link voor tussen het leren van het optimale vernietigingsproces en Entropy-Regularized Optimal Transport (OT), waarbij gesuggereerd wordt dat het vernietigingsproces zelf geleerd zou kunnen worden om de afweging tussen modelprestaties en resourceverbruik te optimaliseren.

Belangrijkste Bijdragen

Verenigde Definitie van Diffusie: Het artikel betoogt dat diffusie een specifiek geval is van het algemene paradigma van "leren door informatie te onthouden", waarbij het "vernietigingsmechanisme" de belangrijkste differentiator is.
Voordelen in Data-arme Regimes: De auteur speculeert dat diffusie-achtige benaderingen (specifiek die met flexibele, niet-sequentiële vernietigingsprocessen zoals "MashOneRandomUnmaskedToken") beter kunnen presteren dan systematische, handmatig ontworpen benaderingen (zoals autoregressieve masking) wanneer de hoeveelheid data beperkt is. De "rommeligheid" van diffusie stelt modellen in staat om "trucs" te leren die strikt geordende training omzeilen, waardoor ze potentieel rekenkracht effectiever kunnen benutten in situaties met weinig data.
Kritiek op de Porting van RL naar Diffusie: Het artikel wijst op een theoretische fout in huidige off-policy RL-adaptaties voor diffusie, en suggereert dat de specifieke volgorde van generatie moet worden meegewogen bij de toekenning van beloningen om te voorkomen dat het model leert om redeneerstappen te negeren.
Generatieve Commutatieve Diagrammen: De introductie van een nieuwe diagrammatische taal om de generatie en vernietiging van informatie te visualiseren, waarbij onderscheid wordt gemaakt tussen deterministische transformaties en stochastische informatiecreatie of -vernietiging.
Connectie met Optimal Transport: Het artikel verbindt het probleem van het leren van het optimale vernietigingsproces met entropy-regularized Optimal Transport, waarbij de zoektocht naar de beste vernietigingsstrategie wordt geframed als een optimalisatieprobleem over transportplannen.

Resultaten

Het artikel presenteert geen nieuwe empirische resultaten, benchmarks of experimentele gegevens. In plaats daarvan biedt het:

Conceptuele Synthese: Een herinterpretatie van bestaande literatuur (bijv. Cold Diffusion, Mask Diffusion, GRPO) door de lens van informatie-onthouding.
Theoretische Observaties: Argumenten over het potentiële superieure vermogen van diffusie in data-arme regimes gebaseerd op de "Bitter Lesson" (het benutten van rekenkracht boven menselijke bias).
Speculatieve Richtingen: De auteur geeft expliciet aan dat de claims met betrekking tot de integratie van RL en het leren van vernietigingsprocessen speculatief zijn en empirische validatie vereisen.

Betekenis en Claims

Het artikel positioneert zichzelf als een "perspectief/speculatief stuk" dat bedoeld is om nieuwe onderzoeksrichtingen te openen in plaats van definitieve oplossingen te bieden.

Motivatie: De auteur stelt dat de ontwerpplek voor diffusiemodellen groot en onderbelicht is. Huidige methoden leunen vaak op menselijke biases (bijv. links-naar-rechts token generatie), wat tijdelijke trends kunnen zijn.
Het Voordeel van de "Rommeligheid": Het artikel beweert dat de "rijke chaos" van de vernietigingsprocessen van diffusie (in tegen plaats van schone, systematische vernietiging) een flexibeler trainingsspeelveld biedt, wat potentieel voordelig is wanneer data schaars is.
Toekomstig Werk: De auteur suggereert dat de volgende stap is om verder te gaan dan vaste vernietigingsprocessen en het vernietigingsproces zelf te leren, mogelijk gebruikmakend van het framework van Optimal Transport.
Bescheidenheid: De auteur claimt expliciet geen definitieve antwoorden te hebben, met name wat betreft de verzoening van diffusie en exploratie/RL. Het artikel beoogt "vingers te wijzen in richtingen die interessant worden geacht" en nodigt de gemeenschap uit om te onderzoeken of diffusie-native manieren om exploratie af te handelen, autoregressieve technieken kunnen overtreffen.

Samenvattend betoogt het artikel dat vernietiging een algemene strategie is voor het leren van generatie, en dat diffusiemodellen, door dit vernietigingsaspect serieus en flexibel te nemen, een uniek pad bieden, met name in omgevingen met beperkte data en bij de integratie met reinforcement learning, mits we de theoretische subtiliteiten van exploratie en beloningsassignatie aanpakken.