🤖 machine learning

From Global to Factor-Wise Expert Composition in Discrete Diffusion Models

Dit artikel introduceert FactorDiff, een nieuw framework voor discrete diffusiemodellen dat compositionele generatie verbetert door individuele monsterfactoren dynamisch naar gespecialiseerde experts te routeren in plaats van globale menggewichten toe te passen, waardoor superieure prestaties worden behaald op ruimtelijk complexe redeneertaken zoals ARC-AGI.

Oorspronkelijke auteurs: Haozhe Huang, Yudong Xu, Abhijoy Mandal, Alán Aspuru-Guzik

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haozhe Huang, Yudong Xu, Abhijoy Mandal, Alán Aspuru-Guzik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, lastige puzzel probeert op te lossen, zoals die in de ARC-AGI benchmark, waarbij je de verborgen regels van een raster van gekleurde vierkantjes moet ontdekken. Om dit te doen, heb je een team van "expert"-AI-modellen ingehuurd. Maar hier is de crux: sommige experts zijn geweldig in het tekenen van de vormen (de "Occupancy"-experts), terwijl anderen juist fantastisch zijn in het kiezen van de juiste kleuren (de "Color"-experts), maar geen van beiden is perfect in het doen van beide tegelijkertijd.

Lama een tijdje was de standaardmanier om deze experts te combineren als een teamstemming. Elke expert zou zijn mening over de gehele puzzel tegelijkertijd naar buiten brengen, en het team zou één enkele "score" kiezen om te beslissen wiens stem het luidst was voor het hele plaatje. De paper noemt dit "per-sample compositie."

Het Probleem met de Teamstemming
De auteurs stellen dat deze "één stem voor de hele kamer"-aanpak gebrekkig is. Stel je een puzzel voor waarbij één expert een meester is in het tekenen van randen, maar slecht is in het invullen van het midden, terwijl een andere expert een kleurwizard is die de vormen verkeerd krijgt. Als je de randexpert één enkele "stem" geeft voor de hele puzzel, trekken hun slechte gokken over de kleuren in het midden de hele groep omlaag. Het is alsof je een topkok vraagt om ook de leidingen in de keuken te repareren, alleen omdat hij de beste kok is; wanneer hij probeert de pijp te maken, verpest hij de soep.

Het Nieuwe Idee: FactorDiff (De "Specialist Switch")
De paper introduceert een nieuwe methode genaamd FactorDiff. In plaats van te stemmen op de hele puzzel tegelijk, werkt FactorDiff als een slimme manager die naar elk afzonderlijk vierkantje (of pixel) op het raster kijkt.

Denk aan dit als een bouwploeg die een huis bouwt:

Wanneer de ploeg de fundering moet leggen en de muren moet bouwen, luisteren ze alleen naar de Structuur-expert.
Wanneer ze de muren moeten schilderen en de gordijnen moeten uitkiezen, schakelen ze over en luisteren ze alleen naar de Kleur-expert.

De paper laat zien dat door elke kleine snipper van de puzzel dynamisch naar de expert te sturen die het meest zelfverzekerd is over dat specifieke stukje, je een veel beter resultaat krijgt. Ze noemen dit "per-pixel routing."

Wat de Cijfers Zeggen
De auteurs hebben dit getest op 120 verschillende taken uit de ARC-AGI dataset. Dit is wat ze vonden:

Wanneer experts specialisten zijn: Als je een "Color"-expert neemt (die de volledige puzzel slechts 3,3% van de tijd goed krijgt) en een "Occupancy"-expert (die de volledige puzzel slechts 0,2% van de tijd goed krijgt), hadden de oude "teamstemming"-methoden moeite en kregen ze de volledige puzzel hooguit ongeveer 78,4% van de tijd goed. Maar met de "Specialist Switch" van FactorDiff kreeg het team de puzzel in 90,5% van de gevallen goed. Dat is een enorme sprong!
Wanneer experts generalisten zijn: Zelfs wanneer de experts beide erg goed zijn in alles (met scores van 93,0% en 89,3%), maakte FactorDiff er geen verslechtering van. Het haalde de beste resultaten en kreeg 95,2% goed, wat bewijst dat deze methode veilig is om te gebruiken, zelfs als je niet nodig hebt om van expert te wisselen.

Wat de Paper Uitsluit
De paper argumenteert expliciet tegen het idee dat een enkele, globale "gewicht" of "stem" voor een expert voldoende is. Ze laten zien dat het proberen te repareren van de "teamstemming"-methode met complexe wiskunde (zoals de "Feynman-Kac correctoren" of "SuperDiff" die in de paper worden genoemd) nog steeds faalt om de nuance te vatten dat er voor verschillende delen van de afbeelding verschillende experts nodig zijn. Je kunt niet simpelweg het volume van de experts aanpassen; je moet veranderen wie er spreekt voor waar.

Hoe Zeker Zijn Ze?
De auteurs zijn zeer zelfverzekerd over deze resultaten omdat ze daadwerkelijke experimenten hebben uitgevoerd, niet alleen simulaties. Ze hebben modellen getraind op 120.000 voorbeeldparen en getest op een uitgesloten set van 200 voorbeelden per taak. De resultaten werden direct gemeten: FactorDiff presteerde consequent beter dan de oude methoden, vooral wanneer de experts verschillende sterktes hadden.

De paper geeft echter één ding toe dat ze nog niet volledig hebben opgelost: hun "manager" (het routing-systeem) beslist momenteel naar wie er geluisterd wordt op basis van hoe zelfverzekerd een expert lijkt te zijn. De auteurs suggereren dat hoewel dit goed werkt voor de tests die ze hebben uitgevoerd, het misschien niet voor elk mogelijk paar experts in het universum zal werken. Ze stellen voor dat we in de toekomst misschien een betere manier moeten leren om te beslissen naar wie we luisteren, in plaats van het gewoon te raden op basis van zelfvertrouwen.

Kortom, de paper suggereert dat we voor complexe redeneertaken AI-experts niet als een monolithisch blok moeten behandelen. In plaats daarvan moeten we ze behandelen als een team van specialisten, waarbij we de beste persoon laten het specifieke deel van de klus laten afhandelen waar hij of zij het beste in is, één klein stukje tegelijk.

Technische Samenvatting: Van Globale naar Factor-specifieke Expert-compositie in Discrete Diffusiemodellen

Probleemstelling

Discrete diffusiemodellen zijn een krachtig framework geworden voor complexe redeneertaken, met name door middel van compositionele generatie, waarbij meerdere voorgetrainde "expert"-modellen worden gecombineerd om te generaliseren buiten hun individuele trainingsdistributies. Recente theoretische ontwikkelingen (bijv. SuperDiff, RNE, Feynman-Kac Correctors) hebben compositionele sampling verbeterd door tijd-afhankelijke mixingsgewichten te introduceren om de compositie-dynamiek af te stemmen op doeldistributies.

Echter, deze state-of-the-art methoden delen een fundamentele beperking: ze opereren op een per-sample basis, waarbij ze aan elke stap een enkele globale scalaire gewicht aan een expert toekennen. Deze "monolithische" aanname behandelt elke expert impliciet als even deskundig over de gehele toestandsruimte. In complexe generatieve taken—zoals ruimtelijk redeneren waarbij de ene expert bijvoorbeeld gespecialiseerd is in randen terwijl een andere texturen afhandelt—dwingt deze globale weging een compromis af. Het verzwakt het signaal van de juiste expert in hun specifieke competentiegebied, waardoor het niet slaagt in het vastleggen van de ruimtelijke en functionele onafhankelijkheid van verschillende experts.

Methodologie: FactorDiff

De auteurs stellen FactorDiff voor, een factor-wise compositie-framework dat het generatieproces deelt van het sample-niveau naar het factor-niveau (bijv. ruimtelijke pixels of gridcellen). In plaats van een enkel gewicht toe te passen op een volledige gegenereerde staat, routeert FactorDiff elke factor dynamisch naar de meest relevante expert.

Kerncomponenten

Factor-Wise Routing: De toestandsruimte wordt gedecomposeerd in door de gebruiker gedefinieerde factoren. Tijdens het samplingproces wijst een routing-map elke factor (bijv. een pixel in een grid) toe aan een specifieke expert. Dit maakt heterogene expert-bijdragen mogelijk binnen één gegenereerde staat.
Confidence-Based Selection: Het framework realiseert routing door tijdens de inferentie dynamisch de expert met de hoogste betrouwbaarheid (confidence) op elke positie te selecteren. De routing-variabele $z_v$ voor een variabele $v$ wordt bepaald door:
$z_v = \arg\max_{k} C(p_k(x_v | x_t))$
waarbij $C$ een betrouwbaarheidsmetriek is (het marge tussen de top twee voorspellingswaarschijnlijkheden). De gecomponeerde reverse-stap selecteert vervolgens de voorspelling van de gekozen expert voor die specifieke positie.
Native 2D Masked Diffusion Architectuur: Om dit te ondersteunen, introduceren de auteurs een 2D masked diffusie-architectuur die de grid-topologie behoudt. In tegenstelling tot eerdere werken die grids platmaken tot 1D-sequenties (wat topologische mismatches veroorzaakt), behandelt deze aanpak het grid als een rooster-grafiek (lattice graph).
- Experts: Drie complementaire modeltypen worden getraind: een Full model (alle kleuren), een Occupancy model (achtergrond versus voorgrond) en een Color model (alleen voorgrondkleuren).
- Backbone: Het denoising netwerk gebruikt een iteratieve verfijningsarchitectuur (ofwel Convolutional of Transformer-gebaseerd) met leerbare 2D positionele embeddings om ruimtelijke lokaliteit te waarborgen.

Theoretische Rechtvaardiging

Bestaande methoden definiëren een doelverdeling vaak als een gewogen product van experts ( $p(x) \propto \prod p_m(x)^{\alpha_m}$ ). De auteurs argumenteren dat voor complementaire specialisten een globale exponent $\alpha_m$ foutief is gespecificeerd, omdat het de voorspellingen van een expert (zelfs foutieve voorspellingen buiten hun domein) dwingt om de gehele staat te beïnvloeden. FactorDiff vervangt dit door een factor-wise product:
$p_{comp}(x) \propto \prod_{f \in \mathcal{F}} \prod_{m=1}^M (p_m(x_f))^{\alpha_{m,f}}$
Deze formulering maakt het mogelijk dat expertise varieert per factor. In het geval van hard-routing is $\alpha_{m,f}$ een one-hot vector, die een enkele expert per factor selecteert zonder dat aanvullende normalisatie of belangscorrectie nodig is, aangezien het product van geldige conditionele kansen een geldige gezamenlijke transitie definieert.

Belangrijkste Bijdragen

FactorDiff Framework: Een nieuwe compositiemethode die expert-combinatie beschouwt als routing over factoren, specifiek geïnstantieerd met positie-niveau expert-selectie voor grid-gestructureerde diffusiemodellen.
2D Masked Diffusion Architectuur: Een native architectuur die de grid-topologie behoudt, wat het trainen van complementaire experts (Occupancy, Color, Full) mogelijk maakt wiens voorspellingen tijdens de inferentie gecomponeerd kunnen worden.
Empirische Validatie op ARC-AGI: Uitgebreide evaluatie op de ARC-AGI benchmark toont aan dat eenvoudige factor-specifieke routing consistent beter presteert dan complexe globale scalaire wegingsschema's, met name bij taken die een logische consistentie en ruimtelijke ontkoppeling vereisen.

Experimentele Resultaten

De auteurs evalueerden FactorDiff op een subset van 120 ARC-AGI taken met behulp van de RE-ARC generator voor in-distributie (IID) evaluatie.

Specialisatie Regime (RQ1): Wanneer zeer gespecialiseerde experts worden gecombineerd (bijv. Occupancy + Full, of Color + Occupancy), presteerde FactorDiff aanzienlijk beter dan per-sample baselines (SuperDiff, RNE, FKC).
- Color + Occupancy: Individuele specialisten scoorden bijna nul op de volledige taak (3,3% en 0,2% exacte accuratesse). FactorDiff componeerde hen om 90,5% exacte accuratesse te bereiken, een enorme verbetering ten opzichte van de beste per-sample baseline (78,4%).
- Occupancy + Full: FactorDiff bereikte 94,0% exacte accuratesse, waarmee het de beste enkele expert (93,0%) en alle per-sample compositiemethoden versloeg.
Generalist Regime (RQ2): Bij het combineren van twee sterke generalistische modellen (Full + Full), was FactorDiff "veilig", waarbij het de beste per-sample baseline (95,2%) evenaarde zonder prestatieverlies. Dit geeft aan dat ruimtelijk variërende selectie geen instabiliteit introduceert wanneer experts breed overeenstemming vertonen.
Ablatie: Zelfs wanneer twee volledige modellen met identieke doelstellingen maar verschillende architecturen (Trans-IR vs. Conv-IR) werden gecombineerd, behaalde FactorDiff een hogere accuratesse (94,8%) dan elk individueel model, door succesvol de correcte regio's van beide te samenvoegen.

Betekenis en Claims

Het artikel beweert dat FactorDiff een eenvoudige en effectieve methode biedt voor het combineren van willekeurige specialisten binnen een enkele diffusietrajectorie. De primaire betekenis ligt in het aantonen dat per-sample globale weging onvoldoende is voor taken waarbij experts ruimtelijk of functioneel gespecialiseerde domeinen hebben. Door over te stappen op factor-wise compositie, legt de methode de complementaire expertise vast die globale gewichten niet kunnen representeren, en bereikt het superieure generalisatie op taken die strikte logische consistentie vereisen.

De auteurs merken op dat hoewel hun huidige implementatie vertrouwt op confidence-gebaseerde routing (uitgaande van het feit dat confidence correleert met correctheid), het framework zich natuurlijk leent voor geleerde of taak-geconditioneerde routing. Zij positioneren dit werk als een stap richting meer fijnmazige compositie in discrete diffusie, bewegend voorbij de "monolithische" aannames van de huidige state-of-the-art methoden.