🤖 AI

Leveraging Foundation Models for Causal Generative Modeling

Oorspronkelijke auteurs: Aneesh Komanduri, Xintao Wu

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Aneesh Komanduri, Xintao Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een magische fotobewerker voor die niet alleen pixels verandert, maar het verhaal achter de foto begrijpt. Dat is in wezen wat dit paper introduceert: een nieuw systeem genaamd FM-CGM (Foundation Model Powered Causal Generative Modeling).

Hier is een eenvoudige uitleg van hoe het werkt, met alledaagse analogieën.

Het Probleem: Het "Domino-effect" van Slechte Bewerkingen

Normaal gesproken raakt de AI in de war wanneer je deze gebruikt om een foto te bewerken (zoals het geslacht van een man veranderen in dat van een vrouw). Het kan de haarkleur, de achtergrond of de belichting veranderen, terwijl je alleen het geslacht wilde aanpassen. Het is alsof je probeert een speler in een voetbalteam te vervangen, maar de AI per ongeluk ook het weer, het stadion en het tenue van de scheidsrechter verandert.

De auteurs stellen dat huidige AI-tools uitstekend zijn in het tekenen van afbeeldingen, maar slecht in het begrijpen van oorzaak en gevolg. Ze weten niet dat "het veranderen van het geslacht" ervoor zorgt dat "de baard verdwijnt", maar dat het niet zorgt voor "een blauwe lucht".

De Oplossing: Een Drie-Persoonsteam

De auteurs hebben een systeem gebouwd dat werkt als een team van drie personen om dit op te lossen. Ze maken gebruik van krachtige, vooraf getrainde AI-modellen (Foundation Models) als werknemers.

1. De Detective (Concept Extractor)

Wat het doet: Voordat er wordt bewerkt, bekijkt deze AI de foto en schrijft een lijst met "concepten" (zoals "man", "baard", "lachend") op, en tekent een kaart die aangeeft hoe ze met elkaar verbonden zijn.
De Analogie: Stel je een detective voor die een misdaadplek betreedt. In plaats van alleen een rommelige kamer te zien, schrijven ze op: "Het gebroken raam (Oorzaak) leidde tot regen op de vloer (Gevolg)." Ze maken een stroomschema van de logica van de scène.
In het paper: Dit is een groot Vision-Language Model (zoals Qwen3-VL) dat naar een afbeelding kijkt en een "causale grafiek" (een kaart van wat wat veroorzaakt) produceert.

2. De Regisseur (Concept Manipulator)

Wat het doet: Je vertelt de Regisseur: "Verander het geslacht van man naar vrouw." De Regisseur kijkt naar de kaart van de Detective en besluit: "Oké, als we het geslacht veranderen, moet de baard weg, maar de achtergrond blijft hetzelfde."
De Analogie: Denk aan een filmregisseur. Als een acteur zijn kostuum verandert, weet de regisseur dat hij de belichting iets moet aanpassen om te matchen, maar zegt hij tegen de cameraman: "Beweeg het decor niet!" Ze plannen precies wat er moet veranderen en wat bevroren moet blijven.
In het paper: Dit is hetzelfde AI-model, dat nu fungeert als een logische engine om te voorspellen hoe het veranderen van één variabele de anderen beïnvloedt, gebaseerd op de kaart.

3. De Schilder (Counterfactual Generator)

Wat het doet: Deze AI neemt het plan van de Regisseur en schildert daadwerkelijk het nieuwe plaatje.
De Analogie: Dit is de kunstenaar die uiteindelijk de verf aanbrengt. Maar in tegenstelling tot een normale kunstenaar die misschien gokt, heeft deze kunstenaar een speciale "magische kwast" die alleen de specifieke delen van het canvas aanraakt waar de Regisseur op wees.
In het paper: Dit is een tekst-naar-afbeelding model (Stable Diffusion XL) dat de uiteindelijke afbeelding genereert.

De Geheime Ingrediënt: "Causal Semantic Guidance" (CSG)

Het paper introduceert een speciale techniek genaamd Causal Semantic Guidance (CSG). Dit is het belangrijkste onderdeel.

Hoe het werkt: Wanneer de Schilder (de afbeeldingsgenerator) aan het werk is, gebruikt hij een "schijnwerper"-systeem.
- Als de Regisseur zegt "Verwijder de baard", schijnt de schijnwerper fel op het baardgebied om het te wissen.
- Als de Regisseur zegt "Het haar moet nat zijn omdat het regent", schijnt de schijnwerper op het haar om het nat te maken.
- Cruciaal: De schijnwerper dempt overal anders. Het vertelt de AI: "Raak de achtergrond niet aan, raak de ogen niet aan, raak de kleding niet aan."
De Analogie: Stel je voor dat je een groepsfoto bewerkt op een tablet. Je gebruikt een "Selecteer Onderwerp"-tool. Wanneer je de persoon selecteert die je wilt veranderen, markeert de tool hen in rood. Alles anders wordt grijs en wordt onbewerkbaar. CSG is die tool, maar hij is slim genoeg om te weten dat als je het concept "weer" verandert, hij automatisch de "paraplu" en "natte grond" moet markeren, terwijl hij de "bergen" grijs en veilig houdt.

Wat Ze Vonden

De auteurs testten dit systeem op foto's van gezichten en weerscènes.

Het Resultaat: Toen ze het systeem vroegen een man in een vrouw te veranderen, zag de nieuwe foto er natuurlijk uit, verdween de baard, maar bleven de achtergrond en belichting exact hetzelfde.
Vergelijking: Oudere methoden (zoals standaard "inversie"-technieken) maakten vaak het hele plaatje onklaar, door willekeurige rimpels toe te voegen of de lucht te veranderen. Het nieuwe systeem (CSG) maakte "minimale en trouwe" bewerkingen, wat betekent dat het precies veranderde wat er gevraagd werd en niets meer.

Samenvatting

Dit paper presenteert een manier om AI-afbeeldingsbewerkers slimmer te maken door ze een "logische hersenen" te geven voordat ze beginnen met schilderen. In plaats van alleen maar te gokken hoe een afbeelding moet worden veranderd, werkt het systeem eerst de oorzaak-en-gewerelregels van de scène uit, plant het de veranderingen, en gebruikt het vervolgens een speciale leidende techniek om ervoor te zorgen dat alleen de juiste delen van de afbeelding veranderen, terwijl de rest perfect intact blijft.

Technische Samenvatting: Het Benutten van Fundatiemodellen voor Causale Generatieve Modellering

Probleemstelling
Causale generatieve modellering is cruciaal voor het ontwikkelen van AI-systemen die betrouwbaar contrafactueel redeneren kunnen. Hoewel bestaande benaderingen causale beperkingen direct integreren in de training van generatieve modellen (zoals GANs, VAEs en Diffusiemodellen), ontbreekt er vaak een unified raamwerk om de zero-shot redeneercapaciteiten van vooraf getrainde fundatiemodellen te benutten. Huidige methoden worstelen om generatieve factoren te ontdekken, te redeneren over interventies en contrafactuele scenario's te genereren als een complete, end-to-end pijplijn zonder hertraining of uitgebreide domeinspecifieke aanpassing.

Methodologie: FM-CGM Raamwerk
De auteurs stellen FM-CGM (Foundation Model Powered Causal Generative Model) voor, een modulair raamwerk dat visueel causaal redeneren formaliseert met drie distincte componenten, elk vertegenwoordigd door een vooraf getraind fundatiemodel:

Concept Extractor: Een groot redenerend Vision-Language Model (VLM), specifiek geïmplementeerd als Qwen3-VL, dat een invoerbeeld en een tekstbeschrijving analyseert om een set van hoog-niveau semantische concepten ( $C$ ) en hun causale relaties ( $G$ ) af te leiden. De output is een gerichte acyclische graaf (DAG) die een semantisch Structureel Causaal Model (SCM) voorstelt.
Concept Manipulator: Ook geïmplementeerd met hetzelfde VLM, voert deze component "do"-interventies uit op specifieke conceptvariabelen (bijv. $do(\text{geslacht} = \text{vrouw})$ ). Het redeneert over de causale graaf om effecten door te geven aan afstammende concepten, terwijl niet-afstammende (invariante) concepten behouden blijven, en geeft een nieuwe set conceptstaten ( $C'$ ) en een bijbehorende tekstprompt uit.
Contrafactuele Generator: Een tekst-naar-beeld diffusiemodel (Stable Diffusion XL) dat de geïnterveneerde conceptstaten terug in pixelruimte afbeeldt.

Belangrijkste Innovatie: Causale Semantische Gids (CSG)
Om semantische interventies te vertalen naar bewerkingen in pixelruimte zonder het diffusiemodel opnieuw te trainen, introduceren de auteurs Causale Semantische Gids (CSG). Dit is een op cross-attention gebaseerd gidsmechanisme dat werkt tijdens de inferentie. Het proces volgt een Pearliaanse Abductie-Actie-Verwachting-structuur:

Abductie: Het feitelijke beeld wordt omgekeerd naar een ruisrepresentatie ( $z_T$ ) met behulp van een DPM-Solver++ inversie.
Actie & Gids: Het systeem construeert een interventie-prompt en een set prompts voor afstammende concepten. Het berekent een gids-term $\gamma$ door de verschillen tussen geconditioneerde en niet-geconditioneerde ruisvoorspellingen ( $\epsilon_\theta$ ) op te tellen.
Maskering: Cruciaal maakt CSG gebruik van cross-attention attributiekaarten om gebieden te lokaliseren die geassocieerd zijn met het geïnterveneerde concept en zijn afstammelingen. Het past een doorsnede van binaire maskers toe om:
- Bewerkingen voor geïnterveneerde concepten te versterken.
- Consistente veranderingen in afstammende concepten te stimuleren.
- Onbedoelde veranderingen aan niet-afstammende (invariante) concepten te onderdrukken.

Experimentele Resultaten
Het raamwerk werd geëvalueerd op afbeeldingen gegenereerd vanuit Stable Diffusion XL, evenals op benchmarkdatasets MS-COCO en CelebA-HQ.

Kwalitatieve Evaluatie: De auteurs tonen aan dat FM-CGM minimale, trouwe contrafactuele bewerkingen produceert. Bijvoorbeeld, bij het veranderen van geslacht, verandert het model correct baardgroei en andere causale afstammelingen, terwijl invariante kenmerken (bijv. achtergrond, belichting) behouden blijven, terwijl baselines inversiemethoden (DDIM/DDPM) onnodige variaties introduceren of falen in het doorgeven van causale effecten.
Kwantitatieve Evaluatie: Met behulp van VLM-Eff (een op VLM gebaseerde metric om te verifiëren of gegenereerde afbeeldingen de juiste contrafactuele concepten bevatten) en LPIPS (om perceptuele gelijkenis/minimaliteit te meten), tonen de resultaten aan dat CSG baselines overtreft. Gemiddeld behaalde CSG een VLM-Eff score van 0,808 en een LPIPS score van 0,1865, wat aangeeft dat er sprake is van hogere interventie-accuraatheid en een betere behoud van de oorspronkelijke beeldstructuur in vergelijking met standaard inversietechnieken.

Betekenis en Claims
Het artikel claimt dat FM-CGM een algemeen, modulair abstractie biedt voor causale generatieve modellering die geen training van nieuwe generatieve modellen van scratch vereist. Door de redeneercapaciteiten van grote fundatiemodellen te benutten voor causale ontdekking en interventieplanning, en dit te koppelen aan een gespecialiseerd gidsmechanisme (CSG) voor beeldgeneratie, maakt de aanpak zero-shot causale ontdekking, interventie en contrafactuele generatie mogelijk. De auteurs stellen dat dit raamwerk succesvol de kloof overbrugt tussen hoog-niveau causaal redeneren en laag-niveau beeldsynthese, en contrafactuelen produceert die zowel visueel plausibel zijn als uitgelijnd met de beoogde causale semantiek.