Technische Samenvatting: Gefactoriseerde Classifier-Free Guidance

Probleemstelling

Counterfactuele generatie heeft als doel realistische hypothetische uitkomsten te simuleren onder causale interventies (bijvoorbeeld: "Hoe zou de ziekteprogressie van deze patiënt eruitzien als hij behandeling A in plaats van B had ontvangen?"). Hoewel diffusiemodellen in combinatie met DDIM-inversie en Classifier-Free Guidance (CFG) de state-of-the-art voor deze taak zijn geworden, identificeren de auteurs een kritieke beperking in standaard CFG: attribuutversterking.

Standaard CFG past één globale leidingsgewicht ($\omega$) toe op de volledige conditioneringsembedding. Bij counterfactuele generatie versterkt deze uniforme versterking onbedoeld niet alleen de geïntervenieerde attributen, maar ook attributen die onder de causale interventie invariant zouden moeten blijven. Deze "off-target" versterking schendt de beoogde causale grafiek, wijzigt attributen buiten het causale pad en zorgt ervoor dat de generatietrajectorie afwijkt van het oorspronkelijke data-manifold, waardoor de behouding van identiteit en de axiomatische geldigheid van de afgeleide counterfactuelen worden aangetast.

Methodologie: Gefactoriseerde Classifier-Free Guidance (FCFG)

Om spuriële attribuutversterking te beperken zonder het onderliggende diffusiemodel te wijzigen, stellen de auteurs Gefactoriseerde Classifier-Free Guidance (FCFG) voor. Dit is een flexibele, modelonafhankelijke techniek voor het inferentietijdstip die attributgewijze controle mogelijk maakt volgens een causale grafiek.

1. Conditioneringsembedding met attributen-splitsing

De methode introduceert een structurele wijziging in het conditioneringsmechanisme. In plaats van meerdere attributen te verstrengelen in één vector, maakt FCFG gebruik van een attributen-splitsende embedder. Elk semantisch ouderattribuut $pa_i$ wordt onafhankelijk ingebed via een dedicated Multi-Layer Perceptron (MLP), $E_i$. De uiteindelijke conditioneringsvector $c$ wordt gevormd door het concateneren van deze onafhankelijke embeddingen:
$$c = \text{concat}(E_1(pa_1), E_2(pa_2), \dots, E_K(pa_K))$$
Deze architectuur behoudt de identiteit van elk attribuut in de embeddingruimte, waardoor selectieve null-tokenisatie of modulatie van individuele attributen tijdens de inferentie mogelijk is.

2. Groepsgewijze leidingsformulering

FCFG partitioneert de semantische attributen in $M$ disjuncte groepen (bijvoorbeeld een "betrokken" groep die geïntervenieerde attributen en hun nakomelingen bevat, en een "invariante" groep die attributen bevat waarvan wordt verwacht dat ze onveranderd blijven). Onder de aanname dat deze groepen conditioneel onafhankelijk zijn gegeven de latente variabele $x_t$, leiden de auteurs een gefactoriseerde proxy-posterior af:
$$p_\omega(x_t | pa) \propto p(x_t) \prod_{m=1}^M p(pa^{(m)} | x_t)^{\omega_m}$$
waarbij $\omega_m$ een distinct leidingsgewicht is voor groep $m$.

De geleide ruisvoorspelling $\epsilon_{\text{FCFG}}$ wordt berekend door de onvoorwaardelijke voorspelling op te tellen met gewogen verschillen voor elke groep:
$$\epsilon_{\text{FCFG}}(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + \sum_{m=1}^M \omega_m \left( \epsilon_\theta(x_t, t, c^{(m)}) - \epsilon_\theta(x_t, t, \emptyset) \right)$$
Hierbij is $c^{(m)}$ een gemaskeerde embedding waarbij alleen de attributen die tot groep $m$ behoren worden behouden en de anderen worden vervangen door null-tokens.

3. Integratie met counterfactuele inferentie

FCFG is geïntegreerd in de standaard drie-staps counterfactuele inferentiepiplijn (Abductie, Actie, Voorspelling):

• Abductie: Gebruikt DDIM-inversie om exogene ruis $u$ te schatten vanuit de waargenomen afbeelding en feitelijke attributen.
• Actie: Past de causale interventie toe om counterfactuele attributen te genereren.
• Voorspelling: Gebruikt de met FCFG geleide reverse DDIM-trajectorie. Cruciaal is dat de voorspellingstap distincte gewichten toepast ($\omega_{\text{aff}}$ voor betrokken attributen, $\omega_{\text{inv}}$ voor invariante attributen) om de generatie te sturen naar de interventie terwijl invariante factoren behouden blijven.

Het kader is ontworpen om compatibel te zijn met geavanceerde leidingschema's, waaronder CFG++ en Adaptive Projected Guidance (APG), door dezelfde groepsgewijze decompositie toe te passen op hun respectievelijke scoreformuleringen.

Belangrijkste Bijdragen

1. Identificatie van door CFG veroorzaakte fouten: De auteurs analyseren en demonstreren dat het globale leidingsmechanisme in standaard CFG een primaire bron is van attribuutversterking, wat leidt tot spuriële veranderingen in invariante attributen, zelfs wanneer de causale grafiek bekend is.
2. Voorgestelde FCFG: Zij introduceren Gefactoriseerde Classifier-Free Guidance, een eenvoudige uitbreiding die aparte leidingsgewichten toewijst aan attributengroepen. Dit maakt fijnmazige, interpreteerbare controle over het generatieve proces mogelijk zonder wijzigingen in de modelarchitectuur of hertraining.
3. Empirische validatie: Door middel van uitgebreide experimenten op natuurlijke (CelebA-HQ) en medische (EMBED, MIMIC-CXR) afbeeldingsdatasets toont het artikel aan dat FCFG off-target versterking aanzienlijk reduceert, terwijl de effectiviteit van de interventie behouden blijft of verbetert.

Experimentele Resultaten

De auteurs evalueren FCFG tegenover standaard CFG en andere methoden voor counterfactuele generatie (HVAE, HVAE-soft, SA-DCG) over drie datasets:

• CelebA-HQ: Bij interventies gericht op attributen zoals "Lachend", "Mannelijk" of "Jong", veroorzaakte globale CFG met hoge leidingsgewichten ($\omega \ge 2.0$) significante onbedoelde veranderingen in niet-geïntervenieerde attributen (bijvoorbeeld het veranderen van leeftijd of identiteit wanneer alleen het lachen werd aangepakt). FCFG, met een lager gewicht voor invariante attributen ($\omega_{\text{inv}} \approx 1.0-1.2$) en een hoger gewicht voor betrokken attributen ($\omega_{\text{aff}} \ge 2.0$), bereikte vergelijkbare veranderingen in het doelattribuut terwijl invariante attributen stabiel bleven. Dit resulteerde in lagere Mean Absolute Error (MAE) en LPIPS-scores voor reversibiliteit, wat wijst op betere behouding van identiteit.
• EMBED (Borstmammografie): Bij interventies op borstdichtheid versterkte globale CFG onbedoeld de aanwezigheid van cirkelvormige huidmarkers. FCFG onderdrukte deze spuriële verschuiving en behield stabiele prestaties op het niet-geïntervenieerde attribuut.
• MIMIC-CXR (Borstfoto's): Interventies op ziektebevindingen ("bevinding") met globale CFG leidden tot onbedoelde veranderingen in ras- en geslachtsattributen. FCFG slaagde erin de veranderingen te lokaliseren tot de ziektebevinding, waardoor off-target AUC-veranderingen werden gereduceerd van grote positieve waarden (wat versterking aangeeft) naar waarden dicht bij nul of negatief.

In alle gevallen verbeterde FCFG de afweging tussen effectiviteit van de interventie en off-target versterking. Bovendien toonde FCFG compatibiliteit met CFG++ en APG, waardoor ook de inherente attribuutversterking in die geavanceerde methoden werd beperkt.

Betekenis en Beweringen

Het artikel beweert dat FCFG een fundamentele beperking in geleide diffusiemodellen voor causale redenering aanpakt. Door het leidingsignaal te ontkoppelen over semantisch of causaal gedefinieerde groepen, stelt FCFG de generatie van counterfactuelen mogelijk die axiomatisch geldiger zijn (in overeenstemming met de causale grafiek) en meer reversibel (trouw behoud van identiteit).

De auteurs benadrukken dat FCFG een eenvoudig remedie voor het inferentietijdstip is die niet vereist:

• Aanvullende trainingsdoelen gebaseerd op predictors (in tegenstelling tot HVAE-varianten).
• Complexe diffusie-autoencoder-kaders (in tegenstelling tot SA-DCG).
• Causale ontdekking (het gaat uit van toegang tot een vooraf gespecificeerde causale grafiek of semantische groepering).

Het werk suggereert dat het "globale" karakter van standaard CFG een bottleneck is voor betrouwbare counterfactuele inferentie en dat het factoriseren van het leidingsignaal een noodzakelijke stap is voor precieze, gecontroleerde beeldbewerking in causale contexten. De auteurs merken beperkingen op, specifiek dat FCFG afhankelijk is van gestructureerde conditioneringsvariabelen en vooraf gespecificeerde groeperingen, en dat leidingsgewichten momenteel empirisch worden gekozen in plaats van adaptief.