🤖 AI

Leveraging Foundation Models for Causal Generative Modeling

Ursprüngliche Autoren: Aneesh Komanduri, Xintao Wu

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Aneesh Komanduri, Xintao Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen magischen Fotoeditor, der nicht nur Pixel verändert, sondern die Geschichte hinter dem Bild versteht. Das ist im Wesentlichen das, was diese Arbeit einführt: ein neues System namens FM-CGM (Foundation Model Powered Causal Generative Modeling).

Hier ist eine einfache Aufschlüsselung der Funktionsweise, unter Verwendung alltäglicher Analogien.

Das Problem: Der „Domino-Effekt" schlechter Bearbeitungen

Normalerweise gerät die KI in Verwirrung, wenn Sie sie verwenden, um ein Foto zu bearbeiten (z. B. indem Sie das Geschlecht eines Mannes in das einer Frau ändern). Sie könnte die Haarfarbe, den Hintergrund oder die Beleuchtung verändern, obwohl Sie nur das Geschlecht ändern wollten. Es ist, als würde man versuchen, einen Spieler in einer Fußballmannschaft auszutauschen, aber die KI ändert versehentlich auch das Wetter, das Stadion und die Uniform des Schiedsrichters.

Die Autoren sagen, dass aktuelle KI-Tools hervorragend darin sind, Bilder zu zeichnen, aber schlecht darin, Ursache und Wirkung zu verstehen. Sie wissen nicht, dass das „Ändern des Geschlechts" das „Verschwinden des Bartstoppels" verursacht, aber nicht das „Blaufärben des Himmels" verursachen sollte.

Die Lösung: Ein Drei-Personen-Team

Die Autoren haben ein System entwickelt, das wie ein Drei-Personen-Team funktioniert, um dieses Problem zu beheben. Sie verwenden leistungsstarke, vortrainierte KI-Modelle (Foundation Models) als Arbeitskräfte.

1. Der Detektiv (Konzept-Extraktor)

Was er tut: Bevor er bearbeitet, betrachtet diese KI das Foto und schreibt eine Liste von „Konzepten" (wie „Mann", „Bart", „lächelnd") auf und zeichnet eine Karte, die zeigt, wie sie miteinander verbunden sind.
Die Analogie: Stellen Sie sich einen Detektiv vor, der an einen Tatort kommt. Anstatt nur ein unordentliches Zimmer zu sehen, notiert er: „Das zerbrochene Fenster (Ursache) führte zum Regen auf dem Boden (Wirkung)." Er erstellt einen Flussdiagramm der Logik der Szene.
In der Arbeit: Dies ist ein großes Vision-Language-Modell (wie Qwen3-VL), das ein Bild betrachtet und einen „kausalen Graphen" (eine Karte davon, was was verursacht) ausgibt.

2. Der Regisseur (Konzept-Manipulator)

Was er tut: Sie sagen dem Regisseur: „Ändere das Geschlecht von männlich zu weiblich." Der Regisseur betrachtet die Karte des Detektivs und entscheidet: „Okay, wenn wir das Geschlecht ändern, muss der Bart verschwinden, aber der Hintergrund bleibt gleich."
Die Analogie: Denken Sie an einen Filmregisseur. Wenn ein Schauspieler sein Kostüm ändert, weiß der Regisseur, dass er das Licht leicht anpassen muss, um es anzupassen, sagt dem Kameramann aber: „Bewege das Set nicht!" Er plant genau, was geändert werden muss und was eingefroren bleiben muss.
In der Arbeit: Dies ist dasselbe KI-Modell, das nun als Logik-Engine fungiert, um vorherzusagen, wie die Änderung einer Variable die anderen basierend auf der Karte beeinflusst.

3. Der Maler (Counterfactual Generator)

Was er tut: Diese KI nimmt den Plan des Regisseurs und malt tatsächlich das neue Bild.
Die Analogie: Dies ist der Künstler, der schließlich die Farbe aufträgt. Aber im Gegensatz zu einem normalen Künstler, der vielleicht rät, hat dieser Künstler einen speziellen „magischen Pinsel", der nur die spezifischen Teile der Leinwand berührt, auf die der Regisseur gezeigt hat.
In der Arbeit: Dies ist ein Text-zu-Bild-Modell (Stable Diffusion XL), das das endgültige Bild generiert.

Das Geheimnis: „Kausale Semantische Führung" (CSG)

Die Arbeit stellt eine spezielle Technik namens Kausale Semantische Führung (CSG) vor. Dies ist der wichtigste Teil.

Wie es funktioniert: Wenn der Maler (der Bildgenerator) arbeitet, verwendet er ein „Scheinwerfer"-System.
- Wenn der Regisseur sagt: „Entferne den Bart", leuchtet der Scheinwerfer hell auf den Bartbereich, um ihn zu löschen.
- Wenn der Regisseur sagt: „Das Haar sollte nass sein, weil es regnet", leuchtet der Scheinwerfer auf das Haar, um es nass zu machen.
- Kritisch: Der Scheinwerfer dämpft überall sonst. Er sagt der KI: „Berühre den Hintergrund nicht, berühre die Augen nicht, berühre die Kleidung nicht."
Die Analogie: Stellen Sie sich vor, Sie bearbeiten ein Gruppenfoto auf einem Tablet. Sie verwenden ein Werkzeug „Objekt auswählen". Wenn Sie die Person auswählen, die Sie ändern möchten, hebt das Werkzeug sie rot hervor. Alles andere wird grau und wird nicht mehr bearbeitbar. CSG ist dieses Werkzeug, aber es ist intelligent genug zu wissen, dass, wenn Sie das Konzept „Wetter" ändern, es automatisch „Regenschirm" und „nasser Boden" hervorheben sollte, während es die „Berge" grau und sicher lässt.

Was sie fanden

Die Autoren testeten dieses System an Fotos von Gesichtern und Wetterszenen.

Das Ergebnis: Als sie das System baten, einen Mann in eine Frau zu verwandeln, sah das neue Foto natürlich aus, der Bart verschwand, aber der Hintergrund und die Beleuchtung blieben genau gleich.
Vergleich: Ältere Methoden (wie Standard-„Inversion"-Techniken) vermasselten oft das ganze Bild, fügten zufällige Falten hinzu oder veränderten den Himmel. Das neue System (CSG) machte „minimale und treue" Bearbeitungen, was bedeutet, dass es genau das änderte, was verlangt wurde, und nichts weiter.

Zusammenfassung

Diese Arbeit stellt eine Möglichkeit vor, KI-Bildbearbeiter intelligenter zu machen, indem sie ihnen vor dem Malen eine „Logik-Intelligenz" geben. Anstatt nur zu raten, wie ein Bild geändert werden soll, ermittelt das System zuerst die Ursache-Wirkungs-Regeln der Szene, plant die Änderungen und verwendet dann eine spezielle Führungstechnik, um sicherzustellen, dass nur die richtigen Teile des Bildes verändert werden, während der Rest perfekt intakt bleibt.

Technische Zusammenfassung: Nutzung von Foundation Models für kausale generative Modellierung

Problemstellung
Kausale generative Modellierung ist entscheidend für die Entwicklung von KI-Systemen, die zu zuverlässigem kontrafaktischem Schlussfolgern fähig sind. Während bestehende Ansätze kausale Einschränkungen direkt in das Training generativer Modelle (wie GANs, VAEs und Diffusionsmodelle) integrieren, fehlt es ihnen oft an einem einheitlichen Rahmenwerk, um die Zero-Shot-Schlussfolgerungsfähigkeiten vortrainierter Foundation Models zu nutzen. Aktuelle Methoden haben Schwierigkeiten, generative Faktoren zu entdecken, über Interventionen zu reasoning und kontrafaktische Szenarien als vollständige End-to-End-Pipeline zu generieren, ohne ein erneutes Training oder eine umfangreiche domänenspezifische Anpassung vorzunehmen.

Methodik: FM-CGM-Rahmenwerk
Die Autoren schlagen FM-CGM (Foundation Model Powered Causal Generative Model) vor, ein modulares Rahmenwerk, das visuelles kausales Reasoning mittels drei unterschiedlicher Komponenten formalisiert, von denen jede durch ein vortrainiertes Foundation Model repräsentiert wird:

Konzept-Extraktor: Ein großes reasoning-fähiges Vision-Language-Modell (VLM), spezifisch implementiert als Qwen3-VL, das ein Eingabebild und eine Textbeschreibung analysiert, um eine Menge hochleveliger semantischer Konzepte ( $C$ ) und deren kausale Beziehungen ( $G$ ) abzuleiten. Die Ausgabe ist ein gerichteter azyklischer Graph (DAG), der ein semantisches Strukturiertes Kausales Modell (SCM) darstellt.
Konzept-Manipulator: Ebenfalls unter Verwendung desselben VLM implementiert, führt diese Komponente „do"-Interventionen an spezifischen Konzeptvariablen durch (z. B. $do(\text{Geschlecht} = \text{weiblich})$ ). Sie reasoning über den kausalen Graphen, um Effekte auf abgeleitete Konzepte zu propagieren, während nicht-abgeleitete (invariante) Konzepte erhalten bleiben, und gibt einen neuen Satz von Konzeptzuständen ( $C'$ ) sowie einen entsprechenden Text-Prompt aus.
Kontrafaktischer Generator: Ein Text-zu-Bild-Diffusionsmodell (Stable Diffusion XL), das die intervenierten Konzeptzustände zurück in den Pixelraum abbildet.

Schlüsselinnovation: Kausale Semantische Führung (CSG)
Um semantische Interventionen in Pixelraum-Bearbeitungen zu übersetzen, ohne das Diffusionsmodell neu zu trainieren, führen die Autoren die Kausale Semantische Führung (CSG) ein. Dies ist ein auf Cross-Attention basierender Führungsmechanismus, der zum Inferenzzeitpunkt operiert. Der Prozess folgt einer Pearlianischen Abduktion-Aktion-Vorhersage-Struktur:

Abduktion: Das faktische Bild wird mittels einer DPM-Solver++-Inversion in eine Rauschdarstellung ( $z_T$ ) invertiert.
Aktion & Führung: Das System konstruiert einen Interventions-Prompt und eine Menge von Prompts für abgeleitete Konzepte. Es berechnet einen Führungsterm $\gamma$ durch Summierung der Differenzen zwischen konditionierten und unkonditionierten Rauschvorhersagen ( $\epsilon_\theta$ ).
Maskierung: Entscheidend nutzt CSG Cross-Attention-Attributionskarten, um Regionen zu lokalisieren, die mit dem intervenierten Konzept und seinen abgeleiteten Konzepten assoziiert sind. Es wendet eine Schnittmenge binärer Masken an, um:
- Bearbeitungen für intervenierte Konzepte zu verstärken.
- Konsistente Änderungen bei abgeleiteten Konzepten zu fördern.
- Unbeabsichtigte Änderungen an nicht-abgeleiteten (invarianten) Konzepten zu unterdrücken.

Experimentelle Ergebnisse
Das Rahmenwerk wurde an Bildern bewertet, die mit Stable Diffusion XL generiert wurden, sowie an Benchmark-Datensätzen MS-COCO und CelebA-HQ.

Qualitative Evaluation: Die Autoren zeigen, dass FM-CGM minimale, treue kontrafaktische Bearbeitungen erzeugt. Beispielsweise verändert das Modell beim Wechsel des Geschlechts korrekt die Gesichtsbehaarung und andere kausale abgeleitete Konzepte, während invariante Merkmale (z. B. Hintergrund, Beleuchtung) erhalten bleiben, wohingegen Baseline-Inversionsmethoden (DDIM/DDPM) unnötige Variationen einführen oder das Propagieren kausaler Effekte versagen.
Quantitative Evaluation: Unter Verwendung von VLM-Eff (ein VLM-basierter Metrik zur Verifizierung, ob generierte Bilder die korrekten kontrafaktischen Konzepte enthalten) und LPIPS (zur Messung der perceptuellen Ähnlichkeit/Minimalität) zeigen die Ergebnisse, dass CSG die Baselines übertrifft. Im Durchschnitt erreichte CSG einen VLM-Eff-Score von 0,808 und einen LPIPS-Score von 0,1865, was eine höhere Interventionsgenauigkeit und eine bessere Erhaltung der ursprünglichen Bildstruktur im Vergleich zu Standard-Inversionstechniken anzeigt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass FM-CGM eine allgemeine, modulare Abstraktion für kausale generative Modellierung bietet, die kein Training neuer generativer Modelle von Grund auf erfordert. Durch die Nutzung der Reasoning-Fähigkeiten großer Foundation Models für kausale Entdeckung und Interventionsplanung sowie die Kopplung dieser mit einem spezialisierten Führungsmechanismus (CSG) für die Bildgenerierung ermöglicht der Ansatz Zero-Shot kausale Entdeckung, Intervention und kontrafaktische Generierung. Die Autoren behaupten, dass dieses Rahmenwerk erfolgreich die Lücke zwischen hochleveligem kausalem Reasoning und niedrigleveliger Bildsynthese schließt und kontrafaktische Szenarien erzeugt, die sowohl visuell plausibel als auch mit der intendierten kausalen Semantik abgestimmt sind.