🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

Das Papier schlägt VIPaint vor, einen hierarchischen Variationsinferenz-Algorithmus, der hochwertige, vielfältige Bildinpainting-Aufgaben und andere inverse Probleme ermöglicht, indem er eine nicht-gaußsche Markov-Näherung der wahren Diffusionsposterior optimiert und damit die Grenzen bestehender Methoden bei der Handhabung großer maskierter Bereiche und latenter Diffusionsmodelle wirksam adressiert.

Ursprüngliche Autoren: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein wunderschönes, hochauflösendes Foto, aber jemand hat einen riesigen, chaotischen Markerstrich über einen großen Teil davon gekritzelt. Sie möchten es reparieren, wissen aber nicht, was sich unter dem Kritzeln befand. War es eine Katze? Ein Auto? Ein Berg?

Dies ist das Problem der Bildinpainting. Lange Zeit hatten Computer Schwierigkeiten, diese großen fehlenden Löcher auszufüllen, ohne dass die Dinge unscharf, seltsam oder völlig falsch aussahen.

Dann kommt VIPaint ins Spiel, eine neue Methode, die in diesem Papier beschrieben wird. Betrachten Sie VIPaint nicht als Maler, der nur rät, sondern als superklugen Detektiv, der eine riesige Bibliothek von „Was-wäre-wenn"-Szenarien nutzt, um das Rätsel der fehlenden Pixel zu lösen.

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Die „Magische Bibliothek" (Vorab trainierte Diffusionsmodelle)

Stellen Sie sich zunächst einen Computer vor, der Jahre damit verbracht hat, Millionen von Fotos zu studieren. Er hat die „Regeln" gelernt, wie die Welt aussieht: wie ein Katzenohr mit dem Kopf verbunden ist, wie Wolken am Himmel aussehen oder wie ein Auto-Rad zum Körper passt. Im Papier wird dies als Diffusionsmodell bezeichnet.

Betrachten Sie dieses Modell als eine Magische Bibliothek jedes möglichen Bildes, das existieren könnte. Wenn Sie es bitten, eine „Katze" zu zeichnen, weiß es genau, wie eine Katze aussieht, weil es sie alle zuvor gesehen hat.

2. Das Problem mit alten Methoden (Das „Rätselraten")

Frühere Methoden versuchten, das gekritzelte Foto zu reparieren, indem sie eine Vermutung anstellten, das Ergebnis betrachteten und dann versuchten, es zurück in Richtung der sichtbaren Teile des Fotos zu schieben.

Das Papier sagt, dies sei wie der Versuch, durch ein dunkles Zimmer zu gehen, indem man einen Schritt macht, stolpert und dann hofft, man trifft keine Wand. Wenn der fehlende Teil riesig ist (wie ein ganzes Gesicht), geraten diese alten Methoden oft auf Abwege. Sie könnten das Loch mit einem Katzenkopf füllen, aber dann sieht der Körper aus wie ein Hund, oder die Farben passen nicht zum Rest des Raums. Sie haben Schwierigkeiten, das „große Ganze" konsistent zu halten, während sie die Details ausfüllen.

3. VIPaints geheime Waffe: Die „Hierarchische Karte"

VIPaint ändert das Spiel, indem es eine Technik namens Variationsinferenz verwendet. Anstatt nur das endgültige Bild zu erraten, erstellt VIPaint eine hierarchische Karte (einen schrittweisen Leitfaden), um durch die Magische Bibliothek zu navigieren.

Hier ist die Analogie:

Alte Methoden versuchen, direkt von „reinem Rauschen" (Statik) zum „endgültigen Bild" zu springen. Sie stolpern oft und fallen hin, was ein Chaos erzeugt.
VIPaint hält an mehreren „Kontrollpunkten" unterwegs an. Stellen Sie sich vor, Sie wandern einen Berg hinab, um ein verborgenes Tal zu finden (das fehlende Bild).
- Kontrollpunkt 1 (Ganz oben): Sie betrachten das große Ganze. „Okay, das ist definitiv ein Wald, keine Stadt."
- Kontrollpunkt 2 (Auf halbem Weg): Sie sehen die Bäume. „Okay, das sind Kiefern, keine Palmen."
- Kontrollpunkt 3 (Nahe dem Boden): Sie sehen die spezifischen Äste und Blätter.

VIPaint optimiert diese Kontrollpunkte gleichzeitig. Es stellt sicher, dass das „große Ganze" (der Wald) mit den „kleinen Details" (den Kiefernnadeln) übereinstimmt und dass alles mit den Teilen des Fotos übereinstimmt, die nicht überkritzt wurden.

4. Warum es besser ist (Der „Flexible Ton")

Das Papier behauptet, VIPaint sei besonders, weil es das fehlende Bild wie flexiblen Ton behandelt und nicht wie eine starre Statue.

Unsicherheit: Wenn Sie ein großes Loch in einem Foto haben, gibt es nicht nur eine richtige Antwort. Es könnte eine Katze, ein Hund oder ein Fuchs sein. VIPaint versteht dies. Es zwingt den Computer nicht, sofort eine einzige „richtige" Antwort zu wählen. Stattdessen hält es die Optionen offen (die „Unsicherheit"), bis es genügend Hinweise aus den sichtbaren Teilen des Bildes gesammelt hat, um es einzugrenzen.
Zero-Shot-Lernen: Das ist eine große Sache. VIPaint muss nicht für jede neue Art von Foto neu trainiert werden. Es nimmt eine vorab trainierte „Magische Bibliothek" (wie die für Stable Diffusion verwendete) und passt sie sofort an Ihr spezifisches gekritzeltes Foto an. Es ist wie ein Meisterkoch, der Ihnen ein perfektes Essen kochen kann, indem er Zutaten verwendet, die Sie ihm gerade übergeben haben, ohne vorher in die Kochschule gehen zu müssen.

5. Die Ergebnisse: Scharf, realistisch und vielfältig

Das Papier testete VIPaint in vielen verschiedenen Szenarien:

Füllen riesiger Löcher: Selbst wenn 50–80 % des Bildes fehlen, füllt VIPaint es mit realistischen Details auf, die zum Rest des Bildes passen.
Reparieren unscharfer Fotos: Es kann auch unscharfe Bilder schärfen (Entunschärfung) oder kleine Fotos vergrößern (Super-Auflösung).
Text-zu-Bild: Es funktioniert sogar mit den fortschrittlichsten, textgesteuerten Bildgeneratoren (wie Stable Diffusion 3.5) und erstellt Bilder, die nicht nur scharf sind, sondern auch global Sinn ergeben.

Zusammenfassend:
VIPaint ist eine neue Art, kaputte oder überkritzelte Fotos zu reparieren. Anstatt blind zu raten, nutzt es eine intelligente, schrittweise Strategie, um durch eine riesige Bibliothek von Bildwissen zu navigieren. Es prüft gleichzeitig das „große Ganze" und die „kleinen Details" und stellt sicher, dass das Endergebnis realistisch, scharf und konsistent ist, selbst wenn große Teile des Bildes fehlen. All dies geschieht, ohne dass es neu trainiert werden muss, was es zu einem leistungsstarken „Plug-and-Play"-Werkzeug zur Reparatur von Bildern macht.

1. Problemstellung

Das Paper adressiert die Herausforderung des Image Inpainting (Ausfüllen fehlender oder maskierter Bildbereiche) unter Verwendung von vorab trainierten Diffusionsmodellen (DMs), insbesondere Latent Diffusion Models (LDMs) wie Stable Diffusion.

Die Kernschwierigkeit: Während DMs hervorragend darin sind, aus Rauschen neue Bilder zu generieren, ist ihre Konditionierung auf korrupte oder teilweise beobachtete Bilder (Inpainting) nicht trivial. Das Ziel ist es, aus der wahren bedingten Posterior-Verteilung $p(x|y)$ zu sampeln, wobei $y$ das beobachtete (maskierte) Bild und $x$ das vollständige Bild ist.
Limitationen bestehender Methoden:
- Heuristische/Iterative Methoden: Ansätze wie RePaint, CoPaint und DPS (Diffusion Posterior Sampling) verlassen sich häufig auf iterative Verfeinerung oder „Time-Travel"-Heuristiken. Diese versagen oft darin, globale Strukturen zu erfassen, wenn große Bereiche maskiert sind, was zu inkohärenten oder unrealistischen Ergebnissen führt.
- Variationale Methoden (REDdiff): Frühere Versuche zur variationalen Inferenz (z. B. REDdiff) optimieren oft ein einzelnes Bild auf rauschfreiem Niveau ( $t=0$ ) unter Verwendung einer einfachen Gaußschen Approximation. Dies versagt darin, Unsicherheit zu erfassen, ist anfällig für Optimierungsinstabilität (insbesondere in Regimen mit geringem Rauschen) und hat Schwierigkeiten, sich auf LDMs zu verallgemeinern.
- Trainingsanforderungen: Viele State-of-the-Art-Methoden erfordern ein Fine-Tuning des generativen Modells auf spezifischen Datensätzen oder Masken, was rechenintensiv ist und eine „Zero-Shot"-Anwendung auf neue Aufgaben verhindert.

2. Methodik: VIPaint

Die Autoren schlagen VIPaint vor, einen hierarchischen variationalen Inferenz (VI)-Algorithmus, der das vorab trainierte Diffusionsmodell als Prior behandelt. Anstatt ein einzelnes Bild zu optimieren, optimiert VIPaint eine Verteilung über latente Variablen auf mehreren Rauschniveaus.

A. Hierarchische Variationale Posterior-Verteilung

VIPaint definiert eine nicht-Gaußsche, Markovsche Approximation der wahren Diffusions-Posterior-Verteilung. Es führt eine Menge von $K$ „Schlüsselpunkten" (intermediäre Zeitschritte) $\{h(1), \dots, h(K)\}$ innerhalb der inversen Diffusionstrajektorie ein (wobei $h(K)$ hohes Rauschen und $h(1)$ geringes Rauschen darstellt).

Die variationale Verteilung ist definiert als:
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$

Struktur:
- Hohes Rauschen ( $h(K)$ ): Modelliert als faktorisierte Gauß-Verteilung.
- Intermediäres/Geringes Rauschen: Modelliert als Gauß-Verteilung, wobei der Mittelwert eine konvexe Kombination der Prior-Diffusionsvorhersage (vom vorab trainierten Modell) und eines gelernten variationalen Parameters ist, der spezifisch für das Bild ist.
- Varianz: Die Varianz wird gelernt und ist dimensionspezifisch, was es dem Modell ermöglicht, die Unsicherheit in maskierten Bereichen dynamisch zu erhöhen, während die Gewissheit in beobachteten Bereichen erhalten bleibt.

B. Die Zielfunktion

VIPaint optimiert eine variationale untere Schranke der marginalen Likelihood der Beobachtung $y$ . Die Verlustfunktion besteht aus drei Termen:

Rekonstruktionsverlust: Stellt sicher, dass die generierten Stichproben auf dem niedrigsten Rauschniveau ( $h(1)$ ) mit den beobachteten Pixeln $y$ konsistent sind. Dies wird mittels einer einstufigen Denoising-Vorhersage approximiert.
Prior-Verlust: Regularisiert das höchste Rauschniveau ( $h(K)$ ), um mit der globalen Semantik übereinzustimmen, die vom Diffusionsprior im Hochrausch-Regime kodiert wird.
Hierarchischer Verlust: Stellt Konsistenz zwischen benachbarten Schlüsselpunkten in der Hierarchie sicher und erfasst mittlere Bilddetails und Strukturen.

C. Optimierung und Sampling

Optimierung: Die variationalen Parameter $\lambda$ (Mittelwerte, Varianzen und Mischungsgewichte) werden bildweise mittels Gradientenabstieg (Adam) optimiert. Entscheidend ist, dass dies ohne Annealing erfolgt (für den Verlust wird zufälliges Zeit-Sampling verwendet), was eine unverzerrte Schranke liefert und die Instabilität vermeidet, die bei Methoden beobachtet wird, die von $T$ auf $0$ annealen.
Sampling: Nach der Optimierung werden diverse Rekonstruktionen generiert durch:
1. Ancestral Sampling: Sampling aus der optimierten hierarchischen Posterior-Verteilung von $h(K)$ hinunter zu $h(1)$ .
2. Verfeinerung: Weitere Verfeinerung der Stichprobe von $h(1)$ hinunter zu $t=0$ unter Verwendung des vorab trainierten Denoising-Netzwerks, geleitet durch den Likelihood-Gradienten (ähnlich wie DPS, aber startend von einer besser initialisierten Posterior-Verteilung).

3. Hauptbeiträge

Hierarchische nicht-Gaußsche Approximation: Im Gegensatz zu früheren VI-Methoden, die die Posterior-Verteilung an einem einzigen Punkt ( $t=0$ ) approximieren, modelliert VIPaint die Posterior-Verteilung über eine Hierarchie von Rauschniveaus hinweg. Dies ermöglicht es ihm, sowohl globale Semantik (bei hohem Rauschen) als auch lokale Details (bei geringem Rauschen) gleichzeitig zu erfassen.
Zero-Shot-Adaptation: VIPaint erfordert kein Fine-Tuning des vorab trainierten Diffusionsmodells. Es passt das Modell an neue Masken und Bilder an, indem es für jede Abfrage variationale Parameter optimiert, was es auf jeden vorab trainierten DM (pixelbasiert oder latent) anwendbar macht.
Stabilität und Unsicherheitsmodellierung: Durch das Vermeiden des Regimes mit geringem Rauschen während der Hauptoptimierungsphase (wo Denoising-Netzwerke nicht glatt und instabil sind) und durch die explizite Modellierung der Varianz erzeugt VIPaint diverse, plausible Imputationen, die die Unsicherheit der fehlenden Daten widerspiegeln.
Verallgemeinerung auf LDMs: Die Methode ist explizit für die Arbeit mit Latent Diffusion Models konzipiert und ermöglicht hochauflösendes Inpainting (z. B. 1024x1024) mit geringeren Rechenkosten als pixelbasierte Ansätze.

4. Experimentelle Ergebnisse

Die Autoren evaluierten VIPaint auf ImageNet64, ImageNet256, LSUN-Churches und Stable Diffusion 3.5 (textkonditioniert).

Quantitative Leistung:
- Große Masken: VIPaint übertrifft Baselines (DPS, RePaint, CoPaint, REDdiff) bei großen maskierten Bereichen (40–80 % des Bildes) signifikant in Bezug auf PSNR, SSIM und LPIPS.
- Textkonditionierte Modelle: Auf Stable Diffusion 3.5 erreicht VIPaint überlegene PSNR-Werte (26,69 vs. 25,22 für DPS) und LPIPS-Werte (0,050 vs. 0,061) und erzeugt global kohärente Bilder, die feine Details bewahren.
- Andere inverse Probleme: Die Methode zeigt auch starke Leistung bei Entwöschung (Deblurring) und Super-Resolution und übertrifft spezialisierte Baselines wie PSLD und ReSample.
Qualitative Leistung:
- Visuelle Ergebnisse zeigen, dass VIPaint global kohärente Strukturen erzeugt (z. B. konsistente Objektformen und Beleuchtung), während andere Methoden unscharfe oder inkohärente Artefakte produzieren.
- Es erzeugt erfolgreich multiple diverse plausible Vervollständigungen für dasselbe maskierte Bild und demonstriert damit seine Fähigkeit, die multi-modale Natur der Posterior-Verteilung zu modellieren.
Effizienz:
- VIPaint ist rechnerisch effizient. Für $K=2$ werden für die Optimierung nur etwa 150 Denoising-Netzwerk-Aufrufe benötigt (im Vergleich zu über 1000 für sampling-basierte Methoden) und ist schneller als viele Baselines, während es gleichzeitig höhere Qualität liefert.

5. Bedeutung

VIPaint stellt einen bedeutenden Fortschritt bei inversen Problemen mit Diffusionsmodellen dar. Durch den Wechsel von heuristischem Sampling oder Einzel-Punkt-Optimierung zu einem prinzipiellen hierarchischen variationalen Inferenz-Rahmenwerk löst es das kritische Problem der globalen Inkohärenz beim Inpainting mit großen Masken.

Seine Fähigkeit, Zero-Shot mit State-of-the-Art-Foundation-Modellen (wie Stable Diffusion 3.5) ohne Neutrainieren zu arbeiten, macht es zu einem hochpraktischen Werkzeug für reale Bildbearbeitungs-, Restaurierungs- und Vervollständigungsaufgaben. Es schließt die Lücke zwischen der theoretischen Strenge der variationalen Inferenz und den praktischen Fähigkeiten moderner generativer KI.