🤖 machine learning

Coarse-to-Fine Compositional Diffusion for Long-Horizon Planning

Das Papier schlägt Coarse-to-Fine Compositional Diffusion (CoFi) vor, einen Inference-Time-Sampler, der die langfristige Planung verbessert, indem er zuerst ein globales strukturelles Gerüst etabliert, um lokale Pläne auszurichten, und diese anschließend verfeinert, wodurch eine überlegene globale Kohärenz und lokale Qualität bei signifikant weniger Rechenaufwand im Vergleich zu bestehenden Methoden erreicht wird.

Ursprüngliche Autoren: Byoungwoo Park, Utkarsh A. Mishra, Jaemoo Choi, Juho Lee, Yongxin Chen

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Byoungwoo Park, Utkarsh A. Mishra, Jaemoo Choi, Juho Lee, Yongxin Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten ein riesiges, 100 Fuß langes Wandgemälde eines Waldes malen. Sie haben einen sehr talentierten Künstler (das KI-Modell), aber er kann jeweils nur ein kleines 5-Fuß-Quadrat mit hoher Qualität malen. Wenn Sie ihn bitten, das Ganze auf einmal zu malen, wird er verwirrt oder die Qualität sinkt. Also entscheiden Sie sich, ihn neun separate 5-Fuß-Quadrate malen zu lassen und diese dann zusammenzukleben.

Das Problem: Der „Patchwork“-Fehler
Die alte Methode (genannt „Compositional Generation“) bestand darin, den Künstlern zu sagen: „Achtet darauf, dass die Kante eures Quadrats mit der Kante eures Nachbarquadrats übereinstimmt.“

Das Ergebnis: Die Kanten passen perfekt zusammen. Die Bäume auf dem linken Quadrat schließen nahtlos an die Bäume auf dem rechten Quadrat an.
Der Fehler: Selbst wenn die Kanten perfekt passen, kann das Gesamtbild seltsam aussehen. Vielleicht ist das erste Quadrat ein sonniger Wald, das mittlere ein verschneiter Berg und das Ende eine Wüste. Die Künstler haben sich nicht über das große Ganze unterhalten. Sie haben nur dafür gesorgt, dass ihre unmittelbaren Nachbarn gut aussah. Das fertige Wandgemälde hat keine logische Geschichte oder einen konsistenten Stil.

Die Lösung: CoFi (Coarse-to-Fine)
Das Paper stellt eine neue Methode namens CoFi (Coarse-to-Fine Compositional Diffusion) vor. Denken Sie an dies als einen zweistufigen Prozess, der wie ein „Projektmanager“ für die Künstler fungiert.

Schritt 1: Die „Grobe Skizze“ (Coarse Stage)

Anstatt den Künstlern nur zu sagen, dass sie die Kanten anpassen sollen, bittet CoFi sie zuerst, einen Schritt zurückzutreten und gemeinsam eine grobe, verschwommene Skizze des gesamten 100 Fuß langen Wandgemäldes zu vereinbaren.

Stellen Sie sich vor, die Künstler kneifen alle die Augen zusammen und einigen sich auf die allgemeine Form: „Okay, es ist ein Wald, die Sonne ist auf der linken Seite und der Pfad verläuft von unten links nach oben rechts.“
Sie erstellen ein „Gerüst“ (ein Skelett) des gesamten Bildes. Dies stellt sicher, dass jedes einzelne Quadrat weiß, wo es im großen Zusammenhang steht.
Kompromiss: Diese grobe Skizze ist etwas verschwommen und lässt feine Details vermissen (wie die Textur der Baumrinde), aber die Struktur ist perfekt.

Schritt 2: Die „Detailarbeit“ (Fine Stage)

Jetzt, da die Künstler das perfekte Skelett haben, sagt CoFi: „Okay, vergesst die grobe Skizze für einen Moment. Lasst uns das Rauschen wieder hinzufügen und die Details erneut malen, aber diesmal werden wir eure ursprüngliche Begabung nutzen, um die Bäume und Blätter auszufüllen.“

Sie nehmen dieses perfekte Skelett, fügen ein wenig „Statik“ (Rauschen) hinzu und lassen die Künstler erneut darüber malen.
Da das Skelett bereits vorhanden ist, können sich die Künstler darauf konzentrieren, die Bäume realistisch aussehen zu lassen und das Wasser glänzen zu lassen, ohne vom Kurs abzuweichen.
Das Ergebnis ist ein Wandgemälde, das die logische Struktur der groben Skizze besitzt, aber die hochwertigen Details des ursprünglichen Künstlers aufweist.

Warum ist das besser?

Das Paper behauptet, dass diese Methode aus zwei Gründen ein „Win-Win“ ist:

Es sieht besser aus: Das fertige Bild (oder der Roboterplan, oder das Video) ergibt von Anfang bis Ende Sinn. Der Roboter läuft nicht im Kreis; die Figur im Video verwandelt sich nicht plötzlich in eine andere Person; das Panoramafoto wechselt nicht plötzlich von Tag auf Nacht.
Es ist schneller: Die alten Methoden versuchten, das Problem des „großen Ganzen“ zu lösen, indem sie die Künstler während jedes einzelnen Pinselstrichs immer und immer wieder miteinander kommunizieren ließen. Das dauerte sehr lange. CoFi erledigt die Planung des „großen Ganzen“ einmal und füllt dann nur noch die Details aus. Das Paper sagt, dass dieser Prozess 2- bis 8-mal schneller ist (weniger Rechenaufwand erfordert), während er gleichzeitig bessere Ergebnisse liefert.

Wo wurde dies getestet?

Die Autoren testeten diesen „Projektmanager“-Ansatz bei drei spezifischen Dingen:

Roboterplanung: Einem Roboter den Weg durch ein riesiges Labyrinth zu weisen, indem kurze Bewegungen zusammengesetzt werden. CoFi half dem Roboter, einen Pfad zum Ziel zu finden, ohne sich zu verlaufen.
Panorama-Bilder: Das Zusammenfügen von 9 kleinen Bildern zu einem einzigen, riesigen, breiten Foto. CoFi stellte sicher, dass Himmel und Bäume über die gesamte Breite hinweg konsistent aussahen.
Lange Videos: Das Erstellen eines langen Videos durch das Zusammenfügen kurzer Clips. CoFi sorgte dafür, dass die Hauptfigur während des gesamten Videos gleich aussah und so verhinderte, dass sie sich in jemand anderen „verwandelt“.

Kurz gesagt: CoFi verhindert, dass sich die KI in den Details verliert, indem es sie zwingt, zuerst auf das große Ganze zu einigen, und lässt sie dann bei der Detailarbeit voll aufdrehen – und das alles unter Einsparung massiver Rechenleistung.

Technisches Resümee: Coarse-to-Fine Compositional Diffusion für Langzeitplanung

Problemstellung

Diffusionsmodelle zeichnen sich bei der Generierung strukturierter Daten aus, sind jedoch typischerweise auf kurzfristige Skalen (short-horizon) trainiert. Viele reale Aufgaben, wie etwa die robotische Navigation über lange Distanzen, die Synthese von Panorama-Bildern oder die Generierung langer Videos, erfordern Ausgaben, die das Trainingsmaß dieser Modelle überschreiten. Das direkte Training von Modellen für solche langfristigen Ausgaben ist oft unpraktikabel, da es an Daten mangelt und die Modellierungskosten mit der Sequenzlänge oder dem räumlichen Umfang exponentiell ansteigen.

Die kompositorische Generierung bietet eine Lösung, indem sie überlappende lokale Pläne aus einem vortrainierten Kurzzeit-Prior zu einer einzigen Langzeit-Ausgabe zusammensetzt. Standardmäßige kompositorische Ansätze erzwingen jedoch primär die lokale Konsistenz (Übereinstimmung zwischen benachbarten lokalen Plänen an deren Überlappungen), ohne explizit eine globale Struktur festzulegen. Infolgedessen können lokal kompatible Pläne scheitern, eine plausible globale Route, eine Aufgabensequenz oder eine zeitliche Entwicklung zu bilden. Bestehende Methoden versuchen, die globale Kohärenz durch wiederholte Propagation lokaler Konsistenzsignale oder durch Optimierung zur Inferenzzeit (z. B. iterative Suche oder populationsbasierte Pruning-Verfahren) zu verbessern. Obwohl diese Verfahren effektiv sind, werden sie rechenintensiv, wenn die Anzahl der lokalen Pläne oder deren Dimensionalität zunimmt.

Methodik: Coarse-to-Fine Compositional Diffusion (CoFi)

Die Autoren schlagen CoFi vor, einen Inferenz-Sampler, der die Bildung der globalen Struktur von der Verfeinerung lokaler Details entkoppelt. Im Gegensatz zu Methoden, die auf wiederholter Nachrichtenübertragung oder aufwendiger Optimierung innerhalb einer inneren Schleife beruhen, arbeitet CoFi in zwei distinkten Phasen:

1. Konstruktion eines groben globalen Gerüsts (Coarse Global Scaffold Construction)

Die erste Phase zielt darauf ab, lokale Denoising-Schätzungen um eine gemeinsame grobe Struktur auszurichten, um globale Kohärenz zu etablieren.

Scaffold-Ausrichtung: Für jeden Denoising-Schritt $t$ berechnet die Methode eine „Tweedie-Schätzung“ $\hat{X}^i_{0|t}$ für jeden lokalen Plan. Um eine globale Ausrichtung zu erzwingen, wird ein vereinfachtes Optimierungsziel gelöst, das die lokale Treue mit einer gemeinsamen globalen Komponente abwägt. Dies liefert eine geschlossene Lösung, bei der jede lokale Schätzung in Richtung eines gemeinsamen Scaffold-Mittelwerts $\bar{X}_{0|t}$ kontrahiert wird:
$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$
Hierbei ist $\lambda_t$ ein zeitplanabhängiger Koeffizient, der den Trade-off steuert. Zu Beginn des Diffusionsprozesses ist $\lambda_t$ klein, was die lokalen Pläne dazu zwingt, stark mit dem globalen Scaffold zu korrespondieren. Wenn $t$ abnimmt, steigt $\lambda_t$ an, wodurch lokale Details hervortreten können.
Geführte Aktualisierung: Der Reverse-Diffusion-Schritt wird unter Verwendung dieser ausgerichteten Schätzung aktualisiert, wobei der Fokus auf einer global kohärenten, aber lokal groben Struktur liegt:
$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$
Der erste Term erzwingt die globale Ausrichtung, während der zweite Term (lokale Führung) die Konsistenz an den Grenzen zwischen benachbarten Segmenten sicherstellt.

2. Strukturerhaltende Verfeinerung (Structure-Preserving Refinement)

Die zweite Phase stellt die feinen lokalen Details wieder her, die während der groben Phase unterdrückt wurden, während die etablierte globale Struktur beibehalten wird.

Re-Noising: Der grobe globale Plan $Y^c_0$ wird unter Verwendung einer gemeinsamen Rauschrealisierung bis zu einem intermediären Rauschpegel $t^*$ nach vorne diffundiert. Dies ist entscheidend; das Anwenden unabhängigen Rauschens auf lokale Pläne würde die im ersten Schritt erreichte Ausrichtung zerstören.
$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$
Verfeinerung: Beginnend bei $t^*$ führt der Sampler einen zweiten Reverse-Diffusion-Durchgang unter Verwendung desselben vortrainierten lokalen Priors und der lokalen Führung durch. Diese Phase stellt hochfrequente lokale Details und Texturen wieder her, während das globale Scaffold die Gesamtstruktur verankert.

Zentrale Beiträge

Entkoppeltes Design: CoFi trennt die Bildung der globalen Struktur von der Verfeinerung lokaler Details und vermeidet so die Notwendigkeit von aufwendiger iterativer Nachrichtenübertragung oder suchbasierter Optimierung, wie sie in früheren kompositorischen Methoden verwendet wurde.
Shared-Scaffold-Mechanismus: Durch die Einführung einer Phase zur groben Ausrichtung, die lokale Schätzungen auf ein gemeinsames Scaffold projiziert, stellt die Methode eine langfristige Kohärenz sicher, ohne komplexe Belohnungsfunktionen zu benötigen, die für hochdimensionale Räume schwer zu entwerfen sind.
Strukturerhaltende Verfeinerung: Die Verwendung einer gemeinsamen Rauschrealisierung während des Re-Noising-Schritts stellt sicher, dass die verfeinerten lokalen Pläne kompatible Ansichten desselben globalen Objekts bleiben, wodurch der „Drift“ verhindert wird, der häufig bei der Langzeit-Generierung auftritt.
Effizienz: Die Methode erfordert signifikant weniger Funktionsaufrufe des Denoisers (NFE) im Vergleich zu Baselines, die auf iterativen Suchen oder Populationssuchen basieren.

Experimentelle Ergebnisse

Die Autoren evaluierten CoFi in drei Domänen: robotische Langzeitplanung, Panorama-Bildgenerierung und Langzeit-Videogenerierung.

Robotische Planung (OGBench): Bei den anspruchsvollen Aufgaben „Giant“ und „Scene-Play“ erreichte CoFi Erfolgsraten von 96 % (PointMaze-Giant) und 63 % (Scene-Play) und übertraf damit den bisherigen Stand der Technik CDGS (8-2 % bzw. 51 %). Es wurde festgestellt, dass die Scaffold-Phase entscheidend war, um langfristige Inkonsistenzen in labyrinthartigen Trajektorien zu lösen.
Panorama-Bildgenerierung: CoFi erzielte die besten Werte über alle Metriken hinweg (Intra-LPIPS, Intra-Style Loss und CLIP Score) im Vergleich zu Baselines wie Multi-Diffusion, SyncDiffusion und CDGS. Es erzeugte Panoramen mit stabileren globalen Stilen und weniger abrupten Übergängen über Patch-Grenzen hinweg.
Langzeit-Videogenerierung: Bei der Generierung von 273-Frame-Videos aus 50-Frame-Priors verbesserte CoFi die Subjektkonsistenz (94,11 vs. 91,67 für CDGS) sowie die ästhetische Qualität und näherte sich der Qualität der nativen Kurzzeit-Generierung an. Es verhinderte effektiv den Subjekt-Drift über lange zeitliche Horizonte.
Recheneffizienz: CoFi demonstrierte eine 2- bis 8-fache Reduktion der Anzahl der Funktionsaufrufe (NFE) im Vergleich zu CDGS, während die Stichprobenqualität beibehalten oder verbessert wurde. Dies wird auf den Ersatz der iterativen Suche durch einen einzigen Coarse-to-Fine-Durchgang zurückgeführt.

Bedeutung und Behauptungen

Das Paper behauptet, dass CoFi einen einfachen und effektiven Inferenz-Sampler bereitstellt, der sowohl lokale Konsistenz als auch globale Kohärenz ohne den Rechenaufwand bestehender Methoden erfüllt. Durch die Trennung der Konstruktion des globalen Scaffolds von der lokalen Verfeinerung adressiert CoFi das Problem, dass lokale Konsistenz allein nicht garantiert, dass eine plausible globale Struktur entsteht. Die Autoren positionieren dies als praktische Alternative, um Kurzzeit-Priors auf Langzeit-Aufgaben in Robotik, Vision und Videogenerierung zu skalieren und bieten einen vorteilhaften Kompromiss zwischen Leistung und Rechenkosten.

Die Autoren merken bescheiden die Einschränkungen an: Die Qualität der Ausgabe ist durch die Ausdrucksstärke des vortrainierten lokalen Priors begrenzt, und die Hyperparameter (Scaffold-Zeitplan $\lambda_t$ und Verfeinerungstiefe $t^*$ ) erfordern eine domänenspezifische Auswahl. Zudem wendet der aktuelle Konsensmechanismus eine gleichmäßige Gewichtung auf alle lokalen Pläne an, was suboptimal sein kann, falls Segmente variierende strukturelle Bedeutungen besitzen.