Referring Layer Decomposition

Die Arbeit stellt die neue Aufgabe der „Referring Layer Decomposition" (RLD) vor, die durch den großen Datensatz RefLade und das Basismodell RefLayer ermöglicht, aus einzelnen RGB-Bildern unter Verwendung flexibler Benutzeranweisungen präzise, objektbewusste RGBA-Ebenen zu generieren.

Das Wesentliche

🎨 Das magische Bild-Entschichtung: Wie man aus einem Foto einzelne Teile „herauszaubert"

Stell dir vor, du hast ein fertiges Gemälde oder ein Foto. Normalerweise ist das Bild wie ein einziger, flacher Kuchen: Du kannst nicht einfach die Schicht mit dem Hund herausnehmen, ohne den Hintergrund zu beschädigen. Wenn du den Hund verschieben willst, musst du das ganze Bild neu malen.

Die Forscher von ByteDance haben jetzt eine neue Methode entwickelt, die dieses Problem löst. Sie nennen es Referring Layer Decomposition (RLD).

1. Das Problem: Der flache Kuchen vs. der Schichtkuchen

Bisherige KI-Modelle sehen ein Bild als einen einzigen Haufen Pixel. Wenn du sagst: „Mach den Hund größer", versucht die KI, den Hund neu zu malen, aber sie weiß nicht genau, wo der Hund aufhört und der Baum dahinter anfängt. Es ist, als würdest du versuchen, eine Schicht Sahne von einem festgebackenen Kuchen zu heben, ohne den Rest zu zerstören.

Die neue Idee ist, das Bild in transparente Folien (Layer) zu zerlegen – genau wie in Photoshop.

• Eine Folie hat nur den Hund (inklusive des Teils, der hinter dem Baum versteckt ist).
• Eine andere Folie hat nur den Baum.
• Eine dritte hat den Himmel.

Wenn du den Hund jetzt verschieben willst, nimmst du einfach die Hund-Folie und legst sie woanders hin. Der Hintergrund bleibt unberührt.

2. Die Lösung: Ein neuer Zaubertrick (RLD)

Die Forscher haben eine Aufgabe definiert, bei der die KI ein normales Foto nimmt und eine bestimmte Folie daraus extrahiert, basierend auf deinem Wunsch.

• Der Trick: Du kannst der KI sagen: „Hole mir den braunen Hund" (Text) oder einfach einen Punkt auf den Hund setzen (Raum-Input).
• Das Ergebnis: Die KI gibt dir nicht nur den sichtbaren Hund, sondern den kompletten Hund – auch den Teil, der im Originalbild hinter dem Zaun versteckt war. Sie „erfindet" den fehlenden Teil logisch und fügt ihn nahtlos ein.

3. Der riesige Trainings-Atlas (RefLade)

Damit die KI das lernen kann, braucht sie Millionen von Beispielen. Aber niemand hat 1 Million Fotos, bei denen man schon weiß, wie die versteckten Teile aussehen.

Also bauten die Forscher eine automatische Fabrik (Data Engine):

• Sie nehmen normale Fotos.
• Eine KI schaut sich das Bild an und sagt: „Da ist ein Hund, der hinter einem Auto steht."
• Eine andere KI „malt" den versteckten Teil des Hundes nach (Inpainting).
• Sie schneiden das Ergebnis in eine transparente Folie.
• Sie fügen eine Beschreibung hinzu: „Der braune Hund".

Das Ergebnis ist RefLade: Ein riesiges Datenset mit 1,11 Millionen solchen Bild-Folie-Paaren. Es ist wie ein riesiges Lehrbuch, in dem die KI gelernt hat, wie man unsichtbare Teile von Objekten rekonstruiert.

4. Der Schüler (RefLayer)

Auf Basis dieses riesigen Lehrbuchs haben sie ein neues Modell namens RefLayer gebaut.

• Wie es funktioniert: Es ist wie ein sehr geschickter Assistent. Du gibst ihm ein Foto und sagst: „Zeig mir nur die rote Jacke."
• Die Leistung: Der Assistent schneidet die rote Jacke perfekt aus dem Bild, inklusive des Teils, der unter dem Arm versteckt war, und gibt dir eine transparente Datei, die du überall hinsetzen kannst.

5. Warum ist das so wichtig?

Stell dir vor, du willst ein Foto von einem Urlaub bearbeiten, aber du hast nur ein altes Bild.

• Früher: Du musstest das ganze Bild neu generieren, und der Himmel sah vielleicht anders aus oder das Auto war woanders.
• Jetzt: Mit dieser Technik kannst du den Hund aus dem Bild nehmen, ihn auf einen anderen Strand setzen, und der Hund sieht immer noch genau so aus, als wäre er dort immer gewesen. Du kannst Objekte verschieben, entfernen oder neu kombinieren, ohne den Rest des Bildes zu zerstören.

Zusammenfassung in einem Satz

Die Forscher haben eine neue Art von KI-Brille erfunden, die es uns erlaubt, ein fertiges Foto in seine einzelnen, durchsichtigen Schichten zu zerlegen – inklusive der Teile, die im Originalbild versteckt waren – und diese Schichten dann ganz einfach neu zu arrangieren, als wären sie Legosteine.

Das Ziel: Bilder nicht mehr als starre Flächen zu sehen, sondern als flexible, bearbeitbare Objekte, die man mit einem einfachen Wort oder einem Klick steuern kann.

Technische Zusammenfassung

1. Problemstellung

Moderne generative Modelle sind zwar hervorragend darin, realistische Bilder zu synthetisieren, operieren jedoch meist holistisch auf dem gesamten Bild. Dies erschwert die gezielte Manipulation einzelner Objekte, da keine expliziten Repräsentationen für Objekte, Strukturen oder Szenenkomponenten vorliegen. Bestehende regionenbasierte Bearbeitungstechniken (z. B. Masken oder Boxen) sind begrenzt, da sie nur sichtbare Pixel beeinflussen und keine Awareness für Verdeckungen (Occlusion) oder Objekt-Semantik auf Objektebene besitzen.

Es fehlt an einer Methode, die Bilder in strukturierte, transparente Ebenen (Layers) zerlegt, die sowohl sichtbare als auch verdeckte Bereiche enthalten (RGBA-Format). Solche Ebenen sind essenziell für präzises Editing, kompositorische Generierung und das Verständnis komplexer Szenen, ähnlich wie in Werkzeugen wie Photoshop. Bisherige Ansätze zur Bildzerlegung leiden unter begrenzten Datenskalen, synthetischen Supervisionen oder mangelnder Benutzerkontrollierbarkeit durch flexible Prompts.

2. Methodik

Die Autoren schlagen einen dreiteiligen Ansatz vor, der aus einer neuen Aufgabenformulierung, einem großen Datensatz und einem Baseline-Modell besteht.

A. Referring Layer Decomposition (RLD)

RLD ist eine neue Aufgabe, bei der ein Modell basierend auf einem benutzerdefinierten Prompt eine gezielte, vollständige RGBA-Ebene (Red, Green, Blue, Alpha) aus einem einzelnen RGB-Bild extrahiert.

• Eingaben: Flexible Prompts, die räumliche Eingaben (Punkte, Boxen, Masken), natürliche Sprachbeschreibungen oder Kombinationen daraus umfassen können.
• Ziel: Generierung einer vollständigen Ebene, die das verdeckte Objekt vollständig rekonstruiert, wobei der sichtbare Teil des Originalbildes erhalten bleibt.

B. Der RefLade-Datensatz und die Data Engine

Da große Mengen an hochwertigen, annotierten RGBA-Daten fehlen, entwickelten die Autoren eine skalierbare, automatisierte Data Engine, um den RefLade-Datensatz zu erstellen.

• Umfang: 1,11 Millionen Bild-Layer-Prompt-Triplets (davon 1 Mio. automatisch generiert, 100.000 manuell bereinigte High-Fidelity-Layers).
• Prozess der Data Engine (6 Stufen):
  1. Pre-filtering: Filterung von Bildern basierend auf Qualität und Objektstruktur.
  2. Scene Understanding: Ensemble-Methoden (Detektion, Segmentierung, MLLM-Grounding) zur Identifikation relevanter Objekte.
  3. Layer Completion: Rekonstruktion verdeckter Bereiche mittels Inpainting-Modellen (gesteuert durch Tiefeninformationen).
  4. Post-completion: Verfeinerung der Masken und Vorhersage von Alpha-Mattes.
  5. Prompt Generation: Generierung diverser räumlicher und textlicher Prompts.
  6. Post-filtering: Automatisierte Qualitätskontrolle mittels Vision-Language-Modellen (z. B. Gemini-2.0) und CLIP-Ähnlichkeit.
• Qualitätssicherung: Der Datensatz enthält manuell bereinigte Splits für Training, Feinabstimmung und Testen.

C. Evaluierungsprotokoll

Um die Leistung objektiv zu messen, wurde ein auf menschlichen Präferenzen basierendes Evaluierungsprotokoll entwickelt, das drei Dimensionen abdeckt:

1. Preservation (Erhaltung): Wie gut werden die ursprünglich sichtbaren Bereiche erhalten? (Gemessen mit LPIPS).
2. Completion (Vervollständigung): Wie semantisch konsistent ist der rekonstruierte verdeckte Teil? (Gemessen mit einer maßgeschneiderten CLIP-Direktional-Ähnlichkeit).
3. Faithfulness (Treue): Wie ähnlich ist die Verteilung der generierten Layer den Ground-Truth-Layers? (Gemessen mit FID).
   Diese Metriken werden zu einem einzigen HPA-Score (Human Preference Aligned) aggregiert, der stark mit menschlichen Rankings korreliert.

D. Das RefLayer-Modell

Als Baseline wurde RefLayer entwickelt, ein diffusionsbasiertes Modell auf Basis von Stable Diffusion 3.

• Architektur: Es kodiert das Bild und räumliche Prompts (als farbcodierte Karten in den latenten Raum) und nutzt einen parallelen Alpha-Decoder, um die Transparenzmasse direkt aus dem latenten Raum vorherzusagen.
• Training: Das Modell wird auf dem RefLade-Datensatz trainiert, wobei der VAE eingefroren ist und der Diffusion-Transformer sowie der Alpha-Decoder unabhängig optimiert werden.

3. Schlüsselbeiträge

1. Formalisierung von RLD: Die Einführung der ersten Aufgabe zur schichtweisen Zerlegung, die durch multimodale Referenz-Prompts (räumlich + textuell) gesteuert wird.
2. RefLade-Datensatz & Data Engine: Erstellung des ersten Benchmark-Datensatzes für prompt-gesteuerte Layer-Zerlegung mit 1,11M Triplets und einer skalierbaren, automatisierten Pipeline zur Datengenerierung.
3. Evaluierungsprotokoll: Entwicklung des HPA-Scores, der Preservation, Completion und Faithfulness vereint und stark mit menschlichen Urteilen übereinstimmt.
4. RefLayer Baseline: Ein einfaches, aber effektives Modell, das hohe visuelle Treue und semantische Ausrichtung erreicht und starke Zero-Shot-Verallgemeinerungsfähigkeiten demonstriert.

4. Ergebnisse

• Datensatz-Qualität: Modelle, die auf RefLade trainiert wurden, übertreffen Modelle, die auf früheren Datensätzen (wie MuLAn) trainiert wurden, deutlich, selbst bei gleicher Datenmenge. Dies unterstreicht die Überlegenheit der Datenqualität und -vielfalt von RefLade.
• Skalierungseffekte: Die Leistung bei der Vordergrund-Zerlegung verbessert sich mit zunehmender Datenmenge (bis zu 1M Samples), während die Hintergrund-Zerlegung stärker von Datenqualität als von Quantität profitiert.
• Prompt-Typen: Räumliche Prompts (Masken, Boxen) führen zu besseren Ergebnissen als reine Text-Prompts, da sie die Lokalisierung erleichtern. Die Kombination aus Text und Maske bietet jedoch die beste Balance zwischen semantischem Verständnis und räumlicher Präzision.
• Zero-Shot-Verallgemeinerung: RefLayer erzielt State-of-the-Art-Ergebnisse bei der Amodal-Segmentierung auf dem COCOA-Datensatz, obwohl es nie explizit darauf trainiert wurde.
• Vergleich mit LLMs: Allgemeine generative Multimodal-Modelle (wie Gemini 3/Nano Banana Pro) scheitern an der RLD-Aufgabe, da sie oft die sichtbaren Bereiche nicht erhalten oder keine echten RGBA-Ausgaben generieren können.

5. Bedeutung und Ausblick

Dieses Papier legt den Grundstein für die Forschung zur strukturierten Bildbearbeitung und -generierung. Durch die Einführung von RLD und RefLade wird es möglich, Bilder nicht mehr als flache Pixelarrays, sondern als komponentenbasierte, manipulierbare Szenen zu verstehen.

• Anwendungen: Die Technologie ermöglicht präzises Editing, interaktives Compositing, Objektein-/Ausblenden und die Generierung von Trainingsdaten für andere generative Aufgaben.
• Zukunft: Die Arbeit zeigt, dass spezialisierte Modelle und hochwertige, prompt-gesteuerte Datensätze notwendig sind, um die Lücke zwischen generativer KI und kontrollierbarer Bildbearbeitung zu schließen. Die Data Engine bietet zudem einen Weg, um auch zukünftig hochwertige Daten ohne manuelle Annotation in großem Maßstab zu erzeugen.

Zusammenfassend stellt dieses Werk einen Paradigmenwechsel dar: weg von der reinen Bildsynthese hin zur kontrollierbaren, semantisch fundierten Zerlegung und Rekonstruktion von Bildinhalten.