Technische Samenvatting: Stable-Layers

Probleemstelling

Afbeeldingslaagdecompositie—de taak om een enkele RGB-afbeelding te scheiden in een kleine set bewerkbare RGBA-lagen waarvan de compositie het origineel reconstrueert—is een fundamentele primitief voor professionele bewerking. Hoewel de taak conceptueel eenvoudig is, is deze inherent moeilijk te superviseren. Een enkele afbeelding staat vele plausibele decomposities toe, en de kwaliteit wordt bepaald door downstream bruikbaarheid (semantische scheiding, schone alfa-matten, minimale redundantie en trouwe behandeling van verduisterde inhoud) in plaats van gelijkenis met een enkel ground-truth-doel.

Bestaande methoden vertrouwen doorgaans op synthetische gelaagde datasets of gepaarde supervisie (bijvoorbeeld Photoshop PSD-bestanden). Dergelijke benaderingen leggen echter een beperking op: wanneer meerdere decomposities even geldig zijn, straft regressie naar een enkel doel alternatieve, even plausibele oplossingen af. Bovendien ontbreken er bij natuurlijke afbeeldingen gepaarde ground-truth-laagannotaties, wat een supervisiegat creëert voor het trainen van robuuste decompositiemodellen op real-world data.

Methodologie

De auteurs stellen Stable-Layers voor, een versterkingsleer (RL)-framework dat een voorgetraind laagdecompositiemodel fine-tunt met uitsluitend ongelabelde afbeeldingen en feedback van een Vision-Language Model (VLM), waardoor de noodzaak voor gepaarde supervisie of synthetische doelen wordt geëlimineerd.

Kernframework

De methode bouwt voort op Flow-GRPO (Group Relative Policy Optimization voor Flow Matching) en het basismodel Qwen-Image-Layered. De trainingslus werkt in drie fasen:

1. Generatie: Voor een gegeven invoerafbeelding steekt het beleid $G$ kandidaat-decomposities via SDE-verrijkte flow matching.
2. Scoren: Een VLM-rechter evalueert de kandidaten met behulp van een gespecialiseerd twee-fasen beloningsprotocol.
3. Optimalisatie: Het beleid wordt bijgewerkt met GRPO, geoptimaliseerd op groepsrelatieve voordelen afgeleid van de VLM-scores.

Belangrijkste Technische Innovaties

1. Twee-fasen VLM-beloningsprotocol
De primaire uitdaging bij het toepassen van feedback via VLM als rechter is dat VLM's de neiging hebben hun oordelen te comprimeren tot een smalle scoreband bij het evalueren van samples in isolatie, wat resulteert in een lage variantie binnen de groep die het GRPO-leersein verzwakt. Om dit aan te pakken, hanteert Stable-Layers een twee-traps evaluatiepijplijn:

• Fase 1 (Gestructureerde individuele scoring): Elke kandidaat wordt onafhankelijk gescoord op een schaal van 0–5 over vijf op bewerking gerichte criteria: semantische scheiding, alfa-reinheid, achtergrondinpainting, verdeling van kenmerken en inhoudsgeldigheid. Verankerde rubrieken zorgen voor consistente evaluatie van categorische fouten.
• Fase 2 (Relatieve roosterkalibratie): Om de variantie te herstellen, worden alle $G$ kandidaten getegeld in een gelabeld vergelijkingsrooster. De VLM scoort de kandidaten opnieuw relatief ten opzichte van elkaar binnen dit rooster. Deze stap spreidt de gecomprimeerde scores en biedt de fijnkorrelige relatieve discriminatie die nodig is voor effectieve voordeelnormalisatie in GRPO.

2. Aanpassing voor ingepakte latenten (RatioNorm-herformulering)
Standaard GRPO-Guard stabiliseert training door de belangrijkheidsratio van log-kansen te normaliseren. Het Qwen-Image-Layered-model pakt echter $N$ RGBA-lagen in één enkele hoogdimensionale latente sequentie, waardoor de effectieve dimensionaliteit $D$ met ongeveer 5× wordt opgeblazen. Dit veroorzaakt dat de standaard ruimtelijke gemiddelde log-ratio naar nul instort, waardoor het leersein wordt onderdrukt.
De auteurs introduceren een som-en-schaal-modificatie: in plaats van een ruimtelijk gemiddelde te nemen, sommeren ze log-kansen over ruimtelijke dimensies en normaliseren ze door $\sqrt{D}$ voordat ze per-stap centrering toepassen. Dit herstelt $O(1)$ ratio-magnitudes terwijl de variantiestabiliserende eigenschappen van GRPO-Guard behouden blijven.

3. Datastrategie
Het model wordt volledig getraind op Fine-T2I, een esthetisch gefilterde subset van ongelabelde afbeeldingen. Er worden geen laagannotaties, gepaarde voorbeelden of synthetische decompositiedoelen gebruikt. Het aantal uitvoerlagen wordt tijdens de training uniform gesampled (doorgaans 2–5) om het model bloot te stellen aan variabele decompositiecomplexiteit.

Belangrijkste Bijdragen

1. Een Twee-fasen VLM-beloningsprotocol: Een methode om scorecompressie in versterkingsleer binnen de groep te verlichten door gestructureerde absolute scoring te combineren met relatieve roosterkalibratie, waardoor een rijker credit-toewijzing over lagenstacks mogelijk wordt.
2. RatioNorm-herformulering: Een aanpassing op maat gemaakt voor ingepakte latente representaties in flow-matching RL, die stabiele optimalisatie garandeert voor modellen die meerdere lagen simultaan genereren.
3. Verbeterde Decompositiekwaliteit: Een demonstratie dat RL-finetuning met VLM-rechters de laagafscheiding aanzienlijk kan verbeteren, artefacten kan verminderen en achtergrondinpainting kan versterken, verder dan wat haalbaar is met alleen supervisie-training.

Resultaten

Evaluatie op de Crello-dataset en vastgehouden LAION-Aesthetics-afbeeldingen toont aanzienlijke verbeteringen ten opzichte van het basismodel Qwen-Image-Layered:

• Kwantitatieve Metrieken: Stable-Layers bereikt een lagere per-laag RGB L1-reconstructiefout over alle geteste laag aantallen (2, 3 en 4). Het vermindert significant het voorkomen van "slechte" lagen (leeg of zwaar met artefacten) van ongeveer 1,65 naar ongeveer 0,4 per decompositie.
• Kwalitatieve Verbeteringen:
  • Achtergrondinpainting: Het basismodel produceert vaak degeneratieve achtergronden (bijvoorbeeld egaal zwart of vlakke vullingen). Stable-Layers genereert plausibele scène-volledingen waarvoor voorgrondobjecten zijn verwijderd.
  • Semantische Scheiding: Het basismodel neigt ernaar de samengestelde afbeelding te dupliceren over voorgrondlagen. Het gefinetunte model isoleert distincte semantische elementen (bijvoorbeeld het scheiden van een persoon van een brugleuning) op aparte lagen met schonere alfa-masks.
  • Verdeling van Kenmerken: Inhoud is meer gelijkmatig verdeeld over de lagen in plaats van geconcentreerd in een enkele laag.
• Ablatiestudies:
  • Roosterkalibratie: Het verwijderen van Fase 2 (roosterkalibratie) resulteert in een lagere kwaliteit van Laag 0 (plausibiliteit van inpainting) en scherpte van randen, wat bevestigt dat relatieve kalibratie essentieel is voor fijnkorrelige verbeteringen.
  • Tekstconditie: Het gebruik van een gedetailleerde prompt die de beloningsrubriek nabootst, degradeerde de prestaties in vergelijking met een basisprompt, wat suggereert dat expliciete promptconditie in conflict kan komen met de evaluatieassen van de VLM-rechter.

Betekenis en Claims

Het paper positioneert Stable-Layers als een algemeen recept voor het trainen van bewerkingsgerichte generators met behulp van rechterfeedback in plaats van ground-truth-doelen. De auteurs claimen dat hun aanpak succesvol black-box VLM-oordelen omzet in leerseinen die fijnkorrelige verbeteringen in laagafscheiding en inhoudsgeldigheid drijven zonder dat taakspecifieke beloningstraining of menselijke annotatie vereist is.

Het werk benadrukt dat hoewel VLM's krachtige rechters zijn, hun ruwe scoring specifieke kalibratie vereist (via roostervergelijking) om effectief te zijn in RL-omgevingen waar variantie binnen de groep kritiek is. De voorgestelde methode biedt een pad om generatieve modellen voor beweringstaken (zoals stijltransfer, inpainting of scèneherordening) te verbeteren waar gepaarde ground-truth-data niet beschikbaar is of waar meerdere geldige outputs bestaan.

Beperkingen: De auteurs merken op dat de methode afhankelijk is van een propriëtaire VLM (Gemini-3-flash-preview), wat API-kosten introduceert en potentiële drift in scoreverdeling over modelversies. Evaluatie vertrouwt op geautomatiseerde metrieken en kwalitatieve inspectie in plaats van menselijke studies. Bovendien was training beperkt tot vijf lagen per steekproef vanwege rekenkrachtdwang, waardoor het gedrag bij decomposities met een hoog laagenaantal (ondersteund door het basismodel tot 20) niet is geëvalueerd.