Technische Samenvatting: Anker-geconditioneerde Compositionele Controle voor Landschapsimmageneratie

Probleemstelling

Hoewel generatieve beeldmodellen krachtige creatieve instrumenten zijn, missen ze momenteel precieze controleerbaarheid over compositie, een fundamenteel aspect van het creatieve proces voor fotografen en beeldend kunstenaars. In tegenstelling tot inhoudelijke specificatie, betreft compositionele intentie beslissingen over de plaatsing van de horizon, de kaderverdeling en de focus van de kijker. Standaard diffusiemodellen (bijv. Ho et al. 2020; Rombach et al. 2022) vertrouwen op statistische patronen die tijdens de pretraining zijn geabsorbeerd, en bieden geen expliciet mechanisme waarmee gebruikers ruimtelijke uitkomsten of een compositionele lay-out kunnen dicteren. Bestaande methoden voor ruimtelijke controle, zoals ControlNet (Zhang et al. 2023) of GLIGEN (Li et al. 2023), vereisen vaak structurele inputs zoals dieptekaarten, randkaarten of bounding boxes, die niet altijd beschikbaar of wenselijk zijn voor hoogwaardige compositionele aansturing.

Methodologie

1. Extractie van Compositionele Ankervectoren

De kerninnovatie is de automatische extractie van een vierdimensionale ankervector uit trainingsafbeeldingen zonder handmatige annotatie. Deze vector codeert:

• Horizonpositie ($y$): Geschat via de Hough-lijntransformatie op een Canny-randkaart van de bovenste 60% van de afbeelding, genormaliseerd naar $[0, 1]$.
• Horizonvertrouwen: De fractionele dekking van de langste gedetecteerde horizontale lijn ten opzichte van de breedte van de afbeelding.
• Gemiddelde Saliëntie: Berekend via spectrale residu-analyse over de meest prominente regio's.
• Voorgrondratio: Een grove schatting van de visueel prominente voorgrondinhoud.

Indien geen horizon wordt gedetecteerd, worden standaardwaarden toegepast ($y=0.5$, confidence $=0.0$) om de informatieve waarde van de resterende componenten te behouden.

2. Injectie-architectuur: Ontkoppelde Cross-Attention

De ankervector wordt in een gefinetuned latent diffusiemodel geïnjecteerd via een specifiek parallel aandachtspad, dat afwijkt van de tekstuele conditioneringstroom.

• Fourier-codering: De 4D-vector wordt door een Fourier-embeddinglaag gestuurd met behulp van 16 log-gespatieerde frequenties ($2^0$ tot $2^{15}$) om een 132-dimensionale representatie te creëren, wat het leren van fijnmazige ruimtelijke relaties vanuit scalaire inputs mogelijk maakt (gemotiveerd door de resultaten van de GLIGEN-ablatie).
• Ankerprojectie: Een lichtgewicht netwerk (Linear $\to$ GELU $\to$ LayerNorm $\to$ Linear $\to$ LayerNorm) projecteert de 132D-vector naar een enkele anker-token met de vorm $[B, 1, 768]$.
• Ontkoppelde Aandacht: In elke van de 16 cross-attention lagen in de UNet worden aparte Key en Value projectiematrices (low-rank decompositie, rang 8) geïntroduceerd voor het anker. De output combineert tekst- en anker-aandacht:
  $$out = Attn(Q, K_{text}, V_{text}) + \lambda \cdot Attn(Q, K_{anchor}, V_{anchor})$$
  Dit ontwerp voorkomt dat de anker-token (die $\approx 1,3\%$ van het aandachtsbudget vertegenwoordigt) wordt overstemd door de 77 tekst-tokens, een faalmodus die optreedt wanneer ankers simpelweg aan de tekstsequentie worden geconcateneerd.

3. Trainingsstrategie

• Dataset: De Cropped-1901 Landscape Dataset (4.713 afbeeldingen) gestandaardiseerd naar 1949$\times$1024 en geresize naar 768$\times$400 voor training.
• Drievoudige Classifier-Free Guidance (CFG) Dropout: Tijdens de training wordt een specifiek dropout-schema toegepast: 5% drop zowel tekst als anker, 5% drop alleen tekst, 5% drop alleen anker, en 85% behoudt beide. Dit maakt conditionele generatie mogelijk waarbij het anker tijdens de inferentie kan worden gespecificeerd zonder handmatige ruimtelijke maskers.
• Fine-tuning: Het model gebruikt LoRA-adapters (rang 16) op de aandachtsprojecties en wordt getraind voor 10.000 stappen.

Belangrijkste Resultaten

Kwantitatieve Prestaties

Evaluatie werd uitgevoerd over vier modelconfiguraties: Baseline (geen fine-tuning), Lo-only (geen anker), Concatenatie (anker toegevoegd aan tekst), en de Voorgestelde methode (ontkoppelde cross-attention).

• Horizon Detectiegraad: Het voorgestelde model behaalde de hoogste graad (0,850), vergeleken met 0,766 voor de baseline en Lo-only, en 0,766 voor de concatenatie-variant.
• Uitlijning met de Regel van Derden: Het voorgestelde model behaalde 0,817, wat aanzienlijk beter is dan de baseline (0,500) en Lo-only (0,636).
• Horizon Afwijking: Het voorgestelde model verminderde de compositionele fout naar 0,062, een reductie van 15% ten opzichte van de baseline (0,073).
• Ablatie op Concatenatie: De concatenatie-variant presteerde identiek aan de ongewijzigde baseline over alle metrieken, wat bevestigt dat een enkele toegevoegde token onvoldoende is om de ruimtelijke lay-out te beïnvloeden tegenover 77 tekst-tokens.

Categorie-specifieke Ablatie

De auteurs onderzochten of trainen op compositioneel homogene subsets de precisie verbetert. Drie categorie-specifieke modellen (Mountain, Forest, Desert) werden getraind op subsets van de data.

• Precisiewinst: Alle categorie-specifieke modellen bereikten 100% horizon detectie en een aanzienlijk lagere afwijking dan het model met gemengde training.
• Forest Model: Bereikte de laagste afwijking (0,029), wat een 40% verbetering betekent ten opzichte van het model met gemengde training en een 60% verbetering ten opzichte van de baseline.
• Conclusie: Trainen op specifieke scène-subsets verhoogt de precisie van de conditionering betrouwbaar, wat suggereert dat compositionele controle categorie-afhankelijk is.

Betekenis en Claims

Het artikel presenteert vroege resultaten die vaststellen dat:

1. Ontkoppelde Aandacht is Noodzakelijk: Effectieve compositionele controle via scalaire beschrijvingen vereist een toegewezen aandachtspad met onafhankelijke Key/Value projecties; eenvoudige token-concatenatie faalt.
2. Categorie-afhankelijkheid: De precisie van compositionele controle is niet uniform over alle scènes; trainen op homogene subsets levert superieure resultaten op vergeleken met training met gemengde data, zelfs met minder totale stappen.
3. Haalbaarheid van Scalaire Conditionering: Het is mogelijk om de compositionele intentie (horizonpositie, saliëntie, voorgrondratio) te specificeren en te meten tijdens de inferentie zonder structurele maskers, met behulp van een compacte 4D-vector.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de ankervector is afgestemd op landschapsfotografie (geregeerd door horizon/lucht-relaties) en mogelijk opnieuw gedefinieerd moet worden voor portretten of architectuur. Ze merken ook op dat de huidige evaluatie steunt op automatische metrieken (horizon detectie, regel van derden) in plaats van menselijke subjectieve beoordeling, wat een onderwerp is voor toekomstige gebruikersstudies. Het werk claimt niet het oplossen van alle compositionele problemen, maar demonstreert een levensvatbaar kader voor landschap-specifieke compositionele controle.