Sintesi Tecnica: Controllo Composizionale Ancorato per la Generazione di Immagini di Paesaggi

Definizione del Problema

Sebbene i modelli generativi di immagini fungano da potenti strumenti creativi, essi attualmente mancano di un controllo preciso sulla composizione, un aspetto fondamentale del processo creativo per fotografi e artisti visivi. A differenza della specifica del contenuto, l'intento compositivo implica decisioni riguardanti il posizionamento dell'orizzonte, la divisione dell'inquadratura e il focus dello spettatore. I modelli di diffusione standard (ad es. Ho et al. 2020; Rombach et al. 2022) si affidano a pattern statistici assorbiti durante il pre-training, offrendo nessun meccanismo esplicito affinché gli utenti possano dettare risultati spaziali o layout compositivi. I metodi di controllo spaziale esistenti, come ControlNet (Zhang et al. 2023) o GLIGEN (Li et al. 2023), richiedono spesso input strutturali come mappe di profondità, mappe dei bordi o bounding box, che non sono sempre disponibili o desiderabili per una direzione compositiva di alto livello.

Metodologia

1. Estrazione del Vettore Ancora Composizionale

L'innovazione principale è l'estrazione automatica di un vettore ancora quadridimensionale dalle immagini di addestramento senza annotazione manuale. Questo vettore codifica:

• Posizione dell'Orizzonte ($y$): Stimata tramite la trasformata di Hough su una mappa dei bordi Canny della parte superiore del 60% dell'immagine, normalizzata a $[0, 1]$.
• Confidenza dell'Orizzonte: La copertura frazionaria della linea orizzontale più lunga rilevata rispetto alla larghezza dell'immagine.
• Salienza Media: Calcolata tramite analisi del residuo spettrale attraverso le regioni salienti superiori.
• Rapporto del Primo Piano: Una stima grossolana del contenuto prominente in primo piano.

Se non viene rilevato alcun orizzonte, vengono applicati dei valori predefiniti ($y=0.5$, confidenza $=0.0$) per preservare l'informatività delle restanti componenti.

2. Architettura di Iniezione: Cross-Attention Disaccoppiata

Il vettore ancora viene iniettato in un modello di diffusione latente sottoposto a fine-tuning tramite un percorso di attenzione parallelo dedicato, distinto dallo stream di condizionamento testuale.

• Codifica Fourier: Il vettore 4D viene passato attraverso uno strato di embedding Fourier utilizzando 16 frequenze con spaziatura logaritmica ($2^0$ a $2^{15}$) per creare una rappresentazione a 132 dimensioni, consentendo l'apprendimento di relazioni spaziali fini da input scalari (ispirato ai risultati di ablazione di GLIGEN).
• Proiezione Ancora: Una rete leggera (Linear $\to$ GELU $\to$ LayerNorm $\to$ Linear $\to$ LayerNorm) proietta il vettore 132D in un singolo token ancora di forma $[B, 1, 768]$.
• Attenzione Disaccoppiata: In ciascuno dei 16 strati di cross-attention dell'UNet, vengono introdotte matrici di proiezione Key e Value separate (decomposizione low-rank, rank 8) per l'ancora. L'output combina l'attenzione del testo e dell'ancora:
  $$out = Attn(Q, K_{text}, V_{text}) + \lambda \cdot Attn(Q, K_{anchor}, V_{anchor})$$
  Questo design impedisce al token ancora (che rappresenta circa l'1,3% del budget di attenzione) di essere sommerso dai 77 token testuali, un fallimento osservato quando le ancore vengono semplicemente concatenate alla sequenza di testo.

3. Strategia di Addestramento

• Dataset: Il Cropped-1901 Landscape Dataset (4.713 immagini) standardizzato a 1949$\times$1024 e ridimensionato a 768$\times$400 per l'addestramento.
• Three-Way Classifier-Free Guidance (CFG) Dropout: Durante l'addestramento, viene applicato uno schema di dropout specifico: 5% di drop sia testo che ancora, 5% di drop solo testo, 5% di drop solo ancora, e 85% di mantenimento di entrambi. Ciò consente la generazione condizionata dove l'ancora può essere specificata durante l'inferenza senza maschere spaziali manuali.
• Fine-tuning: Il modello utilizza adattatori LoRA (rank 16) sulle proiezioni di attenzione ed è addestrato per 10.000 step.

Risultati Chiave

Prestazioni Quantitative

La valutazione è stata condotta su quattro configurazioni di modello: Baseline (senza fine-tuning), LoRA-only (senza ancora), Concatenation (ancora apposta al testo) e il Proposto (cross-attention disaccoppiata).

• Tasso di Rilevamento dell'Orizzonte: Il modello proposto ha raggiunto il tasso più alto (0,850), rispetto allo 0,766 della baseline e LoRA-only, e allo 0,766 della variante di concatenazione.
• Allineamento alla Regola dei Terzi: Il modello proposto ha raggiunto lo 0,817, superando significativamente la baseline (0,500) e il modello LoRA-only (0,636).
• Deviazione dell'Orizzonte: Il modello proposto ha ridotto l'errore compositivo a 0,062, una riduzione del 15% rispetto alla baseline (0,073).
• Ablazione sulla Concatenazione: La variante di concatenazione ha performato in modo identico alla baseline non modificata in tutti i parametri, confermando che un singolo token apposto è insufficiente per influenzare il layout spaziale contro 77 token testuali.

Ablazione per Categoria Specifica

Gli autori hanno indagato se l'addestramento su sottoinsiemi compositivamente omogenei migliori la precisione. Tre modelli specifici per categoria (Montagna, Foresta, Deserto) sono stati addestrati su sottoinsiemi dei dati.

• Guadagni di Precisione: Tutti i modelli specifici per categoria hanno raggiunto il 100% di rilevamento dell'orizzonte e una deviazione significativamente inferiore rispetto al modello con addestramento misto.
• Modello Foresta: Ha raggiunto la deviazione più bassa (0,029), rappresentando un miglioramento del 40% rispetto al modello di addestramento misto e del 60% rispetto alla baseline.
• Conclusione: L'addestramento su subset di scene specifici aumenta in modo affidabile la precisione del condizionamento, suggerendo che il controllo compositivo è dipendente dalla categoria.

Significato e Rivendicazioni

Il documento presenta i primi risultati che stabiliscono che:

1. La Cross-Attention Disaccoppiata è Necessaria: Un efficace controllo compositivo tramite descrittori scalari richiede un percorso di attenzione dedicato con proiezioni Key/Value indipendenti; la semplice concatenazione dei token fallisce.
2. Dipendenza dalla Categoria: La precisione del controllo compositivo non è uniforme in tutte le scene; l'addestramento su subset omogenei produce risultati superiori rispetto all'addestramento misto, anche con meno step totali.
3. Fattibilità del Condizionamento Scalare: È possibile specificare e misurare l'intento compositivo (posizione dell'orizzonte, salienza, rapporto del primo piano) durante l'inferenza senza maschere strutturali, utilizzando un compatto vettore 4D.

Gli autori riconoscono i limiti, notando che il vettore ancora è su misura per l'immaginario paesaggistico (governato da relazioni orizzonte/cielo) e potrebbe richiedere una ridefinizione per ritratti o architettura. Notano inoltre che la valutazione attuale si basa su metriche automatiche (rilevamento dell'orizzonte, regola dei terzi) piuttosto che sul giudizio soggettivo umano, che è pianificato per studi utente futuri. Il lavoro non pretende di risolvere tutti i problemi compositivi ma dimostra un framework vitale per il controllo compositivo specifico per i paesaggi.