Abstraction in Style

Titolo: Abstraction in Style (AiS)

Autori: Min Lu, Yuanfeng He, Anthony Chen, Jianhuang He, Pu Wang, Daniel Cohen-Or, Hui Huang.
Affiliazioni: Shenzhen University, Peking University, Tel Aviv University.

---

1. Il Problema

Il trasferimento di stile artistico (style transfer) convenzionale mira a trasferire le caratteristiche visive di un'opera di riferimento (texture, pennellate, palette colori) su un'immagine target preservando la sua geometria originale. Tuttavia, molti stili artistici, in particolare quelli illustrativi e non fotorealistici, non si basano solo sull'aspetto superficiale, ma implicano una rilettura strutturale deliberata (astrazione).

• Limitazione attuale: I metodi esistenti tendono a mantenere intatta la geometria di input, fallendo nel catturare comportamenti di astrazione come la semplificazione delle forme, la distorsione delle proporzioni, la rottura della simmetria o la rimozione di dettagli geometrici non essenziali.
• Obiettivo: Creare un framework che non solo trasferisca lo stile visivo, ma anche la logica di astrazione strutturale intrinseca allo stile di riferimento, permettendo una reinterpretazione della struttura dell'immagine target.

2. Metodologia: Abstraction in Style (AiS)

AiS è un framework generativo che separa esplicitamente due dimensioni: l'astrazione strutturale e la stilizzazione visiva. Il processo è suddiviso in due fasi sequenziali, entrambe implementate tramite un meccanismo condiviso di Trasferimento per Analogia Visiva (VAT - Visual Analogy Transfer).

Fase 1: Astrazione Strutturale (Structural Abstraction)

In questa fase, la struttura dell'immagine target viene reinterpretata secondo la logica di astrazione degli esempi di riferimento.

1. Costruzione dell'Hidden Backbone: L'immagine target viene convertita in una rappresentazione strutturale semplificata chiamata "Hidden Backbone". Questo processo rimuove l'aspetto visivo e degrada la geometria preservando la disposizione semantica e l'organizzazione topologica.
   • Tecnica: Vettorizzazione dell'immagine per rimuovere il rumore fotografico, estrazione dello scheletro (skeletonization) ed erosione delle aree per mantenere un senso di volume e proporzioni.
2. Generazione del Proxy di Astrazione: Viene utilizzato un modello chiamato A-VAT (Abstraction VAT) per trasformare l'Hidden Backbone dell'input in un "Abstraction Proxy".
   • Meccanismo: A-VAT apprende l'analogia visiva da coppie di immagini di riferimento (Backbone di riferimento $\to$ Proxy di riferimento) e applica questa logica al Backbone del target. Il proxy risultante è un'immagine intermedia che riflette la struttura astratta dello stile, senza ancora l'aspetto finale.

Fase 2: Stilizzazione Visiva (Visual Stylization)

In questa fase, il Proxy di Astrazione viene renderizzato per produrre l'output finale.

• S-VAT (Stylization VAT): Utilizza lo stesso meccanismo di analogia visiva per trasformare il Proxy astratto nell'immagine stilizzata finale, allineandosi all'aspetto visivo degli esempi di riferimento.
• Analogia: Proxy di riferimento $\to$ Output di riferimento :: Proxy target $\to$ Output target.

Meccanismo Core: Visual Analogy Transfer (VAT)

Il cuore del sistema è il VAT, che formula la trasformazione come un problema di analogia visiva ($A \to A' :: B \to B'$) nello spazio delle immagini.

• Implementazione: Utilizza un modello di diffusione pre-addestrato (FLUX.1-Fill-dev) con un adattatore LoRA (Low-Rank Adaptation) leggero.
• Input: Un layout a griglia 2x2 dove la prima riga mostra la trasformazione di riferimento ($A \to A'$) e la seconda riga mostra l'input ($B$) e l'output da generare ($B'$, mascherato).
• Vantaggio: Non richiede supervisione geometrica esplicita; impara le trasformazioni direttamente dagli esempi visivi.

3. Contributi Chiave

1. Decomposizione Concettuale: È il primo framework a separare esplicitamente l'astrazione strutturale dalla stilizzazione visiva, trattando l'astrazione come un processo trasferibile e controllabile.
2. Rappresentazione Intermedia (Abstraction Proxy): L'introduzione del "Proxy" permette di manipolare la struttura dell'immagine indipendentemente dall'aspetto finale, consentendo una reinterpretazione geometrica coerente con lo stile.
3. Meccanismo VAT Unificato: Un approccio basato su analogia visiva nello spazio delle immagini che funziona sia per la modifica strutturale che per quella stilistica, apprendendo da un piccolo set di esempi (5-20 campioni).
4. Controllabilità: La separazione dei moduli (A-VAT e S-VAT) permette di mescolare diversi stili di astrazione con diversi stili di rendering, offrendo nuove possibilità di design generativo.

4. Risultati ed Esperimenti

• Qualità Visiva: AiS genera risultati coerenti su stili illustrativi complessi con forte astrazione strutturale, superando i metodi basati su preservazione della geometria.
• Confronto con Baseline: Il paper confronta AiS con metodi SOTA come StyleID, StyleAlign, Attention Distillation, e vari adattamenti LoRA (B-LoRA, ZipLoRA, ecc.).
  • Risultato: AiS mostra una migliore aderenza sia alle caratteristiche visive che alla logica di astrazione strutturale. I metodi concorrenti tendono a preservare troppo la geometria originale.
• Metriche Quantitative:
  • CSD (Contrastive Style Descriptors): AiS ottiene il punteggio più alto (0.72), indicando una maggiore similarità stilistica.
  • LPIPS (Perceptual Similarity): AiS ottiene il punteggio più basso (0.47), indicando una migliore qualità percettiva e coerenza.
• Studio Utenti: In un test cieco, AiS è stato preferito nel 50% dei casi rispetto al metodo concorrente migliore (Nano Banana, 35%).
• Ablation Study:
  • Rimuovere l'aggiunta di "aree erose" nel Backbone degrada la coerenza strutturale.
  • Un approccio "single-stage" (senza fase di astrazione intermedia) fallisce nel reinterpretare la struttura, mantenendo la geometria originale.
  • Rimuovere la fase di astrazione (usando direttamente l'input o solo la semplificazione vettoriale) impedisce al modello di apprendere la logica astratta del riferimento.

5. Significato e Impatto

Il lavoro "Abstraction in Style" rappresenta un passo avanti significativo nel campo della grafica computerizzata e dell'IA generativa.

• Superamento dei Limiti: Affronta la limitazione fondamentale dei metodi di style transfer attuali che non riescono a catturare la "ragione" dietro la semplificazione o la deformazione tipica dell'arte illustrativa.
• Nuovo Paradigma: Propone che l'astrazione non debba essere un sottoprodotto implicito, ma una fase esplicita e modellabile.
• Flessibilità: Il framework permette un controllo granulare sulla struttura e sullo stile, aprendo la strada a strumenti di design creativo più espressivi e capaci di adattarsi a linguaggi visivi complessi e non fotorealistici.

In sintesi, AiS dimostra che per ottenere una vera trasposizione stilistica in contesti artistici astratti, è necessario prima "pensare" come l'artista (rilettura strutturale) e poi "dipingere" come l'artista (rendering visivo), separando questi due processi ma collegandoli attraverso un meccanismo di apprendimento per analogia.