Animalbooth: multimodal feature enhancement for animal subject personalization

1. Enunciazione del Problema

La generazione di immagini personalizzate per animali affronta sfide uniche rispetto alla personalizzazione di soggetti umani, principalmente a causa di:

• Deformazioni Non Rigide: Gli animali esibiscono pose e configurazioni corporee diversificate che variano significativamente tra le specie.
• Variazioni Anatomiche: Differenze sostanziali nelle strutture scheletriche e nelle proporzioni corporee (ad esempio, felini vs bovini).
• Requisiti di Texture Intricati: Dettagli fini come pattern del pelo, squame e piume sono difficili da preservare per modelli generici senza deriva dell'identità.
• Divario di Dominio: I metodi esistenti (basati su ottimizzazione come DreamBooth o senza tuning come IP-Adapter) soffrono spesso di deriva dell'identità, fallendo nel catturare segnali specifici dell'animale o perdendo texture fini. Inoltre, i dataset esistenti mancano di maschere di soggetto ad alta risoluzione e didascalie fini necessarie per una personalizzazione animale precisa.

2. Metodologia: AnimalBooth

AnimalBooth è un framework senza tuning al momento dell'inferenza progettato per migliorare la preservazione dell'identità e la fedeltà della texture. È composto da tre componenti principali integrati in un backbone Stable Diffusion v1.5:

A. Architettura Generale

Il framework integra una Animal-Net addestrabile con una Photography-Net congelata.

• Animal-Net: Dedicata a rifinire le complesse caratteristiche animali e le morfologie flessibili nello spazio delle caratteristiche, aggirando i problemi di allineamento tra domini diversi.
• Photography-Net: Un modello base congelato che fonde le caratteristiche fini estratte con i prompt testuali nello spazio latente.
• Modulo a Controllo di Frequenza: Basato su ControlNet, guida il processo di diffusione utilizzando il filtraggio della Trasformata Discreta del Coseno (DCT).

B. Moduli Chiave

1. Animal-Net con Collo di Bottiglia Q-Former:

   • Prende un'immagine di riferimento dell'animale, la codifica tramite un VAE congelato e un encoder CLIP.
   • Utilizza un Q-Former come strato di proiezione. A differenza della mappatura statica (ad es. MLP), il Q-Former agisce come un collo di bottiglia semantico che si focalizza dinamicamente sulle caratteristiche rilevanti dell'identità, filtrando il rumore di sfondo.
   • L'output è allineato in parallelo con la Photography-Net.

2. Meccanismo di Attenzione Adattiva a Doppio Percorso:

   • Sostituisce l'attenzione self-attiva standard nella Photography-Net.
   • Percorso Self-Attention Congelato: Preserva la capacità generativa originale e la comprensione semantica di Stable Diffusion.
   • Percorso Cross-Attention Addestrabile: Inietta le caratteristiche dell'identità animale ($F_a$) dalla Animal-Net.
   • Formulazione Matematica: L'output combina un termine self-attention congelato e un termine cross-attention apprendibile ponderato da un coefficiente dinamico $\lambda$:
     $$O_h = \text{Softmax}\left(\frac{QK^\top}{\sqrt{d}}\right)V + \lambda \cdot \text{Softmax}\left(\frac{Q(K_{ID})^\top}{\sqrt{d}}\right)V_{ID}$$
   • Questo permette un bilanciamento flessibile tra preservazione dell'identità e generazione creativa.

3. Integrazione delle Caratteristiche a Controllo di Frequenza:

   • Applica il filtraggio della Trasformata Discreta del Coseno (DCT) nello spazio latente per guidare il processo di diffusione dalla struttura grezza alla texture fine.
   • Sono progettate quattro maschere specifiche: Mini-pass, Low-pass, Mid-pass e High-pass.
   • Il filtraggio Low-pass è identificato come critico per preservare la struttura globale e la morfologia (essenziale per il riconoscimento animale), mentre le componenti ad alta frequenza sono gestite dalle capacità intrinseche del modello di diffusione.

C. Strategia di Addestramento

L'addestramento segue una progressione a due stadi dal grezzo al fine:

• Stadio 1 (Apprendimento dell'Identità): Addestra Animal-Net e i moduli di proiezione per minimizzare l'errore di previsione del rumore utilizzando condizioni testuali e di identità animale.
• Stadio 2 (Miglioramento della Texture): Addestra il modulo ControlNet a controllo di frequenza per migliorare le texture fini e i dettagli strutturali utilizzando filtri DCT specifici, disaccoppiando l'ottimizzazione dell'identità e della texture.

3. Contributi Chiave

1. Framework AnimalBooth: Un'architettura innovativa e senza tuning che presenta una leggera Animal-Net e un meccanismo di attenzione adattiva a doppio percorso che mitiga efficacemente la distorsione dell'identità mantenendo la capacità generativa.
2. Integrazione a Controllo di Frequenza: Un modulo unico che sfrutta il filtraggio DCT nello spazio latente per separare la guida strutturale (bassa frequenza) dalla generazione della texture, migliorando significativamente la manipolazione degli attributi.
3. Dataset AnimalBench: Un dataset curato ad alta definizione specificamente per la personalizzazione animale, contenente 10.958 immagini di addestramento e 1.000 immagini di test con maschere semantiche a livello di pixel e didascalie dettagliate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset AnimalBench, confrontando AnimalBooth con metodi all'avanguardia (SOTA) inclusi Textual Inversion, BLIP-Diffusion, Omnigen, IP-Adapter e Flux (DiT).

• Prestazioni Quantitative: AnimalBooth ha ottenuto risultati State-of-the-Art (SOTA) su tutte le metriche:
  • CLIP-I (Identità): 90.00 (vs 89.75 per IP-Adapter).
  • DINO (Dettaglio/Realismo): 75.66 (vs 72.88 per IP-Adapter).
  • CLIP-T (Allineamento Testo): 20.73.
  • LPIPS (Qualità Percettiva): 49.08 (valori più bassi sono migliori).
• Efficienza:
  • Velocità di Inferenza: AnimalBooth è 25 volte più veloce dei modelli basati su DiT (Flux) e significativamente più veloce di Omnigen.
  • Utilizzo di Memoria: Richiede solo 0.7 GB di VRAM, rispetto a 10.4 GB per Omnigen e 12.8 GB per Flux.
  • Parametri: Solo 1.2 miliardi di parametri addestrabili.
• Studi di Ablazione:
  • Q-Former: Ha superato MLP e Concatenazione con un ampio margine (ad esempio, +19.42 punti in CLIP-I).
  • Controllo di Frequenza: Il filtraggio Low-pass è stato dimostrato superiore per la preservazione dell'identità rispetto al filtraggio High-pass o all'assenza di filtraggio.
  • Scala di Guida: Le prestazioni ottimali sono state raggiunte a $w=7.5$.

5. Significato

AnimalBooth colma un divario critico nella generazione multimodale risolvendo le sfide specifiche della personalizzazione animale (corpi non rigidi, texture complesse) senza il costo computazionale del fine-tuning per soggetto.

• Praticità: Il suo basso footprint di VRAM e la rapida inferenza lo rendono altamente deployabile per applicazioni reali (ad esempio, design di animali virtuali, arte creativa).
• Impatto sulla Ricerca: L'introduzione di AnimalBench fornisce un benchmark necessario per la ricerca futura sui modelli generativi specifici per animali.
• Innovazione Tecnica: La combinazione di Q-Former per colli di bottiglia semantici e controllo di frequenza basato su DCT offre un nuovo paradigma per il controllo dei processi di diffusione, separando efficacemente l'identità strutturale dai dettagli testurali.

Gli autori notano che il lavoro futuro estenderà questo framework alle modalità video per una generazione animale coerente.