Sintesi Tecnica: Latent-Identity Tuning nei Modelli di Personalizzazione Text-to-Image

Problema

Gli attuali metodi di personalizzazione text-to-image (T2I) eccellono nel riprodurre l'identità di un soggetto da immagini di riferimento attraverso prompt diversificati. Tuttavia, mancano della precisione necessaria per la modifica fine dell'identità (fine-grained identity editing). Sebbene gli utenti possano desiderare di modificare attributi facciali specifici (ad esempio, aggiungere una barba, cambiare la forma del naso o alterare l'apertura degli occhi) mantenendo l'identità centrale, gli approcci esistenti spesso non offrono un controllo localizzato. L'editing standard opera su una singola immagine generata, fallendo nel garantire che la modifica persista coerentemente attraverso nuove generazioni. Inoltre, l'editing guidato dal testo fatica spesso a esprimere cambiamenti facciali sottili e localizzati senza alterare l'identità percepita del soggetto o introdurre artefatti globali.

Metodologia

Gli autori propongono il Latent-Identity Tuning, un framework che opera direttamente sulla rappresentazione dell'identità latente all'interno di un encoder di personalizzazione pre-addestrato e congelato (utilizzando specificamente i Q-Former). Invece di riaddestrare il modello o ottimizzare per singola immagine, il metodo esplora lo spazio latente dell'encoder per scoprire direzioni semantiche per l'editing.

1. Analisi dello Spazio dei Token di Identità

Il framework sfrutta l'osservazione che gli adapter Q-Former nei modelli di personalizzazione producono un insieme di token di identità ($Z \in \mathbb{R}^{N \times C}$). Questi token non sono monolitici; piuttosto, esibiscono un'organizzazione strutturata e parzialmente disgiunta dove specifici token o sottoinsiemi di token corrispondono a distinte regioni spaziali o semantiche del viso (ad esempio, occhi, labbra, naso).

2. Selezione dei Token

Per abilitare l'editing localizzato, il metodo identifica il sottoinsieme specifico di token ($S$) rilevante per un attributo target:

• Attributi Localizzati: Per parti specifiche del viso (ad esempio, le labbra), il metodo costruisce immagini accoppiate ($I, I_{patch}$) dove una patch è incollata sulla regione target. Calcolando la differenza nelle rappresentazioni di identità ($\Delta Z$), seleziona i top-$k$ token con la maggiore magnitudo di variazione. Questo sottoinsieme viene riutilizzato per tutti i soggetti.
• Attributi Globali: Per attributi che si estendono su tutto il viso (ad esempio, lentiggini, tono della pelle), il metodo addestra SVM lineari sulle singole feature dei token per predire le etichette degli attributi. I token i cui classificatori raggiungono un'alta accuratezza di validazione vengono selezionati come il sottoinsieme rilevante.

3. Tecniche di Tuning

Una volta identificati i token rilevanti, il framework applica diverse strategie di manipolazione:

• Interpolazione Globale e Locale: Il metodo interpola tra le rappresentazioni di identità ($Z_A$ e $Z_B$). Interpolando solo un sottoinsieme selezionato di token ($Z_S$), consente il trasferimento di identità localizzato (ad esempio, trapiantare le sopracciglia da una persona all'altra) preservando il resto dell'identità.
• Direzioni Lineari Supervisionate: Utilizzando dataset con etichette di attributi binari (ad esempio, CelebA), il metodo apprende le direzioni di editing tramite:
  • Estimatore della Differenza di Media: Calcolando la differenza tra le rappresentazioni medie di campioni positivi e negativi.
  • Estimatore Basato su SVM: Utilizzando il vettore normale di un iperpiano di un SVM lineare come direzione di editing. Gli autori notano che gli SVM sono spesso più efficaci per editi fini (ad esempio, guance rosse), mentre la differenza di media è migliore per cambiamenti pronunciati (ad esempio, barba).
• Direzioni Lineari Non Supervisionate: Utilizzando l'Analisi delle Componenti Principali (PCA) sulle rappresentazioni di identità.
  • PCA Globale: Cattura le correlazioni attraverso tutti i token per editi globali (ad esempio, età).
  • PCA Per-Token/Per-Gruppo: Applicare la PCA a specifici token o sottoinsiemi selezionati rivela controlli localizzati (ad esempio, colore degli occhi, apertura degli occhi).

4. Aggiornamenti a Preservazione della Norma

Per garantire che gli editi rimangano all'interno della distribuzione dello spazio latente, il metodo applica un aggiornamento che preserva la norma (Eq. 2). Questo centra il vettore, aggiunge una direzione scalata e riscala il risultato per preservare la distanza originale dalla media del dataset.

Contributi Chiave

1. Definizione di Identity Tuning: Il paper formalizza il compito di modificare la rappresentazione dell'identità latente stessa per garantire editi persistenti e coerenti attraverso diverse generazioni, distinguendoli dall'editing di una singola immagine.
2. Scoperta di uno Spazio Latente Strutturato: Dimostra che lo spazio dei token di identità degli encoder di personalizzazione basati su Q-Former è strutturato e interpretabile, con i token che mappano specifiche regioni facciali.
3. Meccanismo di Selezione dei Token: Un metodo innovativo per isolare i token rilevanti per specifici attributi facciali utilizzando l'analisi della differenza basata su patch o la classificazione supervisionata.
4. Framework di Controllo Fine: Una suite di tecniche (interpolazione, direzioni lineari supervisionate/non supervisionate) che consentono editi continui, localizzati e semanticamente coerenti senza ulteriore addestramento del modello.

Risultati

Il framework è stato validato utilizzando gli encoder Omni-ID e PuLID con il modello T2I Flux.dev, valutato sui dataset FFHQ e CelebA.

• Performance Qualitative: Il metodo esegue con successo editi difficili da esprimere tramite testo, come la modifica della forma del naso, l'aggiunta di stili di barba specifici o il trasferimento di regioni perioculari (sopracciglia/palpebre) tra identità. L'identità editata rimane coerente attraverso vari prompt (sfondi, pose, stili).
• Confronto Quantitativo: Rispetto ai baseline come PreciseControl, Weights2Weights e Flux Kontext (varianti Direct e Sequential), il metodo proposto ottiene:
  • Maggiore Coerenza dell'Identità: Misurata tramite la similarità del coseno ArcFace tra le immagini generate.
  • Maggiore Aderenza all'Edit: Migliore allineamento con la modifica richiesta.
  • Maggiore Aderenza al Prompt: Migliore allineamento con la descrizione della scena target.
  • Studio Utente: In un confronto a coppie che ha coinvolto 250 giudizi, il metodo proposto è stato preferito rispetto a tutti i baseline in termini di Preservazione dell'Identità, Coerenza dell'Identità, Aderenza all'Edit, Aderenza al Prompt e Preferenza Complessiva (tassi di vittoria compresi tra il 70% e il 96%).

Significato

Il paper sostiene che lo spazio dei token di identità negli encoder di personalizzazione è interpretabile e controllabile con una granularità facciale fine. Spostando il focus dall'editing a livello di immagine al tuning dell'identità latente, gli autori consentono agli utenti di raffinare aspetti delicati dell'identità visiva (ad esempio, l'apertura degli occhi, la texture delle lentiggini) con alta precisione. Il significato risiede nel fornire un meccanismo per la modifica dell'identità persistente, coerente e localizzata che non richiede l'ottimizzazione per singola immagine o il riaddestramento, superando così i limiti degli attuali approcci di editing guidato dal testo e dall'immagine.