Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
Questo articolo introduce un framework di interpretabilità causale per i Diffusion Transformer che rivela come i token di template strutturale agiscano come registri semantici impliciti mantenendo l'identità dell'oggetto attraverso un meccanismo indiretto di read-back, consentendo la progettazione di una strategia di pruning priva di addestramento che riduce significativamente il costo computazionale con una perdita di prestazioni minima.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Sintesi Tecnica: I Token dei Template di Testo sono Registri Semantici Impliciti nei Diffusion Transformer
Problema
La generazione moderna da testo a immagine si è spostata dalle architetture U-Net ai Diffusion Transformers (DiT), dove i token di testo e immagine interagiscono tramite l'attenzione congiunta. Parallelamente, il condizionamento testuale si è evoluto da encoder isolati (es. CLIP, T5) a Large Language Models (LLM) che serializzano i prompt dell'utente in template di chat contenenti token di sistema, utente, assistente e delimitatori.
Mentre il contenuto semantico del prompt dell'utente è chiaro, il ruolo dei token strutturali del template (i residui di formattazione come i delimitatori) rimane scarsamente compreso. Nei DiT con attenzione congiunta, tutti i token di condizionamento competono come chiavi per lo stream d'immagine. Rimane una questione aperta se questi token strutturali rimangano residui di formattazione inerti, agiscano come condizionamento trasparente o acquisiscano un ruolo computazionale più profondo. Inoltre, esiste un divario più ampio nella comprensione dell'organizzazione meccanicistica dei DiT: specificamente, quali strati impegnano il contenuto semantico, quali teste influenzano causalmente la generazione e come l'attenzione testo-immagine media il condizionamento attraverso la traiettoria di denoising.
Metodologia
Gli autori introducono un framework di interpretabilità causale progettato per tracciare dove le informazioni di condizionamento vengono lette, instradate e memorizzate durante il denoising. Questo framework combina quattro tecniche specifiche:
- Decomposizione dell'Attenzione a Livello di Token: Analisi della massa di attenzione Image-to-Text (I2T) per quantificare quanta attenzione le query d'immagine dirigono verso specifici intervalli di token di testo (semantici vs. strutturali).
- Interventi di Condizionamento a Livello di Span: Esecuzione di scambi tra prompt diversi e mediazione dei token strutturali per testare se trasportino una semantica specifica del prompt.
- Trapianto di Teste tra Traiettorie Incrociate: Scambio progressivo delle proiezioni di attenzione () tra due diverse traiettorie di generazione (es. "mela" vs. "banana") per identificare quali teste determinano causalmente l'identità dell'oggetto.
- Mascheramento Causale per Livello: Mascheramento dei flussi di attenzione (es. Register Semantico o Register Immagine) a livelli specifici per determinare la direzione del flusso di informazioni.
Lo studio utilizza principalmente la famiglia Qwen-Image (un MMDiT a doppio stream) e valuta attraverso molteplici benchmark (GenEval, DPG-Bench, Qwen-Image-Bench) e lingue (inglese e cinese).
Risultati Chiave
1. I Token Strutturali come Dominanti Sink di Attenzione
L'analisi rivela che i token strutturali del template (es. delimitatori come `
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.