What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

Enunciato del Problema

I recenti modelli generativi video si basano sempre più su Modelli Vision-Language (VLM) accoppiati a Diffusion Transformers (DiT) per eseguire editing video basato su istruzioni. Il paradigma prevalente prevede l'uso di un modulo connettore (tipicamente un MLP) per allineare le ricche capacità di ragionamento multi-modale di un VLM (ad esempio Qwen2.5-VL) con lo spazio originale degli embedding testuali del DiT. Questa progettazione assume che il connettore possa trasferire senza soluzione di continuità la comprensione semantica del VLM al DiT, potenzialmente potenziata da token di query apprendibili per il raffinamento.

Tuttavia, gli autori ipotizzano che questo allineamento agisca come un severo collo di bottiglia semantico. Sebbene i VLM possano comprendere con successo istruzioni di editing complesse, il connettore potrebbe degradare le variabili strutturali fini—come slot spaziali specifici, valori di attributo target e ruoli degli oggetti—prima che raggiungano il DiT. I benchmark attuali di valutazione end-to-end non riescono a isolare questo problema, poiché confondono i fallimenti di allineamento con gli errori di denoising o di attenzione del DiT stesso. Inoltre, i dataset video naturali mancano delle annotazioni disaccoppiate necessarie per sondare queste specifiche variabili semantiche.

Metodologia

1. TRACE-Edit: Un Benchmark Diagnostico

Per investigare rigorosamente questa ipotesi, gli autori introducono TRACE-Edit, un benchmark diagnostico controllato progettato per isolare le semantica strutturali dell'editing.

• Costruzione: Il dataset è costruito tramite una pipeline di composizione. In primo luogo, vengono generati e verificati da un VLM video "atomici" a singolo oggetto per garantire la chiarezza del soggetto, della categoria e degli attributi. Questi vengono quindi composti in griglie video 2x2.
• Formulazione del Compito: Le istruzioni sono relazionali, richiedendo al modello di modificare un oggetto in uno slot (ad esempio, in alto a sinistra) per corrispondere a un attributo (colore, materiale o azione) di un oggetto in un altro slot (ad esempio, in basso a destra).
• Verità Terrena: Ogni esempio include etichette esatte per lo slot modificato ($y_{slot}$), il valore target ($y_{tgt}$), l'oggetto modificato ($y_{editobj}$) e l'oggetto di riferimento ($y_{refobj}$).
• Scala: Il dataset contiene 5.524 video compositi che producono 11.048 esempi di editing relazionale nei domini colore, materiale e azione.

2. Protocollo Diagnostico

Gli autori valutano quattro modelli rappresentativi (varianti di UniVideo, Kiwi-Edit e un Wan-Query personalizzato) utilizzando un framework diagnostico multi-stadio piuttosto che una classifica standard:

• Analisi Geometrica: Misurazione dei cambiamenti nel rango effettivo, nella varianza delle caratteristiche e nell'Allineamento del Kernel Centrato (CKA) tra le rappresentazioni pre-connettore (VLM) e post-connettore (rivolte al DiT).
• Sondaggio Lineare: Addestramento di classificatori lineari su caratteristiche pre- e post-connettore per misurare l'accessibilità di variabili specifiche (tipo di attributo, slot modificato, valore target, ruoli degli oggetti).
• Decomposizione del Percorso dei Token: Nei modelli che utilizzano token di query, gli autori analizzano dove risiede l'evidenza semantica (solo testo, solo query o viste miste) e calcolano i contributi di margine a livello di token.
• Instradamento dell'Attenzione: Analisi di come il DiT alloca l'attenzione ai token di condizione (testo vs query) attraverso i passaggi di denoising e i livelli.
• Analisi dei Fallimenti a Livello di Output: Utilizzo di un VLM come giudice per categorizzare i fallimenti dei video generati in "sotto-editing" (conservativo) vs "errori strutturali" (slot errato, binding errato, target errato).

Risultati Chiave

1. Degradazione Semantica al Connettore

• Trasformazione Geometrica: L'allineamento del connettore non è una proiezione passiva; riconfigura sostanzialmente la geometria dello spazio delle caratteristiche. Sebbene alcuni modelli mostrino un aumento del rango effettivo, spesso soffrono di collassi severi nella varianza delle caratteristiche.
• Preservazione Selettiva: L'intento grezzo (ad esempio, "cambia il colore") è preservato con un'accuratezza quasi perfetta. Tuttavia, le semantica strutturali fini degradano significativamente:
  • Slot Modificato: L'accuratezza scende da ~92% a ~74% in U-Query dopo l'allineamento.
  • Valore Target: L'accessibilità scende in tutti i modelli (ad esempio, da ~51% a ~49% in U-Query).
  • Ruoli degli Oggetti: La decodificabilità degli oggetti modificati rispetto a quelli di riferimento varia, con alcuni modelli che perdono completamente queste informazioni.
• Cambiamento nell'Instradamento dei Token: Nei modelli basati su query, mentre i token di testo mantengono una forte semantica, il connettore sposta l'evidenza semantica effettiva lontano dai token di query. Tuttavia, il DiT continua ad allocare un'attenzione dominante a questi token di query, creando una disconnessione tra instradamento delle informazioni e allocazione dell'attenzione.

2. I Fallimenti di Output sono Strutturali, Non Conservativi

• L'analisi dei video generati rivela che gli errori strutturali (slot errato, binding errato, target errato) costituiscono la modalità di fallimento primaria (40,9%–61,9% degli errori), superando di gran lunga il sotto-editing (11,1%–14,6%).
• Ciò conferma che i modelli spesso tentano un editing ma falliscono nel preservare i corretti binding slot-valore-ruolo, correlando direttamente con la degradazione semantica osservata nel connettore.

3. Limiti delle Progettazioni Attuali

• Token di Query: Aggiungere semplicemente token di query non risolve il problema; se il connettore non preserva le informazioni slot-valore-ruolo lungo il percorso della query, il DiT non può utilizzarle efficacemente.
• Forza del Backbone: Sostituire il backbone del DiT (ad esempio, scambiando HunyuanVideo con Wan) non recupera le variabili strutturali perse durante l'allineamento VLM-to-DiT, indicando che il collo di bottiglia risiede nel connettore, non nel generatore.

Contributi Chiave

1. TRACE-Edit: Un benchmark sintetico controllato che isola le variabili slot, valore e ruolo-oggetto per diagnosticare le semantica strutturali nell'editing video, superando i limiti dei benchmark video naturali non strutturati.
2. Protocollo Diagnostico: Un framework completo per sondare l'allineamento VLM-to-DiT, analizzando la geometria dello spazio delle condizioni, l'accessibilità semantica, l'instradamento dei token e l'allocazione dell'attenzione.
3. Evidenza Empirica del Collo di Bottiglia: Uno studio rigoroso che dimostra come le attuali progettazioni VLM-to-DiT soffrano di degradazione semantica, identificando il connettore come un collo di bottiglia primario che frantuma i programmi di editing relazionali.

Significato e Affermazioni

Il paper sfida l'assunto prevalente secondo cui i connettori agiscono come adattatori semantici senza perdita. Gli autori affermano che le semantica strutturali fini sono severamente degradate durante l'allineamento, sovvertendo la convinzione che l'uso semplice di un VLM potente e di un connettore sia sufficiente per l'editing video complesso.

Il significato di questo lavoro risiede in:

• Riformulazione del Problema: Spostare il focus dalla qualità video end-to-end alla qualità della rappresentazione intermedia del connettore.
• Identificazione del Collo di Bottiglia: Individuare l'allineamento VLM-to-DiT come il punto di fallimento critico per le variabili strutturali, piuttosto che la capacità di denoising del DiT.
• Direzioni Future: Gli autori sostengono che i futuri editor video devono trattare la progettazione del connettore come un problema di preservazione semantica. Propongono che i modelli che si basano su token di query debbano riportare diagnosi su whether le variabili slot, valore e ruolo-oggetto rimangono accessibili dopo il connettore, piuttosto che affidarsi esclusivamente alle metriche di qualità della generazione finale.

Il paper conclude che, senza affrontare l'incapacità del connettore di preservare i binding relazionali fini, anche i VLM e i DiT più avanzati falliranno nell'eseguire un editing video preciso basato su istruzioni.