Riepilogo Tecnico: SARA (Allineamento Relazionale Semantico Adattivo)

Enunciato del Problema

I recenti Modelli di Diffusione Video (VDM) hanno raggiunto un'elevata fedeltà visiva e coerenza temporale, ma faticano con la controllabilità semantica fine-granulare. Frequentemente omettono entità, associano erroneamente attributi a soggetti sbagliati o indeboliscono le interazioni specificate nel prompt. Sebbene obiettivi di allineamento delle rappresentazioni come VideoREPA e MoAlign migliorino l'aderenza al testo distillando le relazioni spaziotemporali dei token da un Modello Fondamentale Visivo (VFM) congelato, essi soffrono di un problema di allocazione della supervisione.

• VideoREPA assegna pesi uguali a tutte le coppie di token (budget $O(N^2)$), indipendentemente dal prompt. In scene con più entità, ciò comporta che circa il 27% del budget di supervisione venga sprecato su coppie sfondo-sfondo (che il prompt non cita mai), mentre le coppie soggetto-soggetto (critiche per le relazioni tra entità) ricevono solo circa il 23%.
• MoAlign tenta di risolvere ciò comprimendo l'obiettivo del VFM in un sottospazio supervisionato dal movimento, agendo efficacemente come un router AND che supervisiona solo le coppie soggetto-soggetto in movimento. Tuttavia, il flusso ottico è un proxy rumoroso per la salienza (fallendo in caso di occlusione, movimento rapido o bassa texture) e ignora i soggetti statici e le coppie soggetto-sfondo, essenziali per ancorare le entità alle loro scene.

La sfida centrale è come allocare un budget fisso di coppie $O(N^2)$ per concentrare la supervisione sulle relazioni rilevanti per il prompt (sia soggetto-soggetto che soggetto-sfondo) piuttosto che sul riempitivo di sfondo.

Metodologia: SARA

SARA propone un framework a due stadi che mantiene la forma di Distillazione delle Relazioni tra Token (TRD) di VideoREPA ma introduce una salienza condizionata al testo per instradare dinamicamente la supervisione.

Stadio 1: Addestramento di un Allineatore di Salienza Condizionato al Testo

Un allineatore leggero viene addestrato offline per prevedere una mappa di salienza continua $M_p$ condizionata al prompt testuale.

• Backbone: Utilizza V-JEPA (visivo) congelato, SAM 3.1 (segmentazione) e Qwen3-VL-Embedding (testo).
• Architettura: Un modulo di cross-attention fonde i token visivi con gli embedding del testo, seguito da una testina di salienza (MLP + sigmoide) e un proiettore visivo per l'apprendimento contrastivo.
• Strategia di Supervisione:
  1. Supervisione Separata per Entità: Invece di una singola maschera globale, l'allineatore viene addestrato su $K+2$ forward per video: $K$ coppie per entità (caption + maschera binaria), una coppia entità-combinata e una coppia sfondo. Ciò impedisce al modello di collassare in un prior generico per il primo piano.
  2. Regolarizzatore InfoNCE: Allinea le caratteristiche visive fuse con gli stati nascosti del testo nello spazio degli embedding per impedire che la salienza collassi sul soggetto più dominante, preservando il contrasto tra entità.
• Output: Una mappa di salienza continua $M_p \in [0, 1]$ che indica la rilevanza di ogni token rispetto al prompt.

Stadio 2: TRD Instradata dalla Salienza

Durante l'addestramento continuo del VDM (nello specifico Wan2.2), l'allineatore dello Stadio 1 congelato genera mappe di salienza per l'intera caption video. Queste mappe vengono fuse nella perdita TRD tramite un operatore di instradamento delle coppie.

• Operatori di Instradamento delle Coppie: SARA definisce rilassamenti della logica fuzzy delle operazioni booleane per mappare le salienze dei token ($w_i, w_j$) sui pesi delle coppie ($W_{ij}$):
  • AND: $w_i w_j$ (Mantiene solo le coppie soggetto-soggetto; simile all'effetto di MoAlign).
  • XOR: $|w_i - w_j|$ (Mantiene solo le coppie di confine).
  • OR (Predefinito): $w_i + w_j - w_i w_j$. Questa è l'innovazione centrale. Mantiene le coppie soggetto-soggetto e le coppie soggetto-sfondo, instradando la supervisione lontano dalle coppie sfondo-sfondo.
• Funzione di Perdita: La perdita TRD standard viene modificata per essere una media ponderata dove i pesi sono determinati dall'operatore OR. Ciò rialloca il budget di supervisione dal rumore di sfondo alle relazioni semanticamente rilevanti senza modificare l'obiettivo del VFM o il numero di parametri addestrabili nel percorso di diffusione.

Contributi Chiave

1. Concettuale: Riformula l'adattamento semantico per i VDM come un problema di instradamento delle coppie sopra la TRD. Formalizza MoAlign come un router AND implicito e propone un router OR supervisionato dal testo che include esplicitamente l'ancoraggio soggetto-sfondo.
2. Metodologico: Introduce un allineatore di salienza condizionato al testo addestrato con maschere SAM per entità e un regolarizzatore InfoNCE. Ciò permette al sistema di decidere dinamicamente quali coppie di token trasportano supervisione in base al prompt, piuttosto che a segnali di movimento statici.
3. Empirico: Dimostra che SARA supera costantemente SFT, VideoREPA e MoAlign sul backbone Wan2.2 attraverso molteplici protocolli di valutazione.

Risultati

Gli esperimenti sono stati condotti su un corpus di 500K clip multi-entità utilizzando il transformer Wan2.2 ad alto rumore. La valutazione ha incluso una rubrica VLM a 13 dimensioni, suite pubbliche VBench-1.0/2.0 e uno studio utente in cieco.

• Rubrica VLM: SARA è l'unico metodo a migliorare simultaneamente sia l'Allineamento al Testo (TA) che la Qualità del Movimento (MQ) rispetto alla baseline pre-addestrata. Supera la baseline più forte (MoAlign) su tutte le dimensioni.
• VBench: SARA ottiene i punteggi aggregati più alti sia su VBench-1.0 (Semantica: +0.90 rispetto a VideoREPA) che su VBench-2.0 (Finale: +0.38 rispetto a MoAlign).
• Studio Utente: In uno studio a coppie in cieco, gli annotatori hanno preferito SARA rispetto a tutte le baseline, con il margine più ampio contro il modello pre-addestrato.
• Ablazioni: Rimuovere la testina di salienza o il regolarizzatore InfoNCE causa cali significativi delle prestazioni. Sostituire il router OR con AND o XOR degrada anch'esso le prestazioni, confermando che l'inclusione di coppie soggetto-sfondo è critica.

Significato e Affermazioni

Il paper afferma che SARA affronta la "diluzione" dei segnali di supervisione nei metodi attuali di allineamento delle rappresentazioni. Spostando l'allocazione del budget $O(N^2)$ da un euristica guidata dalla geometria o dal movimento a un euristica guidata dal prompt, SARA garantisce che il modello impari ad associare attributi e interazioni specificamente dove il testo indica.

Gli autori notano che, sebbene SARA migliori l'aderenza al prompt, eredita le limitazioni del protocollo di addestramento del modello base. Nello specifico, poiché viene aggiornato solo l'esperto ad alto rumore del MoE di Wan2.2, si registra un lieve ma costante calo nelle qualità "a basso rumore" renderizzate (ad es. fedeltà umana, coerenza temporale) rispetto al modello pre-addestrato congelato. Tuttavia, SARA mostra il minore calo tra tutti i metodi di addestramento continuo, suggerendo che i suoi aggiornamenti mirati sono meno disruptivi per l'esperto a basso rumore congelato rispetto agli aggiornamenti uniformi.

Il paper conclude che SARA fornisce un meccanismo più efficiente e semanticamente consapevole per allineare i modelli di diffusione video, ottenendo risultati all'avanguardia nel seguire il testo fine-granulare senza richiedere condizioni aggiuntive al momento dell'inferenza o modifiche architetturali al backbone di diffusione.