Riepilogo Tecnico: Baton – Progetti Semantici Espliciti per la Generazione Congiunta Video-Audio

1. Enunciato del Problema

I modelli open-source attuali per la generazione congiunta video-audio, sebbene capaci di produrre contenuti sincronizzati per prompt semplici, faticano significativamente con scenari che richiedono un ragionamento semantico complesso. Questi scenari includono azioni multistadio, interazioni intricate tra uomo e oggetto e dialoghi con più parlanti.

La causa radice di questo fallimento risiede nella metodologia prevalente: i modelli esistenti si affidano a embedding testuali globali grezzi derivati da encoder pronti all'uso (ad es. T5, Qwen) per guidare le traiettorie di denoising di entrambi i rami di diffusione video e audio. Questo approccio soffre di due limitazioni critiche:

1. Perdita di Semantica Fine-Grained: Gli embedding globali non riescono a scomporre istruzioni complesse in dettagli specifici per modalità e radicati temporalmente.
2. Mancanza di Pianificazione Condivisa a Lungo Orizzonte: Senza un piano coordinato, le traiettorie di denoising video e audio divergono, portando a dinamiche avverse. Ciò si traduce in gravi disallineamenti cross-modali, distorsioni del corpo e incapacità di mantenere la coerenza del soggetto o sincronizzare azioni specifiche (ad es. un pugno che atterra con un effetto sonoro) per lunghe durate.

Sebbene alcuni lavori recenti tentino di arricchire i prompt utilizzando Modelli Linguistici su Larga Scala (LLM), iniettano comunque le rappresentazioni risultanti come embedding globali, fallendo nel risolvere il disallineamento strutturale tra l'intento semantico e il processo di generazione spaziotemporale.

2. Metodologia: Baton

Baton propone un framework che disaccoppia esplicitamente il ragionamento semantico dalla sintesi. Invece di affidarsi esclusivamente agli embedding globali, Baton introduce una fase di "pianificazione" che genera progetti espliciti e consapevoli della modalità prima dell'inizio del processo di diffusione. L'architettura è composta da tre componenti principali:

2.1 VA-Planner (Pianificatore Video-Audio)

L'innovazione centrale è il VA-Planner, un Modello Linguistico Multimodale (MLLM) addestrabile equipaggiato con torri di allineamento semantico duali.

• Input: Il pianificatore riceve un prompt strutturato contenente istruzioni di sistema, descrizioni video e descrizioni audio.
• Ragionamento: Esegue un ragionamento autoregressivo per prevedere una coppia di token pianificati: un set per il video ($H_v$) e uno per l'audio ($H_a$). Questi token fungono da progetti a livello di fotogramma chiave.
• Torri di Allineamento Duali: Per garantire coerenza cross-modale, il pianificatore utilizza due torri con query apprendibili.
  • La torre video estrae semantica specifica per il video dagli stati nascosti dell'MLLM e successivamente esegue un'attenzione cross-modale per assorbire indizi uditivi complementari.
  • La torre audio esegue l'operazione simmetrica.
  • Questa attenzione bidirezionale garantisce che il piano video sia consapevole del contesto audio e viceversa, producendo progetti temporali mutualmente coerenti.
• Proiezione delle Caratteristiche: I token pianificati sono proiettati nei domini di caratteristiche continue degli encoder percettivi pre-addestrati (SigLip2 per il video, WavTokenizer per l'audio) per fungere da guide semantiche ad alta fedeltà.

2.2 Relative Semantic RoPE (RS-RoPE)

Sorge una sfida significativa poiché i token pianificati (generati a una risoluzione sparsa di fotogrammi chiave) e i latenti di diffusione (generati su una griglia spaziotemporale densa) non condividono una corrispondenza uno-a-uno. Le codifiche posizionali standard falliscono qui, causando il trattamento del piano strutturato come un segnale globale vago da parte del modello di diffusione.

Baton introduce la Relative Semantic RoPE, un meccanismo di codifica posizionale relativa che:

• Mappa i token pianificati e i latenti di diffusione in un sistema di coordinate spaziotemporali condiviso.
• Riscalda gli indici posizionali in base al tempo fisico e alla posizione spaziale che rappresentano.
• Permette a ciascun latente di diffusione di prestare attenzione con precisione al suo segnale semantico corrispondente posizionalmente, preservando la struttura a livello di fotogramma chiave del progetto invece di appiattirla.

2.3 Strategia di Addestramento

Baton adotta un curriculum di addestramento in tre fasi per garantire robustezza:

1. Pre-addestramento VA-Planner: L'MLLM e le torri di allineamento sono addestrati a prevedere caratteristiche percettive continue (da SigLip2 e WavTokenizer congelati) basandosi su prompt testuali. Questo insegna al pianificatore a generare progetti semantici accurati.
2. Adattamento DiT: Il Diffusion Transformer (DiT) viene addestrato utilizzando caratteristiche percettive ground-truth (bypassando il pianificatore) per apprendere la distribuzione delle caratteristiche semantiche senza essere confuso dal rumore delle previsioni del pianificatore.
3. Fine-tuning Congiunto: Il VA-Planner viene congelato e il DiT viene affinato utilizzando i token previsti dal pianificatore. Questa fase colma il divario tra le caratteristiche ground-truth ideali e le previsioni realistiche del pianificatore, mitigando il bias di esposizione.

3. Contributi Chiave

1. VA-Planner: Il primo framework a introdurre una pianificazione semantica esplicita per la generazione congiunta video-audio. Genera token pianificati video e audio semanticamente allineati che fungono da progetti a livello di fotogramma chiave, ancorando entrambe le traiettorie di denoising a una roadmap condivisa.
2. Relative Semantic RoPE: Una codifica posizionale innovativa che risolve il disallineamento spaziotemporale tra piani semantici sparsi e latenti di diffusione densi, abilitando un'attenzione cross-modale precisa.
3. Disaccoppiamento di Ragionamento e Sintesi: Separando la fase di pianificazione semantica dalla fase di generazione, Baton previene la deriva avversaria osservata nei modelli che si affidano esclusivamente agli embedding globali.

4. Risultati Sperimentali

Gli autori hanno valutato Baton su Verse-Bench (benchmark open-source standard) e Sem100 (un dataset personalizzato di 100 video non visti con prompt complessi multistadio che richiedono un profondo ragionamento semantico).

• Prestazioni Quantitative:

  • Su Verse-Bench, Baton ottiene risultati comparabili al modello stato dell'arte (SOTA) LTX-2.
  • Su Sem100, Baton supera significativamente tutti i concorrenti open-source. Mostra un miglioramento del 32% nella Precisione di Seguito del Prompt (P-Acc), una riduzione del 76% nel Tasso di Errore Parole per Parlanti Multipli (M-WER) e una riduzione del 30% nella Desincronizzazione (DeSync) rispetto a LTX-2.
  • I miglioramenti in M-WER e P-Acc evidenziano la capacità superiore del modello di gestire dialoghi con più parlanti e azioni sequenziali complesse.

• Prestazioni Qualitative:

  • I confronti visivi dimostrano che Baton produce contenuti video-audio stabili con corretta coerenza del soggetto e azioni sincronizzate, mentre i concorrenti (Ovi, UniAVGen, LTX-2, MOVA) soffrono di distorsioni del corpo, scomparsa di oggetti e desincronizzazione audio-video in scenari complessi.
  • Negli studi sugli utenti, Baton è stato preferito rispetto ai concorrenti per allineamento video/audio, coerenza dell'identità e sincronizzazione.

• Confronto con Modelli Commerciali:

  • Sebbene i modelli commerciali (ad es. Veo 3, Seedance 2.0) possano esibire una fedeltà visiva o un'estetica audio superiore, Baton raggiunge capacità di seguito del prompt comparabili, in particolare in scenari che richiedono un ragionamento semantico complesso dove i modelli commerciali talvolta falliscono nel seguire accuratamente istruzioni multistadio.

5. Significato e Affermazioni

Il documento afferma che Baton è il primo framework a disaccoppiare esplicitamente la pianificazione semantica dalla sintesi per la generazione congiunta video-audio. Il suo significato risiede nel risolvere la limitazione fondamentale dei modelli di diffusione attuali: l'incapacità di mantenere la coerenza cross-modale su lunghi orizzonti senza una roadmap semantica condivisa e pre-allineata.

Introducendo progetti semantici espliciti e un meccanismo per allinearli ai latenti di diffusione (RS-RoPE), Baton trasforma la generazione da "denoising alla cieca sotto segnali globali vaghi" a "seguire un piano semanticamente fondato e cross-modalmente coordinato". Ciò permette al modello di sintetizzare contenuti video-audio stabili e sincronizzati anche per prompt che coinvolgono relazioni causali complesse, azioni multistadio e interazioni con più parlanti, stabilendo un nuovo standard per la generazione congiunta video-audio open-source.