Riepilogo Tecnico: OmniEncoder

1. Enunciato del Problema

I modelli linguistici su larga scala omni-modali (OmniLLM) attuali adottano tipicamente un design modulare specifico per modalità, utilizzando encoder separati per visione e audio. Questa architettura comporta spesso una strategia di campionamento "video-grossolana, audio-densa", dove i fotogrammi visivi vengono campionati a frequenze basse (1–2 fps) mentre l'audio viene elaborato a frequenze elevate (25 fps).

Gli autori sostengono che questo design crea una discrepanza fondamentale con la percezione umana. Gli esseri umani percepiscono il mondo in modo olistico, vedendo, ascoltando e sentendo il movimento continuo simultaneamente, con interazioni cross-modali che avvengono nelle fasi più precoci dell'elaborazione sensoriale. L'approccio prevalente "fotogramma per fotogramma, modalità per modalità" porta a:

• Interazione cross-modale impoverita durante la fase di codifica.
• Incapacità di catturare il movimento visivo fine, critico per compiti come il riconoscimento della lingua dei segni, l'analisi sportiva dettagliata e la lettura labiale.
• Inefficienza computazionale quando si tenta di aumentare le frequenze dei fotogrammi visivi per corrispondere alla densità dell'audio utilizzando meccanismi di attenzione globale, che scalano quadraticamente ($O(T^2)$) con la lunghezza della sequenza.

2. Metodologia: Omni-Encoder

Per affrontare queste sfide, gli autori propongono Omni-Encoder, un backbone Transformer unificato progettato per co-incorporare segnali visivi e audio a una frequenza simmetrica di 25 fps all'interno di uno spazio latente condiviso. L'architettura elabora video e audio grezzi simultaneamente anziché fonderli in una fase successiva.

Componenti Architetturali Principali

A. Template di Token Omni-Encoder

Il video di input viene scomposto in tre flussi di token distinti a ogni posizione temporale ($t$):

1. Token Audio ($a_t$): Estratti da spettrogrammi log-Mel tramite CNN 1D leggere.
2. Token Visivi Continui (VC) ($vc_t$): Vettori apprendibili introdotti fotogramma per fotogramma per catturare le dinamiche del movimento inter-fotogramma (es. traiettorie di movimento, inizio di gesti, micro-movimenti).
3. Token Visivi Base (VB) ($vb_t$): Generati tramite embedding di patch per catturare le caratteristiche statiche dell'aspetto (texture, forma, disposizione).

Sparsificazione dei Token: Per mantenere la fattibilità computazionale preservando la fedeltà del movimento, viene applicato un Sparsificatore di Token. Questo mantiene tutti i token Audio e VC alla piena risoluzione di 25 fps, ma sottocampiona i token VB a 2 fps. Ciò riduce drasticamente il conteggio totale dei token inoltrati al decoder LLM a valle senza sacrificare le informazioni di movimento ad alta frequenza catturate dai token VC.

B. Omni-RoPE (Codifica Posizionale Rotatoria 3D)

La standard Embedding Posizionale Rotatoria 3D (RoPE) assegna coordinate $(t, h, w)$. Tuttavia, applicare questo direttamente a modalità eterogenee crea un conflitto in cui i token Audio e VC mancano di coordinate spaziali indipendenti.

• Soluzione: Gli autori rimappano le coordinate spaziali. I token VB vengono spostati per iniziare a $(t, 1, 1)$, mentre i token Audio occupano $(t, 0, 0)$ e i token VC occupano $(t, 0, 1)$.
• Vantaggio: Questo garantisce che tutte e tre le modalità ricevano codifiche posizionali non sovrapposte all'interno della stessa formulazione RoPE 3D, permettendo al modello di distinguere tra le modalità e modellare le relazioni cross-modali preservando l'estrapolazione agnostica alla risoluzione.

C. Spostamento della Finestra Temporale

Per gestire il costo computazionale del video a 25 fps, gli autori sostituiscono l'attenzione spaziotemporale globale con un meccanismo di Spostamento della Finestra Temporale ispirato al Transformer Swin.

• Meccanismo: La sequenza di token viene partizionata in gruppi temporali non sovrapposti ($G=16$ fotogrammi). L'attenzione spaziotemporale congiunta viene calcolata all'interno di questi gruppi.
• Spostamento: In livelli alternati, i confini della finestra vengono spostati di $G/2$ fotogrammi, permettendo il flusso di informazioni tra gruppi adiacenti.
• Complessità: Questo riduce la complessità dell'attenzione da quadratica $O(T^2)$ a lineare $O(T \cdot G)$, consentendo un'interazione cross-modale densa a 25 fps con un sovraccarico computazionale gestibile.

Strategia di Addestramento

Il modello adotta una strategia di addestramento end-to-end a fase singola:

• Base: Il componente LLM di Qwen2.5-Omni-3B viene utilizzato come decoder fisso.
• Inizializzazione: L'Omni-Encoder viene inizializzato con pesi derivati dall'apprendimento di rappresentazioni video auto-supervisionato (V-JEPA). I nuovi componenti (embedding audio, query apprendibili VC) vengono inizializzati casualmente.
• Ottimizzazione: Solo il finale linguaggio modeling (LM) head è addestrabile; tutti gli altri parametri LLM sono congelati. Questo evita pipeline di pre-addestramento multi-fase complesse.

3. Contributi Chiave

1. Codifica Unificata ad Alta Frequenza: Il primo encoder unificato a elaborare segnali visivi e audio simultaneamente a 25 fps, colmando il divario tra la percezione continua simile all'uomo e i metodi di campionamento discreti attuali.
2. Innovazioni Architetturali Novelle: L'introduzione del Template di Token (separazione di movimento e aspetto), Omni-RoPE (coordinate spazio-temporali-modali unificate) e Spostamento della Finestra Temporale (attenzione densa efficiente).
3. Prestazioni su Compiti di Movimento Densi: Dimostrazione che un encoder unificato può superare modelli specializzati in compiti che richiedono una modellazione temporale fine, specificamente il riconoscimento della lingua dei segni e delle azioni sportive.

4. Risultati Sperimentali

Gli autori hanno valutato Omni-Encoder rispetto a baseline specifiche per modalità e OmniLLM esistenti (es. Qwen2.5-Omni, Gemini-2.5-Pro) su diversi benchmark:

• Comprensione Visiva Continua:

  • Lingua dei Segni: Su NationalCSL6707, Omni-Encoder ha raggiunto il 90.32%, superando il miglior modello specifico per dominio precedente (69.61%) di oltre 20 punti percentuali. Su SLR500, ha raggiunto il 97.8%, superando lo specialista SignBERT.
  • Riconoscimento Azioni: Su Diving48, ha raggiunto il 90.8% (vs 90.3% SOTA), e il 68.7% su SthSv2, competendo con baseline solide come InternVideo2-S2-1B.
  • Osservazione: Gli OmniLLM esistenti (anche con SFT) hanno performato vicino al caso o male su questi compiti (es. Qwen2.5-Omni SFT ha ottenuto 25.7% su Diving48), evidenziando il limite della codifica visiva sparsa.

• Ragionamento Audio-Visivo:

  • Localizzazione/Identificazione del Parlante: Omni-Encoder ha raggiunto il 98.8% di localizzazione e l'82.31% di identificazione, eguagliando o superando modelli dedicati come HumanOmni-Speaker.
  • AVQA: Ha raggiunto l'82.6%, comparabile alla variante SFT di Qwen2.5-Omni-3B.

• Riconoscimento Audio-Visivo (LRS2):

  • Senza pre-elaborazione di ritaglio delle labbra, il modello ha raggiunto un Word Error Rate (WER) del 45.3% (Solo Visivo), 10.2% (Solo Audio) e 7.2% (Audio-Visivo), dimostrando una fusione cross-modale efficace.

5. Significato e Affermazioni

Il documento sostiene che la codifica onnivora unificata è una direzione promettente per costruire modelli omni-modali che riflettano più da vicino la natura integrata della percezione umana.

• Cambio di Paradigma: I risultati suggeriscono che allontanarsi da tassi di campionamento specifici per modalità e non corrispondenti verso uno spazio di codifica unificato ad alta frequenza permette ai modelli di catturare dinamiche di movimento fine precedentemente inaccessibili agli OmniLLM generici.
• Efficienza vs Fedeltà: L'architettura riconcilia con successo le doppie sfide del disaccoppiamento delle modalità (distinguere audio, visivo statico e segnali di movimento) e dell'efficienza computazionale (scalabilità lineare con la lunghezza del video).
• Generalizzazione: Il modello raggiunge prestazioni a livello di specialista su compiti di movimento denso senza personalizzazione architetturale specifica per il compito, validando la modellazione temporale ad alta densità come una strategia di rappresentazione generica efficace.

Gli autori concludono che, sebbene il modello attualmente rimanga leggermente indietro rispetto ai modelli proprietari all'avanguardia in compiti specifici di riconoscimento (attribuito alla scala limitata dei dati di addestramento), l'approccio unificato offre una base robusta per futuri sistemi omni-modali che percepiscono il mondo in modo olistico.