Data-driven Video Codec with Implicit Neural Representations

Immagina di dover inviare un film enorme e in alta definizione a un tuo amico. Nel mondo dei media digitali, solitamente trattiamo il video e l'audio come un gigantesco mosaico composto da minuscole piastrelle colorate (pixel) e un flusso separato di onde sonore. I codec video tradizionali sono come maestri archivisti che osservano questo mosaico, trovano tutti i modelli ripetitivi e noiosi e scrivono un insieme molto intelligente di istruzioni su come ricostruirlo usando meno piastrelle. Sono incredibilmente efficienti, ma si basano su una griglia fissa di pixel.

Ora, immagina un approccio diverso. Invece di memorizzare le piastrelle stesse, e se memorizzassimo una singola ricetta super intelligente? Questa ricetta è una funzione matematica che, quando le chiedi "Che colore ha il pixel in questo punto specifico in questo momento?", risponde istantaneamente con il colore e il suono esatti. Questo è il mondo delle Rappresentazioni Neurali Implicite (INR). Pensa a questo come all'insegnare a un robot a memorizzare un dipinto imparando le pennellate invece di scattare una foto alla tela. Se il robot conosce la ricetta perfettamente, devi solo salvare la ricetta (il "cervello" o i pesi del robot) per ricreare l'intero film in seguito. Questo articolo esplora se possiamo usare questo metodo della "ricetta" per memorizzare sia il video che l'audio in un unico cervello, e se possiamo rimpicciolire quel cervello abbastanza da renderlo utile.

Il Codec Video "Unico Cervello"

I ricercatori della Tribhuvan University in Nepal si sono posti una domanda audace: possiamo costruire una singola rete neurale — un cervello digitale — che impari a essere sia un lettore video che un sistema audio contemporaneamente? Di solito, video e audio sono gestiti da sistemi separati. Qui, hanno costruito una rete unificata chiamata SIREN (Sinusoidal Representation Network).

Pensa a questa rete come a un traduttore magico. Tu gli fornisci un insieme di coordinate: dove ti trovi nell'immagine (x, y), quale fotogramma del film è (t), e l'istante esatto nel tempo per il suono (T). In cambio, la rete sputa fuori il colore di quel pixel e il volume del suono in quell'esatto istante. Invece di salvare un file pieno di milioni di pixel, salvano i "pesi" della rete — essenzialmente le impostazioni matematiche che fanno funzionare il traduttore.

Tuttavia, c'era un problema. Il video e l'audio sono due bestie molto diverse. Il video cambia lentamente (una persona che cammina), mentre l'audio cambia incredibilmente velocemente (una corda di violino che vibra). I ricercatori hanno scoperto che un singolo "primo strato" della rete non poteva gestire bene entrambi. Era come cercare di usare un unico paio di occhiali per leggere un libro e ascoltare una sinfonia; nessuno dei due funzionava chiaramente. Così, hanno dato alla rete due "occhiali" separati (strati di inizializzazione) all'inizio — uno tarato per il movimento lento del video e uno per il movimento veloce dell'audio — prima di unirli in un cervello condiviso.

Il Trucco Magico della Compressione

Il problema principale con questa idea è che la "ricetta" (la rete addestrata) è spesso enorme. In effetti, per un video breve, la ricetta può essere più grande del file video stesso! Per risolvere questo, il team ha utilizzato una pipeline di compressione in tre fasi:

1. L'Insegnante e lo Studente: Per prima cosa, hanno addestrato una rete "Insegnante" grande e complessa per memorizzare perfettamente il video. Questo insegnante era enorme (circa 9,05 MiB). Poi, hanno usato una tecnica chiamata Distillazione della Conoscenza (Knowledge Distillation). Immagina che l'Insegnante spieghi il video a una rete "Studente" più piccola e semplice. Lo Studente non impara solo il video grezzo; impara a imitare le risposte dell'Insegnante. Questo ha rimpicciolito il modello significativamente.
2. Quantizzazione (Il Gioco dell'Arrotondamento): I pesi della rete sono solitamente memorizzati con un'alta precisione (come numeri a 32 bit). I ricercatori hanno provato ad arrotondare questi numeri verso il basso a meno bit, come interi a 16 bit. È come prendere una ricetta molto precisa che dice "aggiungi 1,000001 grammi di sale" e semplificarla in "aggiungi 1 grammo". Hanno testato tutto, da 1 bit (molto grossolano) a 32 bit (molto precisi). Hanno scoperto che una volta raggiunti i 16 bit, la qualità smetteva di migliorare. Andare oltre non rendeva il video migliore, ma scendere rendeva l'aspetto terribile.
3. Packing Lossless: Infine, hanno utilizzato uno strumento di compressione standard chiamato LZMA2 (lo stesso usato per i file .xz) per comprimere i dati rimanenti senza perdere alcuna informazione.

I Risultati: Un Mix di Successi e Limiti

Il team ha testato questo metodo su diversi video brevi. Ecco cosa hanno scoperto:

• La Vittoria delle Dimensioni: Per un video di test di 6,08 MiB, il loro modello compresso finale era di 2,33 MiB. Questo è un rapporto di compressione di 2,61. Sono riusciti a comprimere il video e l'audio in un file meno della metà della dimensione originale.
• Il Compromesso sulla Qualità: La qualità del video era discreta ma non eccezionale. Il miglior video testato ha ottenuto un PSNR di 28,72 dB (una misura di qualità dove valori più alti sono migliori) e un SSIM di 0,75. L'audio era accettabile, con un PSNR di 24,18 dB.
• Il Problema dei "Video Brevi": Questa è la scoperta più importante. Poiché la rete ha una dimensione fissa (ha bisogno di una certa quantità di "cervello" per funzionare), i video brevi diventano effettivamente più grandi quando vengono compressi. Per un piccolo clip di 5 secondi, il file compresso era più grande dell'originale. Il metodo inizia a risparmiare spazio solo quando il video è abbastanza lungo da giustificare il costo fisso della rete.
• Il Confronto con i Giganti: Quando hanno confrontato il loro metodo con gli standard del settore H.264 e HEVC (i codec usati da YouTube e Netflix), il loro metodo ha perso. I codec tradizionali erano molto più bravi a comprimere il video, spesso con un fattore di 10 o più. Il nuovo metodo eguagliava la qualità dei codec tradizionali solo quando questi ultimi erano impostati sulle loro impostazioni di qualità più basse e "granulose".

Perché Questo Importa (Anche se Non è Perfetto)

Gli autori sono molto onesti riguardo ai limiti. Ammettono che, per ora, questo metodo non è pronto per sostituire YouTube o Netflix. È troppo lento da addestrare (richiede migliaia di ore di tempo di calcolo per "insegnare" un singolo video) e fatica con le scene in rapido movimento.

Tuttamente, hanno scoperto qualcosa di unico: la dimensione del file è costante. Nel video tradizionale, se raddoppi la lunghezza del film, la dimensione del file raddoppia. Con questo metodo, la dimensione del file rimane approssimativamente la stessa, che il video duri 1 minuto o 1 ora (una volta superata una certa lunghezza minima). Questo suggerisce che per contenuti molto lunghi e ad alta risoluzione, questo approccio potrebbe un giorno diventare molto efficiente.

Hanno anche costruito un prototipo funzionante che gira in un browser web, dimostrando che è possibile addestrare, inviare e riprodurre queste "ricette video neurali" su Internet utilizzando le tecnologie web standard.

In breve, questo articolo non ha inventato un nuovo formato video che batte i campioni attuali. Ha invece dimostrato che puoi memorizzare un video e la sua colonna sonora all'interno di un singolo cervello matematico, e che puoi rimpicciolire quel cervello fino a renderlo di dimensioni utilizzabili senza distruggere l'immagine. È un passo promettente verso un futuro in cui non invieremo solo pixel, ma le istruzioni per immaginarli.