Predicting total time to compress a video corpus using online inference systems

Immagina di gestire una biblioteca digitale massiccia dove le persone lasciano costantemente migliaia di file video per essere rimpiccioliti per lo streaming. Questo processo, chiamato "compressione", è come imballare una valigia: devi piegare e schiacciare i dati video in modo che occupino meno spazio, ma più è difficile da piegare il video (molto movimento veloce o texture complesse), più tempo ci vuole. Nel mondo del cloud computing, sapere esattamente quanto tempo richiederà questo lavoro di imballaggio è una grande opportunità. Aiuta le aziende a capire quanta energia devono consumare e, cosa più importante, quanto devono addebitare ai propri clienti. Attualmente, la maggior parte dei sistemi si comporta come uno chef bendato; ti dice il prezzo del pasto solo dopo che lo hai già mangiato. Questo rende la gestione del budget un incubo. Gli scienziati hanno cercato di prevedere il tempo per ogni singolo clip video, ma è come cercare di indovinare il peso totale di un intero camion di mattoni pesandone uno alla volta. È lento e gli errori si accumulano. La grande domanda è: possiamo prevedere il tempo totale per l'intero mucchio di video prima ancora di aver finito il lavoro, e possiamo diventare più intelligenti man mano che procediamo?

Questo articolo, scritto da un team del Trinity College di Dublino, affronta esattamente questo problema. Invece di indovinare il tempo per ogni singolo clip video uno alla volta, hanno costruito un nuovo tipo di "calcolatore intelligente" che prevede il tempo totale necessario per comprimere un'intera collezione (o "corpus") di video. Hanno scoperto che guardare il quadro generale è molto meglio che guardare i piccoli pezzi. Infatti, il loro metodo di prevedere il tempo totale per l'intero gruppo è stato più del doppio più accurato del vecchio metodo di indovinare per ogni clip.

Ecco come funziona il loro sistema, usando un'analogia divertente. Immagina di essere un capocantiere in un cantiere con 600 diverse stanze da dipingere. Alcune stanze sono piccole e semplici; altre sono enormi e ricoperte di intricati affreschi.

• Il Vecchio Modo (Previsione per Clip): Cerchi di indovinare quanto tempo servirà per dipingere ogni singola stanza prima di iniziare. Potresti stimare che la stanza con l'affresco richieda 10 ore e il ripostiglio 1 minuto. Ma se sbagli anche una sola stima, la tua stima totale per l'intero lavoro sarà errata.
• Il Nuovo Modo (Previsione per Corpus): Inizi a dipingere. Dopo aver finito solo alcune stanze (diciamo il 2% del lavoro), ti fermi e guardi ciò che hai fatto. Ti rendi conto: "Ehi, le stanze che ho dipinto finora stanno richiedendo in media 15 minuti ciascuna". Usi quindi questi dati reali per stimare quanto tempo richiederanno le restanti 588 stanze.

Gli autori hanno testato questa idea con due diversi "strumenti di pittura" (codec video chiamati x264 e x265) e un enorme dataset di 600 clip video 4K di alta qualità. Non si sono limitati a indovinare; hanno costruito un sistema che impara man mano che procede. Lo chiamano "inferenza online". È come un GPS che aggiorna il tuo percorso e l'orario di arrivo ogni volta che passi accanto a un nuovo punto di riferimento, invece di dare una mappa statica all'inizio.

Hanno testato diverse strategie:

1. L'Indovino della "Barra di Avanzamento": Questo è il metodo più semplice. Assume semplicemente che i video rimanenti richiederanno lo stesso tempo medio di quelli che hai già finito. È accettabile, ma non eccellente.
2. L'Indovino per "Raggruppamento": Questo metodo suddivide i video in gruppi (cluster) in base alla loro complessità visiva (come suddividere le stanze tra quelle con affreschi e quelle con pareti semplici). Prevede il tempo per le stanze rimanenti in ogni gruppo separatamente. È migliore.
3. L'Indovino "Super-Cervello" (Machine Learning): Utilizza un algoritmo intelligente chiamato XGBoost. Esamina i dettagli dei video che hai già elaborato e impara un modello complesso per prevedere il resto.

I risultati sono stati sorprendenti e impressionanti. Gli autori hanno scoperto che non è necessario usare il "Super-Cervello" per tutto il lavoro. Anzi, la migliore strategia è un approccio di mix-and-match:

• Prima di iniziare: Usa un modello "Super-Cervello" generale per avere un'idea approssimativa. Per lo strumento x264, questa stima era errata di circa il 13,5% del tempo totale.
• Dopo che il 2% è stato completato: Passa al "Super-Cervello" che impara in tempo reale (online). Questo riduce l'errore a circa l'8,75%.
• Dopo che il 6% è stato completato: Passa al metodo più semplice di "Raggruppamento". Sorprendentemente, questo metodo semplice è diventato ancora più accurato, portando l'errore a meno del 5% (4,89% per x264 e 5,11% per x265).

L'articolo sostiene esplicitamente contro l'idea che sia necessario un singolo modello complesso addestrato su tutto per ottenere buoni risultati. Hanno dimostrato che i modelli generali (addestrati su dati provenienti da altre fonti) hanno in realtà ottenuto prestazioni peggiori una volta iniziato il lavoro effettivo. E hanno anche provato che non è necessario aspettare che il lavoro sia al 50% o al 90% per ottenere una buona stima; puoi ottenere previsioni molto accurate (meno del 5% di errore) dopo aver elaborato solo una minima frazione dei video.

Il team ha misurato questo su un computer potente con 64 core, elaborando 600 clip che duravano o 2 o 4 secondi. Hanno scoperto che la "potenza cerebrale" necessaria per eseguire queste previsioni è minima — aggiungendo meno dello 0,2% di tempo extra all'intero processo. Ciò significa che il sistema è abbastanza veloce da poter essere utilizzato in tempo reale senza rallentare la compressione video stessa.

In breve, l'articolo suggerisce che per prevedere quanto tempo richiederà un enorme lavoro di video, è meglio essere un "capocantiere che impara" piuttosto che una "palla di cristallo". Osservando un piccolo campione del lavoro e regolando la tua stima man mano che procedi, puoi prevedere il costo totale e il tempo con un'accuratezza molto maggiore rispetto al cercare di indovinare ogni singolo passaggio in anticipo. Questo aiuta le aziende cloud a risparmiare denaro e permette ai clienti di sapere esattamente cosa stanno pagando prima ancora che il lavoro inizi.