Predicting total time to compress a video corpus using online inference systems

Imagine que você está administrando uma enorme biblioteca digital onde as pessoas constantemente deixam cair milhares de arquivos de vídeo para serem reduzidos para streaming. Esse processo, chamado de "compressão", é como arrumar uma mala: você tem que dobrar e espremer os dados do vídeo para que ocupem menos espaço, mas quanto mais difícil for dobrar o vídeo (muito movimento rápido ou texturas complexas), mais tempo isso levará. No mundo da computação em nuvem, saber exatamente quanto tempo esse trabalho de embalagem levará é algo fundamental. Isso ajuda as empresas a determinarem quanta energia precisam consumir e, mais importante, quanto cobrar de seus clientes. Atualmente, a maioria dos sistemas age como um chef de cozinha vendado; eles só te dizem o preço da refeição depois que você já comeu. Isso torna o orçamento um pesadelo. Cientistas tentaram prever o tempo para cada clipe de vídeo individualmente, mas isso é como tentar adivinhar o peso total de um caminhão inteiro de tijolos pesando apenas um tijolo por vez. É lento, e os erros se acumulam. A grande questão é: podemos prever o tempo total para o monte inteiro de vídeos antes mesmo de terminarmos o trabalho e podemos nos tornar mais inteligentes à medida que avançamos?

Este artigo, escrito por uma equipe do Trinity College Dublin, aborda exatamente esse problema. Em vez de adivinhar o tempo para cada clpi de vídeo um por um, eles construíram um novo tipo de "calculadora inteligente" que prevê o tempo total necessário para comprimir uma coleção inteira (ou "corpus") de vídeos. Eles descobriram que olhar para o quadro geral é muito melhor do que olhar para as pequenas partes. Na verdade, o método deles de prever o tempo total para o grupo inteiro foi mais do que duas vezes mais preciso do que o método antigo de adivinhar por clipe.

Aqui está como o sistema deles funciona, usando uma analogia divertida. Imagine que você é um mestre de obras em um canteiro de obras com 600 salas diferentes para pintar. Algumas salas são minúsculas e simples; outras são enormes e cobertas por murais intrincados.

• O Jeito Antigo (Previsão por Clipe): Você tenta adivinhar quanto tempo levará para pintar cada uma das salas antes de começar. Você pode adivinhar que a sala com o mural leva 10 horas e o armário leva 1 minuto. Mas se você errar até mesmo um palpite, sua estimativa total para todo o trabalho estará errada.
• O Jeito Novo (Previsão de Corpus): Você começa a pintar. Depois de ter terminado apenas algumas salas (digamos, 2% do trabalho), você para e observa o que fez. Você percebe: "Ei, as salas que pintei até agora estão levando, em média, 15 minutos cada". Você então usa esses dados do mundo real para adivinhar quanto tempo as restantes 588 salas levarão.

Os autores testaram essa ideia com duas ferramentas de "pintura" diferentes (codecs de vídeo chamados x264 e x265) e um enorme conjunto de dados de 600 clipes de vídeo 4K de alta qualidade. Eles não apenas adivinharam; eles construíram um sistema que aprende conforme avança. Eles chamam isso de "inferência online". É como um GPS que atualiza sua rota e o tempo de chegada toda vez que você passa por um novo ponto de referência, em vez de fornecer apenas um mapa estático no início.

Eles testaram várias estratégias:

1. O Palpite da "Barra de Progresso": Este é o método mais simples. Ele apenas assume que o restante dos vídeos levará o mesmo tempo médio que os que você já terminou. É aceitável, mas não é ótimo.
2. O Palpite de "Agrupamento": Este método classifica os vídeos em grupos (clusters) baseados na complexidade visual (como separar as salas entre aquelas que têm murais ou paredes lisas). Ele prevê o tempo para as salas restantes em cada grupo separadamente. Isso é melhor.
3. O Palpite do "Supercérebro" (Aprendizado de Máquina): Este utiliza um algoritmo inteligente chamado XGBoost. Ele observa os detalhes dos vídeos que você já processou e aprende um padrão complexo para prever o restante.

Os resultados foram surpreendentes e impressionantes. Os autores descobriram que você não precisa usar o "Supercérebro" para todo o trabalho. Na verdade, a melhor estratégia é uma abordagem de mistura e combinação:

• Antes de começar: Use um modelo "Supercérebro" geral para ter uma ideia aproximada. Para a ferramenta x264, esse palpite estava errado por cerca de 13,5% do tempo total.
• Após 2% concluídos: Mude para o "Supercérebro" que aprende em tempo real (online). Isso reduz o erro para cerca de 8,75%.
• Após 6% concluídos: Mude para o método mais simples de "Agrupamento". Surpreendentemente, este método simples tornou-se ainda mais preciso, reduzindo o erro para pouco menos de 5% (4,89% para x264 e 5,11% para x265).

O artigo argumenta explicitamente contra a ideia de que você precisa de um único modelo complexo treinado em tudo para obter bons resultados. Eles mostraram que modelos gerais (treinados com dados de outras fontes) tiveram um desempenho pior assim que o trabalho real começou. Eles também provaram que você não precisa esperar até que o trabalho esteja 50% ou 90% concluído para obter uma boa estimativa; você pode obter previsões muito precisas (com menos de 5% de erro) após processar apenas uma fração minúscula dos vídeos.

A equipe mediu isso em um computador potente com 64 núcleos, processando 600 clipes que tinham ou 2 ou 4 segundos de duração. Eles descobriram que o "poder cerebral" necessário para executar essas previsões era ínfimo — adicionando menos de 0,2% de tempo extra a todo o processo. Isso significa que o sistema é rápido o suficiente para ser usado em tempo real sem atrasar a compressão de vídeo real.

Em resumo, o artigo sugere que, para prever quanto tempo um trabalho massivo de vídeo levará, é melhor ser um "mestre de obras que aprende" do que um "bola de cristal". Ao observar uma pequena amostra do trabalho e ajustar seu palpite conforme avança, você pode prever o custo e o tempo total com uma precisão muito maior do que tentando adivinhar cada passo individualmente com antecedência. Isso ajuda as empresas de nuvem a economizar dinheiro e permite que os clientes saibam exatamente pelo que estão pagando antes mesmo de o trabalho começar.