Data-driven Video Codec with Implicit Neural Representations

Imagine que você esteja tentando enviar um filme massivo, de alta definição, para um amigo. No mundo da mídia digital, geralmente tratamos o vídeo e o áudio como um gigantesco mosaico feito de pequenos azulejos coloridos (pixels) e uma trilha separada de ondas sonoras. Os codecs de vídeo tradicionais são como arquivistas mestres que observam esse mosaico, encontram todos os padrões repetitivos e entediantes e escrevem um conjunto muito inteligente de instruções sobre como reconstruí-lo usando menos azulejos. Eles são incrivelmente eficientes, mas dependem de uma grade fixa de pixels.

Agora, imagine uma abordagem diferente. Em vez de armazenar os próprios azulejos, e se você armazenasse uma única receita superinteligente? Esta receita é uma função matemática que, quando você pergunta "Qual é a cor do pixel neste ponto específico neste momento específico?", responde instantaneamente com a cor e o som exatos. Este é o mundo das Representações Neurais Implícitas (INRs). Pense nisso como ensinar um robô a memorizar uma pintura aprendendo as pinceladas, em vez de tirar uma foto da tela. Se o robô conhecer a receita perfeitamente, você só precisa salvar a receita (o "cérebro" ou os pesos do robô) para recriar todo o filme mais tarde. Este artigo explora se podemos usar este método de "receita" para armazenar tanto o vídeo quanto o áudio juntos em um único cérebro e se podemos encolher esse cérebro o suficiente para torná-lo útil.

O Codec de Vídeo "Um Único Cérebro"

Os pesquisadores da Universidade de Tribhuvan, no Nepal, fizeram uma pergunta ousada: Podemos construir uma única rede neural — um cérebro digital — que aprenda a ser tanto um reprodutor de vídeo quanto um sistema de som ao mesmo tempo? Normalmente, vídeo e áudio são tratados por sistemas separados. Aqui, eles construíram uma rede unificada chamada SIREN (Rede de Representação Sinusoidal).

Pense nesta rede como um tradutor mágico. Você fornece a ela um conjunto de coordenadas: onde você está na imagem (x, y), qual é o quadro do filme (t) e o momento exato no tempo para o som (T). Em troca, a rede cospe a cor daquele pixel e o volume do som naquele instante exato. Em vez de salvar um arquivo cheio de milhões de pixels, eles salvam os "pesos" da rede — essencialmente as configurações matemáticas que fazem o tradutor funcionar.

No entanto, havia um problema. Vídeo e áudio são feras muito diferentes. O vídeo muda lentamente (uma pessoa caminhando), enquanto o áudio muda incrivelmente rápido (uma corda de violino vibrando). Os pesquisadores descobriram que uma única "primeira camada" da rede não conseguia lidar bem com ambos. Era como tentar usar um par de óculos para ler um livro e ouvir uma sinfonia; nenhum dos dois funcionava com clareza. Por isso, eles deram à rede dois "óculos" separados (camadas de inicialização) no início — um ajustado para o vídeo de movimento lento e outro para o áudio de movimento rápido — antes de fundi-los em um cérebro compartilhado.

O Truque de Mágica da Compressão

O maior problema com esta ideia é que a "receita" (a rede treinada) é frequentemente enorme. Na verdade, para um vídeo curto, a receita pode ser maior que o próprio arquivo de vídeo! Para resolver isso, a equipe utilizou um pipeline de compressão de três etapas:

1. O Professor e o Aluno: Primeiro, eles treinaram uma rede "Professor" grande e complexa para memorizar o vídeo perfeitamente. Este professor era enorme (cerca de 9,05 MiB). Então, eles usaram uma técnica chamada Destilação de Conhecimento. Imagine o Professor explicando o vídeo para uma rede "Aluno" menor e mais simples. O Aluno não apenas aprende o vídeo bruto; ele aprende a imitar as respostas do Professor. Isso encolheu o modelo significativamente.
2. Quantização (O Jogo do Arredondamento): Os pesos de uma rede são geralmente armazenados com alta precisão (como números de 32 bits). Os pesquisadores tentaram arredondar esses números para menos bits, como inteiros de 16 bits. É como pegar uma receita muito precisa que diz "adicione 1,000001 gramas de sal" e simplificá-la para "adicione 1 grama". Eles testaram tudo, desde 1 bit (muito grosseiro) até 32 bits (muito preciso). Descobriram que, assim que atingiram 16 bits, a qualidade parou de melhorar. Ir além não fazia o vídeo parecer melhor, mas descer abaixo disso o tornava terrível.
3. Empacotamento Sem Perdas: Finalmente, eles usaram uma ferramenta de compressão padrão chamada LZMA2 (a mesma usada em arquivos .xz) para compactar o restante dos dados sem perder nenhuma informação.

Os Resultados: Um Mix de Coisas

A equipe testou isso em vários vídeos curtos. Aqui está o que encontraram:

• A Vitória do Tamanho: Para um vídeo de teste que tinha 6,08 MiB de tamanho, seu modelo comprimido final foi de 2,33 MiB. Esse é um índice de compressão de 2,61. Eles conseguiram espremer o vídeo e o áudio em um arquivo menos da metade do tamanho do original.
• O Equilíbrio da Qualidade: A qualidade do vídeo foi decente, mas não excepcional. O melhor vídeo que testaram obteve um PSNR de 28,72 dB (uma medida de qualidade onde valores mais altos são melhores) e um SSIM de 0,75. O áudio estava razoável, com um PSNR de 24,18 dB.
• O Problema do "Vídeo Curto": Esta é a descoberta mais importante. Como a rede tem um tamanho fixo (ela precisa de uma certa quantidade de "cérebro" para funcionar), vídeos curtos acabam ficando maiores quando são comprimidos. Para um clipe minúsculo de 5 segundos, o arquivo comprimido foi maior que o original. O método só começa a economizar espaço quando o vídeo é longo o suficiente para justar o custo fixo da rede.
• Comparação com os Gigantes: Quando compararam seu método com os padrões da indústria, H.264 e HEVC (os codecs usados pelo YouTube e Netflix), o método deles perdeu. Os codecs tradicionais foram muito melhores na compressão de vídeo, muitas vezes por um fator de 10 ou mais. O novo método só igualou a qualidade dos codecs tradicionais quando estes eram configurados para suas definições mais baixas e "granuladas".

Por Que Isso Importa (Mesmo Não Sendo Perfeito)

Os autores são muito honestos sobre as limitações. Eles admitem que, por enquanto, este método não está pronto para substituir o YouTube ou a Netflix. Ele é muito lento para treinar (leva milhares de horas de tempo de computador para "ensinar" a rede um único vídeo) e tem dificuldades com cenas de movimento rápido.

No entanto, eles descobriram algo único: o tamanho do arquivo é constante. No vídeo tradicional, se você dobrar a duração do filme, o tamanho do arquivo dobra. Com este método, o tamanho do arquivo permanece aproximadamente o mesmo, quer o vídeo tenha 1 minuto ou 1 hora de duração (uma vez que ultrapassa um certo comprimento mínimo). Isso sugere que, para conteúdos de altíssima resolução e muito longos, esta abordagem pode se tornar muito eficiente no futuro.

Eles também construíram um protótipo funcional que roda em um navegador web, mostrando que é possível treinar, enviar e reproduzir essas "receitas de vídeo neurais" pela internet usando tecnologias web padrão.

Em resumo, este artigo não inventou um novo formato de vídeo que supere os atuais campeões. Em vez disso, provou que você pode armazenar um vídeo e sua trilha sonora dentro de um único cérebro matemático, e que você pode encolher esse cérebro até um tamanho utilizável sem destruir a imagem. É um passo promissor em direção a um futuro onde não enviaremos apenas pixels, mas sim as instruções para imaginá-los.