💻 computer science

Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

Este artigo propõe um paradigma de pré-treinamento de vídeo eficiente em dados que congela um modelo fundamental de imagem poderoso para lidar com características espaciais enquanto treina apenas um módulo recorrente leve para raciocínio temporal, demonstrando que a compreensão competitiva de vídeo pode ser alcançada sem os custos substanciais de dados e computação do pré-treinamento de vídeo de ponta a ponta.

Autores originais: Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

Publicado 2026-05-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Não Reinvente a Roda

Imagine que você quer construir um robô que possa assistir a um filme e entender a história. Tradicionalmente, para ensinar isso a um robô, você precisa mostrar a ele milhões de horas de filmes do zero. Ele precisa aprender a reconhecer um "rosto" (espacial) e como um rosto se move quando alguém sorri (temporal) tudo ao mesmo tempo. Isso é incrivelmente caro, exigindo quantidades massivas de dados e poder de computação.

Este artigo faz uma pergunta simples: Será que realmente precisamos ensinar o robô a reconhecer rostos do zero?

Os autores sugerem uma maneira mais inteligente: Use um robô que já é especialista em olhar para fotos estáticas e apenas ensine-o a assistir ao filme.

A Analogia: O Fotógrafo Especialista e o Novo Diretor

Pense no problema como a produção de um filme:

O Modelo de Imagem Congelada (O Fotógrafo Especialista):
Imagine que você contrata um fotógrafo mundialmente famoso que passou anos estudando milhões de fotos. Ele é um mestre absoluto em reconhecer objetos, iluminação e texturas em uma única imagem estática. Neste artigo, os pesquisadores "congelam" esse fotógrafo. Eles não permitem que ele aprenda nada novo; apenas usam seu conhecimento existente e perfeito sobre como as coisas parecem.
O Módulo Temporal (O Novo Diretor):
Agora, você precisa de alguém para descobrir o que está acontecendo no vídeo. Você contrata um novo "Diretor", leve e ágil. A única função deste Diretor é assistir à sequência de fotos tiradas pelo Fotógrafo e descobrir a história (por exemplo: "A pessoa está andando", "A bola está quicando").

O Experimento:
Os pesquisadores tentaram construir uma IA de vídeo pegando um fotógrafo especialista "congelado" (um modelo de imagem pré-treinado como o DINOv3) e anexando um Diretor totalmente novo (um módulo temporal) a ele. Eles treinaram apenas o Diretor com dados de vídeo, deixando o Fotógrafo completamente intocado.

O Que Eles Encontraram

1. O Fotógrafo Já é Perfeito
Eles compararam sua equipe de "Fotógrafo Congelado + Novo Diretor" contra modelos tradicionais de IA de vídeo que tentam aprender tanto a ver quanto a mover do zero.

Resultado: A equipe que usava o fotógrafo especialista congelado na verdade teve um desempenho melhor no reconhecimento de objetos e cenas do que os modelos que tentaram aprender tudo do zero.
Conclusão: O conhecimento "espacial" (reconhecer o que está na imagem) já é tão bom nos modelos de imagem modernos que você não precisa desperdiçar tempo reaprendendo isso para vídeo.

2. O Diretor Precisa de Treinamento (Mas Menos Dados)
Mesmo com o Fotógrafo perfeito, o Diretor ainda precisava aprender a conectar os pontos entre os quadros.

Resultado: Quando treinaram o Diretor do zero usando a saída do Fotógrafo, o sistema tornou-se muito bom em entender movimento e ação.
Conclusão: Você não precisa retreinar todo o sistema. Você só precisa treinar a parte do "Diretor".

3. Eficiência de Dados: Fazer Mais com Menos
Esta é a parte mais emocionante. Como o Fotógrafo já sabe tudo sobre o mundo, o Diretor não precisa assistir a milhões de vídeos para aprender.

Resultado: Seu sistema, usando um modelo de imagem congelado, teve um desempenho melhor do que um modelo de vídeo massivo, mesmo quando foi treinado com menos de 25% dos dados habituais.
Analogia: É como ensinar um novo diretor que já tem um roteiro escrito por um gênio. Ele não precisa assistir a 1.000 filmes para entender o enredo; ele pode descobrir assistindo apenas a 250.

O Teste de "Streaming"

Os pesquisadores testaram isso em um modo de "streaming", significando que a IA precisava entender o vídeo conforme ele acontecia, quadro a quadro, sem olhar para frente (como assistir a uma transmissão ao vivo).

Resultado: Mesmo neste teste rigoroso e em tempo real, sua abordagem de "Fotógrafo Congelado + Novo Diretor" foi competitiva e, muitas vezes, superou os modelos de vídeo mais avançados que foram treinados com bilhões de clipes de vídeo.

A Conclusão

O artigo conclui que provavelmente estamos desperdiçando dinheiro e energia ao treinar modelos de vídeo do zero. Em vez disso, devemos:

Congelar um modelo de imagem poderoso (o Fotógrafo).
Treinar um módulo pequeno e leve para lidar com o movimento (o Diretor).

Essa abordagem economiza uma enorme quantidade de poder de computação e dados. Os autores observam que, embora ainda não tenham pré-treinado completamente o Diretor em grandes conjuntos de dados de vídeo (isso é o próximo passo), seus testes iniciais provam que esse método "desacoplado" é um caminho muito promissor para construir IA de vídeo eficiente.

Em resumo: Não ensine a IA a ver; apenas ensine-a a assistir.

Resumo Técnico: Rumo ao Pré-treinamento de Vídeo Eficiente em Dados com Modelos Fundacionais de Imagem Congelados

Declaração do Problema
Os modelos fundacionais de vídeo atualmente alcançam desempenho de última geração (SotA) em diversas tarefas de compreensão de vídeo, mas dependem de pré-treinamento de ponta a ponta em conjuntos de dados massivos de vídeo (frequentemente de milhões a bilhões de clipes). Essa abordagem incorre em custos substanciais na coleta de dados, armazenamento e recursos computacionais. Por outro lado, os modelos fundacionais de imagem modernos alcançaram capacidades sem precedentes, fornecendo representações espaciais poderosas treinadas em bilhões de imagens. A questão central de pesquisa proposta por este trabalho é se modelos de vídeo competitivos podem ser construídos reutilizando essas representações espaciais pré-existentes e restringindo os esforços de pré-treinamento exclusivamente ao raciocínio temporal. Os autores visam explorar um paradigma de treinamento leve que congela um modelo fundacional de imagem pré-treinado e treina apenas um módulo temporal recorrente para processar vídeo em fluxo contínuo, reduzindo assim potencialmente os requisitos de dados e computação para o pré-treinamento de vídeo.

Metodologia
O framework proposto desacopla a aprendizagem espacial e temporal para a compreensão de vídeo, consistindo em três componentes principais:

Codificador de Imagem Congelado: O modelo utiliza um modelo fundacional de imagem pré-treinado (principalmente DINOv3, embora DINOv2, SigLIP2 e ViTs supervisionados também sejam avaliados) como um extrator de características espaciais. Este codificador permanece completamente congelado durante o treinamento, sem gradientes fluindo através dele.
- Extração de Características Multi-profundidade: Para aproveitar informações distribuídas ao longo da profundidade do codificador congelado, o framework extrai tokens de patches de quatro profundidades ViT igualmente espaçadas (1/4, 1/2, 3/4 e 1). Essas características são adaptadas via MLPs por camada treináveis com conexões residuais e médias para formar a representação de entrada, suplementada por tokens CLS e de registro.
Módulo Temporal Recorrente: Um módulo temporal leve processa as características por quadro sequencialmente e causalmente (sem acesso a quadros futuros). O módulo mantém um estado oculto através dos quadros. Os autores avaliam quatro arquiteturas distintas:
- RVMRNN: Um núcleo recorrente com portão GRU e atenção cruzada, adotado da linha de base RVM.
- Mamba: Um modelo de espaço de estados seletivo (SSM) operando independentemente em tokens espaciais.
- MambaMix: Mamba intercalado com blocos de auto-atenção espacial para permitir interação entre patches dentro dos quadros.
- GatedMambaMix (GMMix): Uma extensão do MambaMix incorporando um mecanismo de portão aprendido para controlar o fluxo de informação temporal, análogo ao portãoamento do GRU.
Leitura Atencional: Uma cabeça específica da tarefa produz previsões. Os autores empregam um protocolo de "fluxo contínuo" onde a leitura recebe apenas a saída do quadro atual ( $h_t$ ), garantindo que o contexto temporal seja estritamente acumulado dentro do estado recorrente e não compensado pela leitura.

Principais Contribuições

Estudo Empírico da Aprendizagem Temporal com Representações Espaciais Congeladas: Os autores demonstram que o raciocínio temporal eficaz emerge em múltiplos codificadores de imagem, arquiteturas temporais e tarefas diversas de vídeo (reconhecimento de ação, rastreamento de objetos/pontos, estimativa de profundidade, estimativa de pose da câmera) mesmo quando a base de imagem é fixa.
Evidências para Pré-treinamento de Vídeo Eficiente em Dados: Os resultados sugerem que os modelos fundacionais de imagem modernos já contêm capacidade espacial suficiente para a compreensão de vídeo. Isso apoia um paradigma futuro onde apenas o módulo temporal requer pré-treinamento em vídeo, desacoplando significativamente a aprendizagem espacial e temporal.

Resultados Experimentais
O estudo avalia o framework em benchmarks incluindo Something-Something v2 (SSv2), Waymo Open, Perception Test (PT), ScanNet e NuScenes.

Competitividade do Codificador Espacial: Codificadores pré-treinados em imagem congelados (especificamente DINOv3 e DINOv2) consistentemente igualam ou superam o codificador RVM pré-treinado em vídeo. Por exemplo, no SSv2, o DINOv3 alcançou 66,9% de precisão comparado aos 62,7% do codificador RVM pré-treinado em vídeo. No Waymo, os codificadores de imagem superaram o codificador RVM (85,0–85,5 mIoU vs. 83,4 mIoU).
Desempenho do Módulo Temporal: Quando acoplado a um codificador DINOv3 congelado, todas as arquiteturas temporais testadas superaram significativamente uma linha de base RVM congelada (que possui um codificador pré-treinado em vídeo e núcleo temporal congelados). Por exemplo, DINOv3 + GMMix alcançou uma média normalizada de 99,4, comparado a 77,7 para o RVM-L congelado.
Estratégia de Extração de Características: Utilizar características multi-profundidade do codificador congelado melhorou consistentemente o desempenho em todas as arquiteturas temporais comparado ao uso de apenas tokens da camada final.
Transferibilidade das Dinâmicas Temporais: Inicializar o módulo temporal com pesos pré-treinados em vídeo (do RVM) forneceu ganhos de desempenho mesmo quando acoplado a um codificador congelado diferente (DINOv3). Isso indica que as dinâmicas temporais aprendidas são parcialmente agnósticas ao codificador.
Eficiência de Dados: Treinar DINOv3 + GMMix em apenas 25% do conjunto de treinamento do SSv2 rendeu desempenho (56,5%) que superou o RVM congelado treinado em 100% dos dados (46,9%).
Comparação com SotA: Na escala ViT-L, o modelo proposto (DINOv3 + GMMix) alcançou uma média normalizada de 99,1, superando modelos fundacionais de vídeo como RVM-L (89,3), V-JEPA-L (88,5) e VideoMAE-L (88,9), apesar do modelo proposto não ter pré-treinamento em vídeo em grande escala para seu módulo temporal.

Significado e Alegações
Os autores posicionam este trabalho como um "trabalho em andamento" rumo a um novo paradigma de pré-treinamento para modelos de vídeo recorrentes. Eles alegam que suas descobertas fornecem evidências empíricas iniciais de que:

O pré-treinamento em vídeo em grande escala para o codificador espacial não é estritamente necessário se modelos fundacionais de imagem fortes estiverem disponíveis.
Uma compreensão de vídeo forte é alcançável sem pré-treinamento em vídeo em grande escala quando o codificador espacial é suficientemente poderoso.
Uma abordagem modular, onde um único codificador de imagem congelado serve como base compartilhada para cabeças temporais leves e específicas da tarefa, oferece uma alternativa mais eficiente em dados e computação ao pré-treinamento de vídeo de ponta a ponta.

O artigo nota explicitamente que ainda não realiza o pré-treinamento em vídeo em grande escala do próprio módulo temporal; em vez disso, valida a viabilidade da abordagem desacoplada para justificar o investimento em tal trabalho futuro. Os autores concluem que, embora os resultados atuais sejam promissores, trabalhos futuros devem incluir o pré-treinamento do módulo temporal em dados de vídeo para realizar plenamente o potencial desse paradigma desacoplado.