Summer-22B: A Systematic Approach to Dataset Engineering and Training at Scale for Video Foundation Model

O artigo descreve a criação do modelo de vídeo Summer-22B, detalhando os desafios de engenharia e as lições aprendidas ao escalar o treinamento para 50 milhões de clipes, com ênfase na curadoria de dados orientada por metadados, filtragem multiestágio e otimização com restrições geométricas.

O essencial

Imagine que você quer ensinar uma criança a desenhar e animar seus próprios filmes de animação. Você não pode apenas jogar um monte de papel e lápis na mesa e esperar que ela aprenda sozinha. Você precisa de um processo muito cuidadoso.

O relatório "Summer-22B" é como o diário de bordo de uma equipe que fez exatamente isso: criou um "cérebro de IA" capaz de gerar vídeos a partir do zero. Eles chamaram esse cérebro de Summer-22B.

Aqui está a história deles, contada de forma simples:

1. O Segredo não é o Cérebro, é a Comida (Engenharia de Dados)

A maior descoberta deles foi surpreendente: passaram 90% do tempo preparando a comida, não cozinhando.

• O Problema: A internet está cheia de vídeos, mas a maioria é lixo: vídeos tremidos, com telas pretas, slides estáticos ou repetitivos.
• A Solução (O "Lavender Data"): Eles construíram uma fábrica robótica chamada Lavender Data. Imagine uma esteira rolante gigante onde:
  1. Cortadores Automáticos: Cortam filmes longos em pequenos clipes de 3 a 30 segundos.
  2. Filtros de Qualidade: Um robô olha para cada clipe e diz: "Isso é um slide chato? Jogar fora." "A câmera está tremendo demais? Jogar fora." "A cor está estranha? Jogar fora."
  3. Organização: Eles agrupam vídeos parecidos (como "cachorro correndo" ou "chuva caindo") para garantir que a IA veja tudo, e não apenas um tipo de vídeo.
  4. Limpeza: Eles tiraram os vídeos duplicados, como se alguém estivesse limpando uma biblioteca cheia de livros repetidos.

A Lição: Se você alimenta a IA com lixo, ela aprende a fazer lixo. Se você alimenta com ouro, ela brilha. Eles gastaram a maior parte do dinheiro e tempo apenas garantindo que a "dieta" da IA fosse perfeita.

2. A Arquitetura: Não reinvente a roda

Muitas pessoas acham que para criar um super-robô, você precisa inventar um novo tipo de cérebro complexo.

• O que eles fizeram: Eles usaram uma arquitetura de "cérebro" (Transformer) bem padrão, que já funciona bem.
• A Analogia: É como construir um carro de Fórmula 1. Em vez de inventar um novo tipo de motor, eles pegaram um motor excelente e garantiram que o combustível (os dados) fosse de altíssima qualidade e que o piloto soubesse exatamente como dirigir.
• Resultado: Eles testaram 5 designs diferentes de "cérebro" e descobriram que, com bons dados, todos funcionavam quase igual. Então, escolheram o mais simples e estável.

3. A Matemática Mágica: O "Globo" e a "Bússola"

Aqui entra a parte técnica, mas vamos usar metáforas:

• O Globo (Hypersphere): Imagine que os "pesos" (os ajustes internos) da IA são como pontos desenhados na superfície de uma bola perfeita. A equipe decidiu que todos esses pontos devem ficar na superfície da bola, nunca dentro ou fora.
  • Por que? Isso impede que a IA "exploda" ou fique confusa. É como se você prendesse todos os ajustes em um trilho circular. Isso torna o treinamento muito mais estável e elimina a necessidade de regras complexas para controlar o tamanho dos ajustes.
• A Bússola (µP - Maximal Update Parameterization): Quando você treina uma IA pequena (como um filhote de cachorro) e depois quer treinar uma gigante (um cachorro adulto), as regras de aprendizado mudam.
  • A Descoberta: Eles descobriram uma "bússola" (chamada µP) que diz exatamente como ajustar a velocidade de aprendizado quando você aumenta o tamanho do modelo. Eles treinaram um modelo pequeno, descobriram as regras, e aplicaram as mesmas regras no modelo gigante, e funcionou perfeitamente. Isso economizou milhões em testes.

4. O Resultado: Um Filme Feito por IA

Eles treinaram o modelo com cerca de 50 milhões de clipes (o equivalente a 500 bilhões de "palavras" de vídeo).

• Custo: O projeto todo custou cerca de 300 mil dólares (metade disso foi apenas em computadores). Isso é muito barato para o padrão da indústria, provando que é possível fazer isso sem gastar bilhões.
• Desempenho: O modelo (Summer-22B) é muito bom em criar vídeos realistas e suaves. Ele consegue entender física básica e rostos humanos.
• Onde ele ainda falha: Às vezes, ele tem dificuldade em seguir instruções muito criativas ou complexas (como "faça um dragão voando em direção a um castelo de gelo, mas o dragão deve estar triste"). Isso acontece porque faltou um pouco de diversidade nos vídeos de treinamento.

Resumo Final

A história do Summer-22B nos ensina três coisas simples:

1. Dados são rei: Passar tempo limpando e organizando os dados é mais importante do que inventar arquiteturas de IA super complexas.
2. Simplicidade vence: Às vezes, o método mais simples e estável é melhor do que o mais complicado.
3. Regras de crescimento: Existe uma maneira inteligente de escalar (crescer) um modelo pequeno para um gigante sem ter que começar tudo do zero.

É como dizer: "Não adianta ter o melhor carro do mundo se o motorista está dirigindo em uma estrada cheia de buracos. Primeiro, conserte a estrada (os dados), e o carro (a IA) fará o resto."

Resumo técnico

Resumo Técnico: Summer-22B

1. Problema e Contexto

O desenvolvimento de modelos fundamentais de vídeo (Video Foundation Models) enfrenta desafios significativos na interseção entre engenharia de dados em larga escala, metodologias de treinamento eficientes e estratégias de otimização cuidadosas. Diferentemente dos modelos autoregressivos, que exigem volumes massivos de dados, os modelos baseados em difusão mostram maior eficiência de dados, mas ainda exigem um pipeline robusto para transformar filmagens brutas em clipes de treinamento semanticamente coerentes.

O objetivo deste trabalho foi construir o Summer-22B, um modelo de difusão de vídeo treinado do zero, utilizando aproximadamente 50 milhões de clipes (equivalente a 500 bilhões de tokens), documentando as decisões de engenharia necessárias para escalar de zero dados até um modelo funcional, com um custo total de projeto de aproximadamente $300.000 (incluindo $150.000 em computação).

2. Metodologia

A abordagem do Summer-22B é dividida em três pilares principais: Engenharia de Dados, Metodologia de Treinamento e Otimização Geométrica.

A. Engenharia de Dados e Curadoria (Lavender Data System)
A maior parte do esforço do projeto foi dedicada à engenharia de dados. O pipeline inclui:

• Coleta Orientada a Metadados: Em vez de coleta aleatória, utilizou-se uma estratégia baseada em vocabulário para garantir diversidade semântica, balanceando o corpus para evitar dominância de categorias (ex: "cabeças falantes").
• Segmentação e Detecção de Limites de Cena: Uso de uma abordagem em duas etapas: PySceneDetect para divisões rápidas e TransNetV2 para detecção precisa de limites, garantindo clipes de 3 a 30 segundos com conteúdo semântico coerente.
• Filtragem Multiestágio:
  • Filtros Visuais: Detecção de cores monocromáticas, conteúdo estático e duplicatas perceptuais.
  • Filtros de Movimento: Uso de fluxo óptico (Farnebäck) e separação de primeiro plano/fundo (BirefNet) para classificar a dinâmica do vídeo (ex: rejeitar câmeras tremidas, favorecer movimentos complexos).
  • Filtros de Conteúdo: Pontuação estética via modelo DOVER e contagem de rostos para balanceamento demográfico.
• Legendagem Hierárquica: Uso do modelo Qwen 2.5 VL fine-tunado para gerar legendas em três níveis (detalhada, curta e ultra-curta de 3 palavras). As legendas ultra-curtas servem como "buckets" semânticos para balanceamento e deduplicação.
• Sistema Lavender Data: Uma infraestrutura personalizada para visualização, filtragem e streaming de dados, garantindo que o engenheiro veja exatamente o que o modelo consome, com arquitetura de stream-merging para atualizações sem reescrita de dados.

B. Arquitetura e Otimização

• Arquitetura: Baseada em Diffusion Transformers (DiT) no espaço latente (usando o VAE Wan2.2). A arquitetura é essencialmente um "vanilla transformer" com modificações mínimas, priorizando estabilidade sobre complexidade arquitetural.
• Embeddings de Posição 3D (RoPE): Implementação de Rotary Position Embeddings tridimensionais, onde cada banda de frequência é atribuída a um vetor unitário 3D aleatório, cobrindo tempo, altura e largura simultaneamente.
• Otimização Restrita à Hiperesfera (Hypersphere-Constrained Optimization):
  • As linhas das matrizes de peso são restringidas a ter norma unitária ($||w||_2 = 1$) durante todo o treinamento.
  • Isso é formulado como Descida de Gradiente Riemanniana na variedade da esfera.
  • Vantagem: Elimina a necessidade de weight decay (decaimento de peso) e seu agendamento, reduzindo hiperparâmetros a serem ajustados.
  • Técnica: Projeção do gradiente no espaço tangente e retração (normalização) de volta à esfera a cada passo.
• Parâmetro de Atualização Máxima ($\mu$P):
  • Uso de $\mu$P para permitir a transferência de hiperparâmetros (especialmente taxas de aprendizado) de modelos pequenos (30M parâmetros) para grandes (1B parâmetros) com ajustes mínimos.
  • O trabalho demonstra pela primeira vez que o $\mu$P é compatível com a otimização restrita à hiperesfera.
• Design Consciente de Inferência: Implementação de MLP e Atenção em Paralelo (projeção unificada de Q, K, V e estados ocultos do MLP), reduzindo a latência de inferência em ~20% sem prejudicar a estabilidade do treinamento.

C. Escalabilidade e Monitoramento

• Lei de Escala Empírica: Descobriu-se que a taxa de aprendizado ótima escala com $\sqrt{B}$ (tamanho do lote) e $1/\sqrt{T}$ (duração do treinamento).
• Monitoramento $\mu$P: Em vez de apenas monitorar a perda (loss), o time monitora a evolução das normas dos parâmetros dentro de uma faixa previsível ("faixa $\mu$P"). Desvios indicam instabilidade antes que a perda aumente.
• Infraestrutura: Uso do framework Ray para orquestrar o pipeline de pré-processamento em clusters, com sobreposição de tarefas de CPU e GPU e transferência de dados zero-copy para evitar gargalos de memória.

3. Principais Contribuições

1. Pipeline de Pré-processamento em Larga Escala: Um sistema escalável (via Ray) que processa dezenas de milhões de vídeos com detecção de cenas, filtragem multiestágio e deduplicação baseada em embedding acelerada por GPU (Mini-Batch K-means com inicialização Bradley-Fayyad).
2. Sistema Lavender Data: Uma solução unificada para visualização e streaming de dados que garante paridade estrita entre o que é filtrado e o que é treinado.
3. Combinação $\mu$P + Otimização Riemanniana: Primeira demonstração de que a transferência de hiperparâmetros via $\mu$P funciona sob restrições geométricas de hiperesfera, simplificando a receita de treinamento.
4. Design Arquitetural Eficiente: Redução de 20% na latência de inferência através de computação paralela de atenção e MLP, mantendo a estabilidade.
5. Custo Acessível: Demonstração de que um modelo de vídeo fundamental competitivo pode ser desenvolvido com um orçamento total de ~$300k, desafiando a noção de que apenas grandes corporações podem realizar tal tarefa.

4. Resultados e Avaliação

O modelo foi avaliado nos benchmarks VBench 1.0 e VBench 2.0:

• Desempenho Geral: O Summer-22B alcançou uma pontuação total no VBench 2.0 de 0.539.
• Comparação:
  • Competiu de forma razoável com o Wan 2.2-5B (0.575) e o Wan 2.2-A14B (0.610), modelos de escala similar ou maior.
  • Mostrou-se competitivo em fidelidade humana (0.745) e física (0.629).
  • Apresentou lacunas em criatividade (0.387) e controle (0.311), atribuídas à diversidade limitada de prompts durante o treinamento.
• Observações de Treinamento:
  • Variações arquitetônicas (MLA, janelas de atenção, etc.) mostraram diferenças de desempenho menores que o esperado, reforçando a decisão de focar na qualidade dos dados e otimização.
  • A filtragem de movimento e a deduplicação tiveram impacto positivo direto na perda de validação e nas métricas de similaridade CLIP.

5. Significado e Conclusão

O trabalho do Summer-22B estabelece um novo paradigma para o desenvolvimento de modelos de vídeo, enfatizando que a engenharia de dados e a metodologia de otimização são mais críticas do que a exploração de novas arquiteturas complexas.

As lições aprendidas incluem:

• A curadoria de dados consome a maior parte do esforço, mas é o fator determinante de qualidade.
• A combinação de $\mu$P com otimização geométrica (hiperesfera) é uma estratégia poderosa para reduzir a complexidade de ajuste de hiperparâmetros em grandes escalas.
• O monitoramento de dinâmicas de parâmetros (além da perda) é essencial para detectar instabilidades precocemente.
• É viável construir modelos fundamentais de vídeo de alta qualidade com orçamentos acessíveis, democratizando o acesso a essa tecnologia.

O artigo conclui com o compromisso de open-source do sistema Lavender Data e dos pesos do modelo para facilitar a reprodutibilidade e pesquisas futuras na área.