OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

O OneVision-Encoder propõe um novo paradigma para a inteligência multimodal alinhado aos princípios de compressão de codecs, utilizando esparsidade baseada em "patch" para focar apenas nas regiões de alta entropia e demonstrar que eficiência e precisão são positivamente correlacionadas, superando modelos de visão estabelecidos em diversos benchmarks com menos recursos computacionais.

O essencial

Imagine que você está tentando aprender a dirigir um carro olhando apenas para fotos tiradas a cada 10 minutos. Você veria o carro na estrada, depois em um cruzamento, depois estacionado, mas perderia tudo o que aconteceu no meio: o sinal vermelho, o pedestre atravessando, a curva perigosa. É assim que a maioria dos computadores "vê" vídeos hoje em dia: eles olham para quadros inteiros de forma uniforme, gastando muita energia e memória para processar coisas que não mudam, como o céu azul ou uma parede de fundo.

O OneVision-Encoder é uma nova inteligência artificial que muda essa lógica. Os pesquisadores do Glint Lab e outros laboratórios propuseram uma ideia brilhante: a inteligência visual deve funcionar como um "codificador de vídeo" (como o usado no YouTube ou Netflix), e não como uma câmera que tira fotos aleatórias.

Aqui está a explicação simplificada usando analogias do dia a dia:

1. O Problema: O "Excesso de Bagagem"

Imagine que você precisa enviar uma carta para um amigo descrevendo um filme que você acabou de ver.

• O jeito antigo (Modelos Atuais): Você descreve cada segundo do filme, palavra por palavra, incluindo quando o personagem apenas respira ou quando a câmera fica parada em uma parede. Isso gera uma carta gigante, cara e lenta de enviar, mas que não ajuda muito a entender a história.
• O jeito novo (OneVision): Você foca apenas no que importa: "O herói pulou do prédio", "O vilão sorriu", "O carro bateu". Você ignora o que é previsível e repetitivo.

2. A Solução: A "Mágica do Codec"

Os vídeos digitais (como MP4) usam uma técnica chamada Codec (como H.264 ou HEVC) para comprimir arquivos. Eles funcionam assim:

• Quadro I (I-Frame): É uma foto completa e nítida de uma cena.
• Quadro P (P-Frame): Em vez de salvar a foto inteira de novo, o computador apenas salva o que mudou em relação à foto anterior. Se o fundo é estático, ele não é salvo novamente. Ele só salva o movimento do personagem.

O OneVision-Encoder aprendeu a fazer o mesmo, mas para "entender" o vídeo:

• Ele não olha para todos os pixels da tela.
• Ele identifica onde está a ação (o movimento, a mudança de cor, o "surpresa").
• Ele ignora o que é estático (o fundo, o céu).
• Resultado: Em vez de processar 100% da imagem, ele foca apenas em 3% a 25% da imagem onde a ação real acontece. É como se ele tivesse um "super-foco" que ignora o tédio e só presta atenção no interessante.

3. A Analogia do "Detetive de Movimento"

Pense em um detetive em um museu cheio de quadros.

• O modelo antigo caminha devagar, olhando para cada centímetro de cada quadro, gastando horas para notar que a parede está pintada de branco.
• O OneVision é um detetive experiente. Ele sabe que a parede é branca e não muda. Ele corre direto para onde alguém está mexendo um quadro, ou onde uma sombra se moveu. Ele usa a mesma energia para investigar 100 vezes mais crimes porque não perde tempo com o que é óbvio.

4. Por que isso é revolucionário?

O papel mostra que, ao fazer isso, o modelo se torna mais inteligente e mais rápido ao mesmo tempo.

• Economia de Energia: Como ele processa menos "lixo" (imagens estáticas), ele usa menos energia de computador.
• Melhor Memória: Como ele não gasta memória tentando lembrar de paredes brancas, ele consegue lembrar de mais detalhes importantes da história do vídeo.
• Entendimento Profundo: Ele consegue entender vídeos longos e complexos (como um filme de 130 segundos ou um mergulho de 15 segundos) sem perder os momentos rápidos e cruciais que os outros modelos ignoram.

5. O Resultado Final

O OneVision-Encoder foi testado em várias tarefas (entender vídeos, ler documentos, analisar gráficos) e venceu os modelos mais famosos do mundo (como o Qwen3-ViT e o SigLIP2), mesmo tendo sido treinado com menos dados.

Resumo em uma frase:
O OneVision-Encoder é como um "filtro de atenção" inteligente que ensina a IA a ignorar o tédio e focar apenas no que realmente acontece no vídeo, tornando-a mais rápida, barata e inteligente, exatamente como o nosso cérebro humano faz quando assistimos a algo.

Em vez de tentar "ver tudo", ele aprendeu a ver o que importa.

Resumo técnico

Título: OneVision-Encoder: Esparsidade Alinhada a Codecs como Princípio Fundamental para Inteligência Multimodal

1. O Problema

O artigo parte da hipótese de que a Inteligência Artificial Geral (AGI) é, em sua essência, um problema de compressão. A premissa central é que a eficiência e a precisão em modelos de deep learning dependem do alinhamento da arquitetura com a estrutura fundamental dos dados.

• Ineficiência Atual: As arquiteturas de visão modernas tratam sinais visuais (vídeos) como grades de pixels densas e uniformes. Isso desperdiixa capacidade computacional massiva processando fundos estáticos e informações redundantes, em vez de focar na informação discriminativa (a "surpresa" ou resíduo).
• A Natureza do Sinal: Vídeos naturais são altamente redundantes. A maior parte do conteúdo é previsível a partir do contexto espacial e temporal. A informação verdadeiramente nova e discriminativa é esparsa, concentrada em movimentos e mudanças residuais.
• Limitação das Abordagens Atuais: Modelos baseados em Transformers de vídeo geralmente amostram quadros uniformemente ou processam todas as regiões espaciais de forma igual, falhando em capturar a estrutura preditiva inerente aos sinais de vídeo, similar à forma como codecs de vídeo (como H.264/HEVC) operam.

2. Metodologia: OneVision-Encoder (OV-Encoder)

O OneVision-Encoder é um transformador de visão projetado para alinhar o aprendizado de representação com a estrutura preditiva dos sinais de vídeo, inspirado diretamente nos princípios de codificação de vídeo (Codecs).

Principais Componentes Técnicos:

• Codec Patchification (Fragmentação Inspirada em Codecs):

  • Em vez de processar quadros inteiros densamente, o modelo utiliza sinais expostos por codecs (vetores de movimento e resíduos de previsão) para identificar regiões ricas em entropia de sinal.
  • Seleção Esparsa: O modelo seleciona dinamicamente apenas 3,1% a 25% dos patches visuais que contêm nova informação (movimento ou mudança de aparência), descartando o fundo estático.
  • Estrutura de Entrada:
    • I-frames (Quadros-chave): Mantêm o contexto espacial completo.
    • P-frames (Quadros previstos): Codificam apenas as variações temporais (resíduos) e vetores de movimento.
  • O modelo suporta três modalidades de entrada unificadas: Vídeo Densamente Codeado (Codec), Amostragem Temporal em Blocos (Chunk-wise) e Imagens Estáticas.

• Posicionamento 3D RoPE (Rotary Positional Embedding):

  • Para lidar com layouts de tokens irregulares (devido à seleção esparsa de patches), o modelo emprega uma codificação posicional rotativa 3D compartilhada.
  • Isso permite que o modelo raciocine coerentemente sobre posições espaciais e temporais, mesmo quando os tokens não formam uma grade uniforme, preservando a estrutura de movimento entre quadros.

• Objetivo de Treinamento: Discriminação de Clusters:

  • O modelo é treinado com um objetivo auto-supervisionado de discriminação de clusters em larga escala.
  • Utiliza um banco de conceitos com mais de 1 milhão de clusters para agrupar semanticamente entidades (objetos em imagens e dinâmicas de movimento em vídeos).
  • Isso força o modelo a aprender representações estruturadas que capturam tanto a permanência de objetos quanto a dinâmica do movimento, sem depender exclusivamente de rótulos externos de linguagem.

• Arquitetura:

  • Baseado em Vision Transformer (ViT) com atenção bidirecional.
  • Utiliza Attentive Pooling para agregar tokens espaciais e temporais em representações compactas.

3. Contribuições Chave

1. OV-Encoder: Um transformador de visão estilo HEVC que alinha o aprendizado de representação espaço-temporal com a estrutura preditiva intrínseca de sinais de vídeo.
2. Codec Patchification: Uma formulação de entrada inovadora que usa sinais de codec (movimento e resíduo) para codificar seletivamente patches informativos, unificando vídeo, amostragem temporal e imagens estáticas em um único encoder.
3. Objetivo de Discriminação de Clusters: Uma abordagem auto-supervisionada que modela simultaneamente semântica de nível de objeto e de nível de movimento, permitindo aprendizado de representação visual estruturado e agnóstico à modalidade.
4. Princípio de Esparsidade: Demonstra que a esparsidade alinhada a codecs não é apenas um truque de otimização, mas um princípio fundamental para a próxima geração de generalistas visuais.

4. Resultados Experimentais

Os resultados validam a hipótese de que eficiência e precisão são positivamente correlacionadas quando a arquitetura está alinhada com a estrutura dos dados.

• Benchmarks Multimodais (LMMs):

  • Integrado em Grandes Modelos Multimodais (LMMs), o OV-Encoder superou consistentemente backbones fortes como Qwen3-ViT e SigLIP2 em 16 benchmarks de compreensão de imagem, vídeo e documentos.
  • Destaque em Vídeo: Melhoria média de 4,1% sobre o Qwen3-ViT em tarefas de compreensão de vídeo.
  • Eficiência de Dados: O OV-Encoder superou o Qwen3-ViT (treinado com >2,1 trilhões de tokens) usando apenas ~100 bilhões de tokens de legenda, demonstrando que a qualidade da representação supera a escala bruta de dados.

• Avaliação por Probing Atento (Representação Pura):

  • Com o encoder congelado e apenas uma cabeça de classificação leve treinada, o modelo alcançou estado da arte (SOTA) em 7 benchmarks de vídeo.
  • Diving-48: Melhoria de 17,1% sobre o SigLIP2 e 8,1% sobre o DINOv3, sob o mesmo orçamento de patches (2048).
  • Eficiência de Patches: O modelo supera baselines densos processando apenas uma fração dos patches (redução de 75% a 96,9% no número de patches processados), mantendo ou superando a precisão.

• Análise de Caso:

  • Estudos de caso mostram que a seleção baseada em codec captura evidências temporais densas em ações contínuas (como mergulho) e identifica eventos discretos críticos (como derramamentos rápidos em vídeos de culinária) que a amostragem uniforme de quadros frequentemente perde.

5. Significado e Impacto

O trabalho propõe uma mudança de paradigma na visão computacional:

• Do Densidade para a Esparsidade Estruturada: Em vez de tentar processar tudo uniformemente, os modelos devem focar onde a informação "surpreendente" reside, imitando a eficiência dos codecs de vídeo humanos.
• Escalabilidade: A abordagem permite escalar a inteligência visual sem aumentar exponencialmente o custo computacional, pois reduz drasticamente o número de tokens necessários para uma compreensão profunda.
• Fundação para AGI: Ao tratar a compreensão visual como um problema de compressão preditiva alinhada, o OneVision-Encoder posiciona-se como um motor escalável para inteligência multimodal universal, capaz de raciocinar sobre o tempo e o espaço de forma eficiente e robusta.

Em resumo, o OneVision-Encoder demonstra que alinhar a arquitetura de aprendizado de máquina com a física e a informação-teoria dos dados (neste caso, a estrutura de compressão de vídeo) é a chave para desbloquear modelos mais inteligentes, eficientes e generalizáveis.