Xray-Visual Models: Scaling Vision models on Industry Scale Data

O artigo apresenta o Xray-Visual, um modelo unificado de visão treinado em escala industrial com 15 bilhões de pares imagem-texto e 10 bilhões de pares vídeo-hashtag, que utiliza um pipeline de três estágios e uma arquitetura baseada em Vision Transformer com reorganização eficiente de tokens para alcançar desempenho de última geração em diversas tarefas de compreensão de imagem e vídeo.

O essencial

Imagine que você tem um aluno muito inteligente, mas que só aprendeu com livros de escola (os dados acadêmicos tradicionais). Ele é ótimo em responder provas padronizadas, mas quando você o coloca no mundo real, em uma rua movimentada com placas estranhas, luzes piscando e pessoas gritando, ele se confunde e não sabe o que está acontecendo.

O papel "Xray-Visual" que você enviou é sobre a criação de um novo "super-aluno" que aprendeu não apenas com livros, mas com toda a internet social (bilhões de fotos e vídeos do Facebook e Instagram).

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. A Grande Biblioteca (Os Dados)

A maioria dos modelos de visão de computador estuda em bibliotecas pequenas e organizadas. O Xray-Visual, por outro lado, foi treinado em uma biblioteca gigante e caótica com mais de 15 bilhões de imagens e 10 bilhões de vídeos.

• O Problema: Essa biblioteca estava cheia de "lixo" (anúncios, links quebrados, emojis sem sentido, hashtags repetidas).
• A Solução (A Faxina): Eles criaram um time de "faxineiros" (algoritmos de curadoria) que passaram horas limpando essa biblioteca. Eles removeram o lixo, traduziram tudo para o inglês, e o mais importante: garantiram que houvesse de tudo. Em vez de ter 1 milhão de fotos de gatos e apenas 1 de um animal raro, eles equilibraram a prateleira para que o modelo aprendesse sobre tudo, desde o comum até o estranho.

2. O Treinamento em Três Atos (O Método de Ensino)

Eles não jogaram o aluno na piscina de uma vez. Eles usaram um método de três etapas, como se fosse um curso de graduação:

1. O Jogo do "Onde está o erro?" (MAE): Primeiro, eles cobriram 75% das imagens com um lençol e pediram para o modelo adivinhar o que estava escondido. Isso força o cérebro a entender a estrutura das coisas (formas, cores, sombras) sem precisar de rótulos. É como aprender a desenhar olhando apenas o contorno.
2. O Jogo das Etiquetas (Hashtags): Depois, eles mostraram as imagens com as hashtags originais (ex: #praia, #cachorro) e pediram para o modelo aprender a associar a imagem ao texto. Isso ensina o modelo a entender o "significado" das coisas.
3. O Casamento Perfeito (CLIP + LLM): Finalmente, eles usaram uma técnica onde o modelo tenta "casar" a imagem com a descrição correta. Mas aqui está o truque: em vez de usar um dicionário simples, eles usaram um cérebro de linguagem gigante (um LLM, como o LLaMA) para escrever as descrições.
   • Analogia: Imagine que antes o modelo lia "um cachorro". Agora, com o LLM, ele lê "um golden retriever feliz correndo na grama ao pôr do sol". Isso dá muito mais contexto e riqueza ao aprendizado.

3. A Máquina Eficiente (Arquitetura e Velocidade)

Modelos gigantes costumam ser lentos e caros, como um caminhão de mudança que gasta muita gasolina. O Xray-Visual é como um carro esportivo elétrico: ele é rápido e faz o mesmo trabalho gastando muito menos energia.

• O Truque dos "Tokens": Para ver uma imagem, os computadores dividem a foto em pedaços (tokens). Modelos antigos olhavam para 1.024 pedaços. O Xray-Visual usa uma técnica inteligente (chamada EViT) que olha apenas para os 288 pedaços mais importantes e ignora o resto (como ignorar o fundo desfocado de uma foto).
• Resultado: Ele é 4 vezes mais rápido e consome menos energia, mas ainda vê tudo com a mesma nitidez.

4. O Teste de Fogo (Resultados Reais)

Aqui está a parte mais interessante. O modelo foi testado em duas situações:

• Na Prova de Escola (Benchmarks Acadêmicos): Ele tirou notas excelentes, superando todos os outros modelos em testes clássicos como ImageNet.
• Na Vida Real (Dados Internos do Meta): Quando testado em dados reais do Facebook e Instagram (onde as fotos são borradas, mal iluminadas, com filtros estranhos e textos complexos), os modelos antigos "quebraram". O Xray-Visual, por ter sido treinado na "selva" dos dados sociais, não se confunde. Ele continua funcionando perfeitamente.

Resumo da Ópera

O Xray-Visual é um modelo de visão de computador que aprendeu a ver o mundo não através de livros didáticos perfeitos, mas através da realidade caótica e vibrante das redes sociais.

• Ele é mais inteligente porque viu mais coisas.
• Ele é mais robusto porque aprendeu a lidar com o "lixo" e a complexidade do mundo real.
• Ele é mais rápido porque aprendeu a ignorar o que não é importante.

É como transformar um aluno que só sabe a teoria em um especialista que já viveu a experiência, conseguindo entender uma foto de um meme estranho ou um vídeo de um anúncio complexo com a mesma facilidade que entende uma foto de um gato.

Resumo técnico

Resumo Técnico: Xray-Visual

1. O Problema

Apesar dos avanços extraordinários em modelos de linguagem grandes (LLMs), os modelos de visão computacional ainda ficam atrás em termos de escala de dados e capacidade de generalização. A principal barreira é a dificuldade de coletar e curar dados visuais na mesma escala massiva dos dados textuais gerados por humanos.

• Limitação Atual: Modelos de visão existentes muitas vezes falham ao lidar com distribuições de dados do mundo real (fora da distribuição - OOD), sofrendo quedas significativas de desempenho em cenários industriais complexos, como redes sociais, em comparação com benchmarks acadêmicos.
• Ineficiência Computacional: Modelos de última geração frequentemente exigem resoluções de entrada muito altas e um número excessivo de tokens (ex: 1024 tokens), resultando em custos computacionais proibitivos para implantação em larga escala.

2. Metodologia

O Xray-Visual é uma arquitetura unificada de visão projetada para ser treinada em dados de escala industrial (Facebook e Instagram), combinando eficiência computacional com robustez.

A. Curadoria de Dados em Escala Industrial
Os autores desenvolveram um pipeline de curadoria robusto a partir de mais de 100 bilhões de imagens e vídeos brutos, resultando em dois conjuntos de dados principais:

• ViSE (Imagens): Mais de 15 bilhões de pares imagem-texto. Envolve limpeza rigorosa (remoção de URLs, emojis), detecção de idioma (inglês) e balanceamento semântico usando sinsets do WordNet para tratar a distribuição de cauda longa (undersampling de conceitos frequentes e oversampling de raros).
• URU (Vídeos): 10 bilhões de pares vídeo-hashtag extraídos de 24 bilhões de posts do Instagram. Utiliza canonização de hashtags para mapear variações de usuários para representações canônicas, garantindo consistência semântica.
• Síntese e Refinamento: Geração de legendas sintéticas usando MMLLMs (Multimodal Large Language Models), seguida de reescrita via LLM (Llama) para eliminar repetições e aumentar a diversidade vocabular.

B. Arquitetura Unificada (Imagem e Vídeo)

• Backbone: Baseado no Vision Transformer (ViT) com tokenização 3D, permitindo o processamento unificado de imagens e vídeos em um único modelo.
• EViT (Efficient Vision Transformer): Incorpora reorganização de tokens para descartar tokens "inativos" (baixa atenção), permitindo resoluções de entrada mais altas (ex: 336x336) com apenas 288 tokens (vs. 1024 em modelos concorrentes), reduzindo o custo computacional em ~4x.
• Tokens de Registro (Registers): Adição de tokens auxiliares para capturar características de outliers e melhorar o desempenho em vídeo.
• Codificador de Texto LLM: Substituição do codificador de texto padrão do CLIP por LLaMA-1B. Isso resolve limitações de janela de contexto e compreensão semântica, melhorando drasticamente a recuperação (retrieval) em cenários reais.

C. Pipeline de Treinamento de 3 Estágios

1. Autoencoder Mascarado (MAE): Aprendizado auto-supervisionado inicial para reconstruir patches mascarados (75% para imagens, 90% para vídeos).
2. Classificação Semi-supervisionada de Hashtags: Fine-tuning usando os datasets curados de hashtags (foco em objetos/nomes).
3. Aprendizado Contrastivo (Estilo CLIP): Alinhamento final entre representações visuais e textuais (legendas/hashtags).
   • Técnicas Adicionais: Uso de perda de denoising (para robustez), SLIP (combinação de auto-supervisão e contrastiva), e amostragem de batches probabilística para equilibrar a exposição a imagens e vídeos durante o treino.

3. Principais Contribuições

• Escala de Dados: Treinamento em 26 bilhões de imagens e vídeos (10 bilhões de horas de vídeo), superando em 10x a escala de modelos de "mundo" anteriores (como JEPA).
• Eficiência Token: Alcança estado da arte (SOTA) com apenas 25% dos tokens utilizados por modelos concorrentes (288 tokens vs. 1024), mantendo alta resolução de entrada.
• LLM2CLIP: Demonstração de que integrar LLMs como codificadores de texto melhora significativamente a generalização e a recuperação em dados do mundo real, superando a lacuna entre benchmarks acadêmicos e métricas industriais.
• Robustez a Domínio: O modelo demonstra resistência superior a mudanças de domínio (domain shift) e perturbações adversariais, algo onde modelos tradicionais falham.

4. Resultados

O Xray-Visual estabeleceu novos recordes (SOTA) em diversos benchmarks:

• Classificação de Imagem (ImageNet): 89.3% de precisão Top-1 (com ViT-B16/EViT-2B), superando modelos como PE, SigLIP e DiNO, mesmo com resolução e tokens reduzidos.
• Compreensão de Vídeo (Kinetics): 78.1% de precisão Top-1, superando o Perception Encoder em +1.5% e o DiNO em +10%.
• Recuperação Multimodal (MS-COCO & Internos):
  • Melhor desempenho em benchmarks internos de "Reels para Anúncios" e busca no Facebook, com ganhos de +10.8% em cenários de domínio cruzado em comparação ao Perception Encoder.
  • O uso de LLM como codificador de texto trouxe ganhos significativos em métricas de recuperação interna, embora os ganhos em benchmarks acadêmicos padrão tenham sido menores, destacando a importância da avaliação em cenários reais.
• Eficiência: Aumento de 4x em consultas por segundo (QPS) devido à redução de tokens e resolução otimizada.

5. Significância

O trabalho Xray-Visual é um marco para a visão computacional industrial, provando que:

1. Escala de Dados Industriais é Viável: É possível curar e treinar modelos com dezenas de bilhões de dados de redes sociais, superando as limitações de conjuntos de dados acadêmicos.
2. Eficiência e Desempenho não são Excludentes: É possível obter SOTA com modelos muito mais eficientes (menos tokens, menos custo de inferência) através de arquiteturas inteligentes como EViT e reorganização de tokens.
3. A Ponte para o Mundo Real: A integração de LLMs na arquitetura multimodal e o foco em curadoria de dados "sujos" mas massivos são essenciais para modelos que precisam funcionar em produção, onde a distribuição de dados difere drasticamente dos dados de treinamento limpos.

Em suma, o Xray-Visual redefine o estado da arte ao combinar a escala massiva de dados sociais com arquiteturas eficientes e técnicas avançadas de treinamento, entregando modelos robustos, escaláveis e prontos para aplicações críticas em plataformas de grande porte.