From Pixels to Words -- Towards Native Vision-Language Primitives at Scale

Este artigo apresenta o NEO, uma nova família de Modelos Visuais-Linguísticos (VLMs) nativos construída a partir de princípios fundamentais para superar as limitações dos modelos modulares, alinhando representações de pixels e palavras em um espaço semântico compartilhado e oferecendo uma arquitetura monolítica eficiente e acessível para pesquisa escalável.

O essencial

Imagine que você quer ensinar um computador a "ver" e a "falar" ao mesmo tempo, como um humano. Até agora, a maneira mais comum de fazer isso era como montar um quebra-cabeça com peças de dois fabricantes diferentes: você pegava um "olho" (um modelo de visão) pronto, um "cérebro" (um modelo de linguagem) pronto, e tentava costurá-los juntos com uma "ponte" (um projetor) para que eles conversassem.

O problema? Às vezes, a ponte é fraca, as peças não encaixam perfeitamente, e o computador precisa de muito treinamento para aprender a usar os dois juntos. É como tentar fazer um pianista e um violinista tocarem juntos sem nunca terem ensaiado juntos antes; eles precisam de um maestro (o projetor) para tentar sincronizá-los.

A proposta do NEO: Um "Super-Organismo" Nativo

Os autores deste paper, o NEO, decidiram fazer algo diferente. Em vez de costurar peças separadas, eles construíram um único organismo do zero, onde a visão e a linguagem nascem juntos, integrados na mesma estrutura.

Aqui está a analogia principal:

• Modelos Modulares (Antigos): São como um time de futebol onde o goleiro, os defensores e os atacantes são treinados em academias separadas e só se juntam no dia do jogo. Eles precisam de um técnico (o projetor) para tentar coordená-los.
• NEO (Novo Modelo): É como um time que treinou juntos desde a infância. Eles "sentem" o jogo de forma natural. A visão (ver a bola) e a linguagem (gritar "passe!") são a mesma coisa para eles.

Os 3 Pilares do NEO (Simplificados)

O paper explica que, para esse "super-organismo" funcionar, eles criaram três regras de ouro (chamadas de "primitivas"):

1. O "Tradutor" Nativo (Alinhamento Pixel-Palavra):
   Imagine que o computador vê uma foto de uma "maçã vermelha". Em vez de transformar a foto em números e depois tentar traduzir esses números para a palavra "maçã", o NEO aprende que o padrão visual da maçã e a palavra "maçã" são a mesma coisa desde o primeiro segundo. Eles vivem no mesmo "bairro" mental.

2. A "Mente Única" (Integração Total):
   Em vez de ter um cérebro para ver e outro para falar, o NEO tem uma única rede neural densa. É como se você tivesse um cérebro que processa imagens e textos ao mesmo tempo, sem precisar de um "tradutor" no meio. Isso torna o processo mais rápido e eficiente.

3. O "Mapa Inteligente" (Posição Nativa):
   Como o computador sabe onde está cada coisa na imagem? O NEO usa um sistema de coordenadas especial (chamado Native-RoPE).

   • Analogia: Imagine que em um livro, as palavras têm uma ordem (1ª palavra, 2ª palavra). Em uma foto, você tem altura, largura e profundidade. O NEO criou um "GPS" interno que entende que a parte de cima da foto é diferente da parte de baixo, e que isso é diferente da ordem das palavras no texto. Ele não mistura tudo bagunçado; ele sabe exatamente onde cada "pedaço" da imagem e do texto está no espaço.

Como eles ensinaram o NEO? (O Processo de Treinamento)

Eles não jogaram o computador na piscina sem bóia. Usaram uma estratégia de dois passos, como aprender a andar de bicicleta:

• Passo 1: O "Pré-Treino" (Pre-Buffer):
  Eles ensinaram o computador a olhar para milhões de fotos e legendas, mas mantiveram o "cérebro de linguagem" (que já sabia falar) congelado. O computador aprendeu apenas a "ver" e conectar a imagem ao texto, sem esquecer como falar. É como se o aluno aprendesse a observar o mundo antes de tentar escrever um romance.
• Passo 2: O "Refinamento" (Post-LLM):
  Depois, eles "descongelaram" tudo e deixaram o computador praticar em conversas, perguntas difíceis e tarefas complexas. Agora, a visão e a linguagem trabalham juntas em harmonia total.

Os Resultados: O que isso significa para nós?

O NEO foi testado em várias tarefas difíceis (entender gráficos, ler textos em fotos, responder perguntas complexas sobre imagens) e mostrou que:

1. É mais eficiente: Consegue resultados muito bons com menos dados e menos complexidade do que os modelos antigos que usam "peças separadas".
2. É mais flexível: Entende imagens de qualquer tamanho ou formato sem precisar de ajustes estranhos.
3. É o futuro: Mostra que não precisamos mais de "pontes" frágeis entre visão e linguagem. Podemos construir máquinas que pensam de forma multimodal (visual + texto) de forma natural, desde o nascimento.

Resumo Final:
O NEO é como um bebê que nasceu sabendo que "ver" e "dizer" são a mesma habilidade. Enquanto os modelos antigos são como dois adultos aprendendo a se entender, o NEO já nasceu com essa conexão, prometendo ser mais inteligente, mais rápido e mais fácil de usar no futuro.

Resumo técnico

1. O Problema e o Contexto

Os Modelos Visão-Linguagem (VLMs) atuais dominantes seguem uma arquitetura modular, que integra um Codificador Visual pré-treinado (VE), um projetor e um Grande Modelo de Linguagem (LLM). Embora eficazes, essas arquiteturas enfrentam limitações fundamentais:

• Viés Indutivo e Alinhamento: Os VEs pré-treinados possuem viés indutivo rígido que limita a flexibilidade de resolução e a sensibilidade a detalhes finos. O alinhamento entre os módulos de visão e linguagem requer treinamento complexo em múltiplos estágios e infraestrutura pesada.
• Ineficiência e Desconexão: A separação entre os módulos impede uma integração nativa, resultando em custos de alinhamento elevados e dificuldade em harmonizar as leis de escala (scaling laws) entre visão e linguagem.
• Limitações dos VLMs Nativos Existentes: Abordagens anteriores de "VLMs Nativos" (monolíticos) que tentam aprender visão do zero frequentemente sofrem com instabilidade de otimização, perda de conhecimento linguístico pré-existente e ineficiência ao mapear tokens visuais dentro de LLMs pré-treinados.

O artigo questiona: Quais propriedades fundamentais um VLM nativo deve possuir para competir com os modelos modulares? e Como democratizar a pesquisa nessa área?

2. Metodologia: A Arquitetura NEO

Os autores propõem o NEO, uma nova família de VLMs nativos construída a partir de "primeiros princípios" (first principles), eliminando a necessidade de codificadores visuais separados. A metodologia baseia-se em três pilares principais:

A. Primitivas VLM Nativas (Native VLM Primitives)

Em vez de apenas injetar tokens visuais em um LLM, o NEO redefine o bloco básico do modelo para ser intrinsecamente multimodal. As primitivas incluem:

1. Codificação Posicional Nativa (Native-RoPE): Uma adaptação do Rotary Position Embedding que desacopla as dimensões de Tempo (T), Altura (H) e Largura (W).
   • Alocação de Frequência: Frequências base distintas para T (longo alcance, até 1 milhão) e H/W (local, até centenas), resolvendo o descompasso de escala entre texto e vídeo/imagem.
   • Alocação de Canais: Novas dimensões de cabeça (head dimensions) para Q e K são adicionadas especificamente para H e W, preservando a capacidade linguística do LLM enquanto aprende representações espaciais.
2. Atenção Nativa Multi-Modo (MHNA):
   • Máscara Híbrida: Tokens de texto seguem atenção causal (apenas para o passado), enquanto tokens de imagem utilizam atenção bidirecional completa (como um codificador visual), permitindo interações exhaustivas entre todos os tokens visuais.
3. Arquitetura Monolítica: O modelo é um único decoder-only que processa imagens e texto em um espaço semântico compartilhado desde o início.

B. Paradigma de Treinamento: Pre-Buffer e Post-LLM

Para equilibrar o aprendizado visual do zero com a preservação do conhecimento linguístico, o treinamento é dividido em fases, mas dentro de uma arquitetura unificada:

1. Pre-Buffer (Camadas Iniciais): As primeiras camadas do modelo são inicializadas aleatoriamente e treinadas para aprender representações visuais e alinhar pixels com palavras. Esta etapa atua como um "codificador visual" leve e reutilizável.
2. Post-LLM (Camadas Finais): As camadas subsequentes herdam os pesos de um LLM pré-treinado (Qwen3), mantendo a proficiência linguística.
   • Inicialização Inteligente: Os pesos de Q para as dimensões H e W são inicializados a partir dos pesos de Q temporais do LLM, enquanto K é inicializado com zeros e normalizado especificamente.
3. Fusão Final: Após o treinamento, o Pre-Buffer e o Post-LLM são fundidos em um único backbone monolítico, eliminando a separação artificial.

C. Dados e Escala

O NEO foi treinado com 390 milhões de exemplos imagem-texto (345M no pré-treinamento, 40M no mid-training e 4M em fine-tuning supervisionado), utilizando uma mistura de dados da web e sintéticos, sem depender de codificadores visuais externos para supervisão direta.

3. Principais Contribuições

1. Definição de Primitivas Nativas: Estabelece princípios claros para VLMs nativos: alinhamento efetivo pixel-palavra, integração perfeita de módulos e propriedades cruzadas inerentes.
2. Mecanismo Native-RoPE: Introduz uma rotação posicional que trata H, W e T de forma desacoplada e otimizada, superando as limitações de RoPEs 1D ou 3D anteriores em contextos multimodais.
3. Estratégia de Treinamento Híbrida: O conceito de Pre-Buffer permite que modelos nativos aprendam visão do zero sem destruir o conhecimento linguístico, servindo como um ativo reutilizável para a comunidade.
4. Desempenho Competitivo: Demonstra que uma arquitetura nativa unificada pode rivalizar com os melhores modelos modulares (como Qwen2-VL e InternVL) usando menos dados e sem Reinforcement Learning (RL).

4. Resultados Experimentais

O NEO foi avaliado em diversos benchmarks (VLMEvalKit) e comparado com modelos modulares e nativos de 2B e 8B parâmetros:

• Comparação com Modelos Modulares:
  • O NEO-2.2B (baseado em Qwen3-1.7B) alcançou desempenho altamente competitivo, superando ou empatando com modelos modulares de mesma escala em tarefas como MMBench (76.0 vs 74.9 do Qwen2-VL) e MMStar (54.2).
  • O NEO-9B (baseado em Qwen3-8B) obteve resultados notáveis, alcançando 54.6 no MMMU e 82.1 no MMBench, aproximando-se de modelos modulares de ponta como o InternVL3 e Qwen2.5-VL, apesar de usar menos dados de treinamento e não utilizar RL.
• Comparação com Modelos Nativos:
  • O NEO superou significativamente modelos nativos anteriores (como Mono-InternVL, HoVLE, EVE, Chameleon) em quase todas as métricas. Por exemplo, no MMMU, o NEO-2.2B (48.6) superou o Mono-InternVL (33.7) e o HoVLE (32.2).
• Análise de Ablação:
  • A combinação de Atenção Mista (Causal para texto, Bidirecional para imagem) e Native-RoPE foi provada como essencial, superando configurações com atenção puramente causal ou RoPEs 1D/3D padrão.
  • O uso do Pre-Buffer mostrou-se crucial, com apenas 22M de amostras de pré-treinamento sendo suficientes para atingir desempenho próximo ao modelo completo, reduzindo custos de desenvolvimento.

5. Significado e Impacto

O trabalho do NEO representa um avanço significativo na direção de sistemas multimodais nativos, unificados e escaláveis:

• Democratização: Ao fornecer primitivas reutilizáveis e um treinamento eficiente, o NEO reduz a barreira de entrada para pesquisar VLMs nativos, permitindo que a comunidade explore arquiteturas unificadas sem a necessidade de infraestrutura massiva para alinhamento modular.
• Paradigma Unificado: O sucesso do NEO sugere que a separação entre codificadores visuais e LLMs não é estritamente necessária para alto desempenho. Arquiteturas que aprendem visão e linguagem simultaneamente, desde o nível de primitivas, podem superar modelos modulares complexos.
• Futuro da IA Multimodal: O trabalho abre caminho para modelos que podem ser facilmente estendidos para vídeo, geração multimodal e agentes de IA incorporados (embodied AI), pois a arquitetura já lida nativamente com relações espaço-temporais e interações complexas entre modalidades.

Em resumo, o NEO demonstra que, com o design correto de primitivas e estratégias de treinamento, os modelos nativos podem não apenas competir, mas potencialmente superar os modelos modulares atuais, oferecendo uma rota mais simples e eficiente para a próxima geração de inteligência artificial multimodal.