🤖 AI

Scalable Visual Pretraining for Language Intelligence

Este artigo desafia o paradigma de pré-treinamento de modelos de fundação apenas com texto ao demonstrar que o pré-treinamento visual não supervisionado em documentos visuais brutos, que preserva informações ricas como figuras e layouts, supera consistentemente as abordagens apenas com texto e oferece um caminho escalável para uma inteligência linguística aprimorada.

Autores originais: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

Publicado 2026-07-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a entender o mundo. Por muito tempo, a receita padrão tem sido alimentá-lo com montanhas de livros, artigos e sites, mas com um detalhe: antes de o robô ler, humanos (ou computadores) removem todas as imagens, os símbolos matemáticos ondulados, os gráficos e os layouts de página sofisticados, transformando tudo em texto puro e entediante. É como tentar ensinar alguém a assar um bolo dando apenas uma lista de ingredientes escrita em um guardanapo, enquanto você joga fora a foto do bolo pronto, o diagrama da tigela de mistura e o gráfico colorido mostrando como a temperatura do forno muda.

Um novo artigo de 2026 sugere que essa abordagem de "apenas texto" está perdendo uma enorme parte do quebra-cabeça. Os pesquisadores, liderados por uma equipe de Xangai e Zhejiang, argumentam que, ao jogar fora as partes visuais dos documentos, estamos jogando fora justamente as pistas de que o robô precisa para se tornar verdadeiramente inteligente. Eles chamam seu novo método de Pré-treinamento Visual (VP), e é como ensinar o robô a ler as páginas reais de um livro didático, com diagramas e equações completos, em vez de apenas a descrição textual deles.

A Grande Descoberta: Ver para Crer (e Aprender)
A equipe testou essa ideia em alguns dos modelos de IA mais inteligentes disponíveis (como Qwen e Llama). Eles pegaram exatamente o mesmo monte de documentos científicos — pense em artigos de física, livros de matemática e relatórios técnicos — e dividiram em dois grupos.

Grupo A (O Jeito Antigo): Eles converteram as páginas em texto puro, removendo todos os elementos visuais.
Grupo B (O Novo Jeito - VP): Eles alimentaram o modelo diretamente com as imagens brutas das páginas, deixando-o "ver" as figuras, tabelas e layouts sem nunca transformá-los em palavras primeiro.

O resultado? O robô treinado nas imagens brutas (Grupo B) superou consistentemente aquele treinado em texto puro (Grupo A). De fato, em testes de referência de ciência e matemática, o aprendiz visual obteve pontuações mais altas. Por exemplo, em um teste de matemática difícil chamado AIME, o modelo visual melhorou sua pontuação significativamente mais do que o modelo de texto. O artigo sugere que o processo "com perda" de converter uma página complexa com um diagrama em uma sequência de palavras na verdade deleta a própria informação necessária para resolver problemas difíceis.

O Truque da Eficiência: Fazer Mais com Menos
Aqui está a parte realmente legal: o método visual não foi apenas melhor; ele também foi muito mais eficiente. O modelo baseado em texto teve que processar cerca de 80 bilhões de tokens de texto para aprender com esses documentos. O modelo visual, no entanto, precisou de apenas cerca de 20 bilhões de tokens visuais para obter os mesmos (ou melhores) resultados. Isso é usar apenas 25% do orçamento de dados!

Pense nisso desta forma: Se o modelo de texto estiver tentando descrever uma cidade listando cada nome de rua e endereço de edifício, leva uma eternidade. O modelo visual, por outro lado, apenas olha para um mapa. Ele entende o quadro geral instantaneamente. Os pesquisadores descobriram que, quanto mais "coisas visuais" (como diagramas complexos e fórmulas) uma página tinha, maior era a vantagem do modelo visual. Em páginas repletas de gráficos e fórmulas, a vantagem do modelo visual crescia enormemente, enquanto em páginas de texto puro, eles eram quase iguais.

Sem Códigos de Trapaça, Apenas Visão Pura
Você pode se perguntar: "Eles trapacearam mostrando ao robô as fotos e as respostas?" Não. Eles não usaram nenhum rótulo especial de "imagem-para-texto" ou folhas de dicas. O robô foi apenas instruído a olhar para o próximo fragmento da imagem e adivinhar como ela seria, de forma semelhante a como ele adivinha a próxima palavra em uma frase.

Surpreendentemente, esse treinamento de "apenas olhar" tornou o robô melhor em tudo, não apenas em olhar. Ele ficou melhor em entender texto também, e até melhor em conectar imagens a palavras quando testado posteriormente. Os pesquisadores mediram isso verificando quão bem o "cérebro" do robô alinhava imagens com palavras e descobriram que o treinamento visual fez com que os dois conceitos se encaixassem muito mais firmemente, como se o robô finalmente entendesse que uma foto de um gato e a palavra "gato" são, na verdade, a mesma coisa.

O Que Isso Significa (e o Que Não Significa)
Os autores são cuidadosos ao dizer que isso não é uma varinha mágica que substitui a leitura de texto. O texto ainda é ótimo para aprender fatos que já estão escritos claramente. Mas para documentos científicos, onde o layout, o formato da equação e a posição do diagrama carregam significados cruciais, a abordagem visual sugere um novo caminho escalável.

Eles admitem que ainda não resolveram tudo. Por exemplo, não têm certeza se isso funciona tão bem para fotos aleatórias da natureza ou vídeos, já que seus testes foram focados principalmente em PDFs científicos de alta densidade. Mas para o caso específico de aprender com documentos complexos, o artigo sugere que deixar a IA ver o mundo como ele é — visual, bagunçado e cheio de diagramas — pode ser a chave para desbloquear sua verdadeira inteligência. É uma mudança de "ler a descrição do mapa" para "realmente olhar para o mapa".

Resumo Técnico: Pré-treinamento Visual Escalável para Inteligência de Linguagem

Declaração do Problema

Os atuais modelos de fundação de grande escala dependem predominantemente do pré-treinamento com corpora de texto massivos. Este paradigma opera sob a suposição implícita de que todo o conhecimento passível de aprendizado pode ser codificado sem perdas como uma sequência linear de tokens de texto. No entanto, esta abordagem descarta inerentemente informações visuais ricas presentes em documentos científicos, tais como figuras, equações tipografadas, tabelas e layouts espaciais de nível de página. Converter essas fontes visuais em texto puro via parsing (por exemplo, extração de HTML/LaTeX ou OCR) é um processo com perda que remove restrições geométricas, topologias simbólicas e correspondências estruturais essenciais para o raciocínio científico. Os modelos multimodais existentes frequentemente tratam as entradas visuais meramente como contexto de condicionamento para a predição de texto, em vez de integrá-las profundamente ao objetivo de aprendizagem preditiva.

Metodologia: Pré-treinamento Visual (VP)

Os autores propõem o Pré-treinamento Visual (VP), um framework onde um modelo de fundação aprende diretamente de documentos visuais brutos sem extração de texto ou supervisão de emparelhamento imagem-texto.

Arquitetura Central e Treinamento

Representação de Entrada: Páginas de documentos científicos brutos são renderizadas como imagens. Uma torre de visão congelada codifica essas imagens em características visuais.
Extração de Primeiro Plano Esparsa: Para melhorar a eficiência, regiões de fundo vazias (margens, espaços em branco) são filtradas usando estatísticas de nível de patch (variância de pixel, luminância). Os patches de primeiro plano restantes são ordenados em ordem de varredura raster para formar uma sequência visual esparsa.
Projeção e Predição: As características visuais esparsas são projetadas no espaço oculto do LLM via uma projeção linear aprendível. O modelo é treinado usando um objetivo de predição de próximo latente visual autorregressivo.
- Diferente da predição de próximo token padrão, que visa tokens de texto discretos, o VP visa latentes visuais contínuos.
- A função de perda utiliza uma perda contrastiva intra-lote (InfoNCE) para prever o próximo latente visual de primeiro plano $z_{t+1}$ dado o estado atual, distinguindo-o de outros patches no lote.
Treinamento Conjunto: O objetivo final combina a predição de próximo token de texto padrão ( $\mathcal{L}_{CE}$ ) com a perda de predição de latente visual ( $\mathcal{L}_{VP}$ ), intercalados de acordo com uma razão fixa. O codificador visual permanece congelado; apenas o LLM, o módulo de projeção visual e o cabeçalho de predição são atualizados.

Configuração Experimental

O estudo emprega uma comparação estritamente controlada entre VP e Pré-treinamento de Texto (TP):

Corpus: Ambos os métodos utilizam exatamente o mesmo corpus de PDF subjacente.
Diferença de Representação:
- TP: Os PDFs são analisados em texto puro (usando MinerU2.5), resultando em ~80B de tokens de texto.
- VP: Os PDFs são renderizados como imagens e convertidos em tokens visuais esparsos, resultando em ~20B de tokens visuais.
Backbones: Os experimentos são conduzidos em múltiplas arquiteturas, incluindo Qwen3.5, Qwen3, Llama 3.2 Vision e Llama 3.1.
Avaliação: Todos os checkpoints passam por um Ajuste Fino Supervisionado (SFT) idêntico antes da avaliação em benchmarks de raciocínio científico e multimodal.

Contribuições Principais

Demonstração de Perda de Informação no Pré-treinamento Apenas de Texto: O artigo fornece evidência empírica de que reduzir documentos visuais a texto puro acarreta uma perda substancial de informação, e que o pré-treinamento visual recupera essa informação descartada.
Framework de Pré-treinamento Visual Autorregressivo: Os autores introduzem um método para treinar modelos de fundação para prever patches de documentos no espaço latente, integrando profundamente os latentes visuais no processo preditivo sem exigir dados emparelhados imagem-texto.
Alternativa Escalável ao Pré-treinamento Apenas de Texto: Através de estudos empíricos unificados em diversas arquiteturas e benchmarks, o trabalho estabelece o VP como uma alternativa eficaz, eficiente e escalável aos tradicionais pré-treinamentos apenas de texto.

Resultados

1. Eficácia no Raciocínio Científico

O VP supera consistentemente o TP em benchmarks de raciocínio científico (MMLU-Pro, GPQA, AIME-25, HLE) tanto em modelos nativos multimodais quanto em modelos puramente de linguagem.

Ganhos de Desempenho: No backbone Qwen 3.5, o VP melhorou as pontuações GPQA Diamond de 76.24 para 79.29 (+3.05) e MMLU-Pro de 83.91 para 85.09.
Independente de Arquitetura: Melhorias foram observadas em todos os backbones testados, indicando que o benefício não está atrelado a uma arquitetura específica.
Raciocínio vs. Conhecimento: Os ganhos são mais pronunciados em benchmarks que exigem conhecimento de figuras geométricas e esquemas (GPQA, MMLU-Pro), enquanto as melhorias no HLE (focado em raciocínio de múltiplos passos complexos) foram marginais, sugerindo que o VP recupera especificamente o conhecimento visual-estrutural.

2. Escalabilidade e Eficiência

Eficiência de Tokens: O VP alcança um desempenho downstream superior consumindo apenas 25% do orçamento de tokens em comparação ao TP (20B tokens visuais vs. 80B tokens de texto para o mesmo corpus).
Leis de Escala (Scaling Laws): À medida que o treinamento progride, o VP mostra ganhos normalizados crescentemente superiores ao TP (ex: 2.88× no AIME-25).
Densidade de Estrutura: A vantagem do VP correlaciona-se fortemente com a densidade de estrutura visual. Em páginas ricas em figuras, equações e tabelas, o VP supera significativamente o TP, enquanto em páginas dominadas por texto, o desempenho é comparável.

3. Alinhamento Cross-Modal e Transferência

Apesar de ser treinado em documentos brutos não rotulados sem emparelhamento explícito imagem-texto:

Alinhamento: O VP melhora significativamente o alinhamento cross-modal. A separação de centroides entre embeddings visuais e de texto cai de 1.665 para 0.661, e a similaridade de cosseno sobe de 0.631 para 0.907.
Benchmarks Multimodais: Modelos VP superam tanto os modelos base quanto os modelos TP em benchmarks multimodais (MMMU-Pro, ChartQAPro, MathVista). Notavelmente, o TP às vezes regride em benchmarks visualmente pesados (ex: ChartQAPro), enquanto o VP gera ganhos substanciais (ex: +5.4 no ChartQAPro).
Mecanismo: A análise de mapas de atenção revela que o raciocínio visual no VP atende à mesma evidência semântica (restrições, passos de computação) que o raciocínio de texto, sugerindo que o modelo aprende a extrair pistas visuais relevantes para o raciocínio.

Significância e Alegações

O artigo afirma que o Pré-treinamento Visual é um caminho escalável para aprender tanto inteligência de linguagem quanto visual. Ele desafia a suposição padrão de que modelos de linguagem devem ser treinados em representações apenas de texto.

Complementar, Não Substitutivo: Os autores posicionam o VP não como um substituto para o pré-treinamento de texto, mas como um objetivo complementar que permite aos modelos reter a exposição ao texto enquanto aprendem a partir da forma visual nativa dos documentos científicos.
Eficiência: O framework demonstra que modelos de fundação podem ser treinados em corpora visuais altamente comprimidos (25% da contagem de tokens) para atingir ou exceder o desempenho de modelos pré-treinados apenas em texto.
Direções Futuras: O trabalho sugere que a predição de latentes visuais pode servir como um objetivo de pré-treinamento eficaz para corpora visuais de alta densidade (gráficos, fórmulas, layouts) e abre um caminho para o treinamento de modelos de fundação primariamente em fluxos visuais de larga escala com alinhamento de texto leve.

Os autores mantêm a modéstia, observando que sua abordagem é fundamentada no pré-treinamento de texto e que os ganhos devem ser vistos como evidência de que o pré-treinamento visual complementa e estende as capacidades dos modelos de fundação, em vez de operar como um regime de pré-treinamento visual totalmente independente. Eles também reconhecem que a transferibilidade para corpora visuais mais amplos (ex: imagens naturais ou vídeo) permanece uma questão em aberto.