Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

1. Declaração do Problema

Os Modelos Multimodais Unificados (UMMs) atuais geralmente dependem de codificadores de visão pré-treinados (por exemplo, CLIP para compreensão, VQ-VAE para geração) para converter imagens brutas em representações latentes. Essa abordagem modular introduz várias limitações críticas:

• Desalinhamento de Representação: Codificadores separados para compreensão e geração criam uma desconexão entre as duas tarefas, impedindo uma otimização totalmente end-to-end.
• Vieses Indutivos: Codificadores pré-treinados impõem resoluções de entrada fixas e limitam o acesso a detalhes visuais de baixo nível e granulares, prejudicando o desempenho em tarefas que exigem percepção precisa.
• Complexidade Arquitetural: A dependência de múltiplos componentes modulares (codificadores, conectores, decodificadores) complica o pipeline de treinamento e impede que o modelo aprenda uma representação verdadeiramente unificada diretamente a partir de pixels brutos.

Os autores perguntam: Podemos construir um modelo multimodal unificado que realize compreensão e geração diretamente a partir de pixels brutos, descartando completamente os codificadores de visão pré-treinados?

2. Metodologia

O artigo apresenta o Tuna-2, um modelo multimodal unificado nativo que opera inteiramente no espaço de pixels. A metodologia é desenvolvida através de uma simplificação progressiva de arquiteturas existentes:

A. Evolução Arquitetural

Os autores propõem uma evolução em três estágios para alcançar o design final sem codificador:

1. Tuna (Linha de Base): Utiliza um design modular padrão com um codificador VAE para geração e um codificador de representação (por exemplo, SigLIP) para compreensão.
2. Tuna-R (Intermediário): Remove o VAE, mas retém um codificador de representação pré-treinado (SigLIP 2). Utiliza uma camada de incorporação de patches para converter imagens em tokens para o decodificador LLM, realizando geração no espaço de pixels via fluxo retificado.
3. Tuna-2 (Final): Remove completamente o codificador de representação pré-treinado. Substitui codificadores complexos por simples camadas de incorporação de patches que tokenizam diretamente os pixels da imagem bruta. Todo o sistema é um único decodificador Transformer monolítico processando tokens de texto e visuais conjuntamente.

B. Geração no Espaço de Pixels

Em vez de difusão latente, o Tuna-2 emprega fluxo retificado (rectified flow matching) diretamente no espaço de pixels:

• Objetivo: O modelo prevê a imagem limpa $x_1$ a partir de uma amostra ruidosa $x_t$ construída via um cronograma linear: $x_t = tx_1 + (1-t)x_0$.
• Função de Perda: Minimiza o erro de previsão de velocidade ($v_\theta$), onde $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• Inferência: Utiliza um solver de Euler para remover ruído das imagens passo a passo.

C. Aprendizado de Características Baseado em Mascaramento

Para abordar a dificuldade de aprender representações robustas no espaço de pixels de alta dimensão (que é propenso a atalhos superficiais), os autores introduzem um esquema de mascaramento:

• Mecanismo: Durante o treinamento, patches de imagem aleatórios são mascarados e substituídos por um token de máscara aprendível.
• Função Dupla:
  • Para Geração: Força o modelo a reconstruir patches limpos a partir de entradas ruidosas parcialmente observadas, criando uma tarefa de remoção de ruído mais difícil.
  • Para Compreensão: Atua como um regularizador, forçando o modelo a realizar raciocínio sob observação visual parcial, prevenindo dependência excessiva de pistas visuais específicas.

D. Pipeline de Treinamento

O modelo é treinado totalmente end-to-end em dois estágios:

1. Estágio 1 (Pré-treinamento): Treinamento conjunto em legendagem de imagens e geração de texto para imagem (70% dados de compreensão, 30% dados de geração) usando uma base de 7B parâmetros (Qwen2.5-7B-Instruct).
2. Estágio 2 (SFT): Ajuste fino supervisionado em conjuntos de dados de seguimento de instruções de imagem, edição e geração de alta qualidade.

3. Principais Contribuições

1. Arquitetura Tuna-2: O primeiro UMM nativo a alcançar desempenho state-of-the-art (SOTA) tanto em compreensão quanto em geração ao descartar completamente os codificadores de visão pré-treinados, confiando exclusivamente em incorporações de pixels.
2. Validação Empírica do Design sem Codificador: Demonstra que, embora codificadores pré-treinados ajudem na convergência inicial, uma arquitetura monolítica sem codificador os supera em compreensão multimodal, particularmente em tarefas granulares, após pré-treinamento suficiente.
3. Escalabilidade no Espaço de Pixels: Prova que o fluxo retificado no espaço de pixels pode ser escalado para modelos unificados grandes, competindo com abordagens no espaço latente para geração e edição de imagens de alta fidelidade.
4. Estratégia de Mascaramento: Introduz um esquema de aprendizado baseado em mascaramento que estabiliza o treinamento no espaço de pixels de alta dimensão e aumenta a robustez da representação.

4. Resultados Experimentais

Os autores avaliaram o Tuna-2 contra várias linhas de base (incluindo Tuna, Tuna-R, Show-o2, BAGEL e modelos apenas de geração como FLUX.1).

• Compreensão Multimodal (Tabela 1):
  • O Tuna-2 alcança desempenho SOTA entre UMMs nativos na escala de 7B em benchmarks gerais (GQA, MMVet, MMMU) e benchmarks centrados em pixels (V*, CountBench, VisuLogic).
  • Supera significativamente o Tuna-R em tarefas de percepção granular, sugerindo que remover o viés indutivo do codificador permite um melhor aprendizado de detalhes visuais de baixo nível.
• Geração de Imagens (Tabelas 2 e 3):
  • O Tuna-2 é competitivo com modelos unificados SOTA em GenEval e DPG-Bench.
  • Embora o Tuna-R (com codificador) lidera ligeiramente nas métricas de geração inicialmente, o Tuna-2 alcança o mesmo nível após o SFT.
  • Diversidade: O Tuna-2 gera imagens significativamente mais diversas do que o Tuna-R e o Tuna, conforme julgado por LLMs (GPT-5.4, Claude Opus).
• Edição e Reconstrução de Imagens (Tabelas 4 e 5):
  • O Tuna-2 performa fortemente na edição de imagens (ImgEdit), superando muitas linhas de base unificadas.
  • Em tarefas de reconstrução de imagem, o Tuna-2 alcança qualidade de reconstrução (PSNR/SSIM) comparável a VAEs especializados como FLUX.1, provando que representações no espaço de pixels podem codificar informações visuais com fidelidade.
• Análise de Atenção (Figura 7):
  • Visualizações mostram que o Tuna-2 possui mapas de atenção mais precisos e estáveis, focando corretamente em regiões visuais relevantes mesmo quando os priores linguísticos são enganosos (por exemplo, identificando uma taça de vidro em um contexto de futebol), enquanto modelos baseados em codificadores frequentemente dependem de priores de texto ou distratores salientes.

5. Significado e Conclusão

O artigo desafia fundamentalmente o paradigma predominante de que codificadores de visão pré-treinados são necessários para IA multimodal de alto desempenho.

• Mudança de Paradigma: Demonstra que "aprendizado end-to-end no espaço de pixels" é um caminho viável e superior para desenvolver representações visuais mais fortes, especialmente para tarefas que exigem percepção granular.
• Simplicidade: Ao remover codificadores modulares complexos, o Tuna-2 simplifica a arquitetura para um único Transformer, reduzindo a sobrecarga de engenharia e permitindo uma otimização conjunta verdadeira.
• Direção Futura: Os resultados sugerem que futuros UMMs nativos devem priorizar a modelagem direta de pixels em vez de compressão no espaço latente, já que esta última pode introduzir gargalos de informação que limitam a capacidade do modelo de perceber e gerar detalhes visuais de alta fidelidade.

Em resumo, o Tuna-2 prova que uma arquitetura simples, sem codificador, treinada diretamente em pixels brutos pode superar sistemas complexos baseados em codificadores na compreensão, mantendo capacidades de geração competitivas, oferecendo um blueprint escalável para a próxima geração de modelos multimodais.