UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model

O artigo apresenta o UniWeTok, um tokenizador binário unificado com um código de tamanho massivo ($2^{128}$) e uma arquitetura híbrida inovadora que alcança desempenho state-of-the-art em geração e compreensão multimodal com custos computacionais significativamente reduzidos.

O essencial

Imagine que você tem uma biblioteca gigante de imagens, mas em vez de livros, são milhões de fotos. O problema é que essas fotos são pesadas demais para carregar na internet ou para um computador "pensar" sobre elas rapidamente.

Aqui entra o UniWeTok, o protagonista deste artigo. Pense nele como um super-compactador de fotos que também funciona como um tradutor universal para a Inteligência Artificial.

Vamos descomplicar como ele funciona usando algumas analogias do dia a dia:

1. O Problema: A Caixa de Ferramentas Quebrada

Antes do UniWeTok, os cientistas tinham dois tipos de ferramentas separadas:

• Ferramenta A (Reconstrução): Era ótima para descompactar uma foto e deixá-la com qualidade de cinema, mas não entendia o que estava na foto (não sabia que era um gato ou um carro).
• Ferramenta B (Entendimento): Era ótima para "ler" a foto e entender o conceito, mas quando tentava recriar a imagem, ficava borrada e cheia de erros.

Era como tentar dirigir um carro usando apenas o volante (entendimento) ou apenas o acelerador (reconstrução), mas nunca os dois juntos. O objetivo do UniWeTok foi criar uma única ferramenta que faz tudo: compacta a imagem, entende o que ela é e consegue recriá-la perfeitamente.

2. A Solução: O "Dicionário Gigante" (Codebook de $2^{128}$)

O UniWeTok usa uma técnica chamada "tokenização". Imagine que você quer enviar uma mensagem de texto, mas em vez de letras, você usa códigos.

• A maioria dos sistemas usa um dicionário pequeno (como o alfabeto).
• O UniWeTok criou um dicionário astronômico com $2^{128}$ palavras (um número tão grande que é maior que o número de átomos no universo observável).

A Analogia: Imagine que você tem que descrever uma paisagem complexa.

• Um sistema comum diria: "Tem uma árvore, um céu azul e uma casa". (Pouco detalhe).
• O UniWeTok, com seu dicionário gigante, pode dizer: "Árvore carvalho com textura de casca específica, céu azul com nuvens cumulus na posição exata, casa de tijolos vermelhos com janelas de vidro fosco".
  Isso permite que ele guarde muito mais informação em menos "pedaços" (tokens), tornando o processo muito mais rápido e eficiente.

3. Como Ele Aprende: O "Treinamento em Três Estágios"

Para ensinar essa IA a ser tão boa, os criadores usaram uma estratégia de treinamento em três fases, como se fosse um aluno de escola:

• Estágio 1 (O Básico): O modelo aprende com imagens pequenas e simples (256x256 pixels). É como aprender a ler com letras grandes e desenhos simples.
• Estágio 2 (A Expansão): O modelo começa a ver imagens de vários tamanhos e resoluções diferentes. É como o aluno começar a ler livros de capa dura, jornais e revistas.
• Estágio 3 (O Especialista): O modelo foca em detalhes sensíveis, como rostos humanos e texto escrito. É como o aluno se especializar em caligrafia e reconhecimento de expressões faciais.

4. O Segredo da Estabilidade: O "Freio de Mão" (SigLu)

Durante o treinamento, os pesquisadores notaram que o modelo ficava "nervoso". Ele tentava aprender duas coisas ao mesmo tempo: manter a imagem nítida e entender o significado, e isso causava conflitos (como tentar acelerar e frear ao mesmo tempo).

Eles criaram uma função chamada SigLu.
A Analogia: Pense no SigLu como um freio de mão inteligente ou um limite de velocidade. Ele impede que o modelo "pule" para valores extremos e descontrolados. Isso garante que o aprendizado seja estável, permitindo que o modelo entenda a semântica (o significado) sem estragar a qualidade da imagem.

5. O Resultado: Um "Canivete Suíço" Multimodal

O UniWeTok não é apenas um compactador; ele é a base para um Modelo de Linguagem Multimodal Unificado (MLLM). Isso significa que, com ele, uma única IA pode:

• Ver e Entender: Responder perguntas sobre uma imagem (ex: "Quantos gatos tem aqui?").
• Criar: Gerar novas imagens a partir de descrições de texto.
• Editar: Mudar coisas na imagem (ex: "Troque a cor do carro para vermelho").

Por que isso é incrível?
Antes, para fazer tudo isso, você precisava de vários modelos diferentes, o que consumia muita energia e tempo de computador. O UniWeTok faz tudo isso com muito menos custo computacional.

• Enquanto outros modelos precisavam de 262 bilhões de "treinos" (tokens) para aprender, o UniWeTok aprendeu com apenas 33 bilhões.
• Ele gera imagens de alta qualidade (melhor que muitos concorrentes famosos) e entende o contexto humano (como rostos e textos) com precisão impressionante.

Resumo Final

O UniWeTok é como um tradutor e compactador de imagens superpoderoso. Ele pega uma foto gigante, transforma em um código supercurto e rico em detalhes, ensina a IA a entender o que é essa foto e, ao mesmo tempo, permite que a IA crie ou edite novas fotos a partir desse código. Tudo isso em um único sistema, rápido, eficiente e capaz de lidar com qualquer tipo de imagem, desde um desenho simples até uma foto complexa de um rosto humano.

É um grande passo para que as IAs do futuro não apenas "vejam" as imagens, mas as "compreendam" e "criem" com a mesma facilidade com que escrevemos um texto.

Resumo técnico

Resumo Técnico: UniWeTok

1. O Problema

Os Modelos de Linguagem Multimodal Unificados (MLLMs) exigem uma representação visual que satisfaça simultaneamente três objetivos frequentemente conflitantes:

1. Reconstrução de Alta Fidelidade: Capacidade de reconstruir imagens com detalhes finos e texturas.
2. Extração Semântica Complexa: Capacidade de capturar conceitos de alto nível para tarefas de compreensão (como VQA ou classificação).
3. Adequação Generativa: A representação deve ser robusta para geração autoregressiva de imagens.

Os tokenizadores visuais existentes geralmente falham em equilibrar esses objetivos dentro de um único framework:

• Tokenizadores contínuos sofrem com acúmulo de erros e colapso de modo durante a geração autoregressiva.
• Tokenizadores discretos tradicionais (baseados em VQ) historicamente tiveram reconstrução limitada e perda de informação.
• Avanços recentes em tokenizadores binários com codebooks massivos (ex: >2^128) melhoraram a reconstrução, mas muitas vezes falham em extrair semântica útil ou são difíceis de otimizar para tarefas de geração e compreensão simultâneas.

2. Metodologia

O UniWeTok é um tokenizador visual discreto unificado projetado para superar essas limitações, utilizando um codebook binário massivo de tamanho 2^128. A abordagem é dividida em três pilares principais:

A. Framework de Treinamento (Novas Funções de Perda)

• Destilação Pré-Pós (Pre-Post Distillation - PPD): Para dotar o tokenizador de capacidades semânticas, o modelo utiliza um codificador semântico pré-treinado (teacher) para distilar conhecimento.
  • Pré-destilação: Alinha as características do encoder antes da quantização.
  • Pós-destilação: Alinha as características após a quantização.
  • Isso garante que os tokens discretos retenham informações semânticas profundas.
• Prioridade Consciente de Geração (Generative-Aware Prior - GAP): Para mitigar a dificuldade de geração em codebooks grandes, o modelo é treinado com uma tarefa auxiliar de difusão de próxima token (usando um modelo leve do tipo BitDance). Isso injeta um "prior" generativo no espaço latente, ensinando o modelo a prever a distribuição da sequência durante o treinamento.

B. Arquitetura do Modelo

• Arquitetura Híbrida (Conv-Attention): O encoder e decoder combinam blocos residuais convolucionais (para viés indutivo local e eficiência) com blocos de transformador (para campo receptivo global e contexto).
• Função de Ativação SigLu: O papel crítico do UniWeTok é a introdução da ativação SigLu (uma função sigmoide baseada em logit) na saída do encoder.
  • Problema resolvido: A perda de compromisso (commitment loss) tradicional força as saídas para valores extremos (-1 ou 1), criando um conflito com a perda de entropia dos tokens e dificultando a destilação semântica.
  • Solução: O SigLu restringe naturalmente a saída do encoder ao intervalo [-1, 1], tornando a perda de entropia equivalente à perda de compromisso. Isso estabiliza o processo de destilação semântica e resolve o conflito de otimização.

C. Pipeline de Treinamento (Estratégia de Currículo)
O treinamento ocorre em três estágios progressivos para garantir adaptabilidade:

1. Pré-treinamento em Grande Escala: Focado em eficiência computacional com resolução fixa (256x256) em dados gerais.
2. Pré-treinamento Contínuo Multi-Resolução: Treinamento simultâneo em várias resoluções para adaptar o modelo a diferentes tamanhos de imagem.
3. Annealing (Recozimento) Sensível à Percepção: Foco em domínios sensíveis como rostos humanos e texto, refinando a capacidade do modelo em detalhes críticos.

3. Principais Contribuições

• Unificação de Codebook Massivo e Semântica: Demonstra que é possível utilizar um codebook binário de 2^128 para extrair tanto detalhes de textura (alta fidelidade) quanto conceitos semânticos complexos, algo anteriormente considerado difícil.
• Eficiência Computacional: O UniWeTok alcança desempenho de ponta (SOTA) com custos de treinamento drasticamente reduzidos comparado a métodos concorrentes.
• Novas Técnicas de Estabilização: A introdução do SigLu e da Destilação Pré-Pós resolve problemas fundamentais de convergência em tokenizadores discretos de alta capacidade.
• Modelo MLLM Unificado: Apresenta um MLLM completo baseado no UniWeTok capaz de realizar compreensão, geração e edição de imagens em um único framework autoregressivo.

4. Resultados Experimentais

O modelo foi avaliado em diversas tarefas, superando ou igualando o estado da arte (SOTA):

• Geração de Imagens (ImageNet):
  • FID: 1.38 (Superior ao REPA, que obteve 1.42).
  • Eficiência: Requer apenas 33 Bilhões de tokens de treinamento, comparado a 262B do REPA, mantendo uma taxa de downsampling de 32x (redução de 75% no número de tokens visuais).
• Compreensão Multimodal (MLLM):
  • O modelo UniWeTok-Chat demonstra capacidades competitivas em benchmarks como SEEDB, POPE, VQAv2 e MMMU, comparável a modelos especializados apenas em compreensão.
• Geração de Imagens (Texto-para-Imagem):
  • DPG Score: 86.63 (Superior ao FLUX.1 [Dev] com 83.84).
  • Supera modelos baseados em difusão e outros autoregressivos em benchmarks como GenEval.
• Edição de Imagens:
  • GEdit Score: 5.09 (Superior ao OmniGen com 5.06), demonstrando que o modelo autoregressivo pode competir com modelos de difusão em tarefas de edição complexa.

5. Significado e Impacto

O UniWeTok representa um avanço significativo na direção de MLLMs verdadeiramente unificados. Ao provar que um único tokenizador discreto pode lidar simultaneamente com reconstrução de alta fidelidade, compreensão semântica profunda e geração generativa robusta, o trabalho elimina a necessidade de arquiteturas complexas com múltiplos encoders/decoders ou paradigmas híbridos (como difusão + autoregressivo).

A descoberta de que um codebook massivo (2^128) pode ser otimizado para tarefas de compreensão através de destilação e priores generativos abre caminho para modelos mais eficientes, escaláveis e versáteis, capazes de operar nativamente em resoluções variadas e em cenários sensíveis (como texto e rostos) sem perda de qualidade. O código e os modelos foram liberados para fomentar a pesquisa comunitária.