InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

Resumo Técnico: InfoTok

1. O Problema

Os Modelos de Linguagem Multimodal Unificados (Unified MLLMs) visam integrar a compreensão de imagem e a geração de imagem em um único framework. Um componente central desses modelos é o tokenizador visual compartilhado, que mapeia imagens de alta dimensão para uma sequência de tokens limitada para processamento pelo LLM.

No entanto, existe uma tensão fundamental entre as duas tarefas:

• Compreensão (Understanding): Favorece abstração semântica e alto nível de significado.
• Geração (Generation): Depende de detalhes perceptivos finos e fidelidade visual.

As abordagens atuais de tokenização compartilhada são majoritariamente orientadas por arquitetura (baseadas em heurísticas de design ou perda de tarefa final), sem um critério explícito sobre quais informações devem ser preservadas. Isso leva a uma alocação ineficiente do orçamento de representação: o tokenizador muitas vezes desperdiça capacidade em variações de alta entropia (ruído, detalhes irrelevantes) em vez de focar em estruturas reutilizáveis e semânticas. O artigo propõe uma perspectiva de capacidade limitada, onde o tokenizador visual atua como um "aprendiz limitado computacionalmente" que precisa priorizar estrutura reutilizável sobre redundância.

2. Metodologia: InfoTok

O InfoTok é um mecanismo de tokenização regularizado por informação, fundamentado no Princípio do Gargalo de Informação (Information Bottleneck - IB). O objetivo é controlar explicitamente o fluxo de informação da imagem para os tokens compartilhados e, subsequentemente, para as saídas multimodais.

A. Formulação do Objetivo (Princípio IB Estendido)
O InfoTok reformula a tokenização como um problema de alocação de orçamento limitado, minimizando a informação redundante da entrada enquanto maximiza a informação relevante para a tarefa. A função de perda é definida como uma soma de termos de mutual information (MI) para as tarefas de compreensão ($u$) e geração ($g$):

$$\mathcal{L}_{InfoTok} = \mathcal{L}^{(u)}_{IB} + \mathcal{L}^{(g)}_{IB}$$

Onde cada termo $\mathcal{L}_{IB}$ busca otimizar:

1. Compactação (Compactness): Penaliza a informação redundante da entrada ($I(\tilde{Z}; I)$), forçando o tokenizador a ser eficiente.
2. Suficiência (Sufficiency): Maximiza a informação relevante para a tarefa ($I(\tilde{Z}; Y^{GT})$), garantindo que os tokens retenham o necessário para prever a saída correta (texto ou imagem).
3. Alinhamento (Alignment): Maximiza a consistência entre tokens visuais e textuais ($I(\tilde{Z}; T)$), reforçando a coerência cruzada no pipeline unificado.

B. Estimadores Práticos e Diferenciáveis
Como calcular a Mutual Information (MI) em representações visuais de alta dimensão é intratável, o InfoTok utiliza dois estimadores de dependência diferenciáveis para tornar o objetivo computável:

1. Variational Information Bottleneck (VIB): Utiliza uma posterior variacional (Gaussiana) para aproximar os limites da MI.
2. Hilbert Schmidt Independence Criterion (HSIC): Uma medida de dependência baseada em kernels que não requer modelagem explícita de densidade.

C. Implementação e Treinamento

• Arquitetura: O InfoTok é aplicado como um estágio de fine-tuning em MLLMs unificados pré-treinados (ex: Harmon, OpenUni, Show-o2).
• Projeções de Tarefa: Durante o treinamento, projeções leves (MLPs) são adicionadas aos tokens do encoder para definir os termos de regularização. Essas projeções são removidas na inferência.
• Restrição de Distilação: Uma perda de distilação (KL-divergência) é adicionada para garantir que a estrutura regularizada nas projeções seja transferida de volta para os tokens do encoder original ($Z$), garantindo que o encoder aprenda a representação compacta diretamente.
• Dados: O método não requer dados de treinamento adicionais, utilizando apenas os dados originais dos modelos base.

3. Contribuições Principais

1. Perspectiva de Capacidade Limitada: Introduz a visão de que tokenizadores em MLLMs unificados operam sob restrições computacionais e de capacidade, exigindo uma alocação explícita de orçamento para estruturas reutilizáveis em vez de variações de alta entropia.
2. Fundamentação Teórica em Teoria da Informação: Estabelece a tokenização compartilhada sobre o Princípio do Gargalo de Informação, formalizando um objetivo de regularização explícito que equilibra compressão e relevância da tarefa.
3. Mecanismo Plug-and-Play: Demonstra que o InfoTok pode ser integrado em diversos MLLMs unificados sem alterar a arquitetura base ou adicionar dados, melhorando consistentemente o desempenho.
4. Análise Teórica e Empírica: Prova que as projeções de tarefa não podem aumentar a informação mútua com o alvo (devido à desigualdade de processamento de dados), justificando a regulação do encoder através das projeções.

4. Resultados Experimentais

Os autores avaliaram o InfoTok em três modelos representativos: Harmon, OpenUni e Show-o2.

• Desempenho Geral: O InfoTok trouxe melhorias consistentes tanto em benchmarks de compreensão (UniBench, GQA, SEED, POPE, MME, MMV2, MMMU) quanto de geração (Geneval, Geneval++, WISE).
• Comparação: Modelos regulados com InfoTok superaram suas versões base e, em alguns casos, alcançaram desempenho comparável a modelos muito maiores (ex: um modelo de 1.5B com InfoTok superou um modelo de 7.0B sem regularização em certas métricas de geração).
• Qualidade Visual: Visualizações qualitativas mostraram melhor seguimento de instruções (ex: posicionamento correto de objetos, atributos corretos) e maior coerência semântica, com redução de ruído e detalhes irrelevantes.
• Ablação:
  • Os termos de Compactação e Suficiência (IB canônico) foram os principais impulsionadores de ganhos.
  • O termo de Alinhamento melhorou a estabilidade e a coerência cruzada.
  • A Distilação ajudou a preservar comportamentos úteis do baseline.
  • O método foi robusto à escolha do estimador (VIB vs. HSIC) e ao tamanho do conjunto de dados de fine-tuning (ganhos saturaram após 1.5M de amostras).
• Análise de Frequência: Uma análise CKA decomposta por frequência revelou que o InfoTok aumenta o alinhamento dos tokens com componentes de baixa frequência (estrutura, layout) e reduz o alinhamento com componentes de alta frequência (textura, ruído), confirmando a hipótese de priorização de estrutura reutilizável.

5. Significado e Impacto

O trabalho do InfoTok representa uma mudança de paradigma no design de MLLMs unificados:

• Do "Arquitetural" para o "Teórico": Em vez de apenas escalar arquiteturas ou ajustar hiperparâmetros de perda de tarefa, o InfoTok propõe o controle de fluxo de informação como uma ferramenta de design fundamental.
• Eficiência de Dados: Demonstra que é possível melhorar significativamente modelos unificados sem a necessidade de coletar ou treinar com grandes volumes de dados adicionais, focando apenas em como a informação é representada.
• Generalidade: A abordagem é aplicável a diferentes mecanismos de representação visual (codificadores contínuos, VAEs, etc.), sugerindo que a regulação informacional é um princípio universal para a unificação de compreensão e geração.

Em suma, o InfoTok estabelece que a unificação eficaz de tarefas multimodais depende de uma alocação de orçamento de representação baseada em princípios, onde a informação é comprimida seletivamente para reter apenas o que é estruturalmente reutilizável e semanticamente relevante.