Resumo Técnico: UniVLR

Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) são cada vez mais esperados para "pensar com imagens", particularmente em cenários pesados em percepção, como resolução de problemas geométricos e compreensão visual de alta resolução. As abordagens atuais para raciocínio visual geralmente se enquadram em duas categorias, ambas com limitações:

1. Raciocínio Visual Baseado em Ferramentas: Esses métodos intercalam explicitamente o Texto de Cadeia de Pensamento (CoT) com imagens auxiliares geradas externamente (por exemplo, recortes, esboços). Embora eficazes, esse paradigma sofre com a rigidez de ferramentas pré-definidas, latência de chamadas externas e instabilidade nas imagens geradas.
2. Raciocínio Latente Visual Existente: Para evitar ferramentas externas, métodos recentes geram tokens visuais latentes de forma autoregressiva. No entanto, a maioria dos métodos existentes ainda adota um design intercalado, alternando entre texto explícito CoT e tokens visuais latentes. Os autores identificam duas falhas críticas nesse design:
   • Ineficiência: O paradigma intercalado ainda exige segmentos de texto explícito completos entre etapas latentes visuais, falhando em reduzir substancialmente os custos de geração em comparação com o CoT baseado em texto padrão.
   • Atenção Fragmentada: Como texto e tokens latentes aparecem em formas heterogêneas, os modelos frequentemente dependem de tokens de texto próximos, falhando em atender consistentemente a imagens auxiliares anteriores. A análise mostra que os tokens CoT subsequentes exibem atenção esparsa e difusa às imagens auxiliares, o que significa que a evidência visual não é totalmente integrada ao processo de raciocínio.

A questão central levantada é se o texto explícito CoT deve permanecer como um canal de raciocínio separado, ou se ele pode ser visualizado e organizado dentro de um espaço de trabalho perceptual compartilhado ao lado de imagens auxiliares.

Metodologia: UniVLR

Os autores propõem o UniVLR (Raciocínio Latente Visual Unificado), um framework que trata o raciocínio textual e a evidência visual auxiliar como um espaço de trabalho visual compartilhado. Em vez de preservar o texto CoT como um caminho independente no tempo de inferência, o UniVLR renderiza traços de raciocínio e imagens auxiliares em uma tela visual unificada, comprime essa representação em tokens visuais latentes compactos e raciocina exclusivamente por meio desses latentes no tempo de inferência.

1. Renderização de Tela Visual Unificada

O UniVLR converte traços de raciocínio heterogêneos em uma única representação visual usando uma função de renderização $\Phi(\cdot)$:

• Construção: Para uma instância de treinamento com raciocínio textual $R$ e imagens auxiliares $U$, a função os compõe em uma tela unificada $c = \Phi(R, U)$.
• Renderização Adaptativa: O sistema aplica estratégias leves para garantir compactação e legibilidade. O texto é renderizado com tamanhos de fonte adaptativos e quebra de linha, enquanto as imagens auxiliares são redimensionadas e destacadas com pistas visuais (por exemplo, caixas, setas).
• Extração de Alvo: A tela unificada é processada pelo codificador de visão do MLLM base para extrair um mapa de características 2D. Esse mapa é então agrupado de forma adaptativa (usando agrupamento 2D consciente de proporção) em uma sequência de comprimento fixo de alvos latentes $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$.

2. Alinhamento Latente em Duas Etapas

O modelo é treinado por meio de um currículo em duas etapas para alinhar seus estados internos com essas representações visuais unificadas:

• Etapa I: Fundamentação Latente Visual: O modelo é treinado para gerar tokens latentes contínuos de forma autoregressiva usando apenas imagens visuais auxiliares como alvos de alinhamento. Isso estabelece uma interface básica de raciocínio contínuo entre o MLLM e o espaço de incorporação visual.
• Etapa II: Alinhamento Unificado Texto–Visão: O modelo é ajustado finamente usando os alvos de tela unificada (contendo tanto texto renderizado quanto imagens auxiliares). Essa etapa ensina o modelo a representar traços de raciocínio explícitos e evidências visuais através do mesmo canal visual latente.
• Objetivo: O objetivo de treinamento combina modelagem de linguagem padrão (para a resposta final e tokens de controle) com uma perda de regressão normalizada ($L_{align}$) que alinha os tokens latentes previstos com as incorporações visuais alvo. A perda inclui componentes de MSE e similaridade de cosseno.

3. Inferência Autoregressiva Contínua

No tempo de inferência, a função de renderização, o codificador de visão e os alvos do professor são descartados. O modelo opera da seguinte forma:

1. Recebe o prompt multimodal original $(Q, I)$.
2. Ao gerar o token <|univlr_start|>, ele muda para o modo de raciocínio latente.
3. Gera autoregressivamente $K$ tokens visuais latentes contínuos, alimentando cada token previsto de volta como entrada para o próximo passo.
4. Ao gerar <|univlr_end|>, ele retorna ao vocabulário discreto para decodificar a resposta final em linguagem natural.
   Crucialmente, nenhum texto explícito intermediário CoT é gerado durante a fase de raciocínio.

Contribuições Principais

1. Paradigma Unificado: O UniVLR introduz um paradigma onde o raciocínio textual e a evidência visual auxiliar são unificados em um único canal visual latente, eliminando a necessidade de tokens de texto e latentes intercalados.
2. Eficiência: Ao remover a geração de texto explícito durante o raciocínio, o UniVLR reduz significativamente o número de tokens gerados, mantendo ou melhorando a precisão do raciocínio.
3. Atenção Aprimorada: O design unificado induz uma atenção mais densa e focada nas imagens auxiliares em comparação com designs intercalados, pois o modelo processa todas as evidências de raciocínio através do mesmo caminho visual.
4. Treinamento em Duas Etapas: O currículo proposto (fundamentação seguido de unificação) estabiliza a aprendizagem do raciocínio latente contínuo, prevenindo o colapso de representação.

Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de percepção e raciocínio do mundo real (V*, HRBench4K/8K, MME-RealWorld-Lite) usando o Qwen2.5-VL-7B como modelo base.

• Desempenho: O UniVLR supera métodos anteriores de raciocínio latente visual (Monet, LVR, SkiLa, CoVT) e baselines de raciocínio textual. Em média, ele melhora a precisão do raciocínio em 5,4% em comparação com as melhores baselines.
• Eficiência: O UniVLR alcança esses ganhos enquanto usa substancialmente menos tokens gerados. Ele reduz o número de tokens de raciocínio gerados em 15,2× em comparação com métodos intercalados (usando apenas 12 tokens latentes versus 190–270 tokens de texto).
• Análise de Representação Latente:
  • Fundamentação Visual: As distribuições de estado oculto dos tokens latentes do UniVLR alinham-se mais estreitamente com representações de tokens de imagem do que com representações de tokens de texto, confirmando que o modelo usa um canal fundamentado visualmente.
  • Conteúdo de Informação: A análise de perturbação (zerar ou adicionar ruído aos estados latentes) causa quedas significativas de precisão, provando que os tokens latentes carregam informações de raciocínio relevantes para a tarefa e não são meros espaços reservados.
• Estudos de Ablação:
  • Estratégia de Renderização: A renderização de layout vertical e a quebra de linha adaptativa foram consideradas críticas para lidar com lógica complexa.
  • Filtragem de Dados: A filtragem rigorosa dos dados de treinamento (removendo amostras solucionáveis sem raciocínio visual ou aquelas com alvos ruidosos) foi essencial para o treinamento estável da Etapa II.
  • Forçamento do Professor: O forçamento completo de latentes durante o treinamento produziu melhores resultados do que a amostragem agendada, sugerindo que estabilizar a variedade latente é mais importante do que reduzir o viés de exposição nesse cenário contínuo.
• Generalização: O UniVLR não exibe esquecimento catastrófico em tarefas multimodais gerais (TextVQA, POPE, MME-translation) e, na verdade, melhora o desempenho em alucinação de objetos (POPE) e compreensão de imagens ricas em texto (TextVQA).

Significado e Alegações

O artigo afirma que o UniVLR impulsiona o raciocínio latente visual em direção a um paradigma mais unificado e eficiente para o pensamento multimodal. Ao demonstrar que o texto explícito CoT pode ser absorvido em um canal visual latente unificado, o trabalho sugere que os MLLMs podem realizar raciocínio complexo e multi-etapa sem a sobrecarga de geração de texto verboso ou chamadas de ferramentas externas.

Os autores enfatizam que, embora o método melhore a eficiência e o desempenho, ele vem com compensações: o processo de raciocínio latente é menos diretamente inspecionável do que o texto explícito CoT, potencialmente tornando a depuração e a auditoria mais desafiadoras. Além disso, o método depende das capacidades de OCR e compreensão de layout do codificador de visão. O trabalho posiciona o UniVLR não como um substituto para o raciocínio baseado em ferramentas em tarefas que exigem medições exatas ou busca exaustiva, mas como um passo significativo em direção à internalização da deliberação visual dentro de um espaço latente compacto e unificado.