Resumo Técnico: Raciocínio Latente Alinhado à Visão para Modelos de Linguagem Grandes Multimodais

1. Declaração do Problema

Apesar dos avanços significativos nos Modelos de Linguagem Grandes Multimodais (MLLMs) para tarefas como legendagem de imagens e resposta a perguntas visuais (VQA), esses modelos enfrentam dificuldades com problemas que exigem raciocínio extenso em múltiplas etapas. O principal gargalo é a diluição progressiva da informação visual durante a geração de contexto longo. À medida que o comprimento da sequência de texto gerada aumenta, a capacidade do modelo de reter e explorar sinais visuais diminui, impedindo a aplicação das leis de escalonamento em tempo de teste observadas em modelos de linguagem puros.

As abordagens existentes para aprimorar o raciocínio frequentemente dependem de:

• Métodos centrados no texto: Ajuste fino supervisionado (SFT) ou aprendizado por reforço que foca em cadeias de pensamento (CoT) linguísticas, mas sofre com a atenuação do sinal visual ao longo de sequências longas.
• Reintrodução visual estática: Interleaving de tokens visuais ou geração de imagens. No entanto, esses métodos geralmente tratam os recursos visuais como um contexto inicial fixo ou dependem de recursos estáticos de visão única, levando a uma perda gradual do contexto visual à medida que o raciocínio progride.

2. Metodologia: Raciocínio Latente Alinhado à Visão (VaLR)

Os autores propõem o Raciocínio Latente Alinhado à Visão (VaLR), um framework projetado para gerar dinamicamente tokens latentes alinhados à visão antes de cada etapa de raciocínio. Essa abordagem cria "pontos de verificação visuais" que ancoram o processo de raciocínio em pistas perceptivas dentro do espaço latente, prevenindo o decaimento da informação visual.

Mecanismo Central

O VaLR opera alternando entre dois modos durante a inferência:

1. Modo de Linguagem: Gera tokens de texto padrão para a resposta.
2. Modo Latente: Gera "tokens de raciocínio latente" não textuais que não são diretamente visíveis, mas servem como etapas intermediárias de raciocínio.

Crucialmente, durante o modo latente, o modelo é treinado para alinhar seus estados ocultos intermediários com representações visuais densas extraídas de codificadores de visão externos pré-treinados (por exemplo, DINOv2/v3, CLIP, SigLIP, $\pi^3$).

Pipeline de Treinamento

O VaLR emprega uma estratégia de aprendizado de currículo em duas etapas:

• Etapa 1 (SFT Padrão): O modelo é ajustado finamente em conjuntos de dados gerais de CoT VQA para estabelecer capacidades fundamentais de raciocínio multimodal. O codificador de visão é congelado, e apenas a base de linguagem é treinada.
• Etapa 2 (Treinamento de Token Latente com REPA): O modelo é treinado para inserir $K$ tokens latentes antes de cada etapa de raciocínio em linguagem. Uma perda de Alinhamento de Representação (REPA) é introduzida para alinhar os recursos intermediários do MLLM com recursos de codificadores de visão externos.
  • Objetivo de Alinhamento: A função de perda maximiza a similaridade de cosseno entre os recursos intermediários projetados do MLLM e os recursos visuais extraídos por patch do quadro de imagem correspondente pelo codificador de visão.
  • Alinhamento Multi-codificador: O framework suporta o alinhamento com múltiplos codificadores de visão simultaneamente para capturar forças complementares (por exemplo, compreensão semântica do CLIP, aparência de alta granularidade do DINO e estrutura espacial 3D do $\pi^3$).

Vale notar que os codificadores de visão externos são usados apenas durante o treinamento. No momento do teste, o modelo depende do ancoramento visual aprendido dentro de seus tokens latentes, sem exigir os codificadores externos.

3. Contribuições Principais

• Ancoragem Visual Dinâmica: Diferentemente de métodos que usam recursos visuais estáticos, o VaLR aloca dinamicamente detalhes visuais em cada etapa de raciocínio, garantindo a preservação da informação ao longo do raciocínio de contexto longo.
• Escalonamento em Tempo de Teste: O framework permite que MLLs exibam comportamento de escalonamento em tempo de teste, onde o desempenho melhora com cadeias de raciocínio mais longas, um fenômeno anteriormente não observado em MLLMs devido à atenuação do sinal visual.
• Design Agnóstico ao Modelo: O VaLR pode ser adaptado a vários codificadores de visão (DINO, SigLIP, CLIP, $\pi^3$) e funciona efetivamente mesmo com os codificadores de visão autônomos do MLLM original.
• Currículo em Duas Etapas: Um pipeline de treinamento estruturado que primeiro estabelece capacidades de raciocínio e depois as refina com alinhamento visual, facilitando a compreensão robusta de contexto longo.

4. Resultados Experimentais

Avaliações extensas foram conduzidas em vários benchmarks, incluindo VSI-Bench (raciocínio espacial 3D), BLINK, MMVP, MMStar e MathVista.

• Raciocínio de Contexto Longo (VSI-Bench): O VaLR superou significativamente as bases existentes. Especificamente, no VSI-Bench, o VaLR melhorou a precisão do modelo base Qwen2.5-VL de 33,0% para 52,9%, um ganho de 19,9 pontos percentuais. Ele também superou modelos de raciocínio fortes como R1-OneVision e Ocean-R1.
• Tarefas de Percepção: O VaLR demonstrou desempenho superior em benchmarks de percepção (BLINK, MMVP, V*), alcançando resultados state-of-the-art entre modelos abertos e superando modelos de API como GPT-4o em configurações específicas.
• Análise de Comprimento de Raciocínio: Diferentemente de modelos base que atingem o pico em comprimentos intermediários de raciocínio e depois degradam (as taxas de alucinação aumentam), o VaLR mostrou melhoria monotônica de desempenho à medida que o comprimento do raciocínio aumentava, confirmando sua capacidade de manter o ancoramento visual em cadeias estendidas.
• Estudos de Ablação:
  • A remoção do componente de alinhamento de representação (REPA) resultou em quedas significativas de desempenho, confirmando a necessidade do alinhamento visual.
  • O uso de múltiplos codificadores (VaLR-M) produziu efeitos sinérgicos, particularmente para tarefas espaciais 3D, em comparação com variantes de codificador único.
  • O método demonstrou alta escalabilidade de dados, alcançando desempenho comparável a modelos SFT vanilla com significativamente menos amostras de treinamento (convergência mais rápida).

5. Significado e Alegações

O artigo afirma que o VaLR aborda uma limitação crítica nos MLLMs atuais: a incapacidade de sustentar o contexto visual durante raciocínios complexos e multi-etapa. Ao injetar tokens latentes alinhados à visão, o método mitiga efetivamente a diluição dos sinais visuais, permitindo planejamento e raciocínio robustos de longo horizonte.

Os autores enfatizam que este trabalho facilita a implantação de MLLMs em aplicações complexas que exigem compreensão de contexto longo, como Agentes de Uso de Computador (CUA) e modelos Visão-Linguagem-Ação (VLA). A capacidade de alcançar verdadeiro escalonamento em tempo de teste no domínio multimodal sugere um caminho para agentes autônomos mais confiáveis e capazes, que podem raciocinar sobre sequências estendidas sem perder de vista o ambiente visual.