💻 computer science

LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

O artigo apresenta o LaViT, um framework que preenche a lacuna de percepção na destilação multimodal ao alinhar pensamentos visuais latentes e trajetórias de atenção em vez de embeddings estáticos, permitindo que modelos compactos alcancem um desempenho de raciocínio visual superior que rivaliza com sistemas proprietários maiores.

Autores originais: Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

Publicado 2026-08-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um mistério. No mundo da Inteligência Artificial, existe um tipo especial de robô chamado Modelo de Linguagem de Grande Escala Multimodal (MLLM). Pense neles como detetives superinteligentes que podem ler pistas (texto) e observar fotos da cena do crime (imagens) ao mesmo tempo. Por muito tempo, esses robôs foram ótimos em descrever o que viam, mas quando se tratava de raciocínio — entender o porquê algo aconteceu ou resolver um quebra-cabeça complexo — eles frequentemente ficavam travados. Eles olhavam para a imagem, depois paravam de olhar e apenas chutavam a resposta com base no que sabiam de seus livros. É como um detetive que vê uma pegada lamacenta, mas depois ignora a pegada e deduz o culpado baseado em uma intuição.

Recentemente, os cientistas descobriram um novo truque chamado "raciocínio latente". Em vez de escrever cada passo de seu pensamento em palavras (como um longo diário), esses robôs começaram a comprimir seus pensamentos em "sussurros" invisíveis e contínuos dentro de seus cérebros. É mais rápido e eficiente. Mas há um porém: quando os cientistas tentaram ensinar robôs menores e mais baratos a aprender com robôs maiores e mais inteligentes (um processo chamado "destilação"), algo estranho aconteceu. Os robôs menores aprenderam a dizer as palavras certas, mas não estavam realmente olhando para as partes certas da imagem. Eles estavam apenas imitando a voz do professor sem entender as pistas visuais. É como um aluno que tira nota máxima em uma prova memorizando o gabarito, mas falha em entender a lição.

O Grande Erro do "Olhar, mas Não Ver"

Os pesquisadores por trás do LaViT notaram um fenômeno estranho que chamam de Lacuna de Percepção (Perception Gap). Imagine que você tem um mestre chef (o modelo "Professor") e um jovem aprendiz (o modelo "Aluno"). O aprendiz observa o chef cozinhar um prato complexo. Se você apenas pedir ao aprendiz para escrever a receita, ele pode acertar as palavras perfeitamente: "Adicione duas xícaras de farinha, bata por três minutos". Mas se você pedir para ele realmente fazer o prato, ele pode acabar jogando a farinha no chão porque nunca realmente observou as mãos do chef; ele apenas memorizou o texto.

No mundo da IA, os pesquisadores descobriram que, quando treinavam modelos pequenos para copiar as respostas de modelos grandes, os modelos pequenos tornavam-se excelentes em "mimetismo de texto". Eles podiam produzir a resposta correta, como "O ponto A está mais próximo", mas seus "olhos" internos (atenção visual) estavam olhando para partes completamente irrelevantes da imagem. Eles dependiam de truques de linguagem — adivinhando com base em frases comuns — em vez de realmente observar as evidências visuais. É como um estudante que tira nota máxima em um teste memorizando o gabarito, mas falhando em compreender a matéria.

A Solução: LaViT (Pensamentos Visuais Latentes)

Para corrigir isso, a equipe criou o LaViT, um novo framework de treinamento que força o robô aluno a "pensar" visualmente antes de falar. Em vez de apenas copiar a resposta final, o LaViT faz com que o aluno gere primeiro uma série de "tokens de pensamento" invisíveis. Pense nesses tokens como um esboço mental ou um monólogo interno silencioso onde o robô diz a si mesmo: "Ok, eu preciso olhar para as sombras aqui e para o ângulo ali, antes de decidir qual ponto está mais próximo".

A magia do LaVi-T reside em dois truques principais:

Alinhando o "Olho Interno": O sistema não verifica apenas se a resposta final do aluno coincide com a do professor. Ele verifica o "olhar" do aluno. Ele força o aluno a reconstruir o mapa de atenção visual do professor — o caminho específico que os olhos do professor percorreram pela imagem. Se o professor olhou para a sombra para determinar a profundidade, o aluno deve olhar para a sombra também, mesmo que o aluno ainda não tenha dito uma única palavra.
O Currículo de "Gating Sensorial": Esta é a parte mais lúdica. Imagine que você está ensinando alguém a andar de bicicleta. Se você deixar a pessoa ver a estrada imediatamente, ela pode apenas deslizar e nunca aprender a equilibrar-se. Se você a vendar completamente, ela irá cair. O LaViT utiliza um mecanismo de "Curriculum Sensory Gating" (Controle Sensorial Curricular). No início do treinamento, ele bloqueia parcialmente a visão direta da imagem pelo aluno. Isso força o aluno a confiar inteiramente naqueles "tokens de pensamento" invisíveis para entender as coisas. À medida que o aluno melhora, a "venda" é levantada lentamente, permitindo que ele veja a imagem novamente, mas agora ele já aprendeu a processar as pistas visuais internamente. Isso evita que o robô tome o "caminho fácil" de apenas adivinhar com base no texto.

O Que Eles Descobriram

Os resultados foram surpreendentemente poderosos. Os pesquisadores testaram seu novo modelo de 3 bilhões de parâmetros (que é relativamente pequeno e compacto) contra modelos muito maiores e até contra alguns dos modelos proprietários mais avançados disponíveis.

O "Pequeno Gigante": Seu modelo minúsculo de 3B, treinado com LaViT, superou modelos de 7B maiores e até venceu o famoso GPT-4o em várias tarefas complexas de raciocínio visual. Por exemplo, em uma tarefa chamada "Profundidade Relativa" (descobrir qual objeto está mais próximo), o LaViT marcou 78,23%, enquanto o GPT-4o marcou 64,52%.
Corrigindo as Alucinações: O estudo mostrou que, sem este método, os modelos frequentemente "alucinam" (inventam coisas) quando não olham atentamente. O LaViT reduziu significamente isso, melhorando o desempenho em testes de percepção detalhada em até +16,94%.
Estabilidade: Os pesquisadores também descobriram que o LaViT não apenas copiou o professor; ele tornou-se mais estável. Enquanto o modelo gigante professor às vezes tinha um olhar "oscilante" (olhando para pontos ligeiramente diferentes para imagens semelhantes), o aluno LaViT aprendeu a focar com precisão cirúrgica, ignorando o ruído de fundo e concentrando-se nos detalhes críticos.

Por Que Isso Importa

Este artigo sugere que o segredo para tornar a IA mais inteligente não é apenas tornar os modelos maiores ou alimentá-los com mais dados. É sobre ensinar a eles como olhar. Ao forçar a IA a alinhar seus "pensamentos visuais" internos com suas palavras finais, o LaViT cria um modelo que realmente entende o que vê, em vez de apenas adivinhar o que deve dizer. É a diferença entre um robô que memoriza um mapa e um robô que realmente aprende a navegar pelo terreno. Os autores propõem que esta abordagem pode ser uma forma mais eficiente de construir IAs poderosas, provando que um cérebro menor e bem treinado pode, muitas vezes, superar um cérebro maior e distraído.

Resumo Técnico: LaViT – Alinhando Pensamentos Visuais Latentes para Raciocínio Multimodal

1. Declaração do Problema: O Hiato de Percepção (Perception Gap)

Os atuais modelos de linguagem de grande escala multimodais (MLLMs) avançaram em capacidades de raciocínio, utilizando frequentemente cadeias de pensamento explícitas (CoT) ou paradigmas de raciocínio latente. No entanto, os métodos existentes para destilar capacidades de raciocínio visual de modelos professores grandes para modelos estudantes compactos sofrem de uma limitação crítica identificada pelos autores como o Hiato de Percepção (Perception Gap).

A análise empírica revela que os métodos padrão de destilação de conhecimento, que focam primariamente no alinhamento de saídas textuais finais ou estados ocultos estáticos, falham em transferir a dinâmica intrínseca de atenção visual do professor. Os autores observam que:

Mimetismo Textual sem Fundamentação Visual: Modelos estudantes podem reproduzir com sucesso as respostas textuais de um professor (aprendendo o que dizer), enquanto atendem a regiões visuais fundamentalmente diferentes e, muitas vezes, irrelevantes (falhando em aprender onde olhar).
Dependência de Priores de Linguagem: Quando a atenção visual está desalinhada, os modelos dependem de priores de linguagem para "adivinhar cegamente" as respostas, levando a alucinações ou respostas não confiáveis em tarefas visuais complexas.
Ineficácia do Alinhamento Estático: Alinhar embeddings visuais estáticos ou distribuições finais é insuficiente porque ignora a trajetória dinâmica da atenção visual necessária para o raciocínio detalhado.

O problema central é que as estruturas de destilação existentes não obrigam o estudante a reconstruir os "pensamentos visuais" internos do professor (semântica e trajetórias de olhar) antes de gerar uma resposta.

2. Metodologia: O Framework LaViT

Para preencher o Hiato de Percepção, os autores propõem o LaViT (Latent Visual Thoughts), um framework de destilação projetado para alinhar pensamentos visuais latentes em vez de embeddings estáticos. A metodologia consiste em três componentes primários:

A. Construção de Dados: LaViT-SFT-15K

Os autores construíram um conjunto de dados de alta qualidade com 14.567 amostras (LaViT-SFT-15K) derivadas do dataset Visual-CoT. Os dados passam por um rigoroso pipeline de filtragem em três estágios:

Correção: As amostras são verificadas para garantir que o raciocínio do professor leve à resposta correta (ground-truth).
Dificuldade: Amostras solucionáveis apenas por modelos de texto são removidas para garantir que o raciocínio multimodal genuíno seja necessário.
Alinhamento: Amostras onde a massa de atenção agregada do professor cai menos de 20% dentro da caixa delimitadora (bounding box) da resposta correta são rejeitadas para excluir alucinações sem fundamentação visual.

O dataset inclui dois sinais de "caixa-branca" extraídos do professor (Qwen2.5-VL-32B):

Olhar Visual Dinâmico ( $A_{traj}$ ): A trajetória de atenção agregada através de camadas e cabeças, representando onde o modelo olha.
Semântica Visual ( $V_{sem}$ ): Pensamentos visuais contextualizados derivados da última camada Transformer do professor, representando o que o modelo entende sobre o conteúdo visual em resposta à consulta.

B. Destilação de Trajetória de Caixa-Branca

O LaViT introduz um mecanismo de Forçamento de Professor Latente (Latent Teacher Forcing). Em vez de mapear entradas diretamente para texto, o modelo estudante é treinado para gerar autoregressivamente uma sequência de $K$ tokens latentes contínuos ( $V$ ) antes de gerar a resposta textual. Esses tokens latentes atuam como "Contêineres de Informação Visual" que devem comprimir a semântica visual de alta dimensão e os padrões de olhar do professor.

A otimização envolve um esquema de destilação de fluxo duplo:

Reconstrução Semântica ( $L_{concept}$ ): Alinha os estados ocultos latentes do estudante com os conceitos visuais holísticos do professor ( $V_{sem}$ ) usando similaridade de cosseno.
Alinhamento de Trajetória ( $L_{traj}$ ): Utiliza a divergência de Kullback-Leibler (KL) para alinhar o mapa de atenção do estudante com a trajetória de atenção do professor ( $A_{traj}$ ). Crucialmente, essa supervisão é aplicada apenas ao último token latente, forçando os tokens precedentes a atuarem como um gargalo de compressão.

C. Portão Sensorial de Currículo (Curriculum Sensory Gating)

Para evitar o "aprendizado de atalho" (shortcut learning), onde o modelo ignora o gargalo latente ao atender diretamente aos patches da imagem, os autores introduzem o Portão Sensorial de Currículo. Este mecanismo modula o caminho de percepção visual direta via um escalar dependente do tempo $\gamma(t)$ :

Fase 1 (Aquecimento Sensorial): O caminho visual direto é fortemente restrito (viés de atenção próximo de zero), criando um gargalo latente estrito. O modelo é matematicamente compelido a comprimir a informação visual necessária nos tokens latentes $V$ .
Fase 2 (Totalmente Observável): O portão abre-se gradualmente, permitindo que o modelo atenda a detalhes de pixels finos como uma conexão residual, combinando com a topologia de inferência e evitando desvios de distribuição entre treino e inferência.

3. Principais Contribuições

Identificação do Hiato de Percepção: O artigo fornece evidência empírica de que o alinhamento textual na destilação não garante a compreensão visual, destacando uma divergência nas trajetórias de atenção entre professores e estudantes.
Alinhamento de Pensamento Visual Latente: O LaViT propõe um novo framework que alinha tokens latentes contínuos que representam semântica visual e trajetórias de atenção, em vez de embeddings estáticos.
Portão Sensorial de Currículo: Uma nova estratégia de treinamento que impõe um gargalo latente no início do treinamento para evitar o aprendizado de atalho, garantindo que o modelo dependa do raciocínio visual internalizado.
Eficiência e Qualidade de Dados: A construção do LaViT-SFT-15K, um dataset rigorosamente filtrado que garante alta fidelidade de fundamentação visual, demonstrando que o raciocínio latente escala eficientemente com a diversidade de dados.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos em diversos benchmarks, incluindo percepção refinada (MMVP, V*), raciocínio complexo (BLINK) e robustez (MMStar).

Ganhos de Desempenho: O modelo LaViT-3B alcança melhorias significativas sobre a linha de base Qwen2.5-VL-3B, com ganhos de +5,0% no MMVP e +16,9% em Profundidade Relativa (BLINK).
Competitividade de Escala Cruzada: Apesar de ser um modelo compacto de 3B, o LaViT supera variantes de código aberto maiores (ex: Qwen2.5-VL-7B) em cinco de sete benchmarks e rivaliza ou supera modelos proprietários como o GPT-4o em tarefas específicas (ex: Profundidade Relativa: 78,23% vs. 64,52%).
Dinâmica de Atenção: A análise mostra que o LaViT reduz significativamente a entropia da atenção, mudando o modelo de um modo de observação "difuso" para um modo de raciocínio "focado". Ele também alcança maior estabilidade (menor Coeficiente de Variação) do que o modelo professor ao filtrar ruído de atenção de baixa confiança via esparsificação Top-N.
Estudos de Ablação: Remover qualquer componente central (Alinhamento de Trajetória, Reconstrução Semântica ou Portão de Currículo) leva a uma degradação significativa do desempenho, confirmando a necessidade do framework completo.

5. Significância e Alegações

O artigo afirma que otimizar o pensamento latente é uma estratégia mais eficiente em termos de parâmetros do que simplesmente aumentar o tamanho do modelo. Ao alinhar explicitamente os "pensamentos visuais" (semântica e olhar) de um estudante com um professor, o LaViT permite que modelos compactos alcancem capacidades de raciocínio comparáveis a modelos muito maiores e sistemas proprietários.

Os autores enfatizam que sua abordagem aborda o problema fundamental do "adivinhamento cego" no raciocínio multimodal. Ao forçar o modelo a reconstruir evidências visuais antes de gerar o texto, o LaViT garante que os ganhos de desempenho derivem de uma compreensão visual genuína, e não de priores de linguagem. O trabalho sugere que os avanços futuros em MLLMs devem focar no alinhamento dos estados cognitivos internos e das dinâmicas de atenção, em vez de apenas no pareamento de distribuição de saída.