🤖 AI

Mull-Tokens: Modality-Agnostic Latent Thinking

O artigo apresenta os Mull-Tokens, um framework de tokens latentes agnóstico à modalidade que permite que modelos multimodais realizem raciocínio intermediário livre entre as modalidades de texto e imagem, melhorando significativamente o desempenho em tarefas complexas de espaço e resolução de puzzles sem depender de chamadas de ferramentas frágeis ou geração de imagens custosa.

Autores originais: Arijit Ray, Ahmed Abdelkader, Chengzhi Mao, Bryan A. Plummer, Kate Saenko, Ranjay Krishna, Leonidas Guibas, Wen-Sheng Chu

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Arijit Ray, Ahmed Abdelkader, Chengzhi Mao, Bryan A. Plummer, Kate Saenko, Ranjay Krishna, Leonidas Guibas, Wen-Sheng Chu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Pensar em Uma Dimensão

Imagine que você está tentando resolver um quebra-cabeça 3D complexo, como um cubo mágico ou um quebra-cabeça de peças. Se você tentar resolvê-lo usando apenas palavras, pode dizer: "Mova a peça vermelha para a esquerda, depois gire a azul". Mas as palavras são lentas e desajeitadas para isso; elas não conseguem descrever facilmente a forma, a profundidade ou como as peças se encaixam no espaço.

Os modelos de IA atuais são ótimos em falar (texto) e ótimos em ver (imagens), mas quando tentam raciocinar sobre espaço, tempo ou como os objetos se movem, eles frequentemente tropeçam.

O Jeito Antigo (Apenas Texto): A IA tenta descrever o quebra-cabeça com palavras. Ela se perde nos detalhes e comete erros.
O Jeito "Demais" (Imagem + Texto): Alguns pesquisadores tentaram fazer a IA "desenhar" seus pensamentos. Mas isso é como pedir a um chef que pare de cozinhar, escreva uma receita, desenhe uma imagem do prato, escreva outra receita e, finalmente, sirva a comida. É caro, lento e a IA frequentemente fica confusa sobre qual imagem corresponde a qual frase.

A Solução: O "Mult-Token" (O Rascunho Mágico)

Os autores propõem uma ferramenta mais simples e inteligente chamada Mult-Tokens.

Pense no cérebro da IA como uma cozinha.

Tokens de texto são como as instruções verbais do chef.
Tokens de imagem são como o chef desenhando realmente uma imagem em um bloco de notas.
Mult-Tokens são como um rascunho mágico e invisível.

Quando a IA enfrenta um problema difícil (como um quebra-cabeça espacial), em vez de gritar um longo parágrafo de palavras ou desenhar uma imagem completa, ela pausa e escreve neste rascunho invisível.

Por que isso é mágico?

É Agnóstico à Modalidade: Este é o termo chique para "não se importa com a forma que o pensamento assume". O rascunho pode conter uma imagem mental de um cubo girando ou um mapa simbólico de uma rota. Não precisa ser uma palavra, e não precisa ser uma imagem completa. É apenas "dados de pensamento" puros.
É Compacto: Uma explicação baseada em texto típica pode levar 200 palavras. Uma imagem completa pode levar centenas de pixels. A abordagem Mult-Token resolve o problema usando apenas 20 a 40 tokens. É como a diferença entre escrever um ensaio de 10 páginas para explicar um problema de matemática versus apenas rabiscar a fórmula chave em um guardanapo.

Como Eles a Treinaram: A Rotina de Academia de Três Passos

Os pesquisadores não apenas deram o rascunho à IA; eles tiveram que ensinar a ela como usá-lo. Eles usaram um processo de treinamento de três etapas:

O Aquecimento (Aprendendo a Linguagem do Pensamento):
Primeiro, eles mostraram à IA exemplos de pessoas resolvendo quebra-cabeças. Às vezes a solução envolvia um desenho, às vezes uma frase. Eles ensinaram os Mult-Tokens a imitar esses passos.
- Analogia: É como um aluno assistindo a um professor resolver um problema de matemática, às vezes vendo o professor escrever números, às vezes vendo-o desenhar um gráfico. O aluno aprende que o "rascunho" pode conter ambos.
A Prática Livre (Soltando as Amarras):
Em seguida, eles pararam de mostrar à IA como resolver o problema. Eles mostraram apenas a resposta final. A IA foi instruída: "Aqui está o quebra-cabeça. Use seu rascunho para descobri-lo, mas não vou dizer o que escrever nele. Apenas obtenha a resposta correta."
- Analogia: O professor para de dar dicas e apenas diz: "Resolva isso". O aluno aprende a usar o rascunho da maneira que funciona melhor para ele, não apenas copiando o professor.
O Reforço (Recompensando o Bom Pensamento):
Finalmente, eles usaram uma técnica chamada GRPO (Aprendizado por Reforço). Se a IA usasse seu rascunho para obter a resposta correta, ela ganhava uma "estrelinha de ouro". Se ela chutasse sem pensar, não ganhava nada. Isso incentivou a IA a realmente usar o rascunho para raciocinar, em vez de apenas chutar.

Os Resultados: Mais Rápido e Mais Inteligente

O artigo testou este novo método em quatro benchmarks difíceis envolvendo quebra-cabeças, raciocínio espacial 3D e análise de vídeo.

A Vitória: A IA com Mult-Tokens ficou 3% melhor em média do que os melhores métodos existentes. Nos testes de quebra-cabeças mais difíceis, ela melhorou em 16%.
A Velocidade: Como usa apenas ~20 "tokens de pensamento" em vez de centenas de palavras ou imagens, é muito mais rápida e barata de executar.
A Flexibilidade: A IA aprendeu a decidir quando usar o rascunho. Para algumas perguntas fáceis, ela pulou o rascunho. Para quebra-cabeças espaciais difíceis, ela o usou intensamente.

A Conclusão

O artigo argumenta que não precisamos forçar a IA a "falar" ou "desenhar" para pensar profundamente. Em vez disso, podemos dar a ela um espaço latente agnóstico à modalidade — um "sala de pensamento" privada e interna onde ela pode misturar imagens e conceitos livremente, sem a sobrecarga de gerar frases completas ou imagens.

É como dar a um humano um monólogo interno silencioso que pode visualizar um objeto 3D sem ter que descrevê-lo em voz alta. O resultado é uma IA melhor em quebra-cabeças espaciais, mais rápida e mais eficiente.

1. Declaração do Problema

Os Modelos de Linguagem Multimodais Grandes (MLLMs) atuais lutam com tarefas complexas de raciocínio espacial e visual (por exemplo, resolver quebra-cabeças, testes de QI, relações espaciais 3D). As abordagens existentes sofrem de várias limitações:

Cadeia de Pensamento (CoT) apenas em texto: Embora eficaz para lógica verbal, o raciocínio apenas em texto frequentemente "desvia" das entradas visuais, falhando em capturar causalidade espacial ou restrições geométricas.
Geração Explícita de Imagens: Métodos que geram imagens ou esboços intermediários são computacionalmente caros, lentos e frequentemente frágeis.
Latentes Intercalados Imagem-Texto: Tentativas recentes de intercalar tokens visuais explícitos com raciocínio em texto (por exemplo, MVoT, MIRAGE) mostraram resultados conflitantes. Elas frequentemente sofrem de viés de troca de modalidade, onde o modelo recorre ao texto mesmo quando solicitado a usar imagens, ou o desempenho degrada quando forçado a trocar de modalidades explicitamente.
Escassez de Dados: Muitos métodos exigem conjuntos de dados personalizados e caros com traços de raciocínio alinhados texto-imagem.

O desafio central é permitir que os modelos "pensem" em um espaço unificado que possa representar tanto informações visuais quanto textuais, sem a sobrecarga de gerar imagens explícitas ou a fragilidade da troca forçada de modalidades.

2. Metodologia: $\mu$ -Tokens

Os autores propõem $\mu$ -Tokens (Tokens Multimodais), um conjunto de tokens latentes agnósticos à modalidade que atuam como um "rascunho" interno para o modelo. Esses tokens podem codificar dinamicamente conceitos visuais (por exemplo, layouts de objetos, mapas de profundidade) ou conceitos textuais, dependendo da tarefa, sem nunca serem decodificados em texto ou imagens explícitas durante a fase de raciocínio.

Estrutura de Treinamento

O processo de treinamento segue uma estrutura de três estágios inspirada em raciocínio latente e aprendizado por reforço:

Estágio 1: Aquecimento (Ajuste Fino Supervisionado)
- Objetivo: Ensinar os $\mu$ -Tokens a ancorar-se em etapas específicas de raciocínio multimodal.
- Dados: Utiliza traços de raciocínio intercalados texto-imagem (por exemplo, de Zebra-CoT, Video-R1).
- Mecanismo: O modelo é treinado para prever o próximo passo em uma cadeia de raciocínio. Se a verdade fundamental for texto, o token prevê o token de texto. Se a verdade fundamental for um sub-objetivo visual (por exemplo, uma imagem recortada ou layout), o token é supervisionado via similaridade de cosseno contra as características visuais codificadas.
- Resultado: Os tokens aprendem a reter representações multimodais significativas.
Estágio 2: Treinamento Relaxado (Supervisão Apenas na Resposta)
- Objetivo: Permitir que o modelo otimize a trajetória latente livremente para maximizar a precisão da resposta final.
- Mecanismo: A supervisão explícita sobre etapas intermediárias é removida. O modelo é ajustado finamente usando apenas a resposta final. Os $\mu$ -Tokens são inseridos como uma sequência de comprimento fixo (por exemplo, 20 tokens) entre a entrada e a resposta.
- Design Chave: Diferentemente de latentes recorrentes contínuos (que quebram o paralelismo e acumulam erros), os $\mu$ -Tokens são discretos. Eles são processados via atenção auto-ativa padrão, permitindo computação paralela eficiente e prevenindo a acumulação de erros ao longo de cadeias longas.
Estágio 3: Refinamento por RL (GRPO)
- Objetivo: Garantir que a cadeia latente contribua causalmente para a resposta correta, em vez de apenas co-ocorrer com ela.
- Mecanismo: Utiliza Otimização de Política Relativa em Grupo (GRPO). O modelo gera múltiplas trajetórias; aquelas que levam a respostas corretas recebem recompensas mais altas. Os gradientes se propagam de volta através do mecanismo de atenção auto-ativa até os $\mu$ -Tokens, refinando o processo de "pensamento" para ser causalmente eficaz.

3. Contribuições Principais

Raciocínio Agnóstico à Modalidade: Introduz um paradigma onde os tokens de raciocínio não estão vinculados a uma modalidade específica (texto ou imagem), mas podem representar estados intermediários em um espaço latente unificado.
Eficiência: Os $\mu$ -Tokens alcançam ganhos de desempenho significativos usando apenas 10–40 tokens, em comparação com centenas de tokens exigidos para CoT de texto verboso ou geração explícita de imagens. Isso oferece uma melhoria dominante de Pareto em velocidade e computação.
Estratégia de Treinamento em Dois Estágios: Demonstra que pré-treinar tokens com traços multimodais (Estágio 1) é crucial, seguido por otimização apenas na resposta (Estágio 2) para evitar que o modelo seja restringido por traços de raciocínio gerados por humanos, potencialmente subótimos.
Discreto vs. Contínuo: Prova que tokens latentes discretos superam embeddings recorrentes contínuos em termos de estabilidade, paralelismo e desempenho.

4. Resultados Experimentais

O método foi avaliado no modelo Qwen2.5-VL (7B) em quatro benchmarks desafiadores: BLINK (quebra-cabeças visuais/QI), SAT-Real (raciocínio de ação/movimento), VSI-Bench (raciocínio espacial em vídeo) e MMSI-Bench (raciocínio com múltiplas imagens).

Ganhos de Desempenho:
- Os $\mu$ -Tokens alcançaram uma melhoria absoluta média de precisão de +3% sobre a melhor linha de base (Ajuste Fino de Resposta Direta).
- Em divisões pesadas em raciocínio (por exemplo, Jigsaw BLINK e testes de QI), a melhoria atingiu +16%.
- Superou tanto o CoT apenas em texto quanto as abordagens intercaladas imagem-texto.
Estudos de Ablação:
- Aquecimento Multimodal é Crítico: Usar apenas texto ou nenhum aquecimento resultou em desempenho inferior. Os tokens devem ser pré-treinados para reter ambas as informações visuais e textuais para serem eficazes.
- Tokens Discretos: Tokens discretos superaram significativamente embeddings recorrentes contínuos.
- Contagem de Tokens: O desempenho escala com o número de tokens até certo ponto (cerca de 20), após o qual o "superpensamento" degrada o desempenho.
Generalização: O modelo mostrou forte generalização para tarefas fora do domínio e benchmarks de múltiplas imagens (MMSI-Bench, SiteBench).
Interpretabilidade: Embora os próprios tokens sejam latentes, os autores mostraram que eles podem ser emparelhados com racionais explícitos em texto, permitindo que o modelo "pense" no espaço latente primeiro e depois verbalize o raciocínio se necessário, mantendo alta precisão.

5. Significado

Este trabalho aborda um gargalo fundamental na IA multimodal: a dificuldade de raciocinar sobre espaço, tempo e affordances sem gerar saídas intermediárias caras.

Simplicidade: Oferece uma alternativa mais simples a pipelines complexos de "pensar e esboçar" ou aumentados por ferramentas.
Escalabilidade: Ao usar um pequeno número de tokens discretos e paralelismo padrão de transformadores, a abordagem é altamente escalável e computacionalmente eficiente.
Direção Futura: Sugere que o futuro do raciocínio multimodal não está em gerar mais conteúdo explícito (imagens/texto), mas em otimizar as representações latentes internas que conectam percepção e tomada de decisão. A abordagem preenche a lacuna entre a imaginação espacial humana e o raciocínio da máquina sem a sobrecarga da geração explícita.