🤖 machine learning

Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

O artigo propõe o "Scaffolding Minds", um método que otimiza o raciocínio multimodal ao introduzir um codificador de andaime dedicado para melhores representações de alvos latentes no ajuste fino supervisionado e ao aprender tanto a média quanto a variância para o amostrador de aprendizado por reforço para permitir uma exploração eficaz, superando significativamente os baselines existentes em várias tarefas de raciocínio visual.

Autores originais: Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A inteligência artificial há muito luta para ver o mundo da mesma forma que os humanos. Quando um computador olha para uma imagem, ele pode frequentemente identificar objetos, mas frequentemente falha em compreender as relações entre eles ou em raciocinar através de um quebra-cabeça visual complexo. Durante anos, pesquisadores tentaram corrigir isso ensinando as máquinas a "pensar" em voz alta, forçando-as a escrever uma explicação passo a passo em texto antes de dar uma resposta. Embora isso ajude, muitas vezes força a máquina a traduzir informações visuais ricas e detalhadas em palavras desajeitadas, perdendo nuances importantes ao longo do caminho. Uma abordagem mais nova tenta resolver isso permitindo que a máquina mantenha seus pensamentos em uma linguagem interna e oculta — um fluxo contínuo de dados que existe apenas dentro do cérebro do computador. Este método, conhecido como raciocínio latente, permite que o modelo mantenha detalhes visuais sem ter que descrevê-los em frases. No entanto, mesmo esta técnica avançada encontrou um obstáculo: os pensamentos internos que a máquina gera são frequentemente baseados em ferramentas genéricas e pré-fabricadas que não foram projetadas para o problema específico em questão, e a máquina tem dificuldade em explorar diferentes maneiras de pensar para encontrar a melhor solução.

Uma equipe de pesquisadores do Google DeepMind e da Universidade da Califórnia, San Diego, desenvolveu um novo framework chamado Scaffolding Minds para superar esses obstáculos. O trabalho deles foca em dois estágios específicos onde esses sistemas de raciocínio interno normalmente falham. Primeiro, durante a fase inicial de aprendizado, a máquina é geralmente ensinada a imitar a saída de um codificador de visão padrão e pronto para uso — uma ferramenta treinada em milhões de imagens gerais para reconhecer gatos, carros e paisagens. O problema é que essa ferramenta genérica não é otimizada para a tarefa de raciocínio específica que a máquina está tentando resolver. Ela pode preservar detalhes visuais irrelevantes enquanto perde a evidência crucial necessária para resolver um quebra-cabeça. Segundo, quando a máquina tenta melhorar a si mesma através de tentativa e erro, os métodos existentes frequentemente a forçam a aderir rigidamente a um único caminho de pensamento ou permitem apenas que ela ajuste suas respostas escritas, deixando o raciocínio visual interno inalterado. Isso impede que a máquina descubra novas e melhores maneiras de resolver o problema.

Para corrigir isso, os pesquisadores introduziram um sistema de duas partes que atua como um guia construído sob medida para os pensamentos internos da máquina. Na primeira etapa, em vez de depender de uma ferramenta genérica, eles treinaram um "codificador de andaime" (scaffolding encoder) dedicado. Pense nisso como um tutor especializado que aprende exatamente que tipo de notas internas são mais úteis para a tarefa específica, em vez de apenas copiar um dicionário geral. Este tutor recebe uma imagem auxiliar — um auxílio visual fornecido apenas durante o treinamento — e a converte em um conjunto de tokens internos otimizados que são perfeitamente ajustados para o desafio de raciocínio. Uma vez que a máquina aprende a gerar essas notas otimizadas por conta própria, o tutor é descartado, e a máquina está pronta para trabalhar sem ajuda.

Na segunda etapa, os pesquisadores substituíram as regras rígidas que geralmente governam os pensamentos internos da máquina por um amostrador flexível baseado em aprendizado. Em vez de forçar a máquina a permanecer em uma única trilha predeterminada, este novo método permite que a máquina realize a amostragem de diferentes variações de seus pensamentos internos durante a prática. Ela aprende a ajustar a "média" e a "variância" de seu pensamento, efetivamente explorando uma gama mais ampla de possibilidades para ver qual caminho interno leva à resposta correta. Esta exploração é guiada por recompensas, incentivando a máquina a encontrar a trajetória de raciocínio mais eficaz, em vez de apenas se contentar com a primeira que encontrar.

Os resultados desta abordagem foram testados em uma série de tarefas de raciocínio visual desafiadoras, incluindo um jogo de planejamento espacial chamado FrozenLake, onde um personagem deve navegar por uma grade de gelo e buracos para alcançar um objetivo. No grid padrão de 8x8, o novo método melhorou a precisão da máquina em 9,5 por cento em comparação com as tentativas anteriores mais fortes. À medida que os quebra-cabezas se tornavam mais difíceis, com grids expandindo para 32x32, a vantagem cresceu significamente, com o novo sistema superando os melhores métodos anteriores em 19 por cento. Os pesquisadores também testaram o sistema em outros nove benchmarks de raciocínio visual que exigem observação e comparação refinadas. Em todos esses testes, o método melhorou consistentemente o desempenho, elevando a precisão média em 5,2 por cento.

O estudo explicitamente descartou a ideia de que simplesmente gerar novas imagens durante o processo de raciocínio seja necessário para o sucesso. Outros métodos que tentam desenhar imagens intermediárias para ajudar a máquina a pensar frequentemente sofrem com altos custos computacionais e velocidades mais lentas. A abordagem Scaffolding Minds alcançou resultados superiores sem gerar nenhuma imagem extra, provando que otimizar a representação visual interna e oculta é mais eficaz do que criar etapas intermediárias visíveis. Os pesquisadores descobriram que as duas melhorias — o tutor treinado customizado para as notas internas e a exploração flexível dessas notas — funcionam melhor quando usadas juntas. Sem o tutor customizado, a exploração flexível não poderia atingir seu pleno potencial e, sem a exploração, o tutor customizado não poderia refinar seu caminho para a melhor solução.

Este trabalho sugere que a qualidade do alvo interno que a máquina visa é tão importante quanto o método que ela utiliza para chegar lá. Ao ensinar a máquina a gerar suas próprias notas internas otimizadas e depois permitir que ela explore diferentes variações dessas notas, os pesquisadores criaram um sistema que pode raciocinar através de problemas visuais complexos com maior precisão e confiabilidade. Os achados indicam que os avanços futuros no raciocínio visual podem depender menos de fazer as máquinas "verem" mais ou "falarem" melhor, e mais de ensinar como estruturar seus pensamentos internos ocultos de uma forma que esteja perfeitamente alinhada com a tarefa em questão.

Resumo Técnico: Scaffolding Minds

Declaração do Problema

O raciocínio visual latente emergiu como uma solução convincente para o raciocínio multimodal, permitindo que Modelos de Linguagem-Visão (VLMs) "pensem" tanto em texto quanto em visão ao intercalar tokens latentes contínuos na cadeia de raciocínio. Os métodos atuais geralmente seguem um paradigma de treinamento de dois estágios: (1) Ajuste Fino Supervisionado (SFT), onde uma "imagem auxiliar" é codificada em tokens latentes usando um codificador de visão congelado e pronto para uso para servir como um alvo; e (2) Aprendizado por Reforço (RL), onde o modelo é refinado usando feedback de recompensa.

Os autores identificam duas limitações críticas neste framework existente:

Alvos de SFT Subótimos: Os alvos latentes no estágio de SFT são derivados de codificadores de visão de propósito geral congelados. Esses codificadores não são otimizados para a tarefa de raciocínio específica de downstream, muitas vezes preservando conteúdo perceptual irrelevante para a tarefa enquanto falham em enfatizar a evidência intermediária necessária para o raciocínio. Consequentemente, o modelo é supervisionado em direção a um alvo conveniente, porém subótimo.
Exploração Limitada de RL: Os métodos de RL existentes ignoram o bloco latente ou aplicam regularização determinística (por exemplo, restrições gaussianas de variância fixa) à saída latente. Essas abordagens não amostram ações latentes alternativas, impedindo assim a exploração de trajetórias de raciocínio latente diversas. Essa falta de exploração leva a ganhos de desempenho pequenos ou instáveis.

Metodologia: Scaffolding Minds

O artigo propõe o Scaffolding Minds, um framework de dois estágios projetado para abordar essas limitações ao otimizar tanto a representação do alvo latente quanto o mecanismo de exploração.

Estágio 1: SFT via Scaffolding Encoder

Em vez de depender de um codificador congelado pronto para uso, os autores introduzem um Scaffolding Encoder ( $\psi$ ) treinável.

Fase de Scaffolding (Andaime): Um codificador dedicado é treinado de ponta a ponta para mapear a imagem auxiliar $h$ para um bloco latente alvo $z^*$ . Este codificador é otimizado diretamente através da perda da tarefa de downstream (entropia cruzada nos tokens de resposta) enquanto o VLM base permanece congelado. Isso garante que $z^*$ capture exatamente as características sensíveis ao raciocínio que o VLM necessita.
Fase de Geração: O VLM base é ajustado para gerar seu próprio bloco latente $z$ a partir apenas da entrada $x$ , sendo supervisionado por uma perda de correspondência $L_2$ contra o $z^*$ congelado. A imagem auxiliar é descartada na inferência.
Arquitetura: O scaffolding encoder consiste em uma cópia treinável do codificador de visão do VLM seguida por um módulo de pooling de atenção cruzada.

Estágio 2: Scaffolding RL

Para permitir a exploração no espaço latente, os autores substituem a regularização determinística pelo Scaffolding RL, que emprega uma política gaussiana explícita e adaptável à entrada sobre ações latentes residuais.

Amostragem de Ação Residual: O modelo gera um prior latente base $z_\theta$ . Dois cabeçotes MLP leves predizem uma média $\mu(z_\theta)$ e uma variância $\sigma^2(z_\theta)$ adaptáveis à entrada para uma distribuição Gaussiana.
Exploração: Durante o rollout, o modelo amostra um ajuste residual $\Delta z \sim \mathcal{N}(\mu, \sigma^2)$ e o aplica ao prior ( $z_\theta + \Delta z$ ). Esta ação amostrada é avaliada sob as políticas atual e antiga para computar uma vantagem guiada por recompensa.
Estabilidade: O cabeçote da média é inicializado com zero para centralizar a distribuição inicial no prior, enquanto o cabeçote da variância começa com pequenos valores positivos para garantir uma exploração inicial estável.

Principais Contribuições

Alvos Latentes Otimizados: O artigo introduz um codificador de scaffolding que aprende alvos latentes de ponta a ponta através da tarefa de downstream, afastando-se das características congeladas e subótimas de trabalhos anteriores.
Exploração Latente Estocástica: Propõe o Scaffolding RL, que substitui a regularização determinística por uma política gaussiana aprendida que amostra ações latentes residuais, permitindo a exploração direta de trajetórias de raciocínio alternativas.
Complementaridade: Os autores demonstram que o alvo otimizado (Estágio 1) e o mecanismo de exploração (Estágio 2) são complementares; o codificador de scaffolding fornece um ponto de partida de alta precisão, enquanto o Scaffolding RL refina este alvo através da exploração guiada por recompensa.

Resultados Experimentais

O método foi avaliado no FrozenLake (planejamento espacial) e em nove benchmarks de raciocínio centrados em visão.

FrozenLake (Planejamento Espacial):
- O Scaffolding Minds melhorou a base de comparação latente mais forte (VaLR) em +9,5% em média entre os tamanhos de grade 8×8 a 32×32.
- A lacuna de desempenho aumentou com a dificuldade da tarefa, atingindo +19% nas grades 32×32 mais desafiadoras.
- Comparado ao baseline de SFT, o método completo alcançou uma melhoria absoluta de +23,0%.
- Estudos de ablação confirmaram que a otimização do alvo (ajuste do codificador de visão) impulsionou a maior parte dos ganhos (+10,0% apenas ao mudar o objetivo), e que a amostragem de ajustes aprendidos no RL era essencial para ganhos estáveis (+3,0% sobre métodos determinísticos).
Benchmarks de Raciocínio Centrados em Visão:
- Em nove benchmarks (incluindo V★, BLINK, MMVP, CV-Bench, etc.), o método alcançou um aumento médio de precisão de +5,2% sobre a base de comparação latente mais forte.
- Os ganhos foram mais pronunciados em tarefas que exigem distinções espaciais e visuais finas (ex: +20,7% no MMVP, +17,6% no MME-RealWorld-Lite).
- O método superou sistemas de "pensar-com-imagem" que geram imagens intermediárias explícitas, alcançando resultados fortes com custos de inferência próximos aos do VLM base.
Eficiência:
- O método adiciona apenas 4,6% de overhead de latência de inferência em comparação ao VLM base, significativamente menor do que os métodos de geração de imagem que incorrem em overhead >100%.

Significância e Alegações

O artigo afirma que o Scaffolding Minds demonstra que a qualidade do alvo latente e a exploração direta no espaço latente são ambas críticas para um raciocínio visual latente eficaz. Ao tratar o alvo latente como um componente otimizado do sistema em vez de uma característica fixa, e ao permitir a exploração estocástica de trajetórias latentes, o método alcança ganhos substanciais sobre bases fortes sem o custo computacional de gerar imagens intermediárias. Os autores posicionam este trabalho como um passo em direção a um raciocínio multimodal mais eficiente e capaz, mostrando que a geração explícita de imagens não é estritamente necessária se o próprio espaço latente for adequadamente otimizado e explorado.

O artigo reconhece limitações, observando que a abordagem ainda depende da disponibilidade de imagens auxiliares intermediárias durante o treinamento, e que propor automaticamente tais imagens para novos domínios permanece uma questão aberta para trabalhos futuros.