Resumo Técnico: GeoWeaver

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) atuais lutam com raciocínio espaço-temporal confiável, particularmente em tarefas envolvendo estimativa de distância relativa, compreensão de disposição de objetos e rastreamento de relações espaciais em cenas dinâmicas. Embora abordagens recentes tentem aprimorar a inteligência espacial incorporando informações geométricas por meio de ramos estruturais, supervisão 3D-consciente ou fusão em estágio tardio, elas tipicamente tratam pistas geométricas como um sinal compartilhado entre todos os tokens visuais.

Os autores identificam uma limitação crítica nos paradigmas existentes: diferentes tokens visuais requerem evidências geométricas diferentes, dependendo de seus papéis espaciais específicos (por exemplo, limites locais versus disposição global). Os métodos atuais frequentemente falham em abordar essa heterogeneidade, tratando a geometria como um sinal auxiliar injetado tardiamente no pipeline (seja pré-fusão ou dentro da pilha de raciocínio do LLM). Isso força o decodificador a resolver conjuntamente o alinhamento visual-geométrico e o raciocínio relacional de alto nível, emaranhando o ancoramento perceptivo com o raciocínio cognitivo e reduzindo a confiabilidade.

Metodologia: GeoWeaver

O GeoWeaver propõe um framework de ancoragem geométrica pré-raciocínio que trata a geometria como um pré-requisito representacional, e não como um sinal de fusão tardia. A filosofia central é "ancorar-depois-raciocinar", moldando as representações visuais antes que elas entrem no modelo de linguagem.

1. Visão Geral da Arquitetura

O framework consiste em três etapas principais:

• Ramo Visual Semântico: Utiliza um LLM multimodal pré-treinado (especificamente Qwen3.5 na implementação) com um codificador de visão nativo para extrair tokens visuais semânticos ($V$).
• Ramo de Geometria Congelado: Emprega um codificador de geometria congelado (VGGT) para extrair priores geométricos explícitos dos mesmos quadros de entrada. Em vez de usar apenas a representação final, o GeoWeaver constrói um Banco de Geometria Multinível coletando estados ocultos de camadas mais profundas (por exemplo, camadas 12–23 de um VGGT de 24 camadas). Este banco serve como um reservatório de evidências estruturais que variam de detalhes locais a abstrações globais.
• Ancoragem Geométrica Adaptativa a Tokens: Esta é a inovação central. Antes da decodificação de linguagem, os tokens visuais consultam o banco de geometria para recuperar evidências relevantes.

2. Alocação de Evidência Adaptativa a Tokens

O processo de ancoragem envolve quatro etapas específicas para garantir que cada token visual receba a abstração geométrica mais relevante:

• Normalização e Alinhamento: As características geométricas de diferentes camadas são normalizadas e fundidas espacialmente (2×2) para corresponder à resolução e dimensão oculta dos tokens visuais.
• Roteamento Condicionado a Consultas: Um roteador leve prevê pesos de preferência sobre as camadas de geometria selecionadas para cada token visual individual ($v_i$). Isso reconhece que diferentes regiões espaciais requerem diferentes níveis de abstração geométrica.
• Seleção Compacta de Evidência: Para evitar diluir a ancoragem específica do token com pistas redundantes, o modelo emprega roteamento esparsos. Ele seleciona apenas as camadas de geometria top-$K$ (padrão $K=2$) mais relevantes para cada token, mascarando as demais.
• Ancoragem Residual: A evidência geométrica selecionada é agregada e injetada nos tokens visuais por meio de uma conexão residual ($v'_i = v_i + W_o g_i$). A matriz de projeção $W_o$ é inicializada em zero, permitindo que o modelo comece como um mapeamento de identidade e aprenda gradualmente a remodelar as representações durante o ajuste fino.

3. Objetivo de Treinamento

O modelo é treinado usando previsão de próximo token (perda autoregressiva) em tarefas de raciocínio espaço-temporal a jusante. O codificador de geometria permanece congelado, e o módulo de ancoragem é otimizado conjuntamente com o modelo multimodal base. Nenhuma reconstrução geométrica auxiliar ou perdas contrastivas são introduzidas; o modelo aprende a alocar e explorar evidência geométrica puramente através de supervisão ponta a ponta.

Contribuições Principais

1. Diagnóstico Representacional: Os autores identificam a falta de tokens visuais ancorados geometricamente como um gargalo chave nos VLMs atuais, argumentando que o raciocínio espaço-temporal depende de se os tokens estão geometricamente ancorados antes de entrar no modelo de linguagem.
2. Framework GeoWeaver: Um framework inovador que aloca evidência geométrica específica a tokens a partir de um banco de geometria multinível antes da decodificação de linguagem. Isso desloca o alinhamento visual-geométrico da pilha de raciocínio para a interface perceptiva.
3. Mecanismo Adaptativo a Tokens: A introdução de um mecanismo de roteamento esparsos e condicionado a consultas que permite que diferentes tokens visuais recuperem abstrações geométricas distintas, evitando exposição uniforme a todas as camadas de geometria.
4. Validação Empírica: Extensos experimentos demonstrando que a ancoragem pré-raciocínio produz desempenho superior sem esquecimento catastrófico das capacidades multimodais gerais.

Resultados Experimentais

O GeoWeaver foi avaliado em múltiplos benchmarks de raciocínio espacial, incluindo VSI-Bench, ReVSI, SPAR-Bench, ViewSpatial, BLINK, 3DSRBench e EmbSpatial.

• VSI-Bench: O GeoWeaver-5B alcançou uma pontuação média de 72,8, superando a melhor linha de base de código aberto (SpatialStack-5B) por 5,3 pontos. O GeoWeaver-10B atingiu 75,05. Ganhos significativos foram observados em categorias sensíveis à geometria, como contagem de objetos, estimativa de tamanho, direção relativa e planejamento de rotas.
• ReVSI: Em configurações conscientes de quadros, o GeoWeaver-10B alcançou 57,5% de precisão com 32 quadros, superando VLMs espaciais anteriores. Os resultados sugerem que uma ancoragem geométrica eficaz é mais crítica do que simplesmente aumentar o número de quadros de entrada.
• SPAR-Bench: O GeoWeaver-5B alcançou uma pontuação state-of-the-art de 69,2, uma melhoria massiva de +26,8 pontos sobre o melhor anterior, particularmente em tarefas de raciocínio de médio e alto nível (correspondência de posição, inferência de distância, imaginação espacial).
• Capacidades Gerais: Avaliações em MMBench, Video-MME e TempCompass mostraram que o GeoWeaver mantém ou melhora ligeiramente o desempenho multimodal geral em comparação com as linhas de base, confirmando que a ancoragem geométrica não causa esquecimento catastrófico.

Significado e Alegações

O artigo afirma que o benefício primário do GeoWeaver não decorre simplesmente de injetar mais dados geométricos no modelo, mas de remodelar a representação visual antes que o raciocínio de linguagem comece. Ao converter pistas geométricas brutas multinível em tokens visuais ancorados geometricamente, o framework permite que o modelo de linguagem opere sobre representações "prontas para geometria".

Os autores argumentam que a informação geométrica produz o maior benefício não como um sinal auxiliar de fusão tardia, mas como um pré-requisito fundamental que molda a base representacional. Esta abordagem desacopla com sucesso o alinhamento visual-geométrico de baixo nível do raciocínio relacional de alto nível, levando a uma inteligência espaço-temporal mais robusta enquanto preserva a competência multimodal geral do modelo. O trabalho sugere que o progresso futuro na inteligência espacial exige abordar o gargalo representacional na interface perceptiva, em vez de otimizar apenas a pilha de raciocínio.