LAST: Leveraging Tools as Hints to Enhance Spatial Reasoning for Multimodal Large Language Models

Resumo Técnico: LAST

1. O Problema

O raciocínio espacial é fundamental para sistemas inteligentes interagirem com o mundo físico (ex: navegação robótica, compreensão de cenas 3D). No entanto, os Modelos de Linguagem Multimodais (MLLMs) atuais enfrentam desafios significativos:

• Alucinações e Imprecisão: Eles frequentemente falham ao analisar layouts geométricos complexos, estimar escalas e inferir relações topológicas precisas.
• Limitações da Escala de Dados: A abordagem tradicional de aumentar a quantidade de dados de treinamento (scaling) não permite que os modelos internalizem verdadeiramente priors geométricos estruturados e restrições espaciais.
• Dificuldade com Ferramentas Existentes: Embora existam modelos especializados de visão computacional (para detecção de objetos, estimativa de profundidade, etc.), integrá-los aos MLLMs é difícil devido a dois fatores:
  1. A heterogeneidade e a complexidade na invocação dessas ferramentas (parâmetros, configurações).
  2. A dificuldade dos MLLMs em interpretar e utilizar as saídas de baixo nível dessas ferramentas (máscaras de segmentação, mapas de profundidade) para raciocínio de alto nível.

2. Metodologia: O Framework LAST

Os autores propõem o LAST (Leveraging Tools as Hints), um framework unificado que integra ferramentas especializadas como "dicas" (hints) para melhorar o raciocínio espacial. A metodologia baseia-se em dois pilares principais:

A. LAST-Box (Sandbox Interativa e Abstração de Habilidades)
Para superar a complexidade da invocação direta de ferramentas, o LAST introduz o LAST-Box, uma caixa de areia interativa que abstrai modelos heterogêneos em instruções atômicas e habilidades espaciais reutilizáveis.

• Operações Atômicas: Módulos fundamentais como GroundingDINO (detecção), DepthAnything-v2 (profundidade), SAM (segmentação) e utilitários Python.
• Habilidades Espaciais (Skills): Em vez de chamar ferramentas brutas, o MLLM invoca "habilidades" compostas (ex: EstimateSize, EstimateDepth, SegmentObjects).
• Saída Multimodal Interpretável: Cada habilidade retorna um par multimodal: uma representação visual processada (ex: imagem recortada com máscaras ou mapas de profundidade sobrepostos) e uma descrição textual semântica. Isso transforma saídas de baixo nível em dicas compreensíveis pelo LLM, reduzindo o horizonte de chamadas de ferramentas e a complexidade do raciocínio.

B. Estratégia de Treinamento Progressiva
Para ensinar o modelo a usar essas ferramentas eficazmente, os autores propõem um treinamento em três estágios:

1. Aquecimento (Warm-up): O modelo é exposto às saídas das ferramentas (máscaras, mapas de profundidade) para aprender a entender sua semântica visual e textual, sem ainda precisar invocar ferramentas ativamente.
2. Ajuste Fino Supervisionado (SFT): O modelo aprende quando e como invocar as ferramentas. Os dados são construídos com trajetórias de raciocínio do tipo "Pensar-Agir-Observar-Raciocinar". Inclui mecanismos de verificação de consistência para evitar dependência cega das ferramentas e simula falhas para ensinar o modelo a retornar à imagem original se a ferramenta falhar.
3. Aprendizado por Reforço Interativo (IRL): Utilizando o algoritmo GRPO, o modelo é treinado para otimizar a decisão de invocação e a interpretação dos resultados. A função de recompensa considera:
   • Formato: Estrutura correta da saída.
   • Correção: Precisão da resposta final.
   • Ferramenta: Utilidade da ferramenta invocada para a tarefa.

3. Principais Contribuições

• Abstração de Ferramenta de Átomo a Habilidade: Um framework que compõe instruções atômicas em habilidades espaciais reutilizáveis, encurtando trajetórias de chamadas de ferramentas e estabilizando o aprendizado.
• Treinamento Progressivo Consciente de Ferramentas: Uma estratégia de três estágios que permite ao modelo internalizar a semântica das ferramentas antes de aprender a seguir instruções complexas de invocação.
• Modelo Open-Source de Alto Desempenho: O lançamento do LAST-7B, um modelo multimodal de 7 bilhões de parâmetros que integra o sandbox e a estratégia de treinamento, alcançando estado da arte (SOTA) em benchmarks espaciais.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro benchmarks de raciocínio espacial (CVBench, SPBench-SI, EmbSpatial, MSMU).

• Desempenho Superior: O LAST-7B superou seu modelo base (Qwen2.5-VL-7B) em aproximadamente 18-20% em média.
• Superação de Modelos Fechados: O modelo de 7B superou modelos proprietários de ponta, como o GPT-5.1 e o Gemini-2.5-Pro, em tarefas complexas de estimativa métrica e direção relativa.
  • Exemplo: Ganho de +32,96% na tarefa de Estimativa de Tamanho e +31,04% na Direção Relativa.
• Generalização para Modelos Fechados: A aplicação do LAST-Box (sem fine-tuning) em modelos fechados como o Gemini-2.5-Pro resultou em ganhos consistentes (ex: +18% em raciocínio de relação 2D), demonstrando que o framework pode corrigir vieses espaciais intrínsecos de modelos grandes.
• Eficácia do Uso de Ferramentas: O modelo alcançou uma taxa de sucesso na invocação de ferramentas de até 99,67%. Quando as ferramentas foram usadas com sucesso, a precisão aumentou drasticamente (ex: +28,87% no SPBench-SI), provando que o modelo utiliza ativamente as dicas, e não apenas as invoca superficialmente.
• Ablação: A remoção de qualquer um dos três estágios de treinamento resultou em degradação de desempenho, confirmando a necessidade do treinamento progressivo (Aquecimento + SFT + RL).

5. Significado e Impacto

O trabalho LAST representa um avanço significativo na área de IA multimodal ao demonstrar que:

1. A Integração de Ferramentas é Superior ao Scaling Puro: Para tarefas que exigem precisão geométrica e métrica, integrar modelos especializados de visão é mais eficaz do que apenas aumentar o tamanho do modelo ou a quantidade de dados.
2. Abstração é Chave: A transformação de saídas complexas de ferramentas em "dicas" multimodais (texto + imagem) é crucial para que os LLMs possam raciocinar sobre dados de baixo nível.
3. Viabilidade de Modelos Abertos: É possível construir modelos de tamanho moderado (7B) que superam sistemas fechados massivos em tarefas específicas, desde que equipados com o ecossistema correto de ferramentas e treinamento.

Em suma, o LAST estabelece um novo paradigma para o raciocínio espacial, onde a colaboração controlada entre MLLMs e especialistas de visão computacional supera as limitações de percepção pura baseada em dados.