Resumo Técnico: A Arte da Interrogação: A Consistência Amplifica a Factualidade no Raciocínio Espacial

Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs) e Modelos de Linguagem-Visão (VLMs) exibem deficiências significativas em tarefas de raciocínio espacial, como determinar posição relativa, ordenação de profundidade e comparação de tamanho. Benchmarks atuais indicam que esses modelos apresentam desempenho inferior ao de humanos em 30–40% e frequentemente falham em tarefas composicionais com precisão quase aleatória. As abordagens existentes tentam preencher essa lacuna tratando-a como um déficit de conhecimento, baseando-se em Ajuste Fino Supervisionado (SFT) com dados rotulados de simuladores 3D sintéticos ou imagens reais anotadas por cascatas de modelos de visão (ex: estimadores de profundidade, detectores). No entanto, esses métodos exigem supervisão de verdade fundamental (ground-truth) dispendiosa e podem não abordar a causa raiz: a falta de coerência lógica interna no processo de raciocínio do modelo.

Metodologia

Os autores propõem que os LRMs pré-treinados já possuem capacidades latentes de raciocínio espacial, mas carecem de alinhamento com princípios geométricos fundamentais. Em vez de ingerir novos conhecimentos factuais, o artigo introduz uma estrutura de aprendizado por reforço (RL) autossupervisionado que impõe a consistência lógica sob transformações geométricas e semânticas.

1. Verificadores de Consistência

A inovação central é o verificador de consistência, uma função de recompensa que opera sem rótulos de verdade fundamental. Ele avalia se as respostas de um modelo para um prompt $x$ e um prompt aumentado $x' = T(x)$ satisfazem uma relação conhecida induzida pela transformação $T$.

• Transformações: A estrutura aplica transformações de imagem (ex: inversões horizontais, cortes que preservam objetos) e transformações de texto (ex: troca de ordem de objetos, negação de relações como "esquerda" $\to$ "direita").
• Invariância vs. Equivariância:
  • Invariante: Transformações que preservam a resposta (ex: corte, jitter de cor). As respostas do modelo para $x$ e $x'$ devem coincidir.
  • Equivariante: Transformações que invertem previsivelmente a resposta (ex: inversão horizontal para perguntas de "esquerda/direita"). As respostas do modelo devem divergir.
• Sinal de Recompensa: O verificador retorna 1 se o par de respostas satisfaz a relação esperada (correspondência ou divergência) e 0 caso contrário. Isso fornece um sinal de recompensa autossupervisionado derivado inteiramente da lógica da transformação, não de rótulos externos.

2. OT-GRPO (Otimização de Política Relativa de Grupo via Transporte Ótimo)

A Otimização de Política Relativa de Grupo (GRPO) padrão assume recompensas escalares para conclusões individuais. Como os verificadores de consistência pontuam pares de conclusões, os autores introduzem o OT-GRPO, uma variante de correspondência mínima:

• Pareamento Adversário: Em vez de pareamento aleatório ou média (um-para-todos), o algoritmo resolve um problema de atribuição linear para encontrar a permutação $\sigma^*$ que minimiza a pontuação de consistência total entre o conjunto de conclusões do prompt original e o do prompt aumentado.
• Racional: Esta estratégia de "consistência mínima" força o modelo a confrontar suas inconsistências mais desafiadoras. Se um modelo é verdadeiramente consistente, o pareamento mínimo ainda produzirá altas recompensas; se for inconsistente, o pareamento adversário expõe essas falhas, impedindo o modelo de manipular o sistema através de alinhamentos fortuitos.
• Otimização: Os pares correspondidos recebem uma vantagem compartilhada, e a atualização do GRPO é aplicada tanto à conclusão original quanto à aumentada.

3. Configuração de Treinamento

• Modelos: Ajuste fino do Qwen2.5-VL (parâmetros de 3B e 7B) usando LoRA.
• Datasets: SUN RGB-D (interior) e KITTI (exterior) com anotações Omni3D.
• Tarefas: Quatro tarefas binárias de raciocínio espacial: Orientação (esquerda/direita), Profundidade (mais próximo/mais longe), Tamanho (comparação de volume) e Distância Relativa.
• Formato: O modelo é instruído a usar Cadeia de Pensamento (CoT) dentro de tags específicas, com uma recompensa de formato adicional para garantir a adesão estrutural.

Principais Resultados

O artigo demonstra que abordagens de treinamento baseadas em consistência aproximam-se do desempenho do treinamento supervisionado com verdade fundamental sem exigir nenhum dado rotulado.

1. Paridade de Desempenho: No dataset SUN RGB-D, os modelos treinados com consistência alcançaram precisão dentro de 2,3–2,7 pontos percentuais dos modelos treinados com rótulos de verdade fundamental em todas as quatro tarefas. Para o modelo de 7B, o treinamento de consistência atingiu 76,8% de precisão comparado aos 79,6% dos modelos treinados por acurácia.
2. Generalização:
   • Entre Tarefas: O treinamento em uma tarefa espacial (ex: orientação) melhorou o desempenho em outras (ex: profundidade), com o treinamento de consistência transferindo quase tão efetivamente quanto o treinamento de acurácia.
   • Entre Domínios: Modelos treinados em cenas internas (SUN RGB-D) generalizaram bem para cenas externas (KITTI), com o treinamento de consistência mostrando degradação mínima em comparação com os baselines supervisionados.
3. Superioridade sobre Baselines Autossupervisionados: O método proposto superou sete baselines autossupervisionados existentes, incluindo variantes de Visual Jigsaw e SSL4RL, por margens significativas (até 24 pontos percentuais sobre algumas variantes de SSL4RL).
4. Robustez à Corrupção de Rótulos: Em experimentos onde os rótulos de verdade fundamental foram corrompidos (invertidos) com aumento de ruído, o treinamento de consistência (que não utiliza rótulos) superou o treinamento de acurácia assim que o ruído de rótulo excedeu 10–20%. Isso sugere que o treinamento de consistência é mais robusto à acumulação de erros inerente às pipelines de anotação automatizadas.
5. Extensão para Tarefas Numéricas: A estrutura foi estendida com sucesso para saídas numéricas (contagem e estimativa de distância absoluta), onde o treinamento de consistência novamente acompanhou de perto o desempenho dos modelos treinados por acurácia.

Significância e Alegações

O artigo afirma que impor coerência lógica através de verificadores de consistência desbloqueia capacidades de raciocínio espacial latentes já presentes em modelos pré-treinados. As principais conclusões são:

• Eficiência Sem Rótulos: Um raciocínio espacial de alta qualidade pode ser alcançado sem o custo e a complexidade de gerar anotações espaciais de verdade fundamental.
• Mecanismo de Melhoria: Os resultados apoiam a visão de que o RL com recompensas verificáveis atua como um filtro, selecionando e reforçando padrões de raciocínio pré-existentes que aderem a leis geométricas, em vez de criar capacidades inteiramente novas.
• Escalabilidade: A abordagem é aplicável a diversos tipos de tarefas e domínios, sugerindo um caminho geral para melhorar VLMs em áreas onde dados de verdade fundamental são escassos ou caros de obter.

Os autores concluem que o treinamento de consistência é uma alternativa viável e robusta ao ajuste fino supervisionado para o raciocínio espacial, oferecendo um caminho para aplicações de IA incorporada (embodied AI) e robótica mais confiáveis e generalizáveis.