Resumo Técnico: Destilação Relacional de Múltiplas Visões para Raciocínio Espacial com Modelos de Visão-Linguagem

1. Definição do Problema

Os Modelos de Visão-Linguagem (VLMs) demonstraram capacidades robustas de compreensão de imagem e vídeo, mas sofrem de representações visuais espaciais geometricamente frágeis. Essa fragilidade leva a falhas em tarefas de raciocínio espacial essenciais para IA incorporada (embodied AI), robótica e direção autônoma, como inferir distâncias relativas ou localização de objetos.

Abordagens existentes para fundamentar os VLMs em geometria enfrentam duas limitações primárias:

1. Ajuste Fino Supervisionado (SFT): O treinamento em conjuntos de dados de perguntas e respostas espaciais frequentemente perpetua "representações visuais espúrias" sem corrigir fundamentalmente o entendimento geométrico subjacente.
2. Fusão de Características (Feature Fusion): Métodos que fundem características de modelos de visão com base geométrica (ex: VGGT, CUT3R) em VLMs melhoram o raciocínio espacial, mas aumentam substancialmente o tamanho do modelo e a latência de inferência, impondo desafios para aplicações em tempo real.

Uma terceira abordagem, a Destilação de Conhecimento, tenta transferir o conhecimento geométrico de um modelo professor para um modelo aluno (VLM) sem aumentar o custo de inferência. No entanto, os autores identificam um modo de falha crítico na destilação de características padrão: tentar alinhar diretamente os vetores de características do aluno com as características do professor fundamentadas em geometria interrompe o alinhamento pré-treinado entre as representações visuais e textuais. Esse trade-off degrada a capacidade do modelo de realizar tarefas de fundamentação linguística, como rastrear a ordem de aparência de objetos ou estimar o tamanho de um objeto com base em consultas de texto.

2. Metodologia: Destilação Relacional de Múltiplas Visões (MVRD)

Para resolver o trade-off entre a fundamentação geométrica e o alinhamento visão-linguagem, os autores propõem a Destilação Relacional de Múltiplas Visões (MVRD).

Conceito Central

Em vez de destilar os próprios vetores de características (o que força as características do aluno a convergir para um espaço geomético específico), a MVRD destila as similaridades de cosseno (relações) entre as características através de múltiplas visões.

• Hipótese: As relações multi-visão codificam correspondências geométricas suficientes para melhorar a compreensão espacial. Crucialmente, como o pareamento de similaridades por pares não determina unicamente os vetores de características absolutos, o modelo aluno retém a liberdade de selecionar representações de características que satisfaçam o objetivo geométrico enquanto permanecem próximas ao seu espaço visão-linguagem pré-treinado.
• Formulação Matemática:
  • Sejam $v_{1:T}$ os tokens de visão do aluno e $\bar{g}_{1:T}$ as características do professor fundamentadas em geometria.
  • Uma representação relacional $R$ é construída usando uma função de similaridade $r$ (especificamente a similaridade de cosseno): $R(h)[i, j] = r(h[i], h[j])$.
  • A perda de destilação $L_{RD}$ minimiza a diferença entre as matrizes relacionais do aluno e do professor:
    $$L_{RD} := \ell_{RD}(R(f(v_{1:T})), R(\text{sg}(\bar{g}_{1:T})))$$
  • Aqui, $f$ é uma projeção MLP por posição, e $\text{sg}$ denota o operador de parada de gradiente (stop-gradient). O objetivo de treinamento total combina a perda padrão de SFT com a perda de destilação relacional ($L_{SFT} + \gamma L_{RD}$).

Melhorias Arquiteturais

Para minimizar ainda mais o desvio do espaço pré-treinado, os autores introduzem uma arquitetura de Caminho Duplo (Dual Pathway):

• Adaptador Geométrico: Um módulo de Adaptação de Baixo Posto (LoRA) supervisionado pela perda composta ($L_{SFT} + \gamma L_{RD}$) aprende sinais relacionais de múltiplas visões.
• Adaptador Semântico: Um módulo LoRA paralelo supervisionado apenas por $L_{SFT}$ preserva o comportamento alinhado à linguagem.
• Integração: As saídas desses adaptadores são somadas após a camada de destilação e passadas pelos blocos restantes do VLM. Esse desacoplamento garante que o aprendizado geométrico não perturbe o subespaço relevante para a linguagem.

Escolhas de Design

• Função de Similaridade: A similaridade de cosseno foi escolhida por sua invariância de escala e orientação, permitindo que o modelo combine ângulos relativos sem forçar o alinhamento das magnitudes das características.
• Função de Perda: A correlação de Pearson negativa por linha é usada em vez do Erro Quadrático Médio (MSE) para aumentar a robustez às variações de escala nos escores de similaridade.
• Mascaramento Causal: Para aderir aos mecanismos de atenção causal dos VLMs, o mascaramento causal e o zeramento da diagonal são aplicados antes do cálculo da perda.

3. Principais Contribuições

1. Diagnóstico da Falha de Destilação de Características: O artigo identifica e demonstra que a destilação de características padrão degrada o alinhamento visão-linguagem, causando quedas de desempenho em tarefas de fundamentação linguística (ex: contagem de objetos, estimativa de tamanho), apesar de melhorar tarefas geométricas.
2. Proposta da MVRD: Um novo framework de destilação que transfere conhecimento geométrico via similaridades relacionais de múltiplas visões em vez de características brutas, preservando o espaço visão-linguagem pré-treinado.
3. Arquitetura de Caminho Duplo: Um mecanismo leve de separação de parâmetros que isola ainda mais o aprendizado geométrico do alinhamento semântico, equilibrando o desempenho entre tipos de tarefas.
4. Eficiência: A MVRD alcança desempenho comparável aos métodos de fusão de características com significativamente menos parâmetros adicionais (<25% de overhead) e menor latência (<16% de overhead em comparação com os baselines de fusão de características).

4. Resultados Experimentais

O método foi avaliado no VSI-Bench (Visual-Spatial Intelligence Benchmark) e em vários conjuntos de dados de compreensão de cenas 3D.

• Desempenho no VSI-Bench:
  • A MVRD superou o Ajuste Fino Supervisionado (SFT) e a Destilação de Características padrão (3DRS) em 6 de 8 tarefas.
  • Demonstrou ganhos consistentes em tarefas de fundamentação linguística (ex: Tamanho do Objeto, Ordem de Aparência), onde a destilação de características anteriormente falhou.
  • A variante MVRD + Dual Pathway alcançou uma acurácia média de 60,4%, reduzindo a lacuna para o método de estado da arte de fusão de características (VLM-3R) para apenas 0,5 pontos, utilizando o mesmo backbone e conjunto de dados.
• Análise de Representação:
  • A análise qualitativa e quantitativa confirmou que a MVRD mantém um alto alinhamento texto-visão (medido pela precisão de detecção de objetos baseada em texto) enquanto modela efetivamente as relações geométricas.
  • Demonstrou-se que a destilação de características desalinha os tokens de texto com seus respectivos patches visuais, enquanto a MVRD preserva essa correspondência.
• Generalização:
  • A MVRD transferiu-se com sucesso para tarefas de compreensão de cenas 3D (ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D), superando os generalistas anteriores de compreensão de cenas 3D e o baseline de destilação de características 3DRS.
  • O método provou ser robusto em diferentes backbones de VLM (LLaVA-Video, InternVL3, Qwen2.5-VL).

5. Significância e Alegações

O artigo afirma que a MVRD oferece uma alternativa computacionalmente eficiente à fusão de características para fundamentar VLMs em geometria 3D. Ao mudar o alvo da destilação das características para as relações, o método resolve o conflito anteriormente não diagnosticado entre a fundamentação geométrica e o alinhamento de linguagem.

Os autores enfatizam que a MVRD permite que os VLMs adquiram compreensão geométrica "sem sacrificar o alinhamento visão-linguagem". A variante Dual Pathway demonstra ainda que o desacoplamento dos objetivos geométricos e semânticos produz um modelo mais equilibrado que se aproxima do desempenho de arquiteturas pesadas de fusão de características com uma fração do custo de inferência. O trabalho sugere que representações relacionais são um mecanismo mais adequado e minimalista para transferir conhecimento geométrico para VLMs pré-treinados.