SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering

Título: SeGPruner: Podador de Tokens Visuais Semântico-Geométrico para Resposta a Perguntas em 3D

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) têm sido amplamente adotados para Resposta a Perguntas em 3D (3D QA). Nas pipelines típicas, tokens visuais extraídos de múltiplas vistas (imagens) são concatenados com tokens linguísticos e processados por um Grande Modelo de Linguagem (LLM).

No entanto, essa abordagem enfrenta dois desafios críticos:

1. Redundância Severa: A agregação de observações de múltiplas vistas introduz uma grande quantidade de tokens redundantes, criando sequências visuais excessivamente longas.
2. Ineficiência e Limitação de Orçamento: Sob orçamentos de tokens restritos (comuns em LLMs devido a limites de contexto), essa redundância prejudica drasticamente a eficiência da inferência.
3. Limitações dos Métodos Atuais: A maioria dos podadores de tokens existentes foi projetada para entradas 2D ou depende de dicas geométricas indiretas. Eles falham em:
   • Retener explicitamente objetos semanticamente críticos.
   • Manter uma cobertura espacial suficiente para um raciocínio 3D robusto.
   • Evitar a perda de informações essenciais sobre a estrutura da cena quando a redução é agressiva.

2. Metodologia: SeGPruner

O SeGPruner é um framework de redução de tokens consciente de semântica e guiado por geometria, projetado para VLMs pré-treinados em 2D, sem necessidade de re-treinamento (training-free). O método opera em duas etapas cooperativas após a extração de características visuais:

A. Construção de Características Conscientes de 3D

• As características 2D são projetadas em um espaço de coordenadas 3D unificado utilizando mapas de profundidade e parâmetros extrínsecos da câmera.
• Cada token visual (patch) recebe coordenadas 3D, permitindo comparações espaciais entre diferentes vistas.

B. Seleção de Tokens em Duas Etapas
O processo de seleção é dividido em dois módulos cooperativos:

1. Seletor de Tokens Consciente de Salência (Saliency-aware Token Selector - STS):

   • Objetivo: Preservar evidências visuais críticas para objetos principais.
   • Mecanismo: Utiliza pontuações de atenção (attention scores) do codificador visual para identificar e reter os tokens mais importantes. Tokens com maior atenção são considerados semanticamente críticos para a resposta.
   • Ação: Seleciona uma fração fixa ($r$) dos tokens mais importantes primeiro.

2. Diversificador de Tokens Consciente de Geometria (Geometry-aware Token Diversifier - GTD):

   • Objetivo: Garantir cobertura espacial ampla e evitar redundância, preenchendo lacunas deixadas pela seleção baseada apenas em salência.
   • Mecanismo: Utiliza uma estratégia inspirada na Farthest Point Sampling (FPS), mas adaptada para tokens visuais.
   • Métrica Híbrida: Calcula uma distância semântico-espacial combinando:
     • Distância Geométrica: Distância Euclidiana 3D entre os tokens.
     • Semelhança Semântica: Similaridade de características visuais (cosine similarity).
   • Ação: Iterativamente seleciona tokens do conjunto restante que estão mais distantes (em termos de espaço 3D e semântica) dos tokens já selecionados, promovendo diversidade.

C. Inferência
Os tokens selecionados (importantes + diversos) são concatenados e mantidos na ordem original, sendo então alimentados no LLM para raciocínio cruzado (multimodal).

3. Principais Contribuições

1. Framework SeGPruner: Propõe uma abordagem inovadora que equilibra a preservação de evidências objetuais (semântica) com a cobertura global da cena (geometria 3D).
2. Módulo STS: Desenvolve um seletor baseado em atenção que garante que objetos semanticamente críticos não sejam perdidos durante a redução agressiva.
3. Módulo GTD: Introduz um seletor guiado por geometria que combina similaridade semântica e distância 3D para garantir que a representação da cena permaneça diversificada e completa espacialmente.
4. Eficiência sem Perda de Desempenho: Demonstra que é possível reduzir drasticamente o número de tokens mantendo ou até superando o desempenho de modelos de linha de base com tokens completos.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks ScanQA e OpenEQA, utilizando o modelo base LLaVA-OneVision-7B.

• Desempenho em ScanQA:

  • O SeGPruner alcançou desempenho superior ao modelo base de linha completa (Full-token) ao reter apenas 23% dos tokens visuais originais.
  • Reduziu o orçamento de tokens visuais em 91% e a latência de inferência em 86%.
  • Mesmo com retenção de apenas 9% dos tokens, o modelo manteve 95,3% do desempenho original, superando métodos concorrentes como DTC (baseado em profundidade) e VisPruner (baseado em 2D).

• Desempenho em OpenEQA:

  • O método mostrou robustez em tarefas de raciocínio corporativo (embodied QA), superando significativamente a poda puramente 2D em taxas de retenção baixas.
  • Em uma taxa de 8%, superou o VisPruner em 2,6 pontos e o DTC em 0,6 pontos.

• Comparação com Baselines:

  • Métodos 2D (VisPruner) falharam em manter a precisão sob redução agressiva devido à falta de consciência espacial.
  • Métodos que usam apenas dicas geométricas (DTC) não preservaram suficientemente a salência semântica dos objetos.
  • O SeGPruner demonstrou o melhor equilíbrio, preservando tanto a estrutura do objeto quanto a cobertura da cena.

5. Significância e Conclusão

O SeGPruner resolve um gargalo crítico na aplicação de VLMs a tarefas 3D: a ineficiência computacional causada pela redundância de múltiplas vistas.

• Impacto Prático: Permite que modelos VLMs pré-treinados em 2D sejam aplicados eficientemente a cenários 3D complexos sem a necessidade de dados de treinamento 3D massivos ou re-treinamento do modelo.
• Eficiência: A redução drástica de tokens (até 91%) resulta em ganhos significativos de velocidade de inferência e redução de consumo de memória, tornando a 3D QA viável em dispositivos com recursos limitados.
• Qualidade do Raciocínio: Ao garantir que a redução de tokens não sacrifique a cobertura espacial nem a importância semântica, o método permite um raciocínio 3D robusto, capaz de localizar objetos e entender relações espaciais com alta precisão, mesmo com orçamentos de tokens extremamente restritos.

Em resumo, o SeGPruner estabelece um novo estado da arte ao demonstrar que a redução inteligente de tokens, guiada tanto pela semântica quanto pela geometria 3D, é essencial para a escalabilidade e eficácia de sistemas de inteligência artificial em ambientes 3D.