SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering

1. El Problema

Los Modelos Visión-Lenguaje (VLMs) se han adoptado ampliamente para la Pregunta y Respuesta en 3D (3D QA). En los pipelines típicos, los tokens visuales extraídos de múltiples vistas de una escena 3D se concatenan con tokens de lenguaje y se procesan conjuntamente por un Modelo de Lenguaje Grande (LLM).

Sin embargo, este enfoque presenta dos desafíos críticos:

• Redundancia Severa: Agregar observaciones de múltiples vistas introduce una gran cantidad de tokens visuales redundantes, creando secuencias excesivamente largas que dificultan la eficiencia de la inferencia, especialmente bajo presupuestos de tokens limitados.
• Limitaciones de los Pruners Existentes: La mayoría de las estrategias actuales de poda de tokens (token pruning) están diseñadas para entradas 2D o dependen de señales geométricas indirectas. Estas fallan en:
  1. Retener explícitamente objetos semánticamente críticos.
  2. Mantener una cobertura espacial suficiente para un razonamiento 3D robusto.
  3. Evitar la pérdida de información clave sobre la estructura de la escena al reducir tokens agresivamente.

2. Metodología: SeGPruner

SeGPruner es un marco de reducción de tokens consciente de la semántica y guiado por la geometría, diseñado para 3D QA con imágenes multivista. Su pipeline se divide en dos etapas cooperativas:

A. Construcción de Características Conscientes de 3D

Antes de la selección, el método proyecta las características visuales 2D en un espacio de coordenadas 3D unificado utilizando mapas de profundidad y parámetros de cámara. Esto asigna coordenadas 3D a cada parche (token) visual, permitiendo la comparación espacial entre diferentes vistas.

B. Dos Etapas de Selección de Tokens

1. Selector de Tokens Basado en Saliencia (Saliency-aware Token Selector - STS):

   • Objetivo: Preservar la evidencia visual crítica para objetos principales.
   • Mecanismo: Utiliza un módulo basado en atención. Calcula la importancia de cada token promediando los valores de atención que recibe de otros tokens en la matriz de autoatención del codificador visual.
   • Acción: Selecciona los tokens con mayor puntuación de atención (top-k) para asegurar que los objetos semánticamente importantes no se pierdan.

2. Diversificador de Tokens Consciente de Geometría (Geometry-aware Token Diversifier - GTD):

   • Objetivo: Complementar los tokens salientes con una cobertura espacial diversa para entender la escena global.
   • Mecanismo: Inspirado en el muestreo del punto más lejano (Farthest Point Sampling - FPS), pero adaptado a tokens visuales.
   • Métrica Híbrida: Define una distancia semántico-espacial que combina:
     • Distancia Geométrica: Distancia euclidiana en el espacio 3D.
     • Similitud Semántica: Similitud de coseno entre las características visuales.
   • Acción: Iterativamente selecciona tokens que están lejos en el espacio 3D y semánticamente complementarios a los ya seleccionados, evitando redundancia y asegurando que se cubran regiones dispersas de la escena.

3. Contribuciones Clave

1. Marco SeGPruner: Un nuevo enfoque de reducción de tokens que equilibra la preservación de la evidencia a nivel de objeto (saliencia) con la cobertura global de la escena (diversidad espacial).
2. Selector de Saliencia: Un módulo que retiene tokens de objetos críticos basándose en scores de atención, esencial para el razonamiento centrado en objetos.
3. Diversificador Geométrico: Un selector que integra la similitud semántica con la distancia 3D, garantizando una cobertura espacial amplia incluso bajo reducciones agresivas de tokens.
4. Eficiencia sin Entrenamiento: Es un método "plug-and-play" que no requiere modificar los parámetros del LLM ni reentrenar el modelo, funcionando en la fase de inferencia.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos ScanQA y OpenEQA, utilizando LLaVA-OneVision-7B como modelo base.

• Rendimiento en 3D QA:
  • En ScanQA, SeGPruner logra un rendimiento superior al modelo base de tokens completos (27.6 vs 28.0 EM@1) al retener solo el 23% de los tokens visuales.
  • En OpenEQA, mantiene un rendimiento competitivo (55.0 vs 56.2) con una retención del 26%.
• Eficiencia de Inferencia:
  • Reduce el presupuesto de tokens visuales en un 91%.
  • Disminuye la latencia de inferencia en un 86% (ej. de 1.03s a 0.63s por ejemplo en ratios extremos).
• Comparación con Baselines:
  • Supera consistentemente a métodos de poda 2D (como VisPruner) y métodos conscientes de 3D anteriores (como DTC), especialmente en ratios de retención bajos (<23%), donde los otros métodos sufren caídas drásticas de rendimiento.
  • Los estudios de ablación confirman que la combinación de Saliencia + Diversidad es superior a usar solo una de las dos estrategias o muestreo uniforme.

5. Significado e Impacto

El trabajo de SeGPruner es significativo porque aborda la brecha entre la eficiencia computacional y la comprensión espacial en VLMs aplicados a 3D.

• Razonamiento Robusto: Demuestra que es posible reducir drásticamente la carga computacional sin sacrificar la capacidad de razonamiento espacial, algo crucial para aplicaciones en robótica, vehículos autónomos e inteligencia embebida.
• Cobertura Espacial: A diferencia de los métodos 2D que tienden a agrupar tokens en regiones de alta atención (ignorando el fondo o estructuras lejanas), SeGPruner asegura una distribución de tokens más uniforme y completa en el espacio 3D, lo que permite respuestas más precisas sobre relaciones espaciales y localización de objetos.
• Adoptabilidad: Al ser un método de inferencia sin entrenamiento, facilita la adopción de VLMs preentrenados en tareas 3D complejas sin necesidad de costosos procesos de ajuste fino.

En resumen, SeGPruner establece un nuevo estado del arte en la eficiencia de VLMs para 3D QA, logrando un equilibrio óptimo entre velocidad de inferencia y precisión en la comprensión de escenas tridimensionales.