SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering

1. Problématique

Les modèles Vision-Langage (VLM) sont de plus en plus utilisés pour la Réponse aux Questions en 3D (3D QA). Dans les pipelines standards, les tokens visuels extraits de multiples points de vue (images 2D) sont concaténés avec des tokens linguistiques et traités par un Grand Modèle de Langage (LLM).

Cependant, cette approche présente deux défis majeurs :

• Redondance massive : L'agrégation de multiples vues introduit une redondance visuelle sévère, créant un ensemble de tokens visuels excessivement grand qui ralentit l'inférence, surtout sous des contraintes de budget de tokens.
• Limites des méthodes existantes : Les techniques de réduction de tokens actuelles sont soit conçues pour des entrées 2D (ignorant la structure spatiale 3D), soit utilisent des indices géométriques indirects. Elles échouent souvent à préserver simultanément les objets sémantiquement critiques et une couverture spatiale suffisante, ce qui dégrade la capacité de raisonnement 3D robuste.

2. Méthodologie : SeGPruner

Les auteurs proposent SeGPruner, un cadre de réduction de tokens sans entraînement (training-free), conçu spécifiquement pour les VLMs pré-entraînés en 2D appliqués à la 3D. L'approche repose sur une sélection de tokens en deux étapes coopératives :

A. Construction de caractéristiques conscientes de la 3D (3D-Aware Feature Construction)

Avant la sélection, les tokens visuels 2D sont projetés dans un espace de coordonnées 3D unifié. En utilisant les paramètres de la caméra (extrinsèques) et les cartes de profondeur, chaque patch d'image est rétro-projeté pour obtenir une position 3D ($c_i$). Cela permet de comparer spatialement les tokens provenant de différentes vues.

B. Sélection de Tokens Saliens (Saliency-aware Token Selector - STS)

Cette étape vise à préserver les preuves visuelles critiques pour les objets principaux.

• Mécanisme : Elle utilise les scores d'attention du modèle (moyenne des poids d'attention sur la matrice d'auto-attention) pour identifier l'importance de chaque token.
• Action : Les tokens avec les scores d'attention les plus élevés sont conservés en priorité. Cela garantit que les objets centraux pour la réponse ne sont pas perdus lors de la réduction.

C. Diversification de Tokens Guidée par la Géométrie (Geometry-aware Token Diversifier - GTD)

Une fois les tokens saliens préservés, cette étape sélectionne des tokens supplémentaires pour assurer une couverture spatiale globale et éviter le sur-échantillonnage de régions locales.

• Mécanisme : Inspiré de l'échantillonnage du point le plus éloigné (Farthest Point Sampling - FPS), mais adapté aux tokens visuels.
• Métrique de distance fusionnée : Pour chaque candidat, une distance combinée est calculée entre le token et l'ensemble des tokens déjà sélectionnés. Cette distance intègre :
  1. La distance géométrique ($d_{geo}$) dans l'espace 3D.
  2. La similarité sémantique (basée sur les caractéristiques visuelles).
• Sélection : Le token le plus éloigné (maximisant la distance combinée) est sélectionné itérativement. Cela force la sélection de tokens qui sont à la fois spatialement dispersés et sémantiquement complémentaires.

3. Contributions Clés

1. Cadre SeGPruner : Une méthode de réduction de tokens qui équilibre la préservation de l'information sémantique (objets importants) et la diversité spatiale (couverture de la scène).
2. Module STS : Un sélecteur basé sur l'attention qui retient les tokens des objets critiques pour le raisonnement centré sur l'objet.
3. Module GTD : Un sélecteur guidé par la géométrie qui combine similarité sémantique et distance 3D pour garantir une couverture spatiale large même sous une réduction agressive.
4. Efficacité sans entraînement : La méthode s'insère entre l'encodeur visuel et le LLM sans modifier les paramètres du modèle, rendant l'approche plug-and-play.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks majeurs : ScanQA et OpenEQA.

• Performance : SeGPruner atteint des performances compétitives, voire supérieures, par rapport aux modèles de base utilisant tous les tokens.
  • Sur ScanQA, avec seulement 23 % des tokens visuels originaux, le modèle obtient un score EM@1 de 28.0, surpassant le modèle de base (27.6) et d'autres méthodes de réduction.
  • Sur OpenEQA, il maintient environ 98 % de la performance du modèle de base même avec une réduction drastique.
• Efficacité :
  • Réduction du budget de tokens visuels de 91 %.
  • Réduction de la latence d'inférence de 86 %.
  • À un taux de rétention de 9 %, SeGPruner est environ 39 % plus rapide que la méthode de référence VisPruner.
• Comparaison : Contrairement aux méthodes purement 2D (comme VisPruner) qui perdent en robustesse lors de réductions agressives, ou aux méthodes 3D partielles (comme DTC), SeGPruner maintient une stabilité supérieure grâce à sa double stratégie de préservation sémantique et de diversification spatiale.

5. Signification et Impact

Ce travail démontre que pour le raisonnement 3D robuste, il est insuffisant de simplement réduire la redondance visuelle ou de se fier uniquement à la géométrie. La combinaison explicite de la saliency sémantique (ce qui est important) et de la diversité géométrique (où se trouve l'information) est cruciale.

SeGPruner permet d'utiliser des VLMs 2D pré-entraînés pour des tâches 3D complexes avec une efficacité de calcul considérablement améliorée, rendant le déploiement de systèmes d'intelligence artificielle pour la navigation robotique et l'interaction avec l'environnement physique plus viable en termes de ressources et de temps de réponse.