DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding

Le papier présente DriveTok, un tokeniseur de scènes de conduite 3D efficace qui transforme les caractéristiques visuelles en tokens unifiés pour permettre la reconstruction et la compréhension multi-vues, notamment la segmentation sémantique, la prédiction de profondeur et l'occupation 3D.

L'essentiel

Imaginez que vous conduisez une voiture autonome. Pour l'instant, la plupart des systèmes de conduite autonome fonctionnent un peu comme un groupe d'artistes qui regardent chacun une photo différente de la même scène et essaient de la décrire séparément. L'un regarde la route de face, l'autre le rétroviseur gauche, un troisième le droit. Le problème ? Ils ne partagent pas vraiment la même "image mentale" de l'espace. C'est inefficace et cela crée des incohérences.

C'est là qu'intervient DriveTok, une nouvelle invention proposée par des chercheurs de l'Université Tsinghua. Pour faire simple, DriveTok est un traducteur universel qui transforme toutes les images de la voiture en un seul et même "langage" 3D.

Voici comment cela fonctionne, expliqué avec des analogies simples :

1. Le Problème : Des pièces de puzzle éparpillées

Actuellement, si vous prenez 6 caméras autour d'une voiture, vous avez 6 images différentes. Les anciens systèmes traitent chaque image comme un puzzle séparé. C'est comme si vous essayiez de reconstruire une maison en regardant 6 photos de ses murs séparément, sans jamais assembler les pièces. Cela prend beaucoup de temps et de mémoire, et le résultat n'est pas toujours cohérent.

2. La Solution : Le "Bouquet de Fleurs" (DriveTok)

Imaginez que vous avez un bouquet de fleurs (les 6 caméras). Au lieu de garder chaque fleur séparément, DriveTok prend toutes ces fleurs, les coupe et les arrange dans un seul vase unique qui représente l'ensemble du jardin.

• Le Vase (Les "Jeton de Scène") : DriveTok transforme les 6 images en un petit nombre de "jetons" (des blocs d'information compacts). Ces jetons ne sont pas de simples images plates ; ils contiennent la texture (la couleur, le motif), la géométrie (la forme, la distance) et le sens (c'est une voiture, c'est un piéton, c'est un arbre).
• Indépendant de la taille : Peu importe si vous avez 4 ou 8 caméras, ou si les images sont petites ou géantes, le "vase" (le nombre de jetons) reste le même taille. C'est très efficace !

3. Comment ça marche ? (Le Chef d'Orchestre)

Le système utilise deux étapes magiques :

• L'Encodage (Le Traducteur) : Il prend les images brutes et utilise une intelligence artificielle pré-entraînée (comme un expert qui a déjà vu des millions de photos) pour comprendre ce qu'il y a dedans. Ensuite, il projette ces informations dans un espace 3D virtuel, comme si il construisait une maquette numérique de la route en temps réel.
• Le Décodage (Le Peintre et l'Architecte) : Une fois que le système a ce "vase" unique (les jetons), il peut faire deux choses :
  1. Redessiner les images : Il peut reconstruire les 6 images originales à partir de ce seul vase (comme si vous pouviez recréer la photo de face et la photo de côté à partir d'une seule description mentale).
  2. Comprendre l'espace : Il peut prédire où sont les obstacles en 3D, même s'ils sont cachés, car il a une vue d'ensemble de la scène.

4. L'Entraînement : L'École Polyvalente

Pour apprendre à faire tout cela, DriveTok ne s'entraîne pas sur une seule tâche. C'est comme un étudiant qui doit passer plusieurs examens en même temps pour obtenir son diplôme :

• Examen de dessin : Reconstruire les images parfaitement.
• Examen de géométrie : Deviner la profondeur (à quelle distance sont les objets ?).
• Examen de sémantique : Identifier ce que sont les objets (voiture, piéton, route).
• Examen d'architecture 3D : Prédire l'occupation de l'espace (où est l'air, où est le solide ?).

En réussissant tous ces examens ensemble, le système apprend à créer des "jetons" qui sont à la fois beaux (détails de l'image) et intelligents (compréhension de la 3D).

Pourquoi c'est génial ?

Imaginez que vous voulez donner des instructions à une voiture autonome pour qu'elle prenne une décision complexe (ex: "Évite le piéton qui traverse, mais reste sur la route").

• Avant : La voiture devait assembler des pièces de puzzle 2D pour essayer de comprendre la 3D. C'était lent et parfois flou.
• Avec DriveTok : La voiture a déjà une maquette 3D mentale claire et concise de la scène. Elle peut "parler" à cette maquette pour prendre des décisions rapides et sûres.

En résumé : DriveTok est comme un chef cuisinier qui prend 6 ingrédients différents (les images des caméras) et les transforme en un seul plat délicieux et nutritif (les jetons de scène) qui contient toutes les saveurs (textures, formes, sens). Ce plat unique est ensuite servi à l'intelligence artificielle de la voiture pour qu'elle puisse "penser" et conduire de manière beaucoup plus humaine et efficace.

Résumé technique

1. Problématique

L'évolution des systèmes de conduite autonome passe d'une approche centrée sur la perception à une approche basée sur le raisonnement, alimentée par des modèles Vision-Language-Action (VLA) et des modèles du monde. Cependant, une limitation majeure subsiste dans la représentation des données visuelles :

• Inadéquation des tokeniseurs existants : La plupart des tokeniseurs visuels actuels sont conçus pour des images monoculaires et 2D. Ils traitent chaque image indépendamment, générant des tokens par image (patchs 2D).
• Conséquences pour la conduite autonome :
  • Incohérence inter-vues : Ils ne capturent pas la structure spatiale 3D partagée entre les multiples caméras d'un véhicule.
  • Inefficacité : Le tokenisation image par image d'images haute résolution multi-vues entraîne un nombre de tokens excessif et des coûts de calcul élevés ($O(N \cdot H \cdot W)$), ce qui est inefficace pour les grands modèles.
  • Manque de richesse sémantique et géométrique : Les représentations actuelles peinent à fournir simultanément des informations de bas niveau (pour la reconstruction) et de haut niveau (pour la compréhension sémantique) nécessaires à la prise de décision robuste.

2. Méthodologie : DriveTok

DriveTok est un tokeniseur de scènes de conduite 3D efficace conçu pour unifier la reconstruction et la compréhension multi-vues. Son architecture repose sur trois modules principaux :

A. Encodeur de Scène 3D (3D Scene Encoder)

• Extraction de caractéristiques : Utilisation d'un modèle fondation visuel pré-entraîné (DINOv3-ViTB) couplé à un FPN (Feature Pyramid Network) pour extraire des caractéristiques riches en sémantique et en texture depuis les images environnantes.
• Projection dans l'espace 3D : Au lieu de traiter les images individuellement, les caractéristiques sont projetées dans une grille de scène globale fixe (BEV - Bird's Eye View) via un mécanisme d'attention croisée déformable 3D.
• Génération de Tokens Unifiés : Ce processus transforme les entrées multi-caméras en un nombre fixe de "tokens de scène" ($N_b$). Ces tokens sont :
  • Agnostiques : Indépendants du nombre de caméras et de la résolution des images.
  • Géométriquement conscients : Ils intègrent les coordonnées métriques et la structure 3D.

B. Décodeur Multi-Vue Spatial (Spatial-Aware Multi-View Decoder)

• Interaction Tokens Scène / Tokens Vue : Un transformateur multi-vues permet l'interaction bidirectionnelle entre les tokens de scène (représentant des cellules spatiales égo-centriques) et les tokens de vue (représentant les patches d'images).
• Attention Guidée par la Visibilité : Contrairement aux attention denses classiques, DriveTok utilise un masque de visibilité binaire. Seules les régions de la scène physiquement visibles par une caméra donnée peuvent interagir avec les tokens de cette caméra. Cela assure une cohérence géométrique stricte et évite les artefacts d'alignement.
• Encodage Rayon (Plücker) : Les tokens de vue sont enrichis par des embeddings de rayons de Plücker pour distinguer les apparences 2D similaires provenant de points de vue différents.

C. Stratégie d'Entraînement Multi-Tâches Unifiée

Pour apprendre des tokens de scène riches, DriveTok est entraîné conjointement sur plusieurs objectifs :

1. Reconstruction d'image (2D) : Prédiction des images RGB natives (perte L1, LPIPS, GAN).
2. Prédiction de profondeur (2D) : Utilisation de pseudo-étiquettes denses alignées sur l'échelle métrique (via MoGe-2 et LiDAR).
3. Prédiction sémantique (2D) : Segmentation sémantique basée sur les projections LiDARSeg.
4. Prédiction d'occupation 3D (3D) : Prédiction directe des voxels d'occupation sémantique à partir des tokens de scène.
5. Régularisation Sémantique : Alignement explicite des tokens de scène latents avec les étiquettes sémantiques pour éviter la corruption de la structure dans l'espace latent.

3. Contributions Clés

1. Premier Tokeniseur de Scène 3D Unifié : DriveTok propose une représentation compacte et agnostique (résolution/caméras) qui intègre texture, géométrie et sémantique, servant d'interface idéale pour les modèles VLA et les modèles du monde.
2. Mécanisme d'Attention Guidée par la Visibilité : Une innovation architecturale qui force l'apprentissage de relations géométriques physiquement valides entre les vues et la scène 3D, améliorant la cohérence spatiale.
3. Apprentissage Multi-Objectifs : La combinaison de tâches de reconstruction (2D) et de compréhension (3D/semantique) permet d'obtenir des tokens qui excellent à la fois dans la fidélité visuelle et la compréhension structurelle.
4. Efficacité et Évolutivité : Le nombre de tokens est fixe et faible, indépendamment du nombre de caméras ou de la résolution, permettant une scalabilité supérieure aux méthodes par image.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données nuScenes (6 caméras environnantes).

• Reconstruction d'Image : DriveTok atteint des performances comparables aux tokeniseurs d'images de pointe (VQGAN, ViT-VQGAN) en termes de PSNR et SSIM, tout en gérant nativement les entrées multi-vues.
• Prédiction de Profondeur : Le modèle obtient les meilleurs résultats parmi toutes les méthodes comparées (monoculaires et multi-vues) avec un AbsRel de 0.08 et 93% des pixels ayant un facteur d'erreur $\delta < 1.25$.
• Prédiction d'Occupation 3D : DriveTok atteint un mIoU de 20.06, surpassant des modèles spécialisés comme SurroundOcc, GaussianFormer et QuadricFormer, démontrant sa capacité à capturer la structure 3D fine.
• Études d'Ablation :
  • La suppression de l'attention guidée par la visibilité entraîne une dégradation drastique de la compréhension géométrique (les tokens se concentrent uniquement sur la texture).
  • L'ajout progressif des tâches (Recon -> Profondeur -> Sémantique -> Occupation) améliore systématiquement la qualité des tokens pour la compréhension 3D, au prix d'une légère baisse de la qualité de reconstruction pure (compromis acceptable).

5. Signification et Perspectives

DriveTok représente une avancée significative pour l'architecture des systèmes de conduite autonome de nouvelle génération :

• Interface pour les Modèles Fondationnels : En fournissant des tokens unifiés et riches, DriveTok permet l'intégration directe des données visuelles dans des modèles VLA (Vision-Language-Action) et des modèles du monde, facilitant le raisonnement complexe, la planification multi-étapes et la réponse à des situations imprévues.
• Mémoire Spatiale Commune : Il offre une mémoire spatiale partagée entre la perception de bas niveau et le raisonnement de haut niveau, essentiel pour l'apprentissage de politiques en boucle fermée.
• Futur : Les auteurs envisagent d'étendre ce cadre pour inclure la modélisation temporelle, d'autres capteurs (LiDAR, Radar) et des capacités génératives (édition de scènes, synthèse future), visant à créer des modèles fondamentaux complets pour la conduite autonome.

En résumé, DriveTok résout le goulot d'étranglement de la tokenisation visuelle pour la conduite autonome en passant d'une représentation 2D fragmentée à une représentation 3D unifiée, cohérente et sémantiquement riche.