💻 computer science

Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization

Cet article propose UTok3D, un cadre efficace en termes de paramètres qui permet la réutilisation de modèles CLIP pré-entraînés en 2D et gelés pour la compréhension de nuages de points 3D en apprenant un tokenizer normalisé par échelle qui s'adapte aux échelles géométriques hétérogènes et exploite la distillation cross-modale auto-supervisée à partir d'images multi-vues.

Auteurs originaux : Guofeng Mei, Qinfeng Xiao, Bin Ren, Luigi Riz, Juan Liu, Xiaoshui Huang, Xu Zheng, Nicu Sebe, Ming-Hsuan Yang, Fabio Poiesi

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guofeng Mei, Qinfeng Xiao, Bin Ren, Luigi Riz, Juan Liu, Xiaoshui Huang, Xu Zheng, Nicu Sebe, Ming-Hsuan Yang, Fabio Poiesi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent qui a passé toute son enfance à lire des millions de livres et à regarder des milliards de photos. Il sait exactement à quoi ressemble un « chien », une « chaise » ou un « coucher de soleil » parce qu'il en a vu dans des images. Mais maintenant, vous voulez lui montrer un monde en 3D fait de points flottants (comme un nuage de poussière figé en plein air) et lui demander d'identifier les objets à l'intérieur. Le problème est que le robot a été entraîné sur des images plates, organisées en grille, alors que ce nouveau monde est désordonné, irrégulier et ne repose pas sur une grille nette. C'est comme essayer de faire entrer un pion carré dans un trou rond. Si vous vous contentez d'y injecter les points, le robot est confus car les points sont dispersés différemment des pixels qu'il connaît. Les scientifiques essaient d'apprendre à ces robots « vision-langage » à comprendre l'espace 3D, mais généralement, ils doivent construire un tout nouveau cerveau pour chaque nouvelle tâche, ce qui est lent, coûteux et nécessite de quantités massives de données étiquetées, qui sont difficiles à trouver.

Cet article présente une astuce ingénieuse appelée UTok3D pour résoudre ce casse-tête sans reconstruire le cerveau du robot. Les auteurs suggèrent qu'au lieu de construire un nouveau cerveau, nous pouvons simplement construire un « traducteur » spécial ou un « adaptateur » qui reformate les points 3D désordonnés dans un format que l'ancien cerveau gelé peut comprendre. Considérez cela comme un adaptateur universel : vous n'avez pas besoin d'une nouvelle centrale électrique ; vous avez juste besoin d'une prise qui s'adapte à la prise murale. Les chercheurs ont découvert qu'en mesurant soigneusement la taille des objets 3D et en les normalisant (en s'assurant qu'une petite voiture miniature et un bâtiment géant paraissent « similaires » en échelle pour le robot), ils pouvaient injecter les données dans le robot pré-entraîné et lui faire comprendre les formes 3D. Ils ont testé leur méthode sur tout, des petits modèles de chaises aux énormes scans de villes en extérieur, et ont constaté qu'elle fonctionne étonnamment bien, même sans avoir montré au robot aucun exemple 3D étiqueté au préalable. Cela suggère qu'avec le bon traducteur, nous pouvons réutiliser de puissants cerveaux d'images 2D pour des tâches 3D complexes, économisant ainsi du temps et de la puissance de calcul.

Le Problème : Le Cerveau « Plat » du Robot

Imaginez que vous avez un étudiant génial qui a mémorisé chaque image d'une bibliothèque. Il reconnaît un chat par son pelage, un arbre par ses feuilles et une voiture par ses roues. Cet étudiant est excellent pour regarder des photos 2D. Mais maintenant, vous l'emmenez dans une pièce remplie de milliers de ballons flottants représentant une scène 3D. Si vous jetez simplement les ballons devant lui, il panique. Pourquoi ? Parce que dans les photos, les pixels sont disposés en rangées et colonnes nettes. Dans l'espace 3D, les points sont dispersés de manière aléatoire, certains sont proches, d'autres éloignés, et la « taille » de la pièce change selon que l'on regarde un jouet ou un gratte-ciel.

L'article soutient que tenter de réentraîner tout l'étudiant (le modèle d'IA) pour qu'il comprenne la 3D revient à forcer un humain à réapprendre à voir depuis le début. C'est un travail colossal qui nécessite des millions d'exemples 3D étiquetés, qui sont rares et coûteux à créer. Les auteurs posent la question : Pouvons-nous simplement donner à l'étudiant des lunettes spéciales qui traduisent les ballons flottants en quelque chose qui ressemble à une photo ?

La Solution : UTok3D, l'« Adaptateur Universel »

L'équipe propose UTok3D, un « tokenizer » léger. Dans le monde de l'IA, un « tokenizer » est comme un traducteur qui décompose une phrase en mots. Ici, il décompose un nuage de points 3D en « tokens » (morceaux d'information) que le cerveau 2D gelé peut lire.

Voici la recette magique : la Normalisation d'Échelle (Scale Normalization).
Imaginez que vous avez un modèle de voiture miniature et une vraie voiture. Si vous montrez les deux au robot sans ajuster la taille, le robot est confus. Les roues de la voiture miniature paraissent énormes par rapport aux roues de la vraie voiture si vous ne tenez pas compte de la distance. UTok3D agit comme une règle intelligente. Il observe les points 3D, estime l'« échelle » de l'objet (la taille des écarts entre les points), puis réduit ou étire les données afin que tout s'insère dans une « unité » standard que le robot comprend.

Une fois les données correctement mises à l'échelle, le tokenizer fait deux autres choses :

Voxelisation : Il regroupe les points flottants en petits cubes 3D (comme des pixels, mais en 3D).
Ordonnancement de Hilbert (Hilbert Ordering) : Il organise ces cubes selon un chemin spécifique et sinueux (comme un serpent) afin que les points proches dans l'espace soient aussi proches dans la liste. Cela est crucial car le cerveau du robot attend que les choses soient dans un ordre spécifique, tout comme on lit un livre de gauche à droite.

Comment il apprend sans professeur

Habituellement, pour enseigner à une IA, il faut un professeur avec un corrigé (données étiquetées). Mais les étiquettes 3D sont difficiles à obtenir. Ainsi, les auteurs ont utilisé une astuce appelée Distillation Croisée-Modale (Cross-Modal Distillation).
Imaginez que le robot apprenne à reconnaître une chaise. Au lieu de lui montrer une chaise en 3D avec une étiquette, ils lui montrent une chaise en 3D et un ensemble de photos 2D de chaises prises sous différents angles. Le « cerveau 2D » du robot (qui est gelé et sait déjà ce qu'est une chaise) regarde les photos et dit : « C'est une chaise ! ». L'adaptateur UTok3D tente alors de faire en sorte que les données 3D ressemblent à ces photos 2D dans l'esprit du robot. C'est comme un étudiant essayant de deviner ce que pense un professeur en observant sa réaction à une image, sans jamais recevoir la réponse directement.

Pour rendre cela encore plus efficace, ils ont introduit une méthode appelée Distillation contrastive de rang Sinkhorn (Sinkhorn Ranked Contrastive distillation). C'est une façon sophistiquée de dire : « Ne vous contentez pas de faire correspondre les points 3D aux photos 2D ; faites correspondre la structure de l'ensemble de la scène ». Cela aide le robot à comprendre qu'une chaise possède un siège, des pieds et un dossier, même si les points 3D sont désordonnés ou si les photos sont floues.

Ce qu'ils ont trouvé

L'équipe a testé UTok3D sur cinq jeux de données différents, allant de petites formes d'objets (comme un sac ou une guitare) à de vastes pièces intérieures et de grandes rues extérieures scannées par laser.

Cela fonctionne sans étiquettes : Ils ont entraîné le système sur des données qui n'avaient aucune étiquette.
Cela fonctionne partout : Qu'il s'agisse d'un minuscule avion miniature ou d'un immense scan de rue en extérieur, le même « adaptateur » a fonctionné.
C'est efficace : L'adaptateur ne possède qu'environ 3,39 millions de paramètres entraînables. Comparez cela à d'autres méthodes qui pourraient nécessiter le réentraînement de tout le cerveau massif (qui peut posséder des centaines de millions de paramètres).
Les résultats : Sur le jeu de données ShapeNetPart (objets), ils ont atteint une précision de 59,3 % pour identifier les parties d'objets. Sur les scènes intérieures (ScanNetV2), ils ont obtenu une précision de 59,2 %. Ces chiffres sont compétitifs avec des modèles beaucoup plus lourds et entièrement entraînés, mais sans l'effort colossal.

Ce à quoi ils s'opposent

L'article s'oppose explicitement à l'idée que nous devons construire un nouveau cerveau 3D spécialisé pour chaque tâche. Ils démontrent que le réglage fin (fine-tuning) complet d'un modèle pour chaque nouveau jeu de données est une perte de ressources et que les modèles 2D « fixes » existants sont en réalité suffisamment puissants si nous leur donnons la bonne interface. Ils s'opposent également à l'utilisation de grilles de taille fixe et simple pour les données 3D, montrant que sans leur « normalisation d'échelle », le système échoue lors du passage de petits objets à de grandes scènes.

L'essentiel à retenir

Les auteurs suggèrent que nous n'avons pas besoin de réinventer la roue pour l'IA 3D. En construissant un traducteur intelligent sensible à l'échelle (UTok3D), nous pouvons prendre les cerveaux pré-entraînés et puissants qui comprennent déjà les images 2D et les utiliser pour comprendre le monde en 3D. C'est une manière plus légère, plus rapide et plus flexible d'apprendre aux robots à comprendre notre monde physique, suggérant que l'avenir de la compréhension 3D pourrait simplement être une question de trouver le bon adaptateur.

Résumé Technique : Adaptation de CLIP par efficacité de paramètres pour la compréhension 3D via une tokenisation unifiée

1. Énoncé du problème

Les modèles vision-langage (VLM) tels que CLIP possèdent une riche connaissance sémantique dérivée d'un pré-entraînement image-texte à grande échelle, ce qui les rend attractifs pour la compréhension de nuages de points 3D où les paires 3D-texte et les annotations denses sont rares. Cependant, le transfert direct de CLIP vers des données 3D n'est pas trivial en raison de différences fondamentales : CLIP est entraîné sur des patchs d'images 2D ordonnés et réguliers, tandis que les nuages de points sont non ordonnés, épars, irréguliers et varient considérablement en échelle spatiale, en densité et en modalité de détection.

Les solutions existantes font face à deux limitations principales :

Le réglage fin complet (Full Fine-tuning) : L'adaptation de backbones 2D pour des tâches 3D spécifiques nécessite une charge substantielle en paramètres, mémoire et calcul.
Une tokenisation incohérente : Les stratégies de tokenisation 3D standard (ex: k-NN, requêtes de balles à rayon fixe ou grilles de voxels à résolution fixe) lient souvent la géométrie des tokens à des échelles spécifiques au jeu de données. Un token représentant une petite partie d'un objet dans un domaine peut correspondre à une large région de scène dans un autre, empêchant un entraînement unifié à travers des domaines 3D hétérogènes (ex: formes d'objets, scènes intérieures et LiDAR extérieur).

Le défi central consiste à construire un cadre efficace en paramètres qui comble le fossé modal 2D-3D avec une interface de tokens à échelle cohérente, permettant à un encodeur visuel CLIP gelé de traiter des données 3D diverses sans backbones 3D spécialisés ou annotations étendues.

2. Méthodologie : UTok3D

Les auteurs proposent UTok3D, un cadre efficace en paramètres qui adapte un transformer visuel CLIP gelé aux nuages de points via un tokenizer 3D léger et normalisé par l'échelle. Le cadre fonctionne en trois étapes principales :

A. Tokenisation 3D normalisée par l'échelle
Le tokenizer, noté $T_{3D}$ , convertit un nuage de points d'entrée $P$ en une séquence de tokens structurée compatible avec CLIP.

Estimation de l'échelle adaptative à l'entrée : Au lieu d'utiliser des tailles de voxels fixes, UTok3D estime une échelle géométrique $\delta$ adaptative basée sur la distribution naturelle des points. Les points sont triés via un ordonnancement Hilbert, divisés en blocs, et la distance médiane entre les représentants des blocs est utilisée pour définir $\delta$ .
Voxelisation normalisée par l'échelle : L'échelle estimée $\delta$ calibre la voxelisation parcimonieuse, la normalisation des coordonnées et le calcul du centre des tokens. Les points sont normalisés par rapport au centroïde et à l'échelle $\delta$ (en utilisant un facteur global $\alpha$ ), garantissant que les tokens de différents domaines (ex: une voiture vs une pièce) partagent un support géométrique comparable.
Sérialisation Hilbert : Pour satisfaire l'exigence de CLIP pour des séquences ordonnées, les tokens 3D épars résultants sont sérialisés en utilisant un ordonnancement Hilbert basé sur leurs centres normalisés. Cela préserve la localité et fournit une séquence déterministe pour le transformer gelé.
Codage positionnel : Des plongements de position de centre sont ajoutés aux tokens sérialisés avant de les injecter dans l'encodeur visuel CLIP gelé.

B. Distillation transmodale sans annotation
Le tokenizer est entraîné sans annotations sémantiques 3D en distillant la connaissance à partir d'images multi-vues des nuages de points.

Génération de l'enseignant (Teacher) : Des images multi-vues sont rendues ou projetées à partir du nuage de points et traitées par un modèle de fondation 2D gelé (ex: NACLIP). Les caractéristiques sont projetées en retour dans l'espace 3D et regroupées au sein de superpoints pour créer des représentations d'enseignants robustes.
Alignement Étudiant-Enseignant : Les caractéristiques de l'étudiant (produites par le tokenizer 3D et le CLIP gelé) sont alignées avec les caractéristiques de l'enseignant via une perte de distillation de superpoint local (distance cosinus).
Distillation de classement de Sinkhorn (SRC) : Pour capturer une structure sémantique plus large et gérer les distributions à longue traîne, les auteurs introduisent un objectif SRC. Cela implique :
- Construction du codebook : Un codebook de prototypes sémantiques est construit à l'aide d'un échantillonnage QR à pivot résiduel à partir des caractéristiques de l'enseignant.
- Prior de sensibilisation à la longue traîne : Un prior de fréquence de prototype est calculé pour supprimer les prototypes fréquents et équilibrer la distribution.
- Transport Optimal : Les assignations de l'enseignant aux prototypes sont calculées via le transport optimal de Sinkhorn.
- Troncation classée : Seules les $R$ meilleures assignations de prototypes à haute confiance sont conservées pour former la distribution cible, réduisant ainsi le bruit provenant des correspondances de faible confiance.

C. Prédiction dense
Lors de l'inférence, les caractéristiques des tokens sont agrégées en représentations de niveau superpoint. Elles sont mises en correspondance avec les plongements textuels de CLIP via la similitude cosinus pour produire des logits de segmentation en vocabulaire ouvert. Les prédictions sont propagées vers les points individuels, permettant une segmentation dense sans têtes de prédiction spécifiques à la tâche ou réglage fin en aval.

3. Contributions clés

Tokenisation unifiée normalisée par l'échelle : L'article introduit un tokenizer qui estime une échelle géométrique adaptative à l'entrée, permettant une géométrie de token cohérente à travers des domaines 3D hétérogènes (objets, scènes intérieures, LiDAR extérieur). Cela permet un entraînement conjoint sur des données non étiquetées provenant de sources diverses.
Adaptation efficace en paramètres : Le cadre gèle l'intégralité du backbone visuel et de l'encodeur de texte de CLIP, n'apprenant qu'un tokenizer 3D compact et une interface de position (3,39 M de paramètres entraînables). Cela évite la surcharge de l'entraînement de backbones 3D spécialisés.
Entraînement sans annotation via SRC : Une nouvelle stratégie d'entraînement est proposée qui combine l'alignement local de superpoints et la distillation de classement de Sinkhorn. Cela exploite les caractéristiques de fondation multi-vues pour entraîner le tokenizer sans étiquettes 3D, gérant efficacement les distributions à longue traîne et les signaux d'enseignants bruités.
Sérialisation basée sur Hilbert : L'utilisation de l'ordonnancement Hilbert pour sérialiser les tokens 3D garantit la préservation de la localité, rendant les données 3D irrégulières compatibles avec les biais spatiaux du transformer 2D pré-entraîné.

4. Résultats expérimentaux

Le cadre a été évalué sur cinq benchmarks : ShapeNetPart (niveau objet), ScanNetV2 et S3DIS (scènes intérieures), et SemanticKITTI et nuScenes (LiDAR extérieur).

Segmentation de parties (ShapeNetPart) : Dans un cadre zero-shot sans tête spécifique, UTok3D a atteint 59,3 % mIoU, surpassant la baseline reproduite PointCLIPv2 (51,8 %) de +7,5 points et GeoZe de +1,9 points. Il a dépassé PartDistill (qui entraîne un backbone 3D) de +5,5 points tout en gardant CLIP gelé.
Segmentation sémantique intérieure : Sur ScanNetV2, UTok3D a atteint 59,2 % mIoU et 72,4 % mAcc, surpassant les méthodes de projection multi-vues (OpenScene, GeoZe) et les méthodes de distillation (CLIP-FO3D) qui reposent sur des backbones 3D entraînables. Sur S3DIS Area 5, il a obtenu 49,7 % mIoU.
Segmentation LiDAR extérieure : Sur nuScenes et SemanticKITTI, UTok3D a atteint respectivement 49,1 % mIoU et 34,3 % mIoU. Ces résultats sont compétitifs avec les récentes méthodes de distillation de backbone 3D, démontant un transfert efficace vers les données LiDAR de grande échelle et éparses.
Généralisation inter-jeux de données : Les expériences de transfert zero-shot (ex: ScanNetV2 $\to$ S3DIS) ont montré que le tokenizer normalisé par l'échelle surpasse significativement les baselines de voxel non normalisées, confirmant sa capacité à généraliser à travers des domaines ayant des échelles métriques différentes.
Études d'ablation :
- La normalisation par l'échelle a amélioré les performances sur tous les tokenizers et jeux de données, avec les gains les plus importants sur le LiDAR extérieur.
- La combinaison de la distillation de superpoint et de la distillation SRC a produit les meilleurs résultats, validant la nécessité d'un alignement local et d'une supervision structurelle globale.
- La construction de codebook par pivot résiduel et la sérialisation Hilbert ont été identifiées comme des composants critiques pour la performance.

5. Signification et affirmations

L'article affirme que UTok3D démontre qu'un modèle de fondation visuelle 2D gelé peut être efficacement réutilisé pour la prédiction sémantique 3D dense lorsqu'il est équipé d'une interface de token normalisée par l'échelle.

Efficacité : En concentrant la capacité entraînable dans un tokenizer léger (3,39 M de paramètres) plutôt que dans un backbone 3D complet, la méthode offre une voie hautement efficace en paramètres vers la compréhension 3D.
Entraînement unifié : La conception normalisée par l'échelle permet un entraînement conjoint sur des données 3D hétérogènes et non étiquetées (objets, intérieur, extérieur) sans adaptation spécifique au jeu de données, répondant ainsi à la rareté des annotations 3D.
Capacité sans annotation : Le cadre atteint de solides performances de segmentation sans utiliser d'étiquettes sémantiques 3D pendant l'entraînement, en s'appuyant plutôt sur la distillation transmodale à partir d'images multi-vues.

Les auteurs positionnent ce travail comme une étape vers une compréhension 3D unifiée qui exploite les riches a priori des modèles de fondation sans le coût computationnel de l'entraînement de architectures 3D spécialisées à partir de zéro ou de leur réglage fin complet pour chaque nouveau domaine.