💻 computer science

Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models

L'article propose Mantis, le premier cadre d'affinement efficace en paramètres natif de Mamba pour les modèles de base de nuages de points 3D, qui utilise un adaptateur sensible à l'état et une distillation de cohérence à double sérialisation pour atteindre des performances compétitives avec seulement 5 % de paramètres entraînables tout en surmontant les limitations des méthodes PEFT existantes basées sur Transformer sur les architectures Mamba.

Auteurs originaux : Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Le Problème du « Cerveau 3D »

Imaginez que vous possédez un Cerveau 3D (un modèle informatique) brillant et hautement entraîné, qui a étudié des millions d'objets 3D : chaises, avions, voitures et bâtiments. Ce cerveau est incroyable pour comprendre les formes. Cependant, lui enseigner une nouvelle tâche spécifique (comme identifier un type particulier de chaise dans une pièce en désordre) nécessite généralement un travail colossal.

Traditionnellement, pour enseigner une nouvelle astuce à ce cerveau, il fallait reconfigurer l'ensemble du cerveau. C'est comme démonter un gigantesque superordinateur juste pour changer une ampoule. Cela prend une éternité, coûte une fortune en électricité (puissance de calcul) et nécessite un immense espace de stockage.

Pour résoudre ce problème, les scientifiques ont inventé le « Fine-Tuning Efficace en Paramètres » (PEFT). Imaginez cela comme ajouter un petit casque intelligent au cerveau au lieu de le reconfigurer. Vous gardez le cerveau figé (intouché) et vous n'entraînez que le casque. C'est peu coûteux et rapide.

Le Problème :
La plupart des « casques » existants ont été conçus pour une architecture de cerveau spécifique appelée Transformer. Mais un nouveau type d'architecture de cerveau, plus rapide, appelé Mamba, a émergé. Mamba est comme un train à grande vitesse qui traite les informations dans un ordre spécifique et séquentiel.

Si vous essayez de mettre un « casque de style Transformer » sur un « cerveau Mamba », cela ne correspond pas. C'est comme essayer de conduire une voiture de Formule 1 avec un siège de vélo. Les résultats sont terribles : la voiture (Mamba) se confond, le trajet est cahoteux (instable) et elle fait un accident (la précision chute).

La Solution : Rencontre avec « Mantis »

Les auteurs ont créé Mantis, le premier casque spécifiquement conçu pour s'adapter au cerveau Mamba. Ils ont réalisé que Mamba ne regarde pas seulement des « tokens » individuels (comme des mots ou des points) un par un ; il maintient un état caché (une mémoire en cours d'évolution) qui se transforme au fur et à mesure qu'il parcourt les données.

Mantis possède deux super-pouvoirs principaux :

1. L'Adaptateur Sensible à l'État (SAA) : Le « Chef d'Orchestre »

L'Analogie : Imaginez que le cerveau Mamba est un orchestre jouant un morceau de musique. La musique s'écoule dans une séquence spécifique. Les anciens casques tentaient de changer la musique en criant des instructions à des musiciens individuels (tokens). Mais Mamba est un chef d'orchestre qui gère le flux de l'ensemble de l'orchestre.
Ce que fait Mantis : Au lieu de crier sur des musiciens individuels, Mantis place une baguette de chef d'orchestre (le SAA) entre les mains de l'orchestre. Cette baguette pousse doucement le flux de la musique (l'évolution de l'état) en fonction de la tâche spécifique.
Le Résultat : Cela permet au cerveau figé d'adapter son « flux de mémoire » interne à de nouvelles tâches sans briser la séquence délicate et rapide pour laquelle il a été construit.

2. Distillation de Cohérence à Double Sérialisation (DSCD) : Le « Contrôle à Deux Perspectives »

L'Analogie : Imaginez que vous regardez une sculpture. Si vous vous promenez autour d'elle dans le sens des aiguilles d'une montre, vous voyez les caractéristiques dans un ordre. Si vous vous promenez dans le sens inverse, vous les voyez dans un ordre différent. Un cerveau Mamba est sensible à cet ordre ; il pourrait se confondre si vous changez le chemin que vous prenez autour de l'objet.
Le Problème : Comme les points 3D n'ont pas de « début » ou de « fin » naturel, l'ordinateur doit inventer un ordre pour les traiter. S'il choisit un ordre aléatoire, le cerveau peut devenir nerveux et instable.
Ce que fait Mantis : Mantis force le cerveau à regarder l'objet de deux manières différentes (deux chemins différents autour de la sculpture) en même temps. Il agit ensuite comme un professeur strict, disant : « Hé, même si tu l'as regardé sous deux angles différents, ta compréhension de l'objet doit être la même. »
Le Résultat : Cela stabilise le cerveau, le rendant robuste même lorsque les données sont en désordre ou que l'ordre des points est étrange.

Les Résultats : Petits Changements, Grandes Victoires

Le papier a testé Mantis sur plusieurs jeux de données 3D difficiles (comme ScanObjectNN et ModelNet40).

Efficacité : Mantis n'a eu besoin d'entraîner qu'environ 5 % des paramètres. C'est comme régler une radio avec seulement quelques boutons au lieu de reconstruire tout le circuit.
Performance : Étonnamment, Mantis n'a pas seulement égalé la performance de la méthode coûteuse « reconfigurer tout le cerveau » ; dans de nombreux cas, il l'a surpassée.
Stabilité : Alors que d'autres méthodes luttaient pour converger (restant bloquées ou fluctuant sauvagement), Mantis s'est entraîné de manière fluide et rapide.

Résumé

Mantis est un outil spécialisé qui nous permet d'enseigner efficacement de nouvelles tâches aux nouveaux et rapides modèles 3D Mamba sans les briser. Il y parvient en :

Poussant le flux de la mémoire interne du modèle (SAA) au lieu de simplement piquer des points de données individuels.
Imposant la cohérence en vérifiant la compréhension du modèle sous plusieurs « angles de vue » (DSCD).

Le résultat est un système incroyablement rapide, peu coûteux à entraîner et étonnamment précis, résolvant le problème de l'adaptation de ces nouveaux modèles puissants à des tâches 3D réelles.

Résumé Technique : Mantis - Ajustement Natif Mamba pour les Modèles Fondamentaux de Nuages de Points 3D

1. Énoncé du Problème

Les Modèles Fondamentaux de Nuages de Points 3D (PFM) pré-entraînés ont démontré une forte transférabilité à travers des tâches en aval. Cependant, l'affinement complet (fine-tuning) de ces modèles est coûteux en calcul et gourmand en stockage. Bien que les méthodes d'Ajustement Fin Économe en Paramètres (PEFT) offrent une solution, les approches existantes (par exemple, Ajustement de Prompt Dynamique Conscient de l'Instance, Adaptateurs) sont principalement conçues pour des architectures de base (backbones) basées sur Transformer.

Les auteurs identifient un décalage de granularité fondamental lors de l'application de ces méthodes PEFT natives Transformer aux architectures de base basées sur Mamba (Modèles d'Espace d'État) :

Niveau Token vs Niveau État : Le PEFT Transformer opère sur des prompts au niveau token ou des transformations de caractéristiques. En revanche, Mamba repose sur la dynamique de séquence au niveau état et la propagation récursive des états cachés. Le transfert direct d'une adaptation au niveau token vers des architectures Mamba figées entraîne une dégradation substantielle de la précision et une optimisation instable.
Sensibilité à la Sérialisation : Les modèles Mamba traitent les nuages de points comme des entrées séquentielles. La propagation de l'état caché est intrinsèquement sensible à l'ordre de traversal spécifique (série) des points. Les modules PEFT existants manquent souvent de mécanismes pour gérer cette sensibilité à l'ordre, conduisant à des représentations incohérentes et des prédictions instables lorsque l'architecture de base est figée.

2. Méthodologie : Mantis

L'article propose Mantis, le premier cadre PEFT natif Mamba conçu spécifiquement pour l'analyse de nuages de points 3D. Il se compose de deux composants complémentaires :

A. Adaptateur Conscient de l'État (SAA)

Pour remédier au décalage de granularité, le SAA injecte des signaux de contrôle légers et conditionnés par la tâche directement dans les mises à jour de l'espace d'état de l'architecture Mamba, plutôt que de modifier les tokens ou les caractéristiques.

Mécanisme : Le SAA module les opérateurs de transition d'état ( $A_t, B_t, C_t, \Delta_t$ ) du SSM sélectif. Il prend en entrée le token courant, l'état caché précédent et une représentation consciente de l'ordre.
Génération du Signal de Contrôle : Le signal de contrôle est généré via un problème d'optimisation proximale, produisant un signal parcimonieux et à seuil doux. Cela garantit que l'adaptation est de faible rang et stable.
Modulation des Opérateurs : Le signal de contrôle parcimonieux est utilisé pour perturber les opérateurs en temps continu via des matrices de faible rang ( $U, V$ ), qui sont ensuite discrétisées (via la Maintien d'Ordre Zéro) pour mettre à jour le système en temps discret. Cela permet à l'architecture de base figée d'adapter sa dynamique d'évolution d'état de manière dynamique sans altérer directement les poids pré-entraînés.

B. Distillation de Cohérence à Double Sérialisation (DSCD)

Pour remédier à la sensibilité à la sérialisation de Mamba, le DSCD impose une cohérence à travers deux sérialisations valides d'un même nuage de points.

Pipeline à Double Ordre : Le nuage de points d'entrée est sérialisé le long de deux courbes de remplissage d'espace complémentaires (par exemple, courbe de Hilbert et sa variante transposée) pour produire deux séquences distinctes.
Perte de Cohérence : Pendant l'entraînement, le DSCD aligne les représentations de caractéristiques et les distributions prédictives de ces deux branches.
- Cohérence des Caractéristiques ( $L_{feat}$ ) : Minimise la distance entre les embeddings globaux normalisés des deux branches.
- Cohérence des Prédictions ( $L_{pred}$ ) : Minimise la divergence KL entre les distributions prédictives adoucies des deux branches.
Objectif : Cette régularisation stabilise l'optimisation en aval en garantissant que le modèle apprend des représentations robustes à l'ordre de traversal spécifique, préservant ainsi les priors géométriques pré-entraînés.

3. Contributions Clés

Identification de l'Écart : Les auteurs révèlent l'incompatibilité fondamentale entre les méthodes PEFT natives Transformer et les architectures de base basées sur Mamba, attribuant les baisses de performance aux décalages de granularité et à la sensibilité à la sérialisation.
Cadre Mantis : La proposition du premier cadre PEFT natif Mamba, comprenant :
- SAA : Un adaptateur au niveau état qui module les opérateurs SSM sélectifs via des signaux de contrôle parcimonieux et dépendants de l'entrée.
- DSCD : Un mécanisme de distillation de cohérence qui régularise l'instabilité inter-sérialisation.
Analyse Théorique : L'article fournit des bornes théoriques sur la déviation de l'état caché induite par le SAA, démontrant que l'adaptation reste contrôlée et stable grâce à des perturbations parcimonieuses de faible rang.
Validation Empirique : Des expériences extensives montrant que Mantis surpasse l'affinement complet et les méthodes PEFT existantes tout en utilisant significativement moins de paramètres.

4. Résultats Expérimentaux

Les auteurs ont évalué Mantis sur trois architectures de base Mamba pré-entraînées (PointMamba, Mamba3D, ZigzagPointMamba) à travers plusieurs benchmarks :

Classification d'Objets (ScanObjectNN & ModelNet40) :
- Sur la division difficile ScanObjectNN PB_T50_RS, Mantis (avec seulement ~5 % de paramètres entraînables) a surpassé les bases de référence d'affinement complet. Par exemple, sur Mamba3D, Mantis a atteint une précision de 93,48 % contre 92,05 % pour l'affinement complet, en utilisant seulement 0,8 M de paramètres contre 16,9 M.
- Mantis a constamment surpassé les transferts directs de méthodes PEFT existantes (comme IDPT, PMA, LoRA), qui ont subi une dégradation significative des performances sur les architectures de base Mamba.
Segmentation de Parties (ShapeNetPart) :
- Mantis a atteint une mIoU au niveau instance compétitive et des améliorations notables en mIoU au niveau classe par rapport à l'affinement complet, démontrant son efficacité dans la modélisation de structures géométriques fines.
Apprentissage Few-Shot :
- Dans les expériences few-shot sur ModelNet40, Mantis a atteint la meilleure ou la deuxième meilleure précision à travers diverses configurations $N$ -way $M$ -shot.
Efficacité :
- Mantis maintient le paradigme de modélisation à complexité linéaire de Mamba. Il réalise un compromis supérieur entre les paramètres entraînables et les FLOPs par rapport à l'affinement complet et aux autres approches PEFT.
- L'analyse de la stabilité de l'entraînement montre que Mantis converge de manière fluide, tandis que les transferts directs de prompts au niveau token (par exemple, IDPT) présentent des dynamiques d'entraînement instables.

5. Signification et Revendications

L'article revendique que Mantis est une évolution nécessaire pour l'adaptation des modèles fondamentaux 3D alors que le domaine passe des Transformers aux Modèles d'Espace d'État (Mamba).

Nécessité d'une Conception Native : Les auteurs soutiennent que réutiliser simplement des modules Mamba comme adaptateurs externes (comme le font certaines travaux antérieurs comme PMA) ou appliquer un PEFT de style Transformer aux architectures de base Mamba est insuffisant. Une véritable efficacité nécessite des mécanismes d'adaptation alignés sur la dynamique au niveau état de Mamba.
Robustesse : Le cadre est particulièrement efficace dans des scénarios réels bruyants (par exemple, ScanObjectNN PB_T50_RS) où l'instabilité induite par la sérialisation est la plus prononcée.
Référence Future : Les auteurs positionnent Mantis comme une référence et une source d'insight pour les recherches futures sur le PEFT natif Mamba, soulignant que l'adaptation au niveau état est cruciale pour débloquer le potentiel des architectures de base Mamba figées.

L'ouvrage conclut qu'en adressant les contraintes architecturales spécifiques de Mamba (dynamique d'état et sensibilité à la sérialisation), Mantis permet une adaptation efficace et haute performance des PFM 3D avec une surcharge computationnelle minimale.