Technische Samenvatting: Mantis - Mamba-native Tuning voor 3D Point Cloud Foundation Models

1. Probleemstelling

Vooraf getrainde 3D Point Cloud Foundation Models (PFMs) hebben sterke overdraagbaarheid over downstream-taken aangetoond. Echter, volledige fine-tuning van deze modellen is rekenkundig duur en opslagintensief. Hoewel Parameter-Efficient Fine-Tuning (PEFT)-methodes een oplossing bieden, zijn bestaande benaderingen (bijvoorbeeld Instance-aware Dynamic Prompt Tuning, Adapters) voornamelijk ontworpen voor Transformer-gebaseerde backbones.

De auteurs identificeren een fundamenteel granulariteitsverschil bij het toepassen van deze Transformer-native PEFT-methodes op Mamba-gebaseerde backbones (State Space Models):

1. Token-niveau versus State-niveau: Transformer PEFT werkt op token-niveau prompts of feature-transformaties. Daarentegen vertrouwt Mamba op state-niveau sequentiedynamiek en recurrente verborgen-state propagatie. Het direct overdragen van token-niveau adaptatie naar bevroren Mamba-backbones leidt tot aanzienlijke degradatie van de nauwkeurigheid en instabiele optimalisatie.
2. Sensitiviteit voor Serialisatie: Mamba-modellen verwerken point clouds als sequentiële invoer. De propagatie van de verborgen state is inherent gevoelig voor de specifieke volgorde van doorloop (serialisatie) van de punten. Bestaande PEFT-modules missen vaak mechanismen om met deze volgorde-gevoeligheid om te gaan, wat leidt tot inconsistente representaties en onstabiele voorspellingen wanneer de backbone bevroren is.

2. Methodologie: Mantis

Het artikel stelt Mantis voor, het eerste Mamba-native PEFT-framework dat specifiek is ontworpen voor 3D point cloud-analyse. Het bestaat uit twee complementaire componenten:

A. State-Aware Adapter (SAA)

Om het granulariteitsverschil aan te pakken, injecteert SAA lichtgewicht, taak-geconditioneerde controlesignalen direct in de state-space updates van de Mamba-backbone, in plaats van tokens of features te wijzigen.

• Mechanisme: SAA moduleert de state-transition operatoren ($A_t, B_t, C_t, \Delta_t$) van de selectieve SSM. Het neemt de huidige token, de vorige verborgen state en een orde-bewuste representatie als invoer.
• Generatie van Controlesignaal: Het controlesignaal wordt gegenereerd via een proximaal optimalisatieprobleem, wat resulteert in een spaarzaam, zacht-gedrempeld signaal. Dit zorgt ervoor dat de adaptatie low-rank en stabiel is.
• Operatormodulatie: Het spaarzame controlesignaal wordt gebruikt om de continue-tijd operatoren te verstoren via low-rank matrices ($U, V$), die vervolgens worden gediscretiseerd (via Zero-Order Hold) om het discrete-tijd systeem bij te werken. Dit stelt de bevroren backbone in staat om zijn state-evolutie dynamisch aan te passen zonder de vooraf getrainde gewichten direct te wijzigen.

B. Dual-Serialization Consistency Distillation (DSCD)

Om de sensitiviteit voor serialisatie van Mamba aan te pakken, dwingt DSCD consistentie af over twee geldige serialisaties van dezelfde point cloud.

• Dual-Order Pipeline: De invoer point cloud wordt geserialiseerd langs twee complementaire ruimte-vullende krommen (bijvoorbeeld Hilbert-kromme en zijn getransponeerde variant) om twee distincte sequenties te produceren.
• Consistentieverlies: Tijdens training aligneert DSCD de feature-representaties en predictieve distributies van deze twee takken.
  • Feature Consistentie ($L_{feat}$): Minimaliseert de afstand tussen genormaliseerde globale embeddings van de twee takken.
  • Predictie Consistentie ($L_{pred}$): Minimaliseert de KL-divergentie tussen de verzachte predictieve distributies van de twee takken.
• Doel: Deze regularisatie stabiliseert downstream-optimalisatie door ervoor te zorgen dat het model representaties leert die robuust zijn voor de specifieke doorloopvolgorde, waardoor vooraf getrainde geometrische priors behouden blijven.

3. Belangrijkste Bijdragen

1. Identificatie van de Kloof: De auteurs onthullen de fundamentele incompatibiliteit tussen Transformer-native PEFT-methodes en Mamba-gebaseerde backbones, en schrijven prestatieverlies toe aan granulariteitsverschillen en sensitiviteit voor serialisatie.
2. Mantis Framework: Het voorstellen van het eerste Mamba-native PEFT-framework, met de volgende kenmerken:
   • SAA: Een state-niveau adapter die selectieve SSM-operatoren moduleert via spaarzame, input-afhankelijke controlesignalen.
   • DSCD: Een consistentie-distillatiemechanisme dat instabiliteit over serialisaties regulariseert.
3. Theoretische Analyse: Het artikel biedt theoretische grenzen voor de afwijking van de verborgen state veroorzaakt door SAA, en toont aan dat de adaptatie gecontroleerd en stabiel blijft door spaarzame low-rank verstoringen.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat Mantis volledige fine-tuning en bestaande PEFT-methodes overtreft terwijl het aanzienlijk minder parameters gebruikt.

4. Experimentele Resultaten

De auteurs hebben Mantis geëvalueerd op drie vooraf getrainde Mamba-backbones (PointMamba, Mamba3D, ZigzagPointMamba) over meerdere benchmarks:

• Objectclassificatie (ScanObjectNN & ModelNet40):
  • Op de uitdagende ScanObjectNN PB_T50_RS split overtrof Mantis (met slechts ~5% trainbare parameters) baselines voor volledige fine-tuning. Bijvoorbeeld, op Mamba3D behaalde Mantis 93,48% nauwkeurigheid vergeleken met 92,05% voor volledige fine-tuning, met slechts 0,8M parameters versus 16,9M.
  • Mantis presteerde consequent beter dan directe overdrachten van bestaande PEFT-methodes (zoals IDPT, PMA, LoRA), die aanzienlijke prestatiedegradatie leden op Mamba-backbones.
• Partsegmentatie (ShapeNetPart):
  • Mantis behaalde concurrerende instance-level mIoU en opmerkelijke verbeteringen in class-level mIoU vergeleken met volledige fine-tuning, wat de effectiviteit aantoont in het modelleren van fijne geometrische structuren.
• Few-Shot Learning:
  • In few-shot experimenten op ModelNet40 behaalde Mantis de beste of tweede beste nauwkeurigheid over verschillende $N$-way $M$-shot configuraties.
• Efficiëntie:
  • Mantis behoudt het lineaire-complexiteitsmodelleringsparadigma van Mamba. Het bereikt een superieure afweging tussen trainbare parameters en FLOPs vergeleken met volledige fine-tuning en andere PEFT-benaderingen.
  • Analyse van trainingsstabiliteit toont aan dat Mantis soepel convergeert, terwijl directe overdrachten van token-niveau prompts (bijvoorbeeld IDPT) onstabiele trainingsdynamiek vertonen.

5. Betekenis en Claims

Het artikel beweert dat Mantis een noodzakelijke evolutie is voor het aanpassen van 3D foundation-modellen naarmate het veld verschuift van Transformers naar State Space Models (Mamba).

• Noodzaak van Native Ontwerp: De auteurs betogen dat het simpelweg hergebruiken van Mamba-modules als externe adapters (zoals gedaan in sommige eerdere werken zoals PMA) of het toepassen van Transformer-stijl PEFT op Mamba-backbones onvoldoende is. Ware efficiëntie vereist adaptatiemechanismen die aansluiten bij de state-niveau dynamiek van Mamba.
• Robuustheid: Het framework is bijzonder effectief in ruige, real-world scenario's (bijvoorbeeld ScanObjectNN PB_T50_RS) waar instabiliteit veroorzaakt door serialisatie het meest uitgesproken is.
• Toekomstige Baseline: De auteurs positioneren Mantis als een baseline en een bron van inzichten voor toekomstig onderzoek naar Mamba-native PEFT, met de nadruk dat state-niveau adaptatie cruciaal is om het potentieel van bevroren Mamba-backbones te ontsluiten.

Het werk concludeert dat door de specifieke architecturale beperkingen van Mamba (state-dynamiek en sensitiviteit voor serialisatie) aan te pakken, Mantis efficiënte, hoogpresterende adaptatie van 3D PFMs mogelijk maakt met minimale rekenkundige overhead.