Riepilogo Tecnico: Mantis - Ottimizzazione Nativa per Mamba di Modelli Fondamentali su Nuvole di Punti 3D

1. Enunciato del Problema

I Modelli Fondamentali su Nuvole di Punti 3D (PFM) pre-addestrati hanno dimostrato una forte trasferibilità su compiti downstream. Tuttavia, il fine-tuning completo di questi modelli è computazionalmente costoso e richiede elevate risorse di archiviazione. Sebbene i metodi di Ottimizzazione Efficiente dei Parametri (PEFT) offrano una soluzione, gli approcci esistenti (ad es. Instance-aware Dynamic Prompt Tuning, Adapters) sono progettati principalmente per backbones basati su Transformer.

Gli autori identificano un fondamentale mismatch di granularità nell'applicazione di questi metodi PEFT nativi per Transformer ai backbones basati su Mamba (Modelli a Spazio di Stato):

1. Livello Token vs. Livello Stato: Il PEFT basato su Transformer opera su prompt a livello di token o trasformazioni delle feature. Al contrario, Mamba si basa su dinamiche sequenziali a livello di stato e propagazione ricorrente degli stati nascosti. Il trasferimento diretto di adattamenti a livello di token su backbones Mamba congelati porta a un significativo degrado dell'accuratezza e a un'ottimizzazione instabile.
2. Sensibilità alla Serializzazione: I modelli Mamba elaborano le nuvole di punti come input sequenziali. La propagazione dello stato nascosto è intrinsecamente sensibile all'ordine specifico di attraversamento (serializzazione) dei punti. I moduli PEFT esistenti spesso mancano di meccanismi per gestire questa sensibilità all'ordine, portando a rappresentazioni incoerenti e previsioni instabili quando il backbone è congelato.

2. Metodologia: Mantis

Il documento propone Mantis, il primo framework PEFT nativo per Mamba progettato specificamente per l'analisi di nuvole di punti 3D. È composto da due componenti complementari:

A. Adattatore Consapevole dello Stato (SAA)

Per affrontare il mismatch di granularità, SAA inietta segnali di controllo leggeri e condizionati al task direttamente negli aggiornamenti dello spazio di stato del backbone Mamba, invece di modificare token o feature.

• Meccanismo: SAA modula gli operatori di transizione di stato ($A_t, B_t, C_t, \Delta_t$) dell'SSM selettivo. Prende in input il token corrente, lo stato nascosto precedente e una rappresentazione consapevole dell'ordine.
• Generazione del Segnale di Controllo: Il segnale di controllo è generato tramite un problema di ottimizzazione prossimale, producendo un segnale sparso e con soglia morbida. Ciò garantisce che l'adattamento sia a basso rango e stabile.
• Modulazione degli Operatori: Il segnale di controllo sparso viene utilizzato per perturbare gli operatori a tempo continuo tramite matrici a basso rango ($U, V$), che vengono poi discretizzate (tramite Zero-Order Hold) per aggiornare il sistema a tempo discreto. Ciò permette al backbone congelato di adattare dinamicamente la sua evoluzione di stato senza alterare direttamente i pesi pre-addestrati.

B. Distillazione di Coerenza a Doppia Serializzazione (DSCD)

Per affrontare la sensibilità alla serializzazione di Mamba, DSCD impone la coerenza tra due serializzazioni valide della stessa nuvola di punti.

• Pipeline a Doppio Ordine: La nuvola di punti in input viene serializzata lungo due curve di riempimento dello spazio complementari (ad es. curva di Hilbert e la sua variante trasposta) per produrre due sequenze distinte.
• Funzione di Perdita di Coerenza: Durante l'addestramento, DSCD allinea le rappresentazioni delle feature e le distribuzioni predittive di questi due rami.
  • Coerenza delle Feature ($L_{feat}$): Minimizza la distanza tra gli embedding globali normalizzati dei due rami.
  • Coerenza della Predizione ($L_{pred}$): Minimizza la divergenza KL tra le distribuzioni predittive ammorbidite dei due rami.
• Obiettivo: Questa regolarizzazione stabilizza l'ottimizzazione downstream assicurando che il modello apprenda rappresentazioni robuste rispetto all'ordine specifico di attraversamento, preservando i priori geometrici pre-addestrati.

3. Contributi Chiave

1. Identificazione del Gap: Gli autori rivelano l'incompatibilità fondamentale tra i metodi PEFT nativi per Transformer e i backbones basati su Mamba, attribuendo i cali di performance a mismatch di granularità e sensibilità alla serializzazione.
2. Framework Mantis: La proposta del primo framework PEFT nativo per Mamba, caratterizzato da:
   • SAA: Un adattatore a livello di stato che modula gli operatori SSM selettivi tramite segnali di controllo sparsi e dipendenti dall'input.
   • DSCD: Un meccanismo di distillazione di coerenza che regolarizza l'instabilità cross-serializzazione.
3. Analisi Teorica: Il documento fornisce limiti teorici sulla deviazione dello stato nascosto indotta da SAA, dimostrando che l'adattamento rimane controllato e stabile attraverso perturbazioni sparse a basso rango.
4. Validazione Empirica: Esperimenti estesi che mostrano come Mantis superi il fine-tuning completo e i metodi PEFT esistenti utilizzando significativamente meno parametri.

4. Risultati Sperimentali

Gli autori hanno valutato Mantis su tre backbones Mamba pre-addestrati (PointMamba, Mamba3D, ZigzagPointMamba) attraverso diversi benchmark:

• Classificazione di Oggetti (ScanObjectNN & ModelNet40):
  • Sulla divisione ScanObjectNN PB_T50_RS, particolarmente impegnativa, Mantis (con solo ~5% di parametri addestrabili) ha superato le linee di base del fine-tuning completo. Ad esempio, su Mamba3D, Mantis ha raggiunto un'accuratezza del 93.48% rispetto al 92.05% del fine-tuning completo, utilizzando solo 0.8M di parametri contro 16.9M.
  • Mantis ha costantemente superato i trasferimenti diretti di metodi PEFT esistenti (come IDPT, PMA, LoRA), che hanno subito un significativo degrado delle prestazioni su backbones Mamba.
• Segmentazione di Parti (ShapeNetPart):
  • Mantis ha raggiunto un mIoU a livello di istanza competitivo e miglioramenti notevoli nel mIoU a livello di classe rispetto al fine-tuning completo, dimostrando efficacia nella modellazione di strutture geometriche fini.
• Apprendimento Few-Shot:
  • Negli esperimenti few-shot su ModelNet40, Mantis ha raggiunto la migliore o la seconda migliore accuratezza in varie configurazioni $N$-way $M$-shot.
• Efficienza:
  • Mantis mantiene il paradigma di modellazione a complessità lineare di Mamba. Raggiunge un compromesso superiore tra parametri addestrabili e FLOPs rispetto al fine-tuning completo e ad altri approcci PEFT.
  • L'analisi della stabilità dell'addestramento mostra che Mantis converge in modo regolare, mentre i trasferimenti diretti di prompt a livello di token (ad es. IDPT) esibiscono dinamiche di addestramento instabili.

5. Significato e Affermazioni

Il documento afferma che Mantis è un'evoluzione necessaria per l'adattamento dei modelli fondamentali 3D mentre il campo si sposta dai Transformer ai Modelli a Spazio di Stato (Mamba).

• Necessità di un Design Nativo: Gli autori sostengono che il semplice riutilizzo di moduli Mamba come adapter esterni (come fatto in lavori precedenti come PMA) o l'applicazione di PEFT in stile Transformer a backbones Mamba sia insufficiente. Una vera efficienza richiede meccanismi di adattamento allineati alle dinamiche a livello di stato di Mamba.
• Robustezza: Il framework è particolarmente efficace in scenari rumorosi e reali (ad es. ScanObjectNN PB_T50_RS) dove l'instabilità indotta dalla serializzazione è più pronunciata.
• Linea di Base Futura: Gli autori posizionano Mantis come linea di base e fonte di approfondimento per la ricerca futura sul PEFT nativo per Mamba, sottolineando che l'adattamento a livello di stato è fondamentale per sbloccare il potenziale dei backbones Mamba congelati.

Il lavoro conclude che, affrontando i vincoli architetturali specifici di Mamba (dinamiche di stato e sensibilità alla serializzazione), Mantis abilita un adattamento efficiente e ad alte prestazioni dei PFM 3D con un minimo sovraccarico computazionale.