💻 computer science

RI-Mamba: Rotation-Invariant Mamba for Robust Text-to-Shape Retrieval

Il paper propone RI-Mamba, il primo modello a spazio di stato invariante alla rotazione per il recupero di forme 3D da testo, che supera i limiti delle metodologie esistenti garantendo prestazioni all'avanguardia su oggetti di oltre 200 categorie in orientamenti arbitrari.

Autori originali: Khanh Nguyen, Dasith de Silva Edirimuni, Ghulam Mubashar Hassan, Ajmal Mian

Pubblicato 2026-02-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Khanh Nguyen, Dasith de Silva Edirimuni, Ghulam Mubashar Hassan, Ajmal Mian

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una libreria virtuale gigantesca piena di milioni di oggetti 3D: sedie, tazze, treni, zaini. Il tuo obiettivo è trovare un oggetto specifico usando solo una descrizione a parole, tipo "una panchina di legno lunga" o "uno zaino rosso".

Il problema? Nella vita reale, gli oggetti non stanno sempre dritti e allineati. Se cerchi "una tazza", potresti trovarla rovesciata, di lato, o capovolta. I vecchi sistemi di ricerca erano come bambini che imparano a riconoscere le cose solo se sono in una posizione fissa: se metti una tazza capovolta, il bambino (il vecchio software) non la riconosce più e ti dice: "Non è una tazza!".

Ecco come RI-Mamba risolve questo problema con un approccio geniale.

1. Il Problema: La "Fotografia" vs. La "Sagoma"

I vecchi metodi cercavano di memorizzare l'oggetto esattamente come lo vedevano. Se l'oggetto ruotava, la "fotografia" cambiava e il sistema si confondeva. Inoltre, richiedevano che qualcuno etichettasse manualmente ogni pezzo dell'oggetto (es. "questo è il manico", "questo è il fondo"), un processo lentissimo e costoso.

2. La Soluzione: RI-Mamba (Il Detective Indistruttibile)

Gli autori hanno creato RI-Mamba, un nuovo tipo di "detective" per oggetti 3D. Ecco come funziona, passo dopo passo, con delle metafore:

A. Il "Girotondo" Perfetto (Invarianza alla Rotazione)

Immagina di avere un oggetto fatto di tanti piccoli puntini (una nuvola di punti).

Il vecchio modo: Guardava i puntini e diceva "Quello è in alto, quello in basso". Se ruotavi l'oggetto, il "alto" diventava "basso" e il sistema andava in tilt.
Il modo RI-Mamba: Prima di guardare i puntini, il detective crea una bussola interna per ogni piccolo pezzo dell'oggetto. Immagina di prendere un pezzo di legno, creare un piccolo sistema di coordinate (Nord, Sud, Est, Ovest) attaccato al legno stesso.
- Se giri il legno, la bussola gira con lui. Per il detective, il pezzo di legno è sempre "dritto" rispetto alla sua propria bussola.
- Questo permette al sistema di capire la forma (la geometria) indipendentemente da come l'oggetto è girato nel mondo. È come riconoscere un amico anche se lo vedi di spalle, di profilo o a testa in giù.

B. La "Pista da Ballo" Ordinata (Hilbert Sorting)

Una volta che i pezzi sono stati "raddrizzati" con le loro bussole, il detective deve metterli in fila per leggerli. Ma come si fa a mettere in fila una nuvola di punti che non ha un inizio né una fine?

RI-Mamba usa una pista da ballo magica (chiamata curva di Hilbert). Immagina di dover visitare tutte le stanze di un palazzo senza mai perdere il filo. Questa pista collega i punti vicini tra loro in un unico lungo filo continuo, come un serpente che si avvolge nello spazio.
Anche se giri l'oggetto, il serpente (l'ordine dei punti) rimane lo stesso. Questo permette al sistema di leggere la storia dell'oggetto in modo coerente, come leggere una frase anche se il foglio è ruotato.

C. Il "Ricordo" della Posizione (Embedding Orientazionale)

C'era un rischio: raddrizzando tutto, il detective avrebbe potuto dimenticare dove si trovava l'oggetto rispetto al mondo (es. se era capovolto).

Per non perdere questa informazione, RI-Mamba aggiunge un etichetta speciale a ogni pezzo. È come se, dopo aver raddrizzato il pezzo di legno, gli attaccasse un adesivo che dice: "Ehi, io sono stato ruotato di 90 gradi rispetto al tavolo".
In questo modo, il sistema ha sia la forma precisa dell'oggetto, sia la memoria della sua posizione nello spazio.

D. Il "Motore Velocissimo" (Mamba)

Fino a poco tempo fa, per fare tutto questo calcolo servivano computer enormi e tempi lunghissimi (come cercare un ago in un pagliaio con un microscopio).

RI-Mamba usa una tecnologia chiamata Mamba (basata su "spazi di stato"). Immagina Mamba come un treno ad alta velocità che scorre lungo la pista da ballo (i punti ordinati).
Mentre i vecchi sistemi (come i Transformer) dovevano guardare ogni punto rispetto a tutti gli altri (un lavoro enorme, come far salutare ogni persona in una stanza a ogni altra persona), il treno Mamba scorre veloce, imparando a memoria la struttura dell'oggetto in modo lineare e rapidissimo. È molto più efficiente e consuma meno energia.

3. L'Allenamento Senza Maestri (Apprendimento Automatico)

Invece di far studiare a un umano migliaia di oggetti e dire "questo è una sedia", RI-Mamba usa un trucco intelligente:

Prende oggetti 3D, li "fotografa" da diverse angolazioni e usa un altro AI (che sa leggere le immagini) per scrivere automaticamente la descrizione: "Vedo una sedia di legno".
Poi, collega la foto, la descrizione e l'oggetto 3D. In questo modo, il sistema impara da solo, senza bisogno di etichette umane, su più di 200 categorie di oggetti.

In Sintesi: Perché è una Rivoluzione?

RI-Mamba è come avere un ricercatore di oggetti 3D super-potente che:

Non si confonde mai se l'oggetto è girato, capovolto o storto.
Capisce tutto senza bisogno che un umano gli spieghi ogni singolo dettaglio.
È velocissimo e leggero, pronto per essere usato in videogiochi, realtà virtuale o negozi online dove gli oggetti sono ovunque e in tutte le posizioni.

Grazie a questo lavoro, la ricerca di oggetti con la voce o con il testo diventa finalmente qualcosa che funziona davvero nel mondo reale, non solo nei laboratori di ricerca.

1. Il Problema

Il recupero di forme 3D tramite testo (text-to-shape retrieval) è diventato cruciale con la crescita di asset 3D per realtà virtuale e gaming. Tuttavia, le metodologie esistenti presentano due limitazioni fondamentali che ne ostacolano l'applicazione nel mondo reale:

Dipendenza da pose canoniche: La maggior parte dei modelli assume che gli oggetti 3D siano allineati in una posizione standard (es. un tavolo con le gambe verso il basso). Se un oggetto viene ruotato arbitrariamente (rotazioni SO(3)), le prestazioni crollano drasticamente.
Scalabilità e annotazione: I metodi attuali richiedono spesso annotazioni umane dettagliate (come segmentazione delle parti) e sono limitati a un numero ristretto di categorie di oggetti (es. solo sedie e tavoli), rendendo difficile l'addestramento su dataset diversificati e non etichettati.

2. Metodologia: RI-Mamba

Gli autori propongono RI-Mamba, il primo modello basato su State-Space Models (SSM) progettato specificamente per essere invariante alla rotazione per le nuvole di punti. L'architettura combina efficienza computazionale e robustezza geometrica attraverso i seguenti componenti:

A. Disentanglement di Geometria e Pose (Reference Frame Computation)

Per separare la forma intrinseca dell'oggetto dalla sua orientazione nello spazio, il modello calcola due sistemi di riferimento:

Local Reference Frame (LRF): Per ogni patch locale di punti, viene calcolato un sistema di riferimento locale (usando l'Analisi delle Componenti Principali - PCA) per allineare i punti locali. Questo rimuove la rotazione locale, estraendo solo la geometria.
Global Reference Frame (GRF): Viene calcolato un sistema di riferimento globale per l'intera nuvola di punti.

B. Serializzazione Invariante alla Rotazione (RI-Serialization)

Poiché i modelli SSM (come Mamba) richiedono una sequenza ordinata di token, è necessario definire un ordine coerente indipendentemente dalla rotazione dell'oggetto.

I centri delle patch vengono proiettati sul GRF.
Viene applicata una curva di riempimento dello spazio di Hilbert per ordinare le patch. Questo garantisce che patch spazialmente vicine rimangano vicine nella sequenza 1D, indipendentemente da come l'oggetto è ruotato.

C. Embedding Orientazionali Lineari

Un problema delle tecniche di invarianza alla rotazione è la perdita di informazioni sulla posa (orientamento) dell'oggetto, che riduce l'espressività del modello.

Soluzione: Gli autori introducono un embedding orientazionale che codifica l'orientamento di ogni patch rispetto al GRF globale.
Efficienza: A differenza dei metodi precedenti (come RI-Transformer) che calcolano orientamenti relativi a coppie di patch con complessità quadratica ( $O(N^2)$ ), questo approccio è lineare ( $O(N)$ ) e compatibile con l'architettura unidirezionale di Mamba.
Integrazione: Queste informazioni vengono reintegrate nei feature map tramite Feature-wise Linear Modulation (FiLM), permettendo al modello di adattarsi al contesto spaziale.

D. Scansione Bidirezionale

Per compensare la natura causale (unidirezionale) di Mamba, che potrebbe essere subottimale per nuvole di punti dove l'informazione deve fluire da tutte le direzioni, il modello utilizza un operatore di inversione: gli strati dispari scansionano la sequenza da sinistra a destra, mentre quelli pari da destra a sinistra.

E. Apprendimento Contrastivo Cross-Modale

Per evitare annotazioni manuali, il modello viene addestrato utilizzando un framework di apprendimento contrastivo cross-modale (simile a CLIP).

Vengono generati automaticamente triplette (Punto-Immagine-Testo) tramite rendering e captioning automatico di mesh 3D.
L'obiettivo è allineare l'embedding della nuvola di punti con gli embedding di testo e immagine estratti da CLIP, minimizzando la perdita InfoNCE.

3. Contributi Chiave

Primo modello Mamba invariante alla rotazione: Introduzione di RI-Mamba, che raggiunge prestazioni competitive riducendo drasticamente i costi computazionali rispetto ai Transformer invariante alla rotazione (es. RI-Transformer).
Embedding orientazionali a complessità lineare: Progettazione di un metodo per recuperare le informazioni di posa senza sacrificare l'invarianza alla rotazione o la scalabilità, rendendolo compatibile con gli SSM.
Addestramento senza annotazione manuale: Implementazione di una pipeline di generazione dati automatizzata che permette l'addestramento su oltre 200 categorie di oggetti (OmniObject3D), superando i limiti dei dataset precedenti.
Nuovo Benchmark: Stabilimento del primo benchmark per il recupero testo-forma su oggetti con pose arbitrarie, fornendo una valutazione realistica delle capacità di generalizzazione.

4. Risultati Sperimentali

Il modello è stato valutato su diversi dataset e scenari:

Recupero Supervisionato (Text2Shape): Su dataset contenenti solo sedie e tavoli, RI-Mamba supera o è competitivo con lo stato dell'arte (SOTA), mantenendo prestazioni elevate anche sotto rotazioni casuali, dove i metodi precedenti falliscono completamente.
Recupero Zero-Shot (OmniObject3D): Su un dataset con 214 categorie diverse, RI-Mamba ottiene le migliori prestazioni in assoluto (es. RR@1 del 19.34% vs 10.39% del secondo miglior metodo) sia in pose canoniche che rotate.
Efficienza Computazionale: Rispetto a RI-Transformer, RI-Mamba mostra una scalabilità superiore. A 2048 token, il consumo di memoria GPU di RI-Transformer supera i 20 GB, mentre RI-Mamba rimane intorno ai 2 GB, grazie alla complessità lineare.
Robustezza: Il modello dimostra una forte resilienza allo scambio degli assi di gravità (es. asse Y vs Z) e a rotazioni arbitrarie, superando modelli non invariante come PointBERT e DuoMamba.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso l'applicazione pratica del recupero 3D basato sul testo.

Realismo: Risolve il problema critico della variabilità di posa, rendendo i sistemi di ricerca 3D utilizzabili in scenari reali dove gli oggetti non sono mai perfettamente allineati.
Scalabilità: Dimostra che è possibile addestrare modelli 3D complessi su larga scala senza costose annotazioni umane, sfruttando dati non etichettati e tecniche di generazione automatica.
Efficienza: Introduce l'uso degli State-Space Models (Mamba) nel dominio 3D invariante alla rotazione, offrendo un'alternativa più veloce e leggera ai Transformer, fondamentale per il deployment su dispositivi con risorse limitate.

In sintesi, RI-Mamba unisce robustezza geometrica, efficienza computazionale e scalabilità dei dati, ponendosi come nuova soluzione di riferimento per il recupero di forme 3D in ambienti complessi e non strutturati.