💻 computer science

Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models

El artículo propone Mantis, el primer marco de ajuste fino eficiente en parámetros nativo de Mamba para modelos base de nubes de puntos 3D, que utiliza un Adaptador Consciente del Estado y Destilación de Consistencia de Doble Serialización para lograr un rendimiento competitivo con solo el 5% de parámetros entrenables, superando al mismo tiempo las limitaciones de los métodos existentes de ajuste fino eficiente en parámetros basados en Transformer en arquitecturas Mamba.

Autores originales: Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

Publicado 2026-05-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: El Problema del "Cerebro 3D"

Imagina que tienes un Cerebro 3D brillante y altamente entrenado (un modelo informático) que ha estudiado millones de objetos 3D: sillas, aviones, coches y edificios. Este cerebro es increíble para entender formas. Sin embargo, enseñarle una nueva tarea específica (como identificar un tipo concreto de silla en una habitación desordenada) generalmente requiere una cantidad masiva de trabajo.

Tradicionalmente, para enseñarle un nuevo truco a este cerebro, tenías que reconectar todo el cerebro. Esto es como desmontar un superordenador gigante solo para cambiar una bombilla. Lleva una eternidad, cuesta una fortuna en electricidad (potencia de computación) y requiere un enorme espacio de almacenamiento.

Para solucionar esto, los científicos inventaron el "Ajuste Fino Eficiente en Parámetros" (PEFT). Piensa en esto como añadir un pequeño auricular inteligente al cerebro en lugar de reconectarlo. Mantienes el cerebro congelado (intocado) y solo entrenas el auricular. Esto es barato y rápido.

El Problema:
La mayoría de los "auriculares" existentes fueron diseñados para un tipo específico de arquitectura cerebral llamada Transformer. Pero ha surgido un nuevo tipo de arquitectura cerebral más rápida llamada Mamba. Mamba es como un tren de alta velocidad que procesa la información en un orden específico y secuencial.

Si intentas poner un "auricular estilo Transformer" en un "cerebro Mamba", no encaja. Es como intentar conducir un coche de Fórmula 1 con un asiento de bicicleta. Los resultados son terribles: el coche (Mamba) se confunde, el viaje es irregular (inestable) y se estrella (la precisión disminuye).

La Solución: Conoce a "Mantis"

Los autores crearon Mantis, el primer auricular diseñado específicamente para encajar en el cerebro Mamba. Se dieron cuenta de que Mamba no solo mira "tokens" individuales (como palabras o puntos) uno por uno; mantiene un estado oculto (una memoria en ejecución) que evoluciona a medida que avanza por los datos.

Mantis tiene dos superpoderes principales:

1. El Adaptador Consciente del Estado (SAA): El "Director"

La Analogía: Imagina que el cerebro Mamba es una orquesta tocando una pieza de música. La música fluye en una secuencia específica. Los auriculares antiguos intentaban cambiar la música gritando instrucciones a músicos individuales (tokens). Pero Mamba es un director que gestiona el flujo de toda la orquesta.
Lo que hace Mantis: En lugar de gritar a músicos individuales, Mantis pone un batuta de director (el SAA) en las manos de la orquesta. Esta batuta empuja suavemente el flujo de la música (la evolución del estado) basándose en la tarea específica.
El Resultado: Permite que el cerebro congelado adapte su "flujo de memoria" interno a nuevas tareas sin romper la secuencia delicada y de alta velocidad para la que fue construido.

2. Destilación de Consistencia de Doble Serialización (DSCD): La "Verificación de Dos Perspectivas"

La Analogía: Imagina que estás mirando una escultura. Si caminas alrededor de ella en sentido horario, ves las características en un orden. Si caminas en sentido antihorario, las ves en un orden diferente. Un cerebro Mamba es sensible a este orden; podría confundirse si cambias el camino que tomas alrededor del objeto.
El Problema: Como los puntos 3D no tienen un "inicio" o "final" natural, el ordenador tiene que inventar un orden para procesarlos. Si elige un orden aleatorio, el cerebro podría volverse nervioso e inestable.
Lo que hace Mantis: Mantis obliga al cerebro a mirar el objeto de dos maneras diferentes (dos caminos diferentes alrededor de la escultura) al mismo tiempo. Luego actúa como un profesor estricto, diciendo: "Oye, aunque lo hayas mirado desde dos ángulos diferentes, tu comprensión del objeto debe ser la misma".
El Resultado: Esto estabiliza el cerebro, haciéndolo robusto incluso cuando los datos están desordenados o el orden de los puntos es extraño.

Los Resultados: Pequeños Cambios, Grandes Victorias

El artículo probó Mantis en varios conjuntos de datos 3D desafiantes (como ScanObjectNN y ModelNet40).

Eficiencia: Mantis solo necesitó entrenar aproximadamente el 5% de los parámetros. Es como afinar una radio con solo unos pocos botones en lugar de reconstruir todo el circuito.
Rendimiento: Sorprendentemente, Mantis no solo igualó el rendimiento del costoso método de "reconectar todo el cerebro"; en muchos casos, lo superó.
Estabilidad: Mientras otros métodos luchaban para converger (quedarse atascados o fluctuar salvajemente), Mantis entrenó de manera suave y rápida.

Resumen

Mantis es una herramienta especializada que nos permite enseñar nuevas tareas de manera eficiente a los nuevos y rápidos modelos 3D Mamba sin romperlos. Lo hace mediante:

Empujar el flujo de la memoria interna del modelo (SAA) en lugar de solo pinchar puntos de datos individuales.
Forzar la consistencia verificando la comprensión del modelo desde múltiples "ángulos de visión" (DSCD).

El resultado es un sistema increíblemente rápido, barato de entrenar y sorprendentemente preciso, resolviendo el problema de cómo adaptar estos nuevos modelos potentes a tareas 3D del mundo real.

Resumen Técnico: Mantis - Ajuste Nativo para Mamba en Modelos Fundacionales de Nubes de Puntos 3D

1. Declaración del Problema

Los Modelos Fundacionales de Nubes de Puntos 3D (PFMs) preentrenados han demostrado una fuerte transferibilidad en tareas posteriores. Sin embargo, el ajuste fino completo de estos modelos es computacionalmente costoso y requiere gran almacenamiento. Aunque los métodos de Ajuste Fino Eficiente en Parámetros (PEFT) ofrecen una solución, los enfoques existentes (por ejemplo, Ajuste de Prompts Dinámicos Conscientes de la Instancia, Adaptadores) están diseñados principalmente para backbones basados en Transformers.

Los autores identifican una incompatibilidad fundamental de granularidad al aplicar estos métodos PEFT nativos de Transformers a backbones basados en Mamba (Modelos de Espacio de Estados):

Nivel de token vs. Nivel de estado: El PEFT de Transformers opera sobre prompts a nivel de token o transformaciones de características. En contraste, Mamba depende de la dinámica de secuencia a nivel de estado y la propagación recurrente del estado oculto. Transferir directamente la adaptación a nivel de token a backbones de Mamba congelados conduce a una degradación sustancial de la precisión y a una optimización inestable.
Sensibilidad a la serialización: Los modelos Mamba procesan las nubes de puntos como entradas secuenciales. La propagación del estado oculto es inherentemente sensible al orden específico de recorrido (serialización) de los puntos. Los módulos PEFT existentes a menudo carecen de mecanismos para manejar esta sensibilidad al orden, lo que genera representaciones inconsistentes y predicciones inestables cuando el backbone está congelado.

2. Metodología: Mantis

El artículo propone Mantis, el primer marco PEFT nativo para Mamba diseñado específicamente para el análisis de nubes de puntos 3D. Consta de dos componentes complementarios:

A. Adaptador Consciente del Estado (SAA)

Para abordar la incompatibilidad de granularidad, SAA inyecta señales de control ligeras y condicionadas a la tarea directamente en las actualizaciones del espacio de estados del backbone de Mamba, en lugar de modificar tokens o características.

Mecanismo: SAA modula los operadores de transición de estado ( $A_t, B_t, C_t, \Delta_t$ ) del SSM selectivo. Toma como entradas el token actual, el estado oculto anterior y una representación consciente del orden.
Generación de Señal de Control: La señal de control se genera mediante un problema de optimización proximal, produciendo una señal dispersa y con umbral suave. Esto asegura que la adaptación sea de bajo rango y estable.
Modulación de Operadores: La señal de control dispersa se utiliza para perturbar los operadores de tiempo continuo mediante matrices de bajo rango ( $U, V$ ), las cuales luego se discretizan (mediante Retención de Orden Cero) para actualizar el sistema de tiempo discreto. Esto permite que el backbone congelado adapte su evolución de estado dinámicamente sin alterar directamente los pesos preentrenados.

B. Destilación de Consistencia de Doble Serialización (DSCD)

Para abordar la sensibilidad a la serialización de Mamba, DSCD impone consistencia entre dos serializaciones válidas de la misma nube de puntos.

Pipeline de Doble Orden: La nube de puntos de entrada se serializa a lo largo de dos curvas de relleno de espacio complementarias (por ejemplo, curva de Hilbert y su variante transpuesta) para producir dos secuencias distintas.
Pérdida de Consistencia: Durante el entrenamiento, DSCD alinea las representaciones de características y las distribuciones predictivas de estas dos ramas.
- Consistencia de Características ( $L_{feat}$ ): Minimiza la distancia entre los embeddings globales normalizados de las dos ramas.
- Consistencia de Predicción ( $L_{pred}$ ): Minimiza la divergencia KL entre las distribuciones predictivas suavizadas de las dos ramas.
Objetivo: Esta regularización estabiliza la optimización posterior asegurando que el modelo aprenda representaciones robustas al orden específico de recorrido, preservando los priores geométricos preentrenados.

3. Contribuciones Clave

Identificación de la Brecha: Los autores revelan la incompatibilidad fundamental entre los métodos PEFT nativos de Transformers y los backbones basados en Mamba, atribuyendo las caídas de rendimiento a incompatibilidades de granularidad y sensibilidad a la serialización.
Marco Mantis: La propuesta del primer marco PEFT nativo para Mamba, que presenta:
- SAA: Un adaptador a nivel de estado que modula operadores de SSM selectivo mediante señales de control dispersas y dependientes de la entrada.
- DSCD: Un mecanismo de destilación de consistencia que regulariza la inestabilidad cruzada entre serializaciones.
Análisis Teórico: El artículo proporciona límites teóricos sobre la desviación del estado oculto inducida por SAA, demostrando que la adaptación permanece controlada y estable mediante perturbaciones dispersas de bajo rango.
Validación Empírica: Extensos experimentos que muestran que Mantis supera al ajuste fino completo y a los métodos PEFT existentes mientras utiliza significativamente menos parámetros.

4. Resultados Experimentales

Los autores evaluaron Mantis en tres backbones de Mamba preentrenados (PointMamba, Mamba3D, ZigzagPointMamba) en múltiples benchmarks:

Clasificación de Objetos (ScanObjectNN & ModelNet40):
- En la división desafiante ScanObjectNN PB_T50_RS, Mantis (con solo ~5% de parámetros entrenables) superó a las líneas base de ajuste fino completo. Por ejemplo, en Mamba3D, Mantis logró una precisión del 93.48% frente al 92.05% del ajuste fino completo, utilizando solo 0.8M de parámetros frente a 16.9M.
- Mantis superó consistentemente a las transferencias directas de métodos PEFT existentes (como IDPT, PMA, LoRA), que sufrieron una degradación significativa del rendimiento en backbones de Mamba.
Segmentación de Partes (ShapeNetPart):
- Mantis logró un mIoU a nivel de instancia competitivo y mejoras notables en el mIoU a nivel de clase en comparación con el ajuste fino completo, demostrando efectividad en el modelado de estructuras geométricas de grano fino.
Aprendizaje con Pocos Ejemplos (Few-Shot):
- En experimentos de pocos ejemplos en ModelNet40, Mantis logró la mejor o la segunda mejor precisión en diversas configuraciones de $N$ -way $M$ -shot.
Eficiencia:
- Mantis mantiene el paradigma de modelado de complejidad lineal de Mamba. Logra una compensación superior entre parámetros entrenables y FLOPs en comparación con el ajuste fino completo y otros enfoques PEFT.
- El análisis de estabilidad del entrenamiento muestra que Mantis converge suavemente, mientras que las transferencias directas de prompts a nivel de token (por ejemplo, IDPT) exhiben dinámicas de entrenamiento inestables.

5. Significado y Afirmaciones

El artículo afirma que Mantis es una evolución necesaria para adaptar modelos fundacionales 3D a medida que el campo pasa de los Transformers a los Modelos de Espacio de Estados (Mamba).

Necesidad de un Diseño Nativo: Los autores argumentan que simplemente reutilizar módulos de Mamba como adaptadores externos (como se hizo en trabajos anteriores como PMA) o aplicar PEFT estilo Transformer a backbones de Mamba es insuficiente. La verdadera eficiencia requiere mecanismos de adaptación que se alineen con la dinámica a nivel de estado de Mamba.
Robustez: El marco es particularmente efectivo en escenarios ruidosos y del mundo real (por ejemplo, ScanObjectNN PB_T50_RS) donde la inestabilidad inducida por la serialización es más pronunciada.
Línea Base Futura: Los autores posicionan a Mantis como una línea base y una fuente de insights para futuras investigaciones sobre PEFT nativo para Mamba, destacando que la adaptación a nivel de estado es crítica para desbloquear el potencial de los backbones de Mamba congelados.

El trabajo concluye que al abordar las restricciones arquitectónicas específicas de Mamba (dinámica de estados y sensibilidad a la serialización), Mantis permite una adaptación eficiente y de alto rendimiento de PFMs 3D con una sobrecarga computacional mínima.