An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models

Resumen Técnico: Momentum-Consistency Fine-Tuning (MCFT)

1. El Problema

Los modelos fundamentales (foundation models) para nubes de puntos 3D, como Point-MAE y Point-BERT, han demostrado capacidades excepcionales de generalización al ser preentrenados en grandes conjuntos de datos no etiquetados. Sin embargo, adaptar estos modelos a tareas específicas con pocos datos (low-data regimes) presenta desafíos críticos:

• Ajuste Fino Completo (Full Fine-Tuning - FFT): Tiende a causar sobreajuste (overfitting) y una deriva significativa de las representaciones preentrenadas, especialmente en las capas profundas, lo que degrada la capacidad de generalización.
• Ajuste Fino Eficiente en Parámetros (PEFT): Métodos existentes (como adaptadores, prompts o LoRA) mitigaron el sobreajuste introduciendo componentes entrenables adicionales. No obstante, estos métodos aumentan el número total de parámetros y la latencia de inferencia, lo que los hace poco viables para entornos con recursos limitados (ej. dispositivos móviles). Además, en escenarios 3D con pocos datos, las mejoras de rendimiento de los métodos PEFT actuales son marginales (aprox. 1%).

2. Metodología: Momentum-Consistency Fine-Tuning (MCFT)

Los autores proponen MCFT, un enfoque sin adaptadores (adapter-free) que busca cerrar la brecha entre el ajuste fino completo y el PEFT, manteniendo la eficiencia original del modelo.

• Enfoque Central:

  • Sin Parámetros Adicionales: A diferencia de los métodos PEFT, MCFT no inserta módulos adicionales en el codificador (encoder) preentrenado. Solo se añade una cabeza de tarea estándar (ej. una capa de clasificación).
  • Ajuste Selectivo: Se ajustan finamente solo una porción definida de las capas del codificador preentrenado.
  • Consistencia por Momento (Momentum-Consistency): Para evitar el sobreajuste y la pérdida de representaciones agnósticas a la tarea, se impone una restricción de consistencia basada en el momento.
    • Se utiliza un mecanismo de auto-distilación donde el modelo entrenable actúa como "estudiante" y una versión del modelo preentrenado actúa como "profesor".
    • El modelo "profesor" no es estático; se actualiza como un Promedio Móvil Exponencial (EMA) de los parámetros del modelo "estudiante" ($\theta_t = \alpha \cdot \theta_t + (1-\alpha) \cdot \theta_s$).
    • Esto proporciona un objetivo de regularización estable que evita que el modelo se desvíe drásticamente de las representaciones originales, permitiendo al mismo tiempo aprender nuevos conceptos con pocos datos.

• Función de Pérdida:
  La pérdida total combina la pérdida de alineación (consistencia) y la pérdida supervisada:
  $$L = L_{align} + \lambda \cdot L_{sup}$$
  Donde $L_{align}$ mide la distancia coseno entre las incorporaciones [CLS] del estudiante y el profesor, y $L_{sup}$ es la pérdida de entropía cruzada estándar.

• Variantes Propuestas:

  1. MCFT Semi-supervisado (MCFT-SSL): Extiende el marco para aprovechar datos no etiquetados abundantes. Utiliza un protocolo de aprendizaje semi-supervisado (inspirado en AllMatch) que combina minimización de entropía y aprendizaje por contraste para mejorar el rendimiento en escenarios de pocos ejemplos (few-shot).
  2. MCFT Podado (MCFT-Pruned): Aplica poda estructurada basada en la "salencia" (salience scoring) de las capas. Elimina selectivamente capas menos importantes del codificador para reducir la carga computacional sin sacrificar significativamente el rendimiento, ideal para despliegue en hardware limitado.

3. Contribuciones Clave

• Eficiencia de Inferencia: MCFT mantiene el mismo número de parámetros y costo computacional (FLOPs) que el modelo preentrenado original, eliminando la sobrecarga de inferencia típica de los métodos PEFT.
• Rendimiento Superior en Pocos Datos: Logra mejoras significativas en escenarios de 5-shot y 10-shot, superando a los métodos PEFT actuales (IDPT, DAPT, PointGST) sin añadir parámetros.
• Marco Híbrido: Ofrece un punto medio práctico entre el ajuste fino completo (que requiere muchos datos) y el PEFT (que añade latencia), utilizando la consistencia de momento para regularizar el aprendizaje.
• Extensibilidad: Demuestra la viabilidad de combinar MCFT con aprendizaje semi-supervisado y poda estructurada para optimizar aún más el rendimiento y la eficiencia.

4. Resultados Experimentales

Los experimentos se realizaron en tareas de reconocimiento de objetos (ModelNet40, ScanObjectNN) y segmentación de partes (ShapeNetPart).

• Ajuste Fino Completo (Few-Shot):
  • En la configuración de 5-shot en ModelNet40, MCFT logró una mejora de 3.30% sobre los métodos anteriores.
  • En ScanObjectNN, superó consistentemente a los métodos SOTA en todas las variantes (OBJ_ONLY, OBJ_BG, PB_T50_RS).
• Aprendizaje Semi-supervisado:
  • La variante con datos no etiquetados (MCFT-SSL) logró un aumento adicional de 6.13% sobre los resultados de pocos ejemplos estándar, alcanzando un 84.49% de precisión en 5-shot (frente al 78.36% de la versión supervisada).
• Eficiencia y Poda:
  • La versión podada redujo los parámetros de 22.7M a 20.9M y aumentó el rendimiento (throughput) de 321 a 350.75 frames/segundo, manteniendo una precisión competitiva (83.5%).
• Comparación con PEFT:
  • En la tabla de comparación de métodos PEFT, MCFT superó a todos los competidores (incluyendo IDPT, DAPT, LoRA, etc.) con una precisión de 87.21% en la variante más difícil de ScanObjectNN, sin aumentar los parámetros totales.

5. Significado e Impacto

Este trabajo es significativo porque resuelve el dilema actual en la adaptación de modelos fundamentales 3D: cómo mejorar el rendimiento en tareas específicas sin sacrificar la eficiencia de inferencia ni requerir grandes volúmenes de datos etiquetados.

• Viabilidad de Despliegue: Al no introducir parámetros adicionales, MCFT hace posible desplegar modelos fundamentales 3D ajustados en dispositivos con recursos limitados (móviles, robótica embebida), algo que los métodos PEFT actuales dificultan debido a su latencia.
• Nueva Dirección de Investigación: Propone que la regularización basada en la consistencia de momento puede ser una alternativa más efectiva y eficiente que la inserción de adaptadores para la adaptación de modelos fundacionales en 3D.
• Generalización: La capacidad de mantener las representaciones agnósticas a la tarea mientras se aprenden nuevas características demuestra que es posible evitar la "catástrofe del olvido" o la deriva de representaciones sin congelar completamente el modelo.

En conclusión, MCFT establece un nuevo estándar para la sintonización de modelos 3D, ofreciendo un equilibrio óptimo entre precisión, eficiencia computacional y adaptabilidad a entornos de datos escasos.