An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models

Probleemstelling

Point cloud foundation modellen (zoals Point-MAE en Point-BERT) tonen sterke generalisatievermogen, maar het aanpassen (fine-tunen) van deze modellen naar specifieke downstream-taken in scenario's met weinig data (low-data regimes) blijft een uitdaging.

• Volledige Fine-tuning (Full Fine-tuning - FFT): Leidt vaak tot overfitting en een significante afwijking (drift) van de vooraf getrainde representaties, vooral in de diepere lagen van het netwerk. Dit vermindert het generalisatievermogen.
• Parameter-Efficiënte Fine-tuning (PEFT): Bestaande methoden (zoals adapters of prompts) lossen overfitting op door extra trainbare componenten toe te voegen terwijl de basis fiks blijft. Echter, deze methoden introduceren extra parameters die de inferentie-tijd en het geheugengebruik verhogen. Dit vormt een bottleneck voor implementatie op hulpbronnen-beperkte apparaten (zoals mobiele devices). In 3D-scenario's tonen PEFT-methoden bovendien slechts marginale prestatiewinst (orde van 1%) vergeleken met FFT in low-data situaties.

Methodologie: Momentum-Consistency Fine-Tuning (MCFT)

De auteurs stellen Momentum-Consistency Fine-Tuning (MCFT) voor, een adapter-vrije aanpak die de kloof tussen volledige fine-tuning en PEFT overbrugt zonder de inferentie-efficiëntie te verminderen.

Kernprincipes:

1. Adapter-vrij: MCFT introduceert geen extra trainbare parameters voor de encoder (behalve een standaard taak-specifieke voorspellingskop, zoals een classificatielaag). Dit behoudt het oorspronkelijke aantal parameters en de inferentie-efficiëntie van het foundation model.
2. Selectieve Fine-tuning: In plaats van het hele model of specifieke adapters te trainen, worden slechts een gedefinieerd deel van de lagen van de vooraf getrainde encoder gefine-tuned.
3. Momentum-Consistentie (Self-Distillation): Om overfitting te voorkomen en de task-agnostische representaties te behouden, wordt een consistentie-beperking opgelegd:
   • Er wordt een student-model (de trainbare encoder) en een teacher-model (de oorspronkelijke encoder) gebruikt.
   • De parameters van de teacher worden niet direct getraind, maar bijgewerkt als een Exponential Moving Average (EMA) van de student-parameters: $\theta_t = \alpha \cdot \theta_t + (1 - \alpha) \cdot \theta_s$.
   • Een alignment loss (cosine similarity) wordt geminimaliseerd tussen de [CLS]-embeddings van de student en de teacher. Dit zorgt voor een stabiel regularisatiedoel dat voorkomt dat de student te sterk overpast op de kleine dataset.
   • De totale loss is een combinatie van deze alignment loss en de supervised classificatie loss (cross-entropy).

Varianten:

• Semi-supervised MCFT: Combineert gelabelde data met een overvloed aan ongelabelde data. Het gebruikt een protocol gebaseerd op AllMatch, inclusief entropy-minimalisatie en pseudo-labeling, om de prestaties in few-shot scenario's te verbeteren.
• Gepreunde MCFT (Pruned): Gebruikt structuur-pruning op basis van salience scores (gebaseerd op de gradient van de loss) om minder belangrijke lagen te verwijderen. Dit resulteert in een kleiner, sneller model zonder significante prestatieverlies.

Belangrijkste Bijdragen

1. Adapter-vrije Architectuur: Een nieuwe methode die de voordelen van fine-tuning biedt zonder de inferentie-overhead van PEFT-methoden (geen extra parameters).
2. Momentum-Consistentie Mechanisme: Een innovatieve regularisatiestrategie die overfitting tegengaat door de drift van de representaties te beperken via een EMA-gebaseerde teacher.
3. Extensies voor Efficiëntie en Data: Introductie van een semi-supervised variant voor betere few-shot prestaties en een gepreunde variant voor resource-constrained omgevingen.
4. Uitgebreide Evaluatie: Gedetailleerde tests op objectherkenning (ModelNet40, ScanObjectNN) en part-segmentatie (ShapeNetPart) in diverse settings (few-shot, full few-shot, fully-supervised).

Resultaten

De experimenten tonen aan dat MCFT consistent beter presteert dan bestaande state-of-the-art (SOTA) methoden:

• Few-Shot Learning: In de 5-shot setting op ModelNet40 en ScanObjectNN behaalde MCFT een verbetering van 3,30% ten opzichte van eerdere methoden.
• Semi-supervised Learning: De SSL-variant leverde een extra verbetering van 6,13% op ten opzichte van de standaard few-shot resultaten, wat aantoont dat ongelabelde data effectief kan worden benut.
• Fully-Supervised: MCFT overtrof bestaande methoden met marges van 0,7% tot 2,7% op verschillende varianten van ScanObjectNN, terwijl het hetzelfde aantal parameters en FLOPs behield als het basismodel.
• Efficiëntie: De gepreunde variant behield vergelijkbare prestaties (83,5% vs 87,2% voor de volledige versie) maar verlaagde het aantal parameters met 1,8M en verbeterde de doorvoer (throughput) aanzienlijk (350,75 frames/s vs 321,58 frames/s).
• Vergelijking met PEFT: In tegenstelling tot methoden zoals IDPT of DAPT, die extra parameters toevoegen en de inferentie-tijd verhogen, behaalde MCFT de hoogste prestaties zonder deze kosten.

Betekenis en Impact

Dit paper biedt een praktische oplossing voor het fine-tunen van grote 3D foundation modellen in real-world scenario's waar data schaars is en rekenkracht beperkt.

• Balans: MCFT positioneert zich als een ideaal middenpad: het voorkomt de overfitting van volledige fine-tuning en vermijdt de inferentie-overhead van PEFT.
• Toepasbaarheid: Door het behoud van de oorspronkelijke modelgrootte en het verminderen van de rekeneisen via pruning, maakt deze methode de implementatie van geavanceerde 3D-modellen op mobiele en edge-apparaten haalbaar.
• Toekomstperspectief: De resultaten onderstrepen het potentieel van momentum-gebaseerde consistentie voor transfer learning en openen de weg voor verdere adaptieve strategieën in complexe 3D-taken.