LitePT: Lighter Yet Stronger Point Transformer

Probleemstelling

Moderne neurale architecturen voor 3D-puntwolkverwerking combineren vaak convolutielagen en attention-blokken (zoals in Transformers). Echter, de optimale manier om deze componenten te assembleren is onduidelijk. De huidige state-of-the-art, Point Transformer V3 (PTv3), is een hybride architectuur waarbij 67% van de parameters wordt gebruikt voor (residuale) sparse convolutielagen die dienen als positionele encoding.

De auteurs identificeren twee hoofdbeperkingen in bestaande hybride modellen:

1. Inefficiëntie in vroege lagen: Attention-mechanismen hebben een kwadratische complexiteit en zijn extreem rekenintensief in vroege, hoog-resolutie lagen waar veel tokens (punten) aanwezig zijn. Hier is de lokale geometrie echter het belangrijkste, wat convoluties goed en efficiënt kunnen verwerken.
2. Overbodige parameters in late lagen: In diepe, laag-resolutie lagen waar semantische context en globale relaties belangrijk zijn, worden convolutielagen vaak nog steeds gebruikt voor positionele encoding. Dit leidt tot een onnodig hoog aantal parameters, terwijl attention hier eigenlijk de betere en efficiëntere keuze is voor het modelleren van lange-afstandsinteracties.

Methodologie

De kern van de oplossing is een nieuw ontwerpprincipe: "Convoluties voor laag-niveau geometrie, attention voor hoog-niveau relaties." In plaats van een uniforme hybride blokkenstructuur door de hele hiërarchie, decoupleren de auteurs de twee mechanismen en passen ze ze strategisch toe op verschillende niveaus van de U-Net-achtige encoder-decoder architectuur.

De belangrijkste technische componenten zijn:

1. Hybride Architectuur (LitePT):

   • Vroege Stages (Hoog Resolutie): De encoder gebruikt uitsluitend sparse convolutieblokken. Dit is efficiënt voor het extraheren van lokale geometrische kenmerken en heeft een lage parameterkost.
   • Late Stages (Laag Resolutie): De encoder schakelt over naar pure attention-blokken. Omdat het aantal punten (tokens) hier door downsampling sterk is gereduceerd, is de kwadratische complexiteit van attention acceptabel en effectief voor het vangen van globale semantische context.
   • Decoder: Voor taak-specifieke taken (zoals semantische segmentatie) wordt de decoder vereenvoudigd tot alleen lineaire projecties, wat de efficiëntie verder verhoogt.

2. PointROPE (Point Rotary Positional Embedding):

   • Omdat de convolutielagen in de late lagen worden verwijderd (die in PTv3 ook als positionele encoding dienden), is een nieuwe, parameterloze oplossing nodig om ruimtelijke informatie te behouden.
   • De auteurs passen Rotary Positional Embedding (RoPE) aan voor 3D-punten. Ze verdelen de feature-vector van een punt in drie subruimtes (x, y, z) en passen 1D-RoPE onafhankelijk toe op elke as met behulp van de coördinaten van het punt.
   • Voordeel: PointROPE introduceert geen leerbare parameters, is zeer lichtgewicht en behoudt rotatie-invariantie, terwijl het de ruimtelijke relaties effectief encodeert.

Belangrijkste Bijdragen

• Analyse van de rol van operators: Het paper biedt een empirische onderbouwing dat convolutie en attention verschillende rollen hebben in de feature-hiërarchie, wat leidt tot een gedecoupeerde architectuur in plaats van een uniforme hybride blokkenstructuur.
• LitePT Architectuur: Een nieuwe backbone die 3,6x minder parameters heeft dan PTv3, maar beter of gelijk presteert.
• PointROPE: Een innovatieve, parameterloze methode voor positionele encoding in 3D-puntwolken die de noodzaak van zware convolutie-gebaseerde encoding wegneemt.
• Scalability: Het bewijs dat het model schaalbaar is; zelfs de grote variant (LitePT-L) met 86M parameters (bijna 2x PTv3) blijft sneller en geheugenefficiënter dan PTv3.

Resultaten

LitePT presteert superieur op meerdere benchmarks voor 3D-segmentatie en detectie, terwijl het aanzienlijk efficiënter is:

• Efficiëntie:
  • Parameters: 3,6x minder dan PTv3 (12,7M vs 46,1M voor de kleine variant).
  • Snelheid: 2x sneller tijdens inferentie (58,8% reductie in latentie).
  • Geheugen: 2x minder geheugenverbruik tijdens inferentie (51,2% reductie).
• Performance:
  • Semantische Segmentatie: LitePT-S overtreft PTv3 op nuScenes (+1,8 mIoU), Waymo (+1,8 mIoU) en Structured3D (+3,0 mIoU). Op ScanNet presteert het vergelijkbaar met PTv3, ondanks dat LitePT-S 4x minder parameters heeft.
  • Instance Segmentatie: Nieuwe state-of-the-art op ScanNet (64,9 mAP50, +3,2% ten opzichte van PTv3).
  • Object Detectie: Bereikt de hoogste scores op de Waymo dataset voor voertuigen en fietsers.
• Generalisatie: Het model toont betere cross-dataset generalisatie (van Structured3D naar ScanNet) dankzij PointROPE, wat suggereert dat het minder overfit op dataset-specifieke structuren.

Significantie

Dit paper is significant omdat het een fundamentele verschuiving in het ontwerp van 3D-puntwolk-architecturen voorstelt. Het weerlegt het idee dat convolutie en attention noodzakelijkerwijs in elke laag gecombineerd moeten worden. Door de berekening te laten corresponderen met het abstractieniveau van de data (lokaal vs. globaal), bereikt LitePT een ongeëvenaarde balans tussen snelheid, geheugengebruik en prestaties.

De introductie van PointROPE opent ook de deur voor nog efficiëntere Transformers in de toekomst, omdat het de afhankelijkheid van zware, leerbare positionele encoding-mechanismen wegneemt. LitePT fungeert als een nieuwe, lichtgewicht maar krachtige standaard (backbone) voor diverse 3D-vision taken, van autonoom rijden tot robotica.