🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

Het artikel introduceert RelFlexformer, een klasse van efficiënte 3D-Transformer-modellen die de Niet-Uniforme Fourier-transformatie (NU-FFT) gebruiken om willekeurige integreerbare relatieve positionele coderingen te integreren met een complexiteit van O(L log L), waardoor effectieve attentiemechanismen mogelijk worden voor zowel gestructureerde roosters als ongestructureerde heterogene 3D-gegevens zoals puntenwolken.

Oorspronkelijke auteurs: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, chaotische feest wilt organiseren waar gasten in een 3D-ruimte staan. Sommigen staan dicht bij elkaar, anderen ver uit elkaar, en er is geen strak rooster of rijen. Je doel is om uit te zoeken wie met wie moet praten, gebaseerd op hoe dicht ze bij elkaar staan.

In de wereld van computervisie is dit "feest" een 3D-puntenwolk (een verzameling punten die objecten in de ruimte voorstellen), en de "gasten" zijn datapunten. De computer gebruikt een hulpmiddel genaamd een Transformer om te beslissen wie met wie praat.

Hier is het probleem dat het paper oplost, eenvoudig uitgelegd:

Het Probleem: De "Kwadratische" Bottleneck

Standaard Transformers zijn als een feestorganisator die erop staat om de afstand tussen elke enkele gast en elke andere gast te controleren voordat iemand mag spreken.

Als je 100 gasten hebt, maakt de organisator 10.000 controles.
Als je 1.000 gasten hebt, maakt de organisator 1.000.000 controles.
Als je 10.000 gasten hebt (wat gebruikelijk is bij 3D-scans), raakt de organisator overbelast, raakt hij de geheugenruimte kwijt en stopt het feest. Dit is de kwadratische kost ( $O(L^2)$ ).

Om dit op te lossen, hebben onderzoekers "Efficiënte Transformers" (zoals Performers) uitgevonden. Deze organisatoren gebruiken een truc: ze raden wie met wie moet praten op basis van een slimme wiskundige truc, waardoor het feest snel verloopt ( $O(L)$ ).

De Haken: Deze trucs zijn geweldig qua snelheid, maar ze zijn vreselijk in het begrijpen van geometrie. Ze vergeten dat in een 3D-ruimte afstand uitmaakt. Ze behandelen een gast die naast je staat hetzelfde als een gast die aan de andere kant van de kamer staat, wat de nauwkeurigheid voor 3D-taken verpest.

De Oplossing: RelFlexformer

De auteurs introduceren RelFlexformer, een nieuw type efficiënte organisator die zowel snel als geometrisch bewust is.

Denk er als volgt over:

De Truc: In plaats van elk paar te controleren, gebruikt het een "magische lens" (genaamd NU-FFT, of Non-Uniform Fast Fourier Transform) om direct te berekenen hoe afstand het gesprek beïnvloedt.
De Flexibele Modulatie: Stel je voor dat de organisator een speciale "volume-knop" heeft voor elk paar gasten. Als twee gasten dichtbij zijn, staat het volume hoog (ze praten veel). Als ze ver weg zijn, staat het volume laag.
- Oude efficiënte methoden konden deze knop niet draaien zonder hun snelheidstruc te breken.
- RelFlexformer kan deze knop draaien voor elke vorm van kamer (zelfs rommelige, onregelmatige 3D-ruimtes) zonder te vertragen. Dit doet het door het afstandsprobleem om te zetten in een frequentieprobleem (zoals het omzetten van een complex lied in een simpel melodie) en dit snel op te lossen.

De "Magische" Analogie: Het Orkest

Stel je voor dat de 3D-punten muzikanten zijn in een orkest dat willekeurig verspreid staat in een hal.

Standaard Transformers vragen elke muzikant om naar elke andere muzikant te luisteren om de harmonie te vinden. Dit duurt eeuwen voor een groot orkest.
Oude Efficiënte Transformers vragen de muzikanten om de harmonie te raden op basis van een simpele regel. Het is snel, maar de muziek klinkt vlak omdat ze negeren wie naast wie zit.
RelFlexformer is als een dirigent die een speciale akoestische spiegel gebruikt. In plaats van iedereen te vragen naar iedereen te luisteren, reflecteert de spiegel direct de geluidsgolven zodat muzikanten precies weten hoe hard ze moeten spelen op basis van hun specifieke afstand tot anderen. Het behoudt het "ruimtelijke gevoel" van de kamer, maar houdt de repetitietijd kort.

Wat Ze Beweren te Bereiken

Het paper beweert dat door deze "akoestische spiegel" (de NU-FFT wiskunde) te gebruiken:

Snelheid: Het blijft snel, schaalt bijna lineair ( $O(L \log L)$ ) zelfs met enorme hoeveelheden data. Het crasht niet als het "feest" te groot wordt.
Nauwkeurigheid: Het brengt het ontbrekende "afstandsgevoel" terug. In tests op 3D-objectherkenning (zoals het identificeren van een stoel uit een wolk van punten) en 3D-segmentatie (het labelen van delen van een kamer), presteert RelFlexformer:
- Het versloeg de oude "snelle maar domme" methoden (Performers).
- Het sloeg vaak de trage maar slimme standaard Transformers, zelfs al was het veel sneller.
Veelzijdigheid: Het werkt op rommelige, real-world data zoals puntenwolken (van LiDAR-scanners) en RGB-D-afbeeldingen (camera's die diepte zien), waar punten niet in strakke roosters zitten.

Samenvatting

RelFlexformer is een nieuwe manier voor computers om 3D-vormen te bekijken. Het combineert de snelheid van een truc met de nauwkeurigheid van het begrijpen van fysieke afstand. Het stelt computers in staat complexe 3D-scènes (zoals een robot die een kamer navigeert) snel te verwerken zonder het vermogen te verliezen om aan te geven hoe ver dingen uit elkaar staan.

Technische Samenvatting: RelFlexformer

Probleemstelling

Op attentie gebaseerde Transformers zijn dominante architecturen geworden voor 3D-leren, met name voor puntwolkdata. Echter, standaard Transformers staan voor twee kritieke beperkingen in dit domein:

Rekenkundige Knelpunt: Het standaard zelf-attentie-mechanisme schaalt kwadratisch ( $O(L^2)$ ) met de sequentielengte $L$ . Dit wordt onaanvaardbaar voor grote puntsets en dichte geometrische modellen.
Geometrische Misalignering: Standaard attentie sluit niet van nature aan bij de ongeordende, onregelmatig gespatieerde aard van puntwolken. Hoewel methoden voor Relatieve Positie-Encodering (RPE) bestaan om een geometrische bias in te brengen, is het integreren ervan in efficiënte, lineaire attentiemechanismen (zoals Performers) niet triviaal. Bestaande efficiënte RPE-methoden vertrouwen vaak op gestructureerde token-indelingen (bijv. regelmatige roosters) of vereisen een expliciete constructie van $L \times L$ maskers, wat de rekenkundige voordelen van lineaire attentie tenietdoet. Specifiek vereist het invoegen van een geometrisch masker in gekerneliseerde attentie zonder de volledige attentiematrix te materialiseren dat het masker snelle matrix-vectorproducten toestaat; een beperking die slechts weinig bestaande methoden voldoen voor willekeurige 3D-verdelingen.

Methodologie

De auteurs stellen RelFlexformer voor, een klasse van efficiënte 3D-Transformers die een brede familie van RPE's integreert via willekeurige integreerbare modulatiefuncties $f$ . De kerninnovatie is de toepassing van de theorie van de Non-Uniform Fast Fourier Transform (NU-FFT) om gemaskeerde attentie met sub-kwadratische complexiteit mogelijk te maken.

Belangrijkste Technische Componenten:

Modulatie via Convolutie: Het RPE-mechanisme wordt geformuleerd als een ruimtelijke convolutie. Gegeven de coördinaten van de invoertokens $\{r_i\}$ en een modulatiefunctie $f$ , wordt de gemaskeerde attentiewaarde $w$ voor een token berekend als de convolutie van $f$ met een signaal $P$ (een som van Dirac-delta's gewogen door invoerfeatures).
NU-FFT Formulering: Volgens het Convolutie-theorema komt convolutie in het ruimtelijke domein overeen met vermenigvuldiging in het Fourier-domein. De auteurs benaderen het continue Fourier-integraal met een kwadratuurregel met $S$ $S$ steekproeven.
- Forward Stap: Bereken de Fourier-transformatie van het puntwolk-signaal bij bemonsterde frequenties $\xi_s$ met behulp van NU-FFT. Dit kost $O(L \log L)$ tijd.
- Modulatie: Vermenigvuldig het getransformeerde signaal met de Fourier-transformatie van de modulatiefunctie $Ff(\xi_s)$ .
- Inverse Stap: Bereken de inverse NU-FFT om de gemoduleerde waarden te evalueren bij de oorspronkelijke token-coördinaten. Dit kost eveneens $O(L \log L)$ tijd.
Integratie met Lineaire Attentie: Dit "FastMultM"-algoritme vervangt de expliciete vermenigvuldiging met een $L \times L$ maskermatrix in lineaire attentiekaders (zoals Performers). De algehele complexiteit wordt $O(L \log L)$ , waardoor de efficiëntie van lineaire attentie behouden blijft terwijl willekeurige geometrische biasen worden geïncorporeerd.
Generalisatie: Het kader generaliseert bestaande methoden. Als de modulatiefunctie bijvoorbeeld wordt geparametriseerd als discrete harmonische functies, herwint de methode analytisch de Rotary Position Embedding (RoPE). Het omvat ook de $\otimes$ -STRING-encodering als een speciaal geval waarbij frequenties worden getrokken uit een specifieke spectrale dichtheid.

Belangrijkste Bijdragen

Algemene Formulering: De auteurs formuleren een algemene klasse van 3D RPE-gemoduleerde efficiënte attentiemechanismen gebaseerd op willekeurige $L_1$ -integreerbare functies.
Efficiënte Implementatie: Zij leiden een $O(L \log L)$ -implementatie af met behulp van NU-FFT, wat snelle gemaskeerde attentie mogelijk maakt zonder de attentiematrix te materialiseren. Dit maakt het mogelijk om geometrische informatie direct op te nemen in Performer-stijl attentie.
Veelzijdigheid en Prestatie: Het artikel valideert RelFlexformer als een directe vervanging (drop-in replacement) in diverse backbones (PCT, PTv3, DFormer). Het toont aan dat RelFlexformer niet alleen de prestatiekloof tussen efficiënte lineaire attentie en dichte kwadratische attentie overbrugt, maar in meerdere gevallen zelfs standaard $O(L^2)$ -Transformers overtreft.
Complementariteit: De auteurs tonen aan dat hun op afstand gebaseerde RPE-modulatie orthogonaal is aan token-niveau encoderingen zoals PointRoPE en effectief kan worden gecombineerd voor verdere winst.

Experimentele Resultaten

De auteurs hebben RelFlexformer geëvalueerd op een groot portfolio aan 3D-datasets voor classificatie en segmentatie:

Objectclassificatie (ModelNet40, ScanObjectNN):
- Op ModelNet40 behaalde RelFlexformer 92,94% nauwkeurigheid, wat de kloof met de dichte Transformer-baseline (93,2%) aanzienlijk verkleinde in vergelijking met de standaard Performer (92,34%).
- Op ScanObjectNN overtrof RelFlexformer (84,45%) de dichte Transformer-baseline (84,0%).
Semantische Segmentatie (ScanNet, ScanNet200, ScanNet++, nuScenes, S3DIS):
- RelFlexformer verbeterde consequent de standaard Performer-baselines. Bijvoorbeeld, op ScanNet verbeterde de mIoU van 74,8% (Performer) naar 76,8% (RelFlexformer), wat dicht in de buurt komt van de Transformer-baseline (77,6%).
- Op nuScenes behaalde RelFlexformer 80,3% mIoU, wat de Transformer-baseline (80,4%) benadert; specifiek bereikte RelFlexformer + PointRoPE 81,2%, waarmee de Transformer's 80,4% werd overtroffen.
- Op S3DIS met 6-voudige cross-validatie verkleinde RelFlexformer de mIoU-kloof van 73,18% (Performer) naar 76,25%, wat bijna gelijkstaat aan de Transformer (77,70%).
RGB-D Segmentatie (NYU Depth v2, SUN RGB-D):
- Met de DFormer-backbone behaalde RelFlexformer 55,32% mIoU op NYU Depth v2 en 51,04% op SUN RGB-D, waarmee het zowel de Performer-baseline als de recent voorgestelde STRING-methode overtrof, terwijl het de parameter-overhead van STRING vermijdt.

Betekenis en Claims

Het artikel stelt dat RelFlexformer een unificerend geometrisch operator biedt die recente multidimensionale encoderingen (zoals STRING) als speciale gevallen omvat, terwijl het sub-kwadratische efficiëntie uitbreidt naar dichte RGB-D-data via coördinatenlifting.

De primaire betekenis ligt in het dichten van de nauwkeurigheidskloof tussen efficiënte lineaire attentie en standaard dichte attentie. De auteurs betogen dat door geometrische modulatie via NU-FFT te kaderen, het mogelijk is om een brede familie van integreerbare RPE-functies op te nemen zonder de rekenkundige voordelen van gekerneliseerde attentie op te offeren. Dit vestigt RelFlexformer als een zeer schaalbare architectuur voor het verwerken van grote, onregelmatige puntwolken die eerder werden geblokkeerd door de kwadratische kosten van standaard dichte attentie. De resultaten suggereren dat efficiënte attentiemechanismen, wanneer uitgerust met passende geometrische modulatie, de prestaties van dichte Transformers kunnen bereiken en soms zelfs overtreffen, waardoor ze levensvatbaar worden voor real-world 3D-perceptietaken waar latentie en geheugen kritieke beperkingen zijn.