🤖 machine learning

Rotary Masked Autoencoders are Versatile Learners

Het artikel introduceert Rotary Masked Autoencoders (RoMAE), een veelzijdige architectuur die gebruikmaakt van Rotary Positional Embeddings om effectief representatieleren mogelijk te maken over diverse modaliteiten, waaronder onregelmatige tijdreeksen, zonder dat gespecialiseerde architecturale aanpassingen vereist zijn.

Oorspronkelijke auteurs: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een super slimme robot voor die is ontworpen om boeken te lezen. Het is ongelooflijk goed in het begrijpen van zinnen, omdat het weet dat woorden een specifieke volgorde hebben: "De kat zat" is anders dan "Zat de kat." Deze robot gebruikt een speciaal systeem om bij te houden waar elk woord in de zin staat.

Stel je nu voor dat je deze robot wilt leren onregelmatige tijdreeksdata te begrijpen. Denk hierbij aan een weerstation dat alleen een rapport stuurt als het regent, of een hartmonitor die alleen een hartslag opneemt als deze over slaat. De datapunten komen niet op regelmatige intervallen (zoals elke seconde); ze komen op willekeurige tijden.

De standaard robot raakt hierdoor in de war. Het verwacht een constant ritme, zoals een metronoom. Als je het onregelmatige data voert, valt het ofwel uit elkaar, of het moet zwaar worden aangepast met complexe, op maat gemaakte onderdelen om het chaos te hanteren.

Maar dan komt RoMAE (Rotary Masked Autoencoder) in beeld. De auteurs van dit artikel hebben een nieuwe versie van de robot gebouwd die deze onregelmatigheid aankan zonder dat er speciale "tandwielen" of aanpassingen nodig zijn. Hier is hoe ze dat deden, met behulp van eenvoudige analogieën:

1. Het "Rotary" Kompas (RoPE)

De geheime saus is een methode genaamd Rotary Positional Embedding (RoPE).

De oude manier: Stel je voor dat de robot een liniaal gebruikt om afstand te meten. Als de liniaal alleen streepjes heeft voor 1, 2, 3, 4, kan het "1,5" of "3,7" niet makkelijk meten. Het heeft moeite met continue, niet-gehele getallen.
De RoMAE-methode: In plaats van een liniaal gebruikt de robot een kompas. Het telt niet alleen stappen; het roteert zijn begrip van "waar" iets zich bevindt.
- Als een datapunt op tijdstip 10 plaatsvindt, roteert de robot zijn interne weergave met een bepaalde hoek.
- Als een datapunt op tijdstip 10,5 plaatsvindt, roteert het met een iets andere hoek.
- Omdat een komas naar elke hoek kan wijzen, en niet alleen naar gehele getallen, kan de robot continue, onregelmatige tijd perfect begrijpen. Het hoeft niet te horen "dit is een tijdreeks"; het begrijpt gewoon de geometrie van de data.

2. Het "Blinddoek"-spel (Masked Autoencoder)

De robot leert door een spelletje "Blinddoek" te spelen.

De opzet: Je toont de robot een afbeelding (of een datastroom), maar je bedekt 75% ervan met een blinddoek (masks).
De taak: De robot moet raden wat er onder de blinddoek zit, gebaseerd op de zichtbare delen.
Het resultaat: Door te proberen de ontbrekende stukjes van onregelmatige data in te vullen, leert de robot de onderliggende patronen van hoe de data zich gedraagt. Zodra het goed is in dit spel, kun je de blinddoek afdoen en het gebruiken voor echte taken zoals classificatie of voorspelling.

3. De "Universele Adapter"

Normaal gesproken bouw je één hersenstam als je wilt dat een robot afbeeldingen verwerkt. Als je wilt dat het audio verwerkt, bouw je een ander brein. Als je wilt dat het onregelmatige tijd verwerkt, bouw je een derde, zeer complex brein.

RoMAE is een universele adapter.

De auteurs testten het op afbeeldingen (zoals foto's), audio (zoals geluidsfragmenten) en onregelmatige tijdreeksen (zoals het weer of hartmonitoren).
De bewering: Ze ontdekten dat RoMAE zijn hersenstructuur voor geen van deze hoeven te veranderen. Het presteerde net zo goed op afbeeldingen en audio als de beste bestaande modellen, maar het sloeg ook de taken voor onregelmatige tijdreeksen waar andere modellen tegenaan liepen. Het is als een Zwitsers zakmes dat net zo scherp is als een gespecialiseerd chefsmes, maar ook een schroevendraaier en flesopener heeft.

4. De "Anker"-truc (Het [CLS]-token)

Een van de interessante ontdekkingen in het artikel gaat over hoe de robot "absolute" tijd versus "relatieve" tijd weet.

Relatieve tijd: "Dit gebeurde 5 minuten na dat."
Absolute tijd: "Dit gebeurde precies om 14:00 uur."

De auteurs ontdekten dat als ze een speciaal "Anker"-token (een [CLS]-token) aan het begin van de data toevoegen, de robot de absolute tijd kan bepalen. Zonder dit anker weet de robot alleen de afstand tussen gebeurtenissen, niet waar ze op de klok staan.

De metafoor: Stel je voor dat je in een donkere kamer bent. Als je alleen weet "ik liep 10 stappen vooruit", weet je niet waar je in het huis bent. Maar als je een zaklamp (het Anker) hebt die zegt "ik ben 10 stappen van de deur", weet je precies waar je bent.

Wat bewezen ze?

Het artikel beweert niet dat dit ziekten zal genezen of de beurs morgen zal voorspellen. In plaats daarvan bewezen ze drie specifieke dingen door middel van experimenten:

Veelzijdigheid: RoMAE werkt uitstekend op afbeeldingen, audio en rommelige, onregelmatige tijddata zonder dat er speciale architecturale wijzigingen nodig zijn.
Prestaties: Op een moeilijke astronomische uitdaging (de ELAsTiCC-dataset, die onregelmatige lichtkrommen uit de ruimte omvat), versloeg RoMAE gespecialiseerde modellen die speciaal voor die taak waren ontworpen.
Het Anker-effect: Ze bewezen wiskundig en toonden experimenteel aan dat zonder het speciale "Anker"-token de robot de mogelijkheid verliest om absolute posities te kennen, wat bepaalde taken moeilijker maakt.

De haken en ogen (Beperkingen)

Het artikel is eerlijk over de nadelen:

Snelheid: Omdat de robot deze "komasrotaties" voor elk enkel stukje data moet berekenen elke keer dat het het ziet, is het iets trager (ongeveer 13% trager) dan modellen die gebruikmaken van eenvoudige, vooraf berekende linialen.
Lengte: Net als alle standaard robots van dit type wordt het erg traag als je probeert het een enorme hoeveelheid data in één keer te voeren (zoals een hele roman of een jaar aan continu video).

Samenvattend: De auteurs bouwden een "universele leerder" die een roterend kompas gebruikt om tijd te begrijpen, waardoor het het "Blinddoek"-spel kan spelen op rommelige, onregelmatige data net zo goed als op schone foto's en geluiden, allemaal zonder dat er een op maat gemaakt brein nodig is.

Technische Samenvatting: Rotary Masked Autoencoders zijn veelzijdige leermiddelen

Probleemstelling

De toepassing van Transformer-architecturen op onregelmatige tijdreeksdata brengt aanzienlijke uitdagingen met zich mee. Standaard Transformers, oorspronkelijk ontworpen voor discrete sequenties zoals natuurlijke taal, vertrouwen op gekwantiseerde positionele informatie. Ze missen native ondersteuning voor continue positionele data, wat essentieel is voor het modelleren van onregelmatig bemonsterde tijdreeksen die voorkomen in domeinen zoals gezondheid, financiën en astrofysica. Bestaande oplossingen vereisen doorgaans gespecialiseerde architecturale aanpassingen (bijvoorbeeld het wijzigen van feedforward-lagen) of nieuwe positionele embeddings (bijvoorbeeld neurale ODE's), wat de rekenkundige overhead en methodologische complexiteit verhoogt. Bovendien vereist het uitbreiden van Transformers naar onregelmatige data vaak het opgeven van het standaard "ecosysteem" van tools dat is ontwikkeld voor Natural Language Processing (NLP) en Computer Vision (CV).

Methodologie: Rotary Masked Autoencoder (RoMAE)

De auteurs stellen RoMAE voor, een uitbreiding van het Masked Autoencoder (MAE)-framework dat Rotary Positional Embeddings (RoPE) integreert om continue, multidimensionale positionele informatie te verwerken zonder dat taakspecifieke architecturale specialisaties nodig zijn.

Kerncomponenten

N-dimensionale Patchificatie: Invoeren $x \in \mathbb{R}^{d_1 \times d_2 \times \dots \times d_D}$ worden verdeeld in niet-overlappende patches. Voor onregelmatige dimensies (bijvoorbeeld tijd) moet de patchgrootte 1 zijn om uniforme datapunten per patch te garanderen. Deze patches worden afgevlakt tot een sequentie en geprojecteerd naar een embeddingsdimensie $d_{model}$ .
Continue Axiale RoPE: In tegenstelling tot standaard RoPE, ontworpen voor discrete gehele getallen, maakt RoMAE gebruik van RoPE met continue reële waarden voor posities ( $m \in \mathbb{R}$ $m \in R$ ). Het model accepteert een reeks positionele vectoren $s = [s_1, \dots, s_k]$ $s = [s_{1}, \dots, s_{k}]$ naast invoerwaarden.
- Axiale Toepassing: Om multidimensionale posities te coderen (bijvoorbeeld tijd en kanaalindex), maakt het model gebruik van Axiale RoPE, waarbij de embeddingsruimte wordt opgesplitst in subruimtes, die elk een specifieke dimensie coderen.
- Omgaan met Hoge Dimensies: Om de rekenkundige kosten van het delen van $d_{model}$ door een groot aantal dimensies $D$ te vermijden, reserveren de auteurs optioneel een dimensie om de dimensie-index op te slaan, waardoor de effectieve positionele dimensies worden verminderd.
Architectuur: RoMAE volgt de asymmetrische encoder-decoder-structuur van MAE.
- Encoder: Een standaard Transformer-encoder (met SiLU-activering en RMSNorm) verwerkt niet-gemaskerde patches.
- Decoder: Een kleinere Transformer-decoder reconstrueert gemaskerde patches.
- Pre-training: Een percentage van de patches wordt gemaskerd. De decoder voorspelt de oorspronkelijke patchwaarden.
- Downstream-taken: De decoder wordt verworpen en de intermediaire representaties van de encoder worden gebruikt voor classificatie of regressie.

Theoretische Inzichten over Positie

Het artikel onderzoekt de wisselwerking tussen RoPE (een methode voor Relatieve Positionele Embedding) en het [CLS]-token:

Relatief versus Absoluut: Zonder een geleerd [CLS]-token is de RoMAE-encoder translatie-invariant en vertrouwt uitsluitend op relatieve posities.
Reconstructie van Absolute Positie: De auteurs bewijzen (Propositie 4.2) dat het opnemen van een geleerd [CLS]-token het model in staat stelt absolute posities te reconstrueren. Het [CLS]-token fungeert als een "anker", waardoor het model de absolute positie van elke embedding ten opzichte van het anker kan afleiden, wat effectief de zuivere relatieve eigenschap van RoPE in de context van de volledige sequentie doorbreekt.

Belangrijkste Bijdragen

Continue Positionele Embedding met RoPE: Het werk breidt de bruikbaarheid van RoPE uit naar continue, niet-uniforme tijdstippen, en toont aan dat geleerde invoerembeddings de relatieve afstandsgaranties van RoPE kunnen ongeldig maken tenzij er een anker (zoals [CLS]) wordt gebruikt.
RoMAE-framework: Een unificatie architectuur die native omgaat met onregelmatige multivariate tijdreeksen, terwijl het standaardprestaties behoudt voor afbeeldingen en audio. Het elimineert de noodzaak voor gespecialiseerde tijdreeksarchitecturen.
Uitgebreide Experimentele Analyse: De auteurs valideren RoMAE over vier verschillende modaliteiten en taken:
- Classificatie van onregelmatig bemonsterde multivariate tijdreeksen.
- Afbeeldingsclassificatie.
- Interpolatie van onregelmatig bemonsterde tijdreeksen.
- Audio-classificatie.

Experimentele Resultaten

Het artikel rapporteert resultaten op verschillende benchmarks, waarbij RoMAE wordt vergeleken met state-of-the-art (SOTA) gespecialiseerde modellen:

Classificatie van Onregelmatige Tijdreeksen (ELAsTiCC Challenge): Op de DESC ELAsTiCC-dataset (astronomische lichtkrommen) presteerde RoMAE-tiny beter dan de gespecialiseerde ATAT-architectuur. RoMAE behaalde een F-score van 0,8029 (zonder alertmasker) in vergelijking met 0,6270 voor ATAT, wat aantoont dat een generalistisch model gespecialiseerde modellen kan overtreffen op moeilijke datasets.
Afbeeldingsclassificatie (Tiny ImageNet): RoMAE met RoPE presteerde vergelijkbaar met of iets beter dan MAE met absolute positionele embeddings, wat de veelzijdigheid ervan in CV bevestigt.
Audio-classificatie (ESC-50): Vooraf getraind op AudioSet-20k en Librispeech, bereikte RoMAE-small een nauwkeurigheid van 84,7%, wat beter is dan het SSAST-model (82,2%) dat op dezelfde dataset is getraind.
Interpolatietaken:
- Spiralen: RoMAE verbeterde de vorige beste (ContiFormer) met een orde van grootte in MSE.
- Synthetisch & PhysioNet: RoMAE behaalde concurrerende MSE-resultaten op univariate en multivariate klinische data, vaak met betere resultaten dan gespecialiseerde modellen zoals HeTVAE en Latent ODE, vooral bij het verwerken van schaarse waarnemingen.
Positiereconstructie: Experimenten bevestigden dat modellen met een [CLS]-token absolute posities konden reconstrueren met een gemiddelde kwadratische fout (MSE) dicht bij nul, terwijl modellen zonder dit token faalden (MSE > 200).

Betekenis en Claims

Het artikel beweert dat RoMAE een veelzijdig leermiddel is dat het gat kan overbruggen tussen standaard Transformer-toepassingen (NLP, CV) en analyse van onregelmatige tijdreeksen.

Unificatie Framework: Het toont aan dat gespecialiseerde architecturen niet strikt noodzakelijk zijn voor sterke prestaties op onregelmatige tijdreeksen; standaard Transformer-methoden, aangevuld met continue RoPE, volstaan.
Data-efficiëntie: RoMAE toont sterke prestaties zelfs op kleine datasets (honderden samples) en schaalt tot miljoenen (ELAsTiCC), wat de voordelen van pre-training benadrukt.
Theoretisch Inzicht: Het werk biedt empirisch bewijs dat de eigenschap van "lange-termijn verval" van RoPE niet kritiek is voor zijn functie, en verduidelijkt de voorwaarden waaronder RoPE absolute positie-reconstructie kan ondersteunen.
Beperkingen: De auteurs erkennen dat continue RoPE rekenkundige overhead met zich meebrengt (ongeveer 13% trager dan gekwantiseerde RoPE) omdat frequenties niet tussen forward passes kunnen worden gecachet. Bovendien, net als BERT-achtige modellen, is RoMAE niet goed geschikt voor extrapolatietaken die buiten-verdelings temporale vensters betreffen.

Kortom, biedt RoMAE een taak-agnostische basislijn voor interpolatie in continue tijd en representatieleren, wat suggereert dat de "foundation model"-benadering succesvol kan worden uitgebreid naar wetenschappelijke gebieden die te maken hebben met onregelmatige, multidimensionale data zonder op maat gemaakte architecturale wijzigingen.