🤖 machine learning

Rotary Masked Autoencoders are Versatile Learners

Das Papier stellt Rotary Masked Autoencoders (RoMAE) vor, eine vielseitige Architektur, die Rotary Positional Embeddings nutzt, um effektives Repräsentationslernen über diverse Modalitäten hinweg, einschließlich unregelmäßiger Zeitreihen, ohne spezielle architektonische Modifikationen zu ermöglichen.

Ursprüngliche Autoren: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Uros Zivanovic, Serafina Di Gioia, Andre Scaffidi, Martín de los Rios, Gabriella Contardo, Roberto Trotta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superschlauen Roboter, der darauf ausgelegt ist, Bücher zu lesen. Er ist unglaublich gut im Verstehen von Sätzen, weil er weiß, dass Wörter eine spezifische Reihenfolge haben: „The cat sat" ist anders als „Sat the cat." Dieser Roboter verwendet ein spezielles System, um den Ort jedes Wortes im Satz im Auge zu behalten.

Stellen Sie sich nun vor, Sie möchten diesen Roboter dazu bringen, irreguläre Zeitreihendaten zu verstehen. Denken Sie dabei an eine Wetterstation, die nur dann einen Bericht sendet, wenn es regnet, oder an einen Herzmonitor, der nur dann einen Herzschlag aufzeichnet, wenn dieser aussetzt. Die Datenpunkte kommen nicht in regelmäßigen Abständen (wie jede Sekunde); sie kommen zu zufälligen Zeiten.

Der Standardroboter gerät hier ins Wanken. Er erwartet einen gleichmäßigen Rhythmus, wie ein Metronom. Wenn Sie ihm irreguläre Daten zuführen, geht er entweder kaputt oder muss stark modifiziert werden, indem komplexe, maßgeschneiderte Teile hinzugefügt werden, um das Chaos zu bewältigen.

Hier kommt RoMAE (Rotary Masked Autoencoder) ins Spiel. Die Autoren dieses Papers haben eine neue Version des Roboters entwickelt, die diese Irregularität bewältigen kann, ohne dass spezielle „Zahnräder" oder besondere Modifikationen erforderlich sind. So haben sie es getan, unter Verwendung einfacher Analogien:

1. Der „drehende" Kompass (RoPE)

Das Geheimnis ist eine Methode namens Rotary Positional Embedding (RoPE).

Der alte Weg: Stellen Sie sich vor, der Roboter verwendet ein Lineal, um Entfernungen zu messen. Wenn das Lineal nur Markierungen für 1, 2, 3, 4 hat, kann es „1,5" oder „3,7" nicht leicht messen. Es hat Schwierigkeiten mit kontinuierlichen, nicht-ganzzahligen Werten.
Der RoMAE-Weg: Anstelle eines Lineals verwendet der Roboter einen Kompass. Er zählt nicht nur Schritte; er dreht sein Verständnis davon, „wo" sich etwas befindet.
- Wenn ein Datenpunkt zur Zeit 10 auftritt, dreht der Roboter seine interne Sicht um einen bestimmten Winkel.
- Wenn ein Datenpunkt zur Zeit 10,5 auftritt, dreht er sich um einen leicht anderen Winkel.
- Da ein Kompass auf jeden Winkel zeigen kann, nicht nur auf ganze Zahlen, kann der Roboter kontinuierliche, irreguläre Zeit perfekt verstehen. Es muss ihm nicht gesagt werden, „dies ist eine Zeitreihe"; er versteht einfach die Geometrie der Daten.

2. Das „Verband" -Spiel (Masked Autoencoder)

Der Roboter lernt, indem er ein Spiel namens „Verband" spielt.

Das Setup: Sie zeigen dem Roboter ein Bild (oder einen Datenstrom), aber Sie bedecken 75 % davon mit einem Verband (Masken).
Die Aufgabe: Der Roboter muss erraten, was unter dem Verband liegt, basierend auf den sichtbaren Teilen.
Das Ergebnis: Indem er versucht, die fehlenden Teile irregulärer Daten einzufügen, lernt der Roboter die zugrunde liegenden Muster, wie sich die Daten verhalten. Sobald er in diesem Spiel gut ist, können Sie den Verband abnehmen und ihn für echte Aufgaben wie Klassifizierung oder Vorhersage verwenden.

3. Der „universelle Adapter"

Normalerweise, wenn Sie wollen, dass ein Roboter Bilder verarbeitet, bauen Sie ein Gehirn. Wenn Sie wollen, dass er Audio verarbeitet, bauen Sie ein anderes Gehirn. Wenn Sie wollen, dass er irreguläre Zeit verarbeitet, bauen Sie ein drittes, sehr komplexes Gehirn.

RoMAE ist ein universeller Adapter.

Die Autoren testeten ihn auf Bilder (wie Fotos), Audio (wie Soundclips) und irreguläre Zeitreihen (wie Wetter oder Herzmonitore).
Die Behauptung: Sie stellten fest, dass RoMAE seine Gehirnstruktur für keines dieser Dinge ändern musste. Er schnitt bei Bildern und Audio genauso gut ab wie die besten bestehenden Modelle, aber er auch die Aufgaben mit irregulären Zeitreihen, bei denen andere Modelle Schwierigkeiten hatten, meisterhaft gemeistert. Es ist wie ein Schweizer Taschenmesser, das genauso scharf ist wie ein dedizierter Kochmesser, aber auch einen Schraubenzieher und einen Flaschenöffner hat.

4. Der „Anker"-Trick (Das [CLS]-Token)

Eine der interessanten Entdeckungen des Papers betrifft, wie der Roboter „absolute" Zeit versus „relative" Zeit kennt.

Relative Zeit: „Dieses Ereignis geschah 5 Minuten nach jenem."
Absolute Zeit: „Dieses Ereignis geschah genau um 14:00 Uhr."

Die Autoren stellten fest, dass, wenn sie ein spezielles „Anker"-Token (ein [CLS]-Token) an den Anfang der Daten hinzufügen, der Roboter die absolute Zeit herausfinden kann. Ohne diesen Anker kennt der Roboter nur den Abstand zwischen Ereignissen, nicht aber, wo sie auf der Uhr stehen.

Die Metapher: Stellen Sie sich vor, Sie sind in einem dunklen Raum. Wenn Sie nur wissen „Ich bin 10 Schritte nach vorne gegangen", wissen Sie nicht, wo Sie im Haus sind. Aber wenn Sie eine Taschenlampe (den Anker) haben, die Ihnen sagt „Ich bin 10 Schritte von der Tür entfernt", wissen Sie genau, wo Sie sind.

Was haben sie bewiesen?

Das Paper behauptet nicht, dass dies Krankheiten heilen oder den Aktienmarkt morgen vorhersagen wird. Stattdessen bewiesen sie durch Experimente drei spezifische Dinge:

Vielseitigkeit: RoMAE funktioniert hervorragend bei Bildern, Audio und unordentlichen, irregulären Zeitdaten, ohne dass spezielle architektonische Änderungen erforderlich sind.
Leistung: Bei einer schwierigen astronomischen Herausforderung (dem ELAsTiCC-Datensatz, der irreguläre Lichtkurven aus dem Weltraum beinhaltet), schlug RoMAE spezialisierte Modelle, die nur für diesen Job entwickelt wurden.
Der Anker-Effekt: Sie bewiesen mathematisch und zeigten experimentell, dass der Roboter ohne das spezielle „Anker"-Token die Fähigkeit verliert, absolute Positionen zu kennen, was bestimmte Aufgaben erschwert.

Der Haken (Einschränkungen)

Das Paper ist ehrlich bezüglich der Nachteile:

Geschwindigkeit: Da der Roboter diese „Kompassdrehungen" für jedes einzelne Stück Daten jedes Mal berechnen muss, wenn er es sieht, ist er etwas langsamer (etwa 13 % langsamer) als Modelle, die einfache, vorausberechnete Lineale verwenden.
Länge: Wie alle Standardroboter dieser Art wird er sehr langsam, wenn Sie versuchen, ihm eine massive Datenmenge auf einmal zuzuführen (wie einen ganzen Roman oder ein Jahr kontinuierliches Video).

Zusammenfassend: Die Autoren bauten einen „universellen Lerner", der einen drehenden Kompass verwendet, um Zeit zu verstehen, was es ihm ermöglicht, das „Verband"-Spiel bei unordentlichen, irregulären Daten genauso gut zu spielen wie bei sauberen Fotos und Sounds, alles ohne die Notwendigkeit eines maßgeschneiderten Gehirns.

Technische Zusammenfassung: Rotierende Maskierte Autoencoder sind vielseitige Lerner

Problemstellung

Die Anwendung von Transformer-Architekturen auf unregelmäßige Zeitreihendaten stellt erhebliche Herausforderungen dar. Standard-Transformer, die ursprünglich für diskrete Sequenzen wie natürliche Sprache entwickelt wurden, verlassen sich auf quantisierte Positionsinformationen. Ihnen fehlt die native Unterstützung für kontinuierliche Positionsdaten, die für die Modellierung unregelmäßig abgetasteter Zeitreihen in Bereichen wie Gesundheit, Finanzen und Astrophysik unerlässlich ist. Bestehende Lösungen erfordern typischerweise spezialisierte architektonische Modifikationen (z. B. Änderungen an Feedforward-Schichten) oder neuartige Positionseingebettungen (z. B. neuronale ODEs), was den Rechenaufwand und die methodische Komplexität erhöht. Darüber hinaus erfordert die Erweiterung von Transformer auf unregelmäßige Daten oft den Verzicht auf das Standard-„Ökosystem" von Werkzeugen, das für die Verarbeitung natürlicher Sprache (NLP) und Computer Vision (CV) entwickelt wurde.

Methodik: Rotierender Maskierter Autoencoder (RoMAE)

Die Autoren schlagen RoMAE vor, eine Erweiterung des Masked-Autoencoder-(MAE)-Rahmens, der Rotierende Positionseingebettungen (RoPE) integriert, um kontinuierliche, mehrdimensionale Positionsinformationen zu verarbeiten, ohne auf aufgabenspezifische architektonische Spezialisierungen angewiesen zu sein.

Kernkomponenten

N-dimensionale Patchifizierung: Eingaben $x \in \mathbb{R}^{d_1 \times d_2 \times \dots \times d_D}$ werden in nicht überlappende Patches unterteilt. Für unregelmäßige Dimensionen (z. B. Zeit) muss die Patchgröße 1 betragen, um einheitliche Datenpunkte pro Patch zu gewährleisten. Diese Patches werden zu einer Sequenz gefaltet und in eine Einbettungsdimension $d_{model}$ projiziert.
Kontinuierliche Axiale RoPE: Im Gegensatz zur Standard-RoPE, die für diskrete Ganzzahlen entwickelt wurde, nutzt RoMAE RoPE mit kontinuierlichen reellwertigen Positionen ( $m \in \mathbb{R}$ $m \in R$ ). Das Modell akzeptiert eine Sequenz von Positionsvektoren $s = [s_1, \dots, s_k]$ $s = [s_{1}, \dots, s_{k}]$ zusammen mit Eingabewerten.
- Axiale Anwendung: Um mehrdimensionale Positionen (z. B. Zeit und Kanalindex) zu kodieren, verwendet das Modell Axiale RoPE, wobei der Einbettungsraum in Teilräume aufgeteilt wird, die jeweils eine spezifische Dimension kodieren.
- Umgang mit hohen Dimensionen: Um die Rechenkosten zu vermeiden, die durch die Division von $d_{model}$ durch eine große Anzahl von Dimensionen $D$ entstehen, reservieren die Autoren optional eine Dimension, um den Dimensionsindex zu speichern, wodurch die effektiven Positionsdimensionen reduziert werden.
Architektur: RoMAE folgt der asymmetrischen Encoder-Decoder-Struktur von MAE.
- Encoder: Ein Standard-Transformer-Encoder (unter Verwendung von SiLU-Aktivierung und RMSNorm) verarbeitet unmaskierte Patches.
- Decoder: Ein kleinerer Transformer-Decoder rekonstruiert maskierte Patches.
- Vorabtraining: Ein Prozentsatz der Patches wird maskiert. Der Decoder sagt die ursprünglichen Patchwerte vorher.
- Downstream-Aufgaben: Der Decoder wird verworfen, und die intermediären Repräsentationen des Encoders werden für Klassifizierung oder Regression verwendet.

Theoretische Erkenntnisse zur Position

Das Papier untersucht das Zusammenspiel zwischen RoPE (einer Methode für relative Positionseingebettungen) und dem [CLS]-Token:

Relativ vs. Absolut: Ohne ein gelerntes [CLS]-Token ist der RoMAE-Encoder translationsinvariant und stützt sich ausschließlich auf relative Positionen.
Rekonstruktion absoluter Positionen: Die Autoren beweisen (Proposition 4.2), dass die Einbeziehung eines gelernten [CLS]-Tokens dem Modell ermöglicht, absolute Positionen zu rekonstruieren. Das [CLS]-Token fungiert als „Anker", der es dem Modell erlaubt, die absolute Position einer beliebigen Einbettung relativ zum Anker zu inferieren, wodurch die rein relative Eigenschaft von RoPE im Kontext der gesamten Sequenz effektiv durchbrochen wird.

Hauptbeiträge

Kontinuierliche Positionseingebettung mit RoPE: Die Arbeit erweitert die Nutzbarkeit von RoPE auf kontinuierliche, ungleichmäßige Zeitstempel und zeigt, dass gelernte Eingabeeinbettungen die relativen Distanzgarantien von RoPE ungültig machen können, es sei denn, ein Anker (wie [CLS]) wird verwendet.
RoMAE-Rahmenwerk: Eine einheitliche Architektur, die unregelmäßige multivariate Zeitreihen nativ verarbeitet und gleichzeitig die Standardleistung bei Bildern und Audio beibehält. Sie eliminiert die Notwendigkeit spezialisierter Zeitreihenarchitekturen.
Umfassende experimentelle Analyse: Die Autoren validieren RoMAE über vier verschiedene Modalitäten und Aufgaben hinweg:
- Klassifizierung unregelmäßig abgetasteter multivariater Zeitreihen.
- Bildklassifizierung.
- Interpolation unregelmäßig abgetasteter Zeitreihen.
- Audioklassifizierung.

Experimentelle Ergebnisse

Das Papier berichtet über Ergebnisse an mehreren Benchmarks und vergleicht RoMAE mit spezialisierten State-of-the-Art-(SOTA)-Modellen:

Klassifizierung unregelmäßiger Zeitreihen (ELAsTiCC-Herausforderung): Auf dem DESC ELAsTiCC-Datensatz (astronomische Lichtkurven) übertraf RoMAE-tiny die spezialisierte ATAT-Architektur. RoMAE erreichte einen F-Score von 0,8029 (ohne Alert-Maske) im Vergleich zu 0,6270 bei ATAT, was zeigt, dass ein Generalist-Modell spezialisierte Modelle auf schwierigen Datensätzen übertreffen kann.
Bildklassifizierung (Tiny ImageNet): RoMAE mit RoPE performte vergleichbar oder leicht besser als MAE mit absoluten Positionseingebettungen, was seine Vielseitigkeit in der CV bestätigt.
Audioklassifizierung (ESC-50): Vorab auf AudioSet-20k und Librispeech trainiert, erreichte RoMAE-small eine Genauigkeit von 84,7% und übertraf das SSAST-Modell (82,2%), das auf demselben Datensatz trainiert wurde.
Interpolationsaufgaben:
- Spiralen: RoMAE verbesserte den vorherigen Bestwert (ContiFormer) in Bezug auf den MSE um eine Größenordnung.
- Synthetisch & PhysioNet: RoMAE erzielte konkurrenzfähige MSE-Ergebnisse bei univariaten und multivariaten klinischen Daten und übertraf oft spezialisierte Modelle wie HeTVAE und Latent ODE, insbesondere beim Umgang mit spärlichen Beobachtungen.
Positionsrekonstruktion: Experimente bestätigten, dass Modelle mit einem [CLS]-Token absolute Positionen mit einem nahezu null Mean Squared Error (MSE) rekonstruieren konnten, während Modelle ohne diesen scheiterten (MSE > 200).

Bedeutung und Behauptungen

Das Papier behauptet, dass RoMAE ein vielseitiger Lerner ist, der die Lücke zwischen Standard-Transformer-Anwendungen (NLP, CV) und der Analyse unregelmäßiger Zeitreihen schließen kann.

Einheitliches Rahmenwerk: Es zeigt, dass spezialisierte Architekturen für eine starke Leistung bei unregelmäßigen Zeitreihen nicht zwingend erforderlich sind; Standard-Transformer-Methoden, ergänzt durch kontinuierliche RoPE, reichen aus.
Dateneffizienz: RoMAE zeigt auch bei kleinen Datensätzen (Hunderte von Proben) eine starke Leistung und skaliert auf Millionen (ELAsTiCC), was die Vorteile des Vorabtrainings unterstreicht.
Theoretische Einsicht: Die Arbeit liefert empirische Belege dafür, dass die Eigenschaft des „langfristigen Abklingens" (long-term decay) von RoPE für ihre Funktion nicht kritisch ist, und klärt die Bedingungen, unter denen RoPE die Rekonstruktion absoluter Positionen unterstützen kann.
Einschränkungen: Die Autoren räumen ein, dass kontinuierliche RoPE einen Rechenaufwand mit sich bringt (ca. 13 % langsamer als quantisierte RoPE), da Frequenzen zwischen den Vorwärtsdurchläufen nicht zwischengespeichert werden können. Zusätzlich ist RoMAE, ähnlich wie BERT-ähnliche Modelle, nicht gut für Extrapolationsaufgaben geeignet, die zeitliche Fenster außerhalb der Trainingsverteilung betreffen.

Zusammenfassend bietet RoMAE eine aufgabenagnostische Basislinie für die Interpolation im kontinuierlichen Zeitbereich und das Repräsentationslernen und legt nahe, dass der Ansatz des „Foundation Model" erfolgreich auf wissenschaftliche Bereiche erweitert werden kann, die mit unregelmäßigen, mehrdimensionalen Daten umgehen, ohne maßgeschneiderte architektonische Änderungen.