🤖 machine learning

Learning Hyperspherical Time-Frequency Representations for Time-Series Out-of-Distribution Detection

Dieses Paper schlägt ein hypersphärisches Zeit-Frequenz-Repräsentationslernframework unter Verwendung von von-Mises-Fisher-Zielfunktionen vor, um die Erkennung von Out-of-Distribution-Daten in Zeitreihen zu verbessern, wobei konsistente Leistungssteigerungen gegenüber starken Baselines über die UCR- und UEA-Archive hinweg nachgewiesen werden.

Ursprüngliche Autoren: Willian T. Lunardi, Samridha Shrestha, Martin Andreoni

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Willian T. Lunardi, Samridha Shrestha, Martin Andreoni

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann in einem sehr exklusiven Club. Ihre Aufgabe ist es, nur die Leute hereinzulassen, die dazugehören (die „In-Distribution“-Gäste oder ID-Gäste), und jeden abzuweisen, der nicht zum Vibe passt (die „Out-of-Distribution“-Fremden oder OOD-Fremden).

In der Welt der Informatik sind die meisten Sicherheitswachmänner großartig darin, Fremde auf Fotos (Vision) oder in Texten (Sprache) zu erkennen. Aber wenn es um Zeitreihendaten geht – was einfach ein Strom von Zahlen ist, die sich im Laufe der Zeit verändern, wie ein Herzschlagmonitor, Aktienkurse oder die Bewegung eines Roboters – werden diese Wachmänner oft verwirrt. Sie lassen vielleicht einen Fremden herein, weil er oberflächlich betrachtet ähnlich aussieht, oder sie werfen einen echten Gast raus, weil er einen etwas anderen Hut trägt.

Dieses Paper stellt ein neues Sicherheitssystem namens HyperTF vor, das speziell entwickelt wurde, um genau diese Zeitreihen-Fremden zu entlarven. So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Warum aktuelle Wachmänner versagen

Zeitreihendaten sind knifflig. Ein Herzschlag einer gesunden Person im Krankenhaus sieht anders aus als der Herzschlag einer gesunden Person zu Hause, obwohl beide „normal“ sind. Aktuelle Systeme scheitern oft, weil sie nicht die tiefe Struktur dieser Signale verstehen. Sie behandeln die Daten wie eine flache Liste von Zahlen anstatt wie eine komplexe Geschichte mit Anfang, Mitte und Ende.

2. Die Lösung: Ein „Globus“ statt einer flachen Landkarte

Die Autoren entschieden sich dagegen, die Daten auf einer flachen Landkarte zu betrachten, und platzierten sie stattdessen auf einem Globus (einer Hypersphäre).

Der alte Weg: Stellen Sie sich vor, Sie versuchen, verschiedene Früchte auf einem langen, flachen Tisch zu sortieren. Ähnliche Früchte könnten weit voneinander entfernt landen, wenn der Tisch unordentlich ist.
Der HyperTF-Weg: Stellen Sie sich vor, Sie rollen alle Früchte auf einen riesigen Globus. Sie gruppieren alle „Äpfel“ zusammen an einem Ort auf dem Globus, alle „Orangen“ an einem anderen und so weiter.
Die Magie: Indem sie die Daten auf diesen Globus zwingen, lernt der Computer, dass „Äpfel“ immer nah bei anderen „Äpfeln“ liegen, egal wie die Daten aufgezeichnet wurden. Wenn ein neues Stück Datensatz mitten im Ozean zwischen den Fruchtgruppen landet, weiß das System sofort: „Das ist weder ein Apfel noch eine Orange. Das ist ein Fremder!“

3. Der „Zwei-Augen“-Ansatz

Um sicherzustellen, dass der Sicherheitswachmann alles klar sieht, betrachtet HyperTF die Daten gleichzeitig durch zwei verschiedene Linsen:

Die Zeit-Linse: Es beobachtet das Signal Sekunde für Sekunde, wie es geschieht (wie beim Anschauen eines Films).
Die Frequenz-Linse: Es hört auf die „Tonhöhe“ und den „Rhythmus“ des Signals (wie beim Hören der musikalischen Noten in einem Lied).

Denken Sie an das Hören eines Liedes. Die Zeit-Linse hört den Text und die Melodie, während sie abgespielt werden. Die Frequenz-Linse hört den Bass, die Höhen und die spezifischen Instrumente, die verwendet werden. Durch die Kombination beider Ansichten erhält das System ein viel reichhaltigeres Verständnis davon, was ein „normales“ Signal ausmacht.

4. Das Training: Lernen mit „Ausreißer“-Freunden

Um wirklich gut darin zu werden, Fremde zu erkennen, wird das System mit einem speziellen Trick trainiert. Die Autoren zeigen dem System während des Trainings manchmal einen Haufen „falscher“ oder „seltsamer“ Daten (sogenannte Hilfs-Ausreißer bzw. auxiliary outliers).

Die Analogie: Stellen Sie sich vor, Sie trainieren einen Wachmann, indem Sie ihm Fotos von Menschen zeigen, die nicht in den Club gehören (wie Leute in Clownkostümen oder Leute in Arbeitskleidung).
Das Ergebnis: Der Wachmann lernt genau, wo die „Club-Grenze“ liegt. Wenn später ein echter Fremder auftaucht, zögert der Wachmann nicht. Das Paper fand heraus, dass die Verwendung einer speziellen Mischtechnik (genannt MixOE), um noch vielfältigere „Fremden“-Beispiele zu erstellen, den Wachmann sogar noch schärfer machte.

5. Die Ergebnisse: Ein besserer Wachmann

Die Autoren testeten ihr neues System auf einer massiven Sammlung von Zeitreihendaten (den UCR- und UEA-Archiven), die alles von Herzmonitoren bis hin zu Roboterbewegungen umfasst.

Die Bewertung: Sie verglichen HyperTF mit den besten existierenden Sicherheitswachmännern.
Das Ergebnis: HyperTF entlarvte konsequent mehr Fremde und ließ weniger Fremde durch die Maschen schlüpfen. Es war besonders gut darin, Fremde zu erkennen, die sehr verschieden von den normalen Gästen waren (die „Far-OOD“-Fälle).
Keine Kompromisse: Normalerweise macht es ein System schlechter darin, echte Gäste zu erkennen, wenn man es besser darin macht, Fremde zu entdecken. Aber HyperTF schaffte es, besser im Erkennen von Fremden zu werden, ohne dabei schlechter darin zu werden, die echten Gäste zu erkennen.

Zusammenfassung

Kurz gesagt: Dieses Paper hat einen klügeren Sicherheitswachmann für zeitbasierte Daten gebaut. Anstatt die Daten nur in einer geraden Linie zu betrachten, rollt es die Daten auf einen Globus, betrachtet sie durch zwei verschiedene Linsen (Zeit und Frequenz) und trainiert sie mit einer vielfältigen Mischung aus „Fremden“. Das Ergebnis ist ein System, das viel besser weiß, wann etwas nicht dazugehört, was für sicherheitskritische Systeme wie medizinische Monitore oder autonome Maschinen entscheidend ist.

Technische Zusammenfassung: Erlernen hypersphärischer Zeit-Frequenz-Repräsentationen für die Out-of-Distribution-Detektion von Zeitreihen

Problemstellung
Die Out-of-Distribution (OOD)-Detektion für Zeitreihendaten ist im Vergleich zu den Bereichen Vision und Sprache signifikant untererforscht. Bestehende Ansätze, die oft aus bildbasierten Benchmarks adaptiert wurden, scheitern häufig daran, die einzigartige Natur der Verteilungsverschiebungen in Zeitreihendaten zu adressieren. Im Gegensatz zu austauschbaren oder räumlich indizierten Daten beinhalten Zeitreihenbeobachtungen strukturierte zeitliche Abhängigkeiten, Frequenzbereichseigenschaften und Messprozesse, die eng an spezifische Sensorhardware und Akquisitionsprotokolle gekoppelt sind. Folglich spiegeln Verteilungsverschiebungen in Zeitreihen oft kombinierte Änderungen des zugrunde liegenden Prozesses und der Messpipeline wider, was zu systematischen Unterschieden in der temporalen oder spektralen Struktur führt. Aktuelle Evaluierungsprotokolle, die häufig auf Intra-Datensatz-Splits mit disjunkten Labels basieren, versäumen es, diese Cross-Environment-Verschiebungen zu erfassen, wodurch die Unterscheidung zwischen Open-Set-Erkennung und echter OOD-Detektion verschwimmt.

Methodik: HyperTF
Die Autoren schlagen HyperTF vor, ein Framework zur hypersphärischen Repräsentationslernung, das darauf ausgelegt ist, eine klassenbedingte Struktur auf der Einheitssphäre zu induzieren, um eine robuste OOD-Detektion zu ermöglichen. Die Methodik integriert drei Kernkomponenten:

Hypersphärische Einbettungen: Das Framework modelliert die klassenbedingten Merkmale als auf einer Einheitssphäre ( $S^{d-1}$ ) liegend, wobei ein auf der von Mises–Fisher (vMF)-Likelihood basierender Optimierungsansatz verwendet wird. Unter diesem Modell ist die bedingte Verteilung eines normalisierten Merkmalsvektors $z$ gegeben einer Klasse $c$ durch eine Prototyp-Richtung $\mu_c$ und einen Konzentrationsparameter $\kappa$ definiert. Die Klassifizierung wird durch Winkelähnlichkeit getrieben, und die OOD-Detektion ergibt sich natürlich aus der Geometrie dieser Einbettungen, wobei OOD-Proben erwartet werden, weit entfernt von den gelernten Klassenprototypen zu liegen.
Dual-View Zeit-Frequenz-Architektur: Um komplementäre Aspekte von Zeitreihendaten zu erfassen, verwendet HyperTF eine Dual-Stream-Architektur.
- Zeitbereichs-View (Time-Domain View): Die Eingangssequenz wird projiziert und direkt verarbeitet.
- Frequenzbereichs-View (Frequency-Domain View): Die Eingabe wird mittels einer reellwertigen Fast-Fourier-Transformation (rFFT) gefolgt von einer logarithmischen Magnitudenskalierung transformiert.
- Ausrichtung (Alignment): Beide Views werden durch domänenspezifische Encoder (die dieselbe Architektur, aber separate Parameter besitzen) verarbeitet und über über überwachte Projektionsköpfe in einen gemeinsamen hypersphärischen Raum abgebildet. Ein Cross-Domain-Konsistenzregularisierer ( $L_{CD}$ ) erzwingt die winkelmäßige Ausrichtung zwischen den Zeit- und Frequenz-Einbettungen, wodurch sichergestellt wird, dass das Modell sowohl temporale Dynamiken als auch spektrale Charakteristika innerhalb eines einheitlichen geometrischen Raums kodiert.
Trainingsziel: Das Modell minimiert eine zusammengesetzte Verlustfunktion:
$\mathcal{L} = \mathcal{L}_{TF} + \lambda_{CD} \mathcal{L}_{CD} + \lambda_{AX} \mathcal{L}_{AX}$
- $\mathcal{L}_{TF}$ : Ein überwachter hypersphärischer Klassifizierungsverlust (Cross-Entropy auf der Sphäre), der unabhängig auf den Zeit- und Frequenzzweigen angewendet wird.
- $\mathcal{L}_{CD}$ : Ein Cross-Domain-Konsistenzterm, der den Winkelabstand zwischen den Zeit- und Frequenz-Einbettungen minimiert.
- $\mathcal{L}_{AX}$ : Ein optionaler Hilfs-Kontrastiv-Regularisierer, der unbeschriftete Hilfs-Ausreißerdaten nutzt, um die Geometrie der Repräsentation nahe der In-Distribution (ID)-Grenze zu formen, Kollaps zu verhindern und die Trennung zu verbessern.

Wesentliche Beiträge

Hypersphärisches Framework: Die Arbeit führt einen fundierten Ansatz zur Zeitreihen-OOD-Detektion ein, der eine klassenbedingte Struktur auf der Einheitssphäre mittels einer vMF-Formulierung induziert und damit über Standard-Euklidische Einbettungsräume hinausgeht.
Dual-View-Architektur: Eine neuartige Architektur, die aus temporalen und spektralen Views ausgerichtete Repräsentationen lernt, welche durch eine gemeinsame hypersphärische Entscheidungsgeometrie und einen Cross-Domain-Konsistenzregularisierer gekoppelt sind.
Groß angelegte Evaluierung: Die Autoren führen umfangreiche Experimente auf den vollständigen UCR (univariat) und UEA (multivariat) Zeitreihen-Archiven unter einem strengen Cross-Dataset-Protokoll durch. Dieses Protokoll behandelt jedes Dataset sukzessive als ID, während alle anderen als OOD dienen, wodurch Szenarien für „Near-OOD“ (gleiche Modalität) und „Far-OOD“ (unterschiedliche Modalität) unterschieden werden.

Experimentelle Ergebnisse
Gegenüber starken Baselines einschließlich Post-hoc-Methoden (MSP, Mahalanobis, Center Loss) und Trainingszeit-Methoden (SimCLR, SSD+, KNN+, CIDER) zeigt HyperTF konsistente Verbesserungen:

Performance: HyperTF erzielt State-of-the-Art-Ergebnisse sowohl in Near-OOD- als auch in Far-OOD-Szenarien über die UCR- und UEA-Archive hinweg. Bemerkenswerterweise übertrifft es Baselines unter Mahalanobis++ (Maha++) Scoring signifikant mit einer FPR@95 von 1,90 % bei UCR Near-OOD und 4,21 % bei UEA Near-OOD (mit Hilfsdaten).
ID-Klassifizierung: Die Methode verbessert die OOD-Robustheit, ohne die In-Distribution-Klassifizierungsgenauigkeit zu opfern, und erreicht F1-Scores von 82,53 % (UCR) und 81,74 % (UEA), womit sie die CIDER-Baseline übertrifft.
Hilfsdaten (Auxiliary Data): Die Einbeziehung von Hilfs-Ausreißerdaten, insbesondere wenn diese mit MixOE augmentiert werden, verbessert die Detektionsleistung in Regimen mit begrenzter Abdeckung weiter und reduziert die FPR@95 in Far-OOD-Szenarien um signifikante Margen.
Ablation: Schrittweise Ablationsstudien bestätigen, dass die Kombination aus hypersphärischem Verlust, Dual-View-Verarbeitung und FFT-Konsistenz die stärkste Leistung liefert, wobei die hypersphärische Formulierung den signifikantesten Gewinn gegenüber Standard-Euklidischen Softmax-Baselines bietet.

Bedeutung und Ansprüche
Das Paper behauptet, dass die gemeinsame Modellierung komplementärer temporaler und spektraler Strukturen innerhalb eines gemeinsamen geometrischen Einbettungsraums eine robuste Grundlage für die Zeitreihen-OOD-Detektion unter realistischen Verteilungsverschiebungen bietet. Die Autoren betonen, dass ihre Ergebnisse die Notwendigkeit hervorheben, Zeitreihen-OOD-Methoden über einfache Intra-Datensatz-Label-Splits hinaus zu evaluieren. Stattdessen plädieren sie für Benchmark-Settings, die Deployment-Zeit-Variationen über Sensorbedingungen, Domänen und Datenquellen hinweg widerspiegeln. Die Arbeit legt nahe, dass hypersphärische Repräsentationen, die natürlich eine winkelmäßige Separation und Kompaktheit erzwingen, besonders gut geeignet sind, um die komplexen, multimodalen Verteilungsverschiebungen zu handhaben, die für Zeitreihendaten charakteristisch sind.