🤖 machine learning

Divide and Contrast: Learning Robust Temporal Features without Augmentation

Das Papier stellt Divide and Contrast (Di-COT) vor, ein effizientes unüberwachtes Framework für das Lernen von Zeitreihendarstellungen, das durch den Kontrast überlappender Teilblöcke innerhalb von Fenstern state-of-the-art-Leistung über mehrere Aufgaben hinweg erzielt und damit die Notwendigkeit von Daten-Augmentierung, mehreren Encoder-Durchläufen und sequenzlängenabhängigen Berechnungen eliminiert.

Ursprüngliche Autoren: Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene menschliche Aktivitäten allein durch das Betrachten eines Videos einer sich bewegenden Person zu erkennen. Normalerweise benötigen Sie, um einen Roboter so gut zu unterrichten, einen menschlichen Lehrer, der jede Sekunde des Videos betrachtet und sagt: „Das ist Gehen", „Das ist Laufen", „Das ist Stürzen". Dies ist teuer und langsam, da es eine große Menge menschlicher Kennzeichnung erfordert.

Dieser Artikel stellt eine neue Methode namens Di-COT (Divide and Contrast – Teilen und Kontrastieren) vor, die dem Roboter ohne menschlichen Lehrer, ohne den Einsatz trickreicher „Tricks" zur Fälschung von Daten und ohne eine ewig lange Trainingszeit beibringt.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem mit aktuellen Methoden

Die meisten aktuellen KI-Methoden für Zeitreihendaten (wie Herzschläge, Aktienkurse oder Bewegungssensoren) versuchen zu lernen durch:

Augmentierung: Sie nehmen ein Video, verwischen es, beschleunigen es oder drehen es auf den Kopf, um „gefälschte" Versionen zu erstellen, und versuchen dann, der KI beizubringen, dass das Original und die Fälschung gleich sind. Die Autoren argumentieren, dass dies wie das Unterrichten eines Kindes darin ist, einen Hund zu erkennen, indem man ihm einen Hund mit Hut, einen blau angemalten Hund und einen auf dem Kopf stehenden Hund zeigt. Es funktioniert, ist aber unübersichtlich und rechenintensiv.
Schritt-für-Schritt-Vergleich: Einige Methoden vergleichen jede einzelne Sekunde eines Videos mit der nächsten Sekunde. Der Artikel argumentiert, dass dies wie der Versuch ist, eine Geschichte zu lernen, indem man jeden einzelnen Buchstaben mit dem direkt danebenstehenden vergleicht. Wenn sich die Geschichte von „Die Katze saß" zu „Der Hund rannte" ändert, ergibt es keinen Sinn, das „t" in „Katze" mit dem „d" in „Hund" zu vergleichen. Dies erzeugt Verwirrung.

2. Die Di-COT-Lösung: „Teilen und Kontrastieren"

Anstatt das gesamte Video oder jede einzelne Sekunde zu betrachten, verwendet Di-COT eine Strategie des „Teilens und Kontrastierens".

Die Analogie: Der Ansatz mit den Puzzlestücken
Stellen Sie sich einen langen Streifen eines Filmrollenmaterials vor (die Zeitreihendaten).

Der alte Weg: Sie betrachten den gesamten Streifen auf einmal oder jeden einzelnen Frame einzeln.
Der Di-COT-Weg: Sie nehmen eine Schere und schneiden den Streifen in ein paar überlappende Puzzlestücke (Teilblöcke).
- Sie schneiden sie nicht perfekt in der Mitte; Sie überlappen sie leicht, wie beim Mischen eines Kartendecks.
- Dann fragen Sie die KI: „Wenn ich dir dieses Puzzlestück zeige, welches andere Puzzlestück aus demselben Filmstreifen kommt direkt davor?"

Warum ist das besser?

Keine gefälschten Daten: Die KI lernt aus dem echten Filmstreifen, nicht aus verwischten oder umgedrehten Versionen.
Keine Verwirrung: Durch die Verwendung von Puzzlestücken (Zeitblöcken) anstelle einzelner Frames (Sekunden) lernt die KI den Kontext. Sie versteht, dass ein „Gehen"-Block von einem weiteren „Gehen"-Block gefolgt wird, anstatt durch den winzigen Übergang zwischen zwei Schritten verwirrt zu werden.
Geschwindigkeit: Da es nur diese wenigen Puzzlestücke miteinander vergleicht, ist die Mathematik viel einfacher und schneller. Es ist wie der Vergleich von 5 Puzzlestücken anstelle von 1.000 einzelnen Pixeln.

3. Wie die KI lernt (Das Spiel)

Die KI spielt ein Spiel namens „Errate den Vorgänger".

Sie nimmt ein Datenstück und zerschneidet es in 5 bis 10 überlappende Teile.
Sie betrachtet Teil #3 und fragt: „Welcher Teil kam direkt vor dir?"
Sie rät Teil #2.
Wenn sie richtig liegt, erhält sie einen Punkt. Wenn sie Teil #5 oder Teil #1 rät, lernt sie, dass sie falsch lag.

Indem sie dieses Spiel Millionen von Malen spielt, lernt die KI, eine mentale Karte zu erstellen, in der ähnliche Aktivitäten (wie „Laufen") zusammengefasst sind und verschiedene Aktivitäten weit voneinander entfernt liegen, alles ohne jemals gesagt bekommen zu haben: „Das ist Laufen".

4. Die Ergebnisse: Schnell und genau

Die Autoren testeten dies an sechs riesigen realen Datensätzen (wie Herzmonitoren, Schlaftrackern und Aktivitätssensoren) und vielen kleineren Benchmarks.

Das Rennen: Sie verglichen Di-COT mit anderen führenden KI-Methoden.
Der Gewinner: Di-COT gewann das Rennen. Es erreichte die höchste Genauigkeit bei der Erkennung von Aktivitäten und beim Zusammenfassen ähnlicher Daten.
Die Geschwindigkeit: Es war das schnellste. Es trainierte in einem Bruchteil der Zeit, die die anderen Methoden benötigten.
- Analogie: Wenn andere Methoden wie ein Marathonläufer mit einem schweren Rucksack waren (der zusätzliche Mathematik und gefälschte Daten bewältigt), war Di-COT ein Sprinter mit einem leichten Rucksack, der als Erster das Ziel erreichte und dabei trotzdem die perfekte Form beibehielt.

5. Warum dies wichtig ist (laut dem Artikel)

Der Artikel behauptet, dass Di-COT einen großen Zielkonflikt löst. Normalerweise muss man sich entscheiden zwischen:

Hoher Genauigkeit (aber es dauert lange und benötigt viel Rechenleistung).
Hoher Geschwindigkeit (aber die KI ist nicht sehr intelligent).

Di-COT behauptet, beides zu haben. Es lernt „robuste" Merkmale (was bedeutet, dass es die Kernbedeutung der Daten versteht und nicht nur das Rauschen), ohne dass ihm gefälschte Daten zugeführt werden müssen oder der Computer mehrmals durchlaufen werden muss.

Zusammenfassung:
Di-COT ist eine neue Art, Computern beizubringen, zeitbasierte Daten (wie Bewegung oder Herzschläge) zu verstehen. Anstatt Tricks zu verwenden oder jedes winzige Detail zu betrachten, zerschneidet es die Daten in überlappende Blöcke und spielt ein einfaches „Was kam davor?"-Spiel. Dies macht die KI intelligenter, schneller und effizienter als frühere Methoden, alles ohne dass ein Mensch die Daten kennzeichnen muss.

Technische Zusammenfassung: Divide and Contrast (Di-COT)

Problemstellung

Selbstüberwachtes Lernen (SSL) für Zeitreihendarstellungen zielt darauf ab, die Abhängigkeit von gelabelten Daten zu verringern und gleichzeitig eine starke Leistung in nachgelagerten Aufgaben beizubehalten. Allerdings stoßen bestehende kontrastive Lernansätze auf erhebliche Einschränkungen:

Rechnerische Ineffizienz: Viele Methoden erfordern mehrere Durchläufe durch den Encoder (für Anker, Positive und Negative) oder verlassen sich auf kostspielige Operationen wie Dynamic Time Warping (DTW) zur Ähnlichkeitsberechnung.
Verzerrung durch Daten-Augmentierung: Ansätze, die stark auf Daten-Augmentierung angewiesen sind (z. B. Maskierung, Transformationen im Zeit- oder Frequenzbereich), können induktive Verzerrungen einführen, die die gelernten Merkmalseinbettungen verzerren und die Generalisierbarkeit beeinträchtigen.
Versagen temporaler Annahmen: Neuere effiziente Methoden (z. B. CaTT), die zeitlich benachbarte Zeitschritte kontrastieren, gehen davon aus, dass zeitliche Nähe semantische Ähnlichkeit impliziert. Diese Annahme scheitert häufig bei Datensätzen mit schnellen Ereignisübergängen (häufig in den UCR- und UEA-Benchmarks), was zu „falschen Positiven" führt, bei denen semantisch unterschiedliche, aber zeitlich nahe Zeitschritte fälschlicherweise als positive Paare behandelt werden.
Skalierbarkeitsprobleme: Die Verlustberechnungen bei einigen Methoden skalieren quadratisch sowohl mit der Batch-Größe als auch mit der Sequenzlänge, was sie für lange Zeitfenster prohibitiv macht.

Methodik: Divide and Contrast (Di-COT)

Di-COT ist ein unüberwachtes Framework, das entwickelt wurde, um robuste temporale Merkmale ohne Daten-Augmentierung oder mehrere Encoder-Durchläufe zu erlernen. Es neu interpretiert das zeitliche kontrastive Lernen als dichte Klassifikationsaufgabe innerhalb des Darstellungsrums.

Kernmechanismus

Stochastische Unterblock-Partitionierung: Anstatt die gesamte Sequenz oder einzelne Zeitschritte zu verarbeiten, partitioniert Di-COT jedes Zeitreihenfenster stochastisch in $k$ überlappende Unterblöcke pro Iteration. Die Anzahl der Unterblöcke $k$ wird aus einer Gleichverteilung $U\{k_{min}, \dots, k_{max}\}$ gezogen.
- Die Unterblöcke haben eine Länge $L$ und eine Schrittweite $s$ , gesteuert durch ein Überlappungsverhältnis $\rho \in (0, 1)$ .
- Diese Stochastik setzt den Encoder mehreren temporalen Granularitäten aus und fördert implizit die Robustheit über kurze und lange Kontexte hinweg, ohne explizite hierarchische Designs.
Unterblock-Codierung: Jeder Unterblock wird durch einen gemeinsamen temporalen Encoder $f_\theta$ geleitet und entlang der temporalen Dimension gepoolt, um einen einzigen Einbettungsvektor zu erzeugen.
Kontrastives Ziel (Vorhersage des nächsten Unterblocks):
- Positive Paare: Zeitlich benachbarte Unterblöcke innerhalb derselben Instanz werden als positive Paare behandelt. Konkret ist für einen Unterblock $j$ der vorhergehende Unterblock $j-1$ das Ziel.
- Negative Paare: Alle anderen Unterblöcke in derselben Sequenz dienen als Negative.
- Formulierung: Die Aufgabe wird als Mehrklassen-Klassifikationsproblem formuliert. Für jeden Unterblock $j$ sagt das Modell den Index seines vorhergehenden Nachbarn voraus. Der Verlust ist ein temperatur-skaliertes Kreuzentropieloss (ähnlich wie InfoNCE, aber angewendet auf Unterblock-Indizes):
  $\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$
  wobei $S^{(i)}_{j,p}$ die Ähnlichkeit zwischen Unterblock $j$ und $p$ ist und $p^*(j)$ der Zielindex ist ( $j-1$ für $j>0$ , und $0$ für den ersten Unterblock).

Effizienz und Skalierbarkeit

Komplexität: Die Verlustberechnung hängt von der Batch-Größe $B$ und der Anzahl der Unterblöcke $k$ ab, nicht von der Sequenzlänge $T$ . Da $k \ll T$ durch Design gilt, beträgt die Zeitkomplexität $O(Bk^2d)$ und die Speicherkomplexität $O(Bk^2)$ . Dies macht die Methode unabhängig von der Sequenzlänge und ermöglicht ein effizientes Training an sehr langen Sequenzen.
Keine Augmentierung/Mehrere Durchläufe: Durch das Kontrastieren interner Unterstrukturen vermeidet Di-COT die Notwendigkeit von Daten-Augmentierung und eliminiert die Notwendigkeit mehrerer Encoder-Durchläufe, die von Methoden erforderlich sind, die verschiedene augmentierte Ansichten als Positive behandeln.

Hauptbeiträge

Augmentierungsfreies Framework: Di-COT eliminiert die Notwendigkeit von Daten-Augmentierung, Zeitschritt-Maskierung und mehreren Encoder-Durchläufen, reduziert den Rechenaufwand und verhindert eine Verzerrung der Darstellungen.
Dynamisches Unterblock-Kontrastieren: Die Methode führt das Kontrastieren innerhalb einzelner Instanzen unter Verwendung stochastischer Unterblöcke ein. Dies verhindert triviale Unterscheidungen auf Zeitschritt-Ebene (die bei schnellen Übergängen versagen) und fördert diverse, semantisch sinnvolle Darstellungen.
Neuformulierung als Klassifikation: Das zeitliche kontrastive Lernen wird als Kreuzentropie-Klassifikationsaufgabe neu formuliert. Dies bietet eine dichte Überwachung (unter Verwendung jedes Unterblocks als Signal) und behält gleichzeitig die Eigenschaften des temperatur-skalierten InfoNCE bei.
State-of-the-Art-Leistung: Das Framework erzielt State-of-the-Art-Ergebnisse bei Klassifikations-, Clustering-, kNN- und Cross-Dataset-Transfer-Aufgaben und reduziert gleichzeitig die Trainingszeit erheblich.

Experimentelle Ergebnisse

Die Autoren evaluierten Di-COT auf sechs großen realen Datensätzen (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) sowie den UCR/UEA-Benchmarks.

Lineare Evaluation: Di-COT erreichte die höchste durchschnittliche Genauigkeit unter SSL-Methoden auf den großen Datensätzen und übertraf Baselines wie TS2Vec, TF-C und CaTT. Es entsprach der Leistung vollständig überwachter End-to-End-Modelle auf mehreren Datensätzen, benötigte jedoch deutlich weniger Trainingszeit.
Regime mit wenigen Labels: In einem Setting mit 1 % gelabelten Daten übertraf Di-COT alle anderen SSL-Methoden und das vollständig überwachte Baseline-Modell, das auf denselben begrenzten Daten end-to-end trainiert wurde, und zeigte damit eine überlegene Label-Effizienz.
Nicht-parametrisches kNN: Di-COT zeigte die beste Leistung bei der 1-Nächster-Nachbar-Klassifikation, was darauf hindeutet, dass die gelernten Einbettungen eine gut strukturierte lokale Nachbarschaft aufweisen, in der semantisch ähnliche Proben eng zueinander abgebildet sind.
Clustering: Di-COT erzielte den höchsten Normalized Mutual Information (NMI) und Adjusted Rand Index (ARI), was darauf schließen lässt, dass es global kohärente Cluster lernt, die mit den Ground-Truth-Klassen übereinstimmen.
Cross-Dataset-Transfer: In Transfer-Learning-Experimenten (z. B. HARTH $\to$ PAMAP2) zeigte Di-COT eine stärkere Domänengeneralisierung im Vergleich zu Baselines, was auf eine Robustheit gegenüber Verteilungsverschiebungen hindeutet.
Effizienz: Di-COT benötigte durchgehend die geringste Trainingszeit unter den auf Deep Learning basierenden Ansätzen. Beispielsweise trainierte es auf großen Datensätzen in etwa 2,88 Stunden im Vergleich zu 3,47–11,48 Stunden bei anderen Methoden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Di-COT den grundlegenden Zielkonflikt in bestehenden Methoden des zeitlichen kontrastiven Lernens adressiert: die Spannung zwischen der Ausnutzung zeitlicher Nähe für Effizienz und der Aufrechterhaltung semantischer Konsistenz für die Generalisierung.

Robustheit gegenüber temporaler Dynamik: Durch das Kontrastieren informativer Unterstrukturen anstelle einzelner Zeitschritte vermeidet Di-COT das „falsch-positive" Problem, das Methoden inhärent ist, die davon ausgehen, dass alle benachbarten Zeitschritte semantisch ähnlich sind. Dies macht es besonders effektiv für Datensätze mit häufigen Ereigniswechseln.
Skalierbarkeit: Die Unabhängigkeit der Verlustberechnung von der Sequenzlänge ermöglicht es Di-COT, effizient auf lange Zeitreihen zu skalieren, eine Einschränkung für Methoden wie CaTT, bei denen Speicher- und Rechenkosten quadratisch mit der Sequenzlänge skalieren.
Praktische Anwendbarkeit: Das Framework wird als praktische Lösung für Szenarien mit knappen Annotationen präsentiert und bietet einen günstigen Trade-off zwischen Genauigkeit und Rechenaufwand. Die Autoren weisen darauf hin, dass die Methode zwar bei Klassifikation, Clustering und Retrieval hervorragend abschneidet, ihre kontrastive Natur (fokussiert auf diskriminative Struktur) jedoch orthogonal zu Prognoseaufgaben sein kann, die eine feinkörnige zeitliche Vorhersage erfordern; dies wird als Einschränkung und als Richtung für zukünftige Arbeit identifiziert.

Die Autoren betonen, dass Di-COT Darstellungen lernt, die lokal konsistent, global gut organisiert und domänenübergreifend übertragbar sind, und damit einen neuen State-of-the-Art für das unüberwachte Lernen von Zeitreihendarstellungen etabliert.