🤖 machine learning

TailedTS: Benchmark Dataset for Heavy-Tailed Time Series Prediction and Periodicity Quantification

Dieser Beitrag stellt TailedTS vor, einen groß angelegten Benchmark-Datensatz von Wikipedia-Seitenaufrufen, der durch heavy-tailed und zero-inflated Verteilungen gekennzeichnet ist und dazu dient, Zeitreihenvorhersagemodelle unter nicht-gaußschen Bedingungen zu evaluieren sowie Erkenntnisse über die Periodizität hochfrequenter digitaler Plattformen zu gewinnen.

Ursprüngliche Autoren: Xinyu Chen, HanQin Cai, Lijun Ding, Jinhua Zhao

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinyu Chen, HanQin Cai, Lijun Ding, Jinhua Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Meistens ist das Wetter vorhersehbar: es ist sonnig, dann bewölkt, dann vielleicht ein leichter Regen. Sie können ein Modell basierend auf „durchschnittlichen" Tagen erstellen, und es funktioniert ziemlich gut. Das ist ähnlich wie bei den alten Zeitreihendatensätzen, die Wissenschaftler seit Jahren verwenden (wie Stromverbrauch oder Verkehrsfluss), die größtenteils einer „Glockenkurve" folgen, bei der extreme Ereignisse selten sind.

Aber was ist, wenn Sie versuchen, etwas vorherzusagen, das sich wie ein virales Internet-Meme verhält? Meistens schaut niemand danach. Dann plötzlich tweetet ein Prominenter darüber, und innerhalb einer Stunde strömen Millionen von Menschen auf die Seite. Dann wieder Stille. Dies sind „schwer-tailige" Daten: Sie sind voller langweiliger Nullen und gelegentlicher, massiver Spitzen, die die Regeln des „Durchschnitts" brechen.

Diese Arbeit stellt TailedTS vor, einen riesigen neuen Datensatz, der speziell entwickelt wurde, um Computermodelle auf diese Art chaotischer, „spitzer" Daten zu testen. Hier ist eine Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Der Datensatz: Eine Bibliothek viraler Momente

Die Autoren haben einen riesigen Datensatz mit Wikipedia-Seitenaufrufen aus dem Jahr 2024 erstellt.

Das Ausmaß: Sie sammelten etwa 24,7 Milliarden Datenpunkte (wie das Zählen jedes einzelnen Besuchers jeder einzelnen Seite, jede Stunde, über ein ganzes Jahr).
Der „Heavy Tail": In dieser Bibliothek erhalten eine winzige Handvoll Seiten (etwa 5 %) den Großteil der Aufmerksamkeit (über 70 % aller Aufrufe). Der Rest der Millionen von Seiten erhält sehr wenige Aufrufe.
Das Problem: Die meisten Computermodelle werden auf „ruhigen" Daten trainiert. Wenn Sie diese „viralen" Wikipedia-Daten darauf werfen, geraten sie in Verwirrung, weil sie einen stetigen Datenverkehr erwarten. Sie wissen nicht, wie sie mit plötzlichen, massiven Anstürmen umgehen sollen.

2. Die Entdeckung: Beliebte Seiten sind chaotisch

Die Forscher stellten eine einfache Frage: „Folgen beliebte Seiten einem vorhersehbaren Zeitplan, wie einem Fahrplan für Züge?"

Die Analogie: Denken Sie an eine ruhige Wohngegendstraße (weniger beliebte Seiten). Sie hat einen vorhersehbaren Rhythmus: Kinder gehen um 8 Uhr zur Schule, Menschen kommen um 17 Uhr nach Hause. Es ist sehr periodisch.
Das Ergebnis: Denken Sie nun an eine belebte Stadtstraße (beliebte Seiten). Sie ist chaotisch. Ein Prominenter könnte ein Foto posten, oder ein Nachrichtenereignis könnte stattfinden, was eine massive, unvorhersehbare Menschenmenge verursacht.
Das Ergebnis: Das Team fand heraus, dass beliebte Wikipedia-Seiten tatsächlich weniger vorhersehbar sind als die ruhigen. Sie folgen keinem strengen täglichen oder wöchentlichen Zyklus, da sie ständig auf zufällige, reale Ereignisse reagieren. Das ist ein großes Thema für jeden, der Serververkehr für große Websites verwalten möchte.

3. Die Lösung: Änderung des „Punktezettels"

Um diese chaotischen Zahlen vorherzusagen, testeten die Forscher verschiedene Methoden zur Messung des „Fehlers" (wie falsch das Modell lag).

Der alte Weg (Das „quietschende Rad"): Traditionelle Modelle verwenden eine Methode namens „Least Squares" (ℓ2-Norm). Stellen Sie sich einen Lehrer vor, der Prüfungen korrigiert, bei dem ein kleiner Fehler in Ordnung ist, aber wenn ein Schüler eine Frage völlig falsch beantwortet, schreit der Lehrer und lässt die gesamte Prüfung durchfallen. Diese Methode ist besessen von den größten Fehlern (den viralen Spitzen) und ruiniert die Vorhersage für alle anderen.
Der neue Weg (Der „harte Trainer"): Die Forscher testeten „robuste" Methoden (wie Huber-Verlust oder ℓp-Norm). Stellen Sie sich einen Trainer vor, der sagt: „Okay, Sie haben diesen einen riesigen Anstieg verpasst, aber schauen wir uns den Rest des Spiels an." Diese Methoden ignorieren extreme Ausreißer oder behandeln sie sanft, sodass das Modell das allgemeine Muster lernt, ohne verrückt zu werden.
Das Ergebnis: Als sie diese „harten Trainer"-Methoden verwendeten, wurden die Modelle viel besser darin, den Datenverkehr vorherzusagen, insbesondere für die beliebtesten Seiten. Die alten Methoden versagten bei den großen Spitzen kläglich; die neuen Methoden bewältigten sie mit Anmut.

4. Warum das wichtig ist

Die Arbeit handelt nicht nur von Wikipedia; es geht darum, unsere KI zu stressen.

Der Benchmark: Sie schufen einen „Stresstest" (einen Benchmark), um zu sehen, ob KI-Modelle mit realweltlichem Chaos umgehen können.
Die Lehre: Wenn Sie ein Modell nur mit „ruhigen" Daten erstellen, wird es brechen, wenn es auf die reale Welt trifft, in der virale Ereignisse und extreme Volatilität auftreten.
Das Fazit: Um die Zukunft von Dingen wie Internetverkehr, Aktienmärkten oder Notrufen vorherzusagen, müssen wir aufhören anzunehmen, dass alles einer schönen, ordentlichen Glockenkurve folgt. Wir brauchen Modelle, die auf die „schweren Tails" vorbereitet sind – die seltenen, massiven Ereignisse, die alles verändern.

Kurz gesagt: Die Autoren gaben uns einen riesigen, chaotischen Datensatz über Wikipedia-Verkehr, um zu beweisen, dass unsere aktuellen KI-Modelle zu zerbrechlich für die reale Welt sind. Sie zeigten, dass wir durch Änderung der Art und Weise, wie wir Fehler messen (durch Ignorieren extremer Ausreißer), Modelle bauen können, die viel widerstandsfähiger und genauer sind, wenn die Dinge verrückt werden.

Technische Zusammenfassung: TailedTS Benchmark-Datensatz für die Vorhersage schwerer Verteilungen in Zeitreihen

Problemstellung

Die Zeitreihenvorhersage ist eine kritische Komponente von Machine-Learning-Anwendungen in Wirtschaft, Ingenieurwesen und Umweltwissenschaften. Herkömmliche Vorhersagemodelle stützen sich jedoch überwiegend auf Gaußsche Annahmen für Residuen, die häufig durch das in realen empirischen Datensätzen beobachtete Verhalten schwerer Verteilungen, Null-Inflation und Nicht-Gaußscher Eigenschaften verletzt werden. Bestehende Benchmarks, wie die M-Wettbewerbe (M4, M5) und die UCI-Stromdatensätze, erfassen zwar verschiedene zeitliche Dynamiken, versagen jedoch oft darin, die extreme, ereignisgetriebene Volatilität und die hochdimensionale Sparsity, die in komplexen Mustern menschlichen Interesses inhärent sind, adäquat abzubilden. Insbesondere zeigen diese Datensätze nicht ausreichend Potenzgesetze, bei denen ein winziger Bruchteil von Ereignissen den Großteil der Beobachtungen ausmacht, was eine Lücke bei der Bewertung der Robustheit von Modellen gegenüber stochastischen Ausbrüchen und extremen Ausreißern schafft.

Methodik

Die Arbeit stellt TailedTS vor, einen groß angelegten Benchmark-Datensatz, der aus stündlichen Wikipedia-Seitenaufrufbeobachtungen im gesamten Jahr 2024 abgeleitet wurde. Die Methodik umfasst drei Hauptkomponenten:

1. Datensatzkonstruktion und Ausrichtung

Der Datensatz umfasst etwa 24,69 Milliarden Datenpunkte, die sich über rund 3 Millionen einzigartige Wikipedia-Seiten pro Monat erstrecken. Um Datenqualität zu gewährleisten und sich auf häufig angesehene Inhalte zu konzentrieren, haben die Autoren die Rohdaten gefiltert, um nur Seiten aufzunehmen, die jeden Tag des Monats einen Mindestschwellenwert von 10 Aufrufen pro Tag einhielten. Diese Filterung führt zu einem Datensatz, bei dem etwa 5 % der Seiten über 70 % der gesamten Seitenaufrufe ausmachen und somit einer ausgeprägten Potenzgesetz-Verteilung folgen. Die Daten werden im hocheffizienten Apache-Parquet-Format gespeichert.

2. Framework zur Quantifizierung von Periodizität

Um die periodische Struktur der Zeitreihen zu analysieren, schlagen die Autoren ein sparse-Autoregressions-Framework mit Sparsity- und Nicht-Negativitäts-Beschränkungen vor. Das Optimierungsproblem wird formuliert, um dominante Autokorrelationen (z. B. tägliche und wöchentliche Zyklen) automatisch zu identifizieren.

Formulierung: Das Problem minimiert den quadratischen Fehler unter einer $\ell_0$ -Norm-Beschränkung für den Koeffizientenvektor $w_\gamma$ und einer Nicht-Negativitäts-Beschränkung ( $w_\gamma \in \mathbb{R}^d_+$ ).
Implementierung: Das Problem wird als gemischt-ganzzahliges quadratisches Programmierungsproblem (MIQP) umformuliert und mit dem CPLEX-Algorithmus gelöst. Das Modell geht von konsistenten Support-Sets über verschiedene Kategorien der Seitenpopularität hinweg aus.

3. Robuste Vorhersagemodellierung

Die Arbeit bewertet autoregressive Vorhersagemodelle unter Verwendung einer Suite von nicht-Gaußschen Verlustfunktionen, um Rauschen mit schweren Verteilungen zu adressieren. Das Optimierungsziel minimiert die Summe einer Verlustfunktion $\rho(\varepsilon_t)$ über die Residuen. Die Studie vergleicht:

$\ell_2$ -Norm-Verlust: Standard-Kleinste-Quadrate (Gaußsche Annahme).
$\ell_1$ -Norm-Verlust: Kleinste Absolute Abweichungen (LAD).
Huber-Verlust: Interpoliert zwischen $\ell_2$ und $\ell_1$ , wendet quadratische Strafen auf kleine Residuen und lineare Strafen auf große Residuen an.
Quantil-Verlust: Ermöglicht die Schätzung bedingter Quantile unter Verwendung asymmetrischer linearer Strafen.
$\ell_p$ -Norm-Verlust ( $0 < p < 1$ ): Bietet aggressive Robustheit durch sublineare Bestrafung von Residuen, führt jedoch zu nicht-konvexen Optimierungs-Herausforderungen.

Hauptbeiträge

Die Arbeit skizziert dreifache Beiträge:

Benchmark-Datensatz: TailedTS bietet einen hochdimensionalen, schwer verteilten und null-inflierten Zeitreihendatensatz, der Millionen von Zeitreihen über einen langen Zeitraum enthält (8.784 stündliche Zeitschritte im Jahr 2024). Er ermöglicht es der Forschungscommunity, Modelle gegen nicht-Gaußsche Residuen und stochastische Ausbrüche zu bewerten, ein Szenario, in dem Standard-Gauß-basierte Schätzer oft versagen.
Quantifizierung der Periodizität: Die Autoren nutzen sparse Autoregression, um zu zeigen, dass häufig angesehene Seiten eine signifikant schwächere periodische Struktur aufweisen als weniger häufig angesehene Gegenstücke. Diese Erkenntnis legt nahe, dass populäre Seiten anfälliger für besondere Ereignisse und Anomalien sind, was ihre Vorhersage trotz ihres hohen Volumens erschwert.
Robuste Vorhersagemodellierung: Die Studie zeigt, dass Standard-Gauß-basierte Schätzer bei Kategorien mit hohem Volumen erheblich degradieren. Im Gegensatz dazu bieten robuste Alternativen (Huber-, $\ell_p$ -Norm- und Quantil-Verluste) konsistente Verbesserungen über alle Verkehrsskalen hinweg, indem sie den Einfluss extremer Ausreißer mindern.

Experimentelle Ergebnisse

Die Autoren führten umfangreiche Experimente auf dem TailedTS-Datensatz und vier externen Benchmark-Datensätzen (UCI-Strom, SF-Verkehr, Luftqualität und Wetterdaten) durch.

Saisonalitätsanalyse: Unter Sparsity-Leveln $\tau=8$ und $\tau=10$ wurden die dominanten Autokorrelationen für tägliche (24h), zweitägige (48h) und wöchentliche (168h) Zyklen identifiziert. Die Analyse bestätigte, dass Kategorien mit hohem Volumen (z. B. $O(10^4)$ Aufrufe) niedrigere Saisonalitätskoeffizienten aufwiesen als Kategorien mit niedrigerem Volumen, was auf eine höhere Volatilität hindeutet.
Vorhersageleistung auf TailedTS:
- Für Kategorien mit hohem Volumen ( $O(10^4)$ ) ergab der Standard- $\ell_2$ -Norm-Verlust einen RMSE von 1163,08.
- Robuste Schätzer übertrafen die Baseline signifikant: Der $\ell_p$ -Norm-Verlust erreichte einen RMSE von 129,28, und der Huber-Verlust erreichte 139,87.
- Der $\ell_2$ -Norm-Verlust zeigte nur bei Kategorien mit geringerem Ausmaß ( $O(10^2)$ ) konkurrenzfähige Ergebnisse, doch die Leistung verschlechterte sich mit steigendem Volumen drastisch.
Leistung auf externen Benchmarks: Die Studie verifizierte, dass Residuen in Standard-Benchmarks (UCI-Strom, SF-Verkehr usw.) ebenfalls schwer verteiltes Verhalten durch Log-Log-Histogramme aufweisen. Nicht-Gaußsche Verlustfunktionen reduzierten konsistent den MAPE und RMSE über diese Datensätze hinweg. Beispielsweise reduzierten auf UCI-Stromdaten die $\ell_1$ - und Huber-Verluste den MAPE von 0,095 ( $\ell_2$ ) auf 0,083, eine relative Reduktion von etwa 13 %.

Bedeutung und Behauptungen

Die Arbeit positioniert TailedTS als rigorosen Stresstest für Zeitreihenvorhersagemodelle, der speziell die Grenzen aktueller State-of-the-Art (SOTA)-Methoden adressiert, die auf Gaußschen Annahmen beruhen. Die Autoren behaupten:

Robustheit ist entscheidend: Standard-Schätzer sind für realen digitalen Verkehr, der durch schwer verteiltes Rauschen und extreme Volatilität gekennzeichnet ist, ungeeignet.
Die Auswahl der Verlustfunktion ist entscheidend: Die Wahl der Verlustfunktion ist ein primärer Bestimmungsfaktor für die Resilienz von Modellen. Robuste Verluste (Huber, $\ell_p$ , Quantil) sind notwendig, um unregelmäßige, vernetzte Muster menschlichen Interesses zu erfassen, die von physikalischen Beschränkungen in Verkehrs- oder Klimasystemen abweichen.
Skalierbarkeit und Generalisierbarkeit: Durch die Integration von TailedTS mit bestehenden meteorologischen Benchmarks können Forscher die Skalierbarkeit von GPU-nativen Frameworks und die Wirksamkeit robuster Verlustfunktionen besser bewerten.

Die Autoren schließen, dass robuste Schätzer zwar eine signifikante Fehlerreduktion bieten, die Herausforderungen durch extremes Ausmaß und pervasive Null-Inflation jedoch eine formidable Grenze bleiben. Sie zielen darauf ab, dass dieser Benchmark die Entwicklung von Modellen der nächsten Generation, die verteilungsbewusst sind und die Lücke zwischen theoretischer Optimierung und den schwer verteilten Realitäten groß angelegter Zeitreihendaten schließen, katalysiert.

Einschränkungen: Die Autoren stellen fest, dass der Benchmark ausschließlich aus Wikipedia-Daten abgeleitet ist und möglicherweise nicht alle Formen realer Nicht-Stationaritäten erfasst, wie etwa abrupte Regimewechsel oder adversarische Manipulation. Folglich können die gezogenen Schlussfolgerungen nicht vollständig auf Zeitreihen verallgemeinert werden, die von unterschiedlichen Daten erzeugenden Mechanismen gesteuert werden.