Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

Die Kernidee: Die Lüge vom „Durchschnitt“

Stellen Sie sich vor, Sie sind ein Wettervorhersager. Wenn Sie die Temperatur für ein ganzes Jahr vorhersagen, könnte Ihre „Durchschnittsprognose“ perfekt sein. Aber wenn Sie versuchen, vorherzusagen, was während eines plötzlichen, heftigen Gewitters passiert, ist Ihre Durchschnittsprognose nutzlos. Sie sagen vielleicht: „Es wird 21 °C sein“, während es in Wirklichkeit entweder 32 °C (sonnig) oder 4 °C (Hagel) sind.

Dieses Paper argumenttiert, dass Time Series Foundation Models (TSFMs) – hochintelligente KI-Systeme, die darauf ausgelegt sind, zukünftige Trends vorherzusagen – derzeit auf eine Weise getestet werden, die ihre größten Schwächen verbirgt.

Standardtests betrachten die Durchschnittsleistung über alle Daten hinweg. Da der Verkehr normalerweise flüssig und schnell ist (Freifluss), sieht die KI im Durchschnitt großartig aus. Das Paper zeigt jedoch, dass diese KI-Modelle spektakulär versagen, wenn der Verkehr plötzlich von „schnell“ auf „gestaut“ umschlägt (ein Regimewechsel bzw. eine Regime Transition), und dass die Standardtests dies nicht erfassen.

Das Problem: Der „blinde Fleck“ der KI

Der Verkehr wird nicht einfach nur langsam; er springt oft sehr schnell von freiem Fluss (wie 105 km/h) zu einem Stau (wie 25 km/h) um.

• Die Realität: Während dieser Übergangsmomente ist die zukünftige Geschwindigkeit bimodal. Das bedeutet, das Auto wird entweder schnell bleiben ODER stecken bleiben. Es gibt keinen Mittelweg.
• Der Fehler der KI: Die KI sieht die „schnellen“ Daten und die „langsamen“ Daten und rät den Mittelwert. Sie sagt eine Geschwindigkeit von 60 km/h voraus.
• Das Ergebnis: Das Auto fährt entweder 105 km/h oder 25 km/h. Die Vorhersage der KI von 60 km/h ist in beiden Fällen falsch. Es ist wie ein Wettervorhersager, der „leicht bewölkt“ vorhersagt, obwohl es entweder ein Hurrikan oder ein strahlend blauer Himmel ist.

Da der „schnelle“ Verkehr die meiste Zeit stattfindet, sieht die durchschnittliche Punktzahl der KI gut aus, was jedoch verschleiert, dass sie in den kritischen, beängstigenden Momenten, in denen sich Staus bilden, völlig den Faden verliert.

Das Experiment: Den „Sicherheitsnetz“-Check der KI durchführen

Die Forscher testeten drei berühmte KI-Modelle mit echten Verkehrsdaten aus Los Angeles und San Francisco. Sie schauten nicht nur darauf, wie nah die Geschwindigkeitsvorhersagen an der Realität lagen, sondern untersuchten auch die Vorhersageintervalle (das „Sicherheitsnetz“ der KI).

• Das Ziel: Die KI sollte sagen: „Ich bin mir zu 90 % sicher, dass die Geschwindigkeit zwischen X und Y liegen wird.“
• Das Versagen: Während der Übergänge war das Sicherheitsnetz der KI viel zu schmal und am falschen Ort.
  • Man verlangte ein 90 %-Sicherheitsnetz.
  • In der Realität erfasste die KI die korrekte Geschwindigkeit während der Übergänge nur 55 % der Zeit.
  • Es war, als würde ein Fischer ein Netz auswerfen, das eigentlich 9 von 10 Fischen fangen sollte, aber nur 5 fängt.

Die „einfache“ Baseline vs. die „schlaue“ KI

Die Forscher probierten einen sehr einfachen Trick aus: Die Historische Baseline.
Anstatt eine komplexe KI zu verwenden, schauten sie einfach darauf, was zu diesem spezifischen Zeitpunkt an diesem Sensor in der Vergangenheit passiert ist. Wenn es dienstags um 14:00 Uhr war und der Verkehr langsamer wurde, schauten sie nach, was an vorangegangenen Dienstagen um 14:00 Uhr geschah.

• Das Ergebnis: Diese einfache „Nachschlagetafel“ war tatsächlich besser darin, den Übergang zu erfassen, als die hochkomplexe KI. Warum? Weil sie die „bimodale“ Realität natürlich einschloss (manchmal staut es sich, manchmal nicht).
• Der Haken: Die einfache Methode war zwar schlecht darin, die exakte Geschwindigkeit insgesamt vorherzusagen, aber sie war gut darin zu wissen, was passieren könnte. Sie war gut darin, das Mögliche zu kennen, aber schlecht darin, das Eintreffende zu wissen.

Die Lösung: Bimodal Mixture Augmentation (BMA)

Die Autoren entwickelten eine clevere Lösung namens BMA. Denken Sie an einen „Hybrid-Fahrer“.

1. Der Fahrer: Die KI (TSFM) ist der Fahrer. Sie weiß, wie man navigiert und die exakte Geschwindigkeit basierend auf den aktuellen Bedingungen vorhersagt.
2. Der Co-Pilot: Die historischen Daten sind der Co-Pilot. Er kennt die „Geschichte dieser Straße“ (z. B. „Diese Brücke staut sich oft um 17:00 Uhr“).
3. Die Lösung: Wenn die KI eine Geschwindigkeit vorhersagt, prüft die BMA-Methode den Co-Piloten. Wenn der Co-Pilot sagt: „Hey, es besteht gerade eine 50-prozentige Chance, dass sich diese Straße staut“, injiziert die Methode einige „Stau-Möglichkeiten“ in die Vorhersage der KI.

Die Magie:

• Sie behält die hohe Genauigkeit der KI für den normalen Fahrbetrieb bei.
• Sie repariert das „Sicherheitsnetz“ während der Übergänge, sodass es breit genug ist, um sowohl die „schnellen“ als auch die „langsamen“ Ergebnisse zu erfassen.
• Dies geschieht oh-ne das Modell neu zu trainieren. Es ist eine Post-Processing-Korrektur, vergleichbar mit dem Aufsetzen einer neuen Linse vor eine Kamera.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, diese KI-Modelle nur nach ihren „Durchschnittswerten“ zu beurteilen. Nur weil ein Modell gut darin ist, flüssigen Verkehr vorherzusagen, bedeutet das nicht, dass es sicher genug für Notfalldienste oder Lieferzeitfenster während der Rush Hour ist.

Wir müssen die KI gezielt auf den schwierigen Teilen (den Übergängen) testen. Wenn wir das nicht tun, riskieren wir, einem Modell zu vertrauen, das auf dem Papier perfekt aussieht, aber genau dann versagt, wenn wir es am dringendsten benötigen.