🤖 machine learning

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

Dieser Beitrag stellt TSFMAudit vor, die erste Methode, die entwickelt wurde, um eine Kontamination von Vorab-Trainingsdaten in Zeitreihen-Foundation-Modellen zu erkennen, indem sie die Intuition nutzt, dass kontaminierte Datensätze während der Feinabstimmung ungewöhnlich effiziente Anpassungsdynamiken aufweisen.

Ursprüngliche Autoren: Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Koch ein, der für eine große Dinnerparty ein komplexes Gericht zubereiten soll. Sie möchten wissen, ob dieser Koch ein wahrer Genie ist, das alles von Grund auf kochen kann, oder ob er lediglich das Rezept für das spezifische Gericht auswendig gelernt hat, das Sie ihm servieren werden.

Dies ist das Problem, das TSFMAudit löst, nur dass es hier nicht um Köche und Rezepte geht, sondern um Time Series Foundation Models (superintelligente KI, die Dinge wie Aktienkurse, Wetter oder Verkehr vorhersagt) und Datenkontamination.

Hier ist die Aufschlüsselung des Papiers in einfachen Worten:

Das Problem: Der „geleckte Test"

In der Welt der KI trainieren Forscher Modelle mit riesigen Datenmengen (dem „Pretraining-Korpus") und testen sie anschließend an spezifischen Datensätzen, um zu sehen, wie gut sie sind.

Das Problem besteht darin, dass die Daten, die für den Test verwendet werden, manchmal versehentlich in den Trainings-Haufen gelangen.

Die Analogie: Stellen Sie sich einen Schüler vor, der für eine Matheprüfung lernt. Wenn der Lehrer versehentlich die exakten Testfragen in den Lernleitfaden legt, wird der Schüler eine perfekte Note erzielen. Das bedeutet jedoch nicht, dass er ein Mathe-Genie ist; es bedeutet nur, dass er die Antworten auswendig gelernt hat.
Warum es bei Zeitreihen schwierig ist: Bei Text (wie Büchern) kann man leicht feststellen, ob ein Satz kopiert wurde. Zeitreihendaten (wie ein Graph der Temperatur über ein Jahr) sind jedoch kontinuierlich. Das gleiche Muster kann anders aussehen, wenn man die Einheiten (Celsius zu Fahrenheit) oder den Maßstab ändert. Daher ist es sehr schwierig zu sagen, ob die KI die Daten zuvor „gesehen" hat oder ob sie einfach nur gut darin ist, dieses spezifische Muster vorherzusagen.

Die Lösung: Der „Sonde"-Test

Die Autoren haben ein Tool namens TSFMAudit entwickelt. Anstatt nur auf die Endnote zu schauen (die durch Auswendiglernen gefälscht werden kann), beobachten sie, wie die KI lernt, wenn man ihr ein winziges bisschen neues Training gibt.

Stellen Sie sich das wie einen Fitness-Test vor:

Das Setup: Sie haben eine „Kandidaten"-KI (die, die Sie auditieren) und eine Gruppe von „Referenz"-KIs (frische Modelle, die die Daten noch nicht gesehen haben).
Die Sonde: Sie geben ihnen allen ein winziges, kurzes Workout (ein paar Minuten Feinabstimmung) auf dem spezifischen Datensatz, den Sie verdächtigen.
Die Beobachtung:
- Die saubere KI: Wenn die KI diese Daten niemals gesehen hat, muss sie hart arbeiten. Sie schwitzt viel (ihre internen Einstellungen ändern sich stark) und ihre Leistung verbessert sich langsam.
- Die kontaminierte KI: Wenn die KI diese Daten während ihrer großen Trainingsphase bereits gesehen hat, erkennt sie das Muster sofort. Sie schwitzt kaum (ihre internen Einstellungen bewegen sich kaum) und ihre Leistung springt sofort nach oben.

Die zentrale Erkenntnis: Kontamination sieht aus wie ungewöhnlich effiziente Anpassung. Der „Betrüger" lernt schneller mit weniger Aufwand.

Wie sie es fair machen (Die „Referenz-Suite")

Sie könnten sagen: „Aber was, wenn die Daten einfach nur sehr leicht vorherzusagen sind? Dann würde sogar eine saubere KI schnell lernen."

Um dies zu beheben, verwenden die Autoren eine Referenz-Suite. Sie führen denselben Test an vier anderen Modellen durch, die ähnlich groß sind, aber die Daten definitiv nicht gesehen haben.

Die Analogie: Stellen Sie sich vor, Sie beurteilen einen Läufer. Wenn er 100 Meter in 10 Sekunden läuft, ist das erstaunlich. Aber wenn die Strecke eine Abwärtsneigung hat, ist er vielleicht gar nicht so schnell. Also lassen Sie andere Läufer auf derselben Strecke laufen. Wenn Ihr Läufer auf derselben leichten Strecke signifikant schneller ist als alle anderen, wissen Sie, dass er einen unfairen Vorteil hat (wie einen versteckten Motor).
TSFMAudit vergleicht die Geschwindigkeit des Kandidaten mit den Referenzmodellen. Wenn der Kandidat im Vergleich zu den Referenzen viel zu effizient ist, wird er als kontaminiert markiert.

Was sie fanden

Das Team testete dies an 6 verschiedenen Zeitreihen-KI-Modellen und 187 verschiedenen Datensätzen.

Alte Methoden versagten: Sie versuchten alte Tricks, die für Textmodelle verwendet wurden (wie das Prüfen, ob der Loss-Wert zu niedrig ist), aber diese funktionierten bei Zeitreihen nicht gut, da einige Daten einfach natürlich leicht vorherzusagen sind.
TSFMAudit funktionierte: Indem sie den „Schweiß" (wie stark sich das Modell änderte) und die „Geschwindigkeit" (wie schnell sich die Note verbesserte) während der Sonde beobachteten, konnten sie die Betrüger viel besser erkennen als jede andere Methode.
Realitätscheck: Sie testeten ihr Tool an einem brandneuen Benchmark namens TIME. Da dieser Benchmark nach dem Training der Modelle erstellt wurde, sollte er sauber sein. TSFMAudit bestätigte, dass diese Modelle die TIME-Daten nicht gesehen hatten, was beweist, dass das Tool in der realen Welt funktioniert.

Zusammenfassung

TSFMAudit ist ein „Lügendetektor" für KI, die Zeitvorhersagen trifft. Es fragt nicht nur: „Haben Sie eine gute Note bekommen?" Es fragt: „Wie hart mussten Sie arbeiten, um diese Note zu bekommen?" Wenn die KI im Vergleich zu ihren Kollegen zu leicht lernt, liegt das wahrscheinlich daran, dass sie die Antworten bereits kannte. Dies hilft Forschern sicherzustellen, dass, wenn sie sagen, eine KI sei intelligent, sie tatsächlich intelligent ist und nicht nur ein Betrüger, der den Test auswendig gelernt hat.

Technischer Zusammenfassung: TSFMAudit – Auditing von Datenkontamination in Zeitreihen-Foundation-Modellen für Prognosen

1. Problemformulierung

Zeitreihen-Foundation-Modelle (TSFMs) werden zunehmend auf großen, heterogenen Korpora vortrainiert, die aus diversen realen und synthetischen Quellen stammen. Gleichzeitig werden weit verbreitete Evaluierungs-Benchmarks (z. B. GIFT-Eval, TIME) häufig aus denselben öffentlichen Quellen zusammengestellt. Diese Überlappung birgt ein erhebliches Risiko einer Vortrainings-Kontamination, bei der Evaluierungsdaten während der Vortrainingsphase des Modells exponiert waren. Eine solche Exposition kann die Leistungsschätzungen für nachgelagerte Aufgaben künstlich aufblähen und zu übermäßig optimistischen Einschätzungen der Generalisierungsfähigkeit eines Modells führen.

Die Überprüfung dieser Kontamination bei Zeitreihen ist im Vergleich zu Large Language Models (LLMs) aufgrund der Datenbeschaffenheit einzigartig herausfordernd:

Kontinuität und Heterogenität: Zeitreihen bestehen aus kontinuierlichen Werten, wodurch exakte String- oder Token-Matching-Verfahren (wie sie bei der LLM-Überlappungserkennung verwendet werden) nicht anwendbar sind.
Empfindlichkeit gegenüber Vorverarbeitung: Das gleiche zugrunde liegende Signal kann nach Skalierung, Umbenennung, Fensterung oder anderen Transformationen erneut auftreten, was einfache Duplikatserkennung unzuverlässig macht.
Fehlende Dokumentation: Korpusübergreifende Dokumentationen sind oft unvollständig, was eine Verifizierung der Exposition allein über Metadaten erschwert.
Unzuverlässigkeit statischer Metriken: Statische Verlust- oder Perplexitätswerte sind unzuverlässige Indikatoren, da glatte saisonale Trends oder einfache Datensätze auch bei Modellen, die die Daten nie gesehen haben, zu niedrigen Verlustwerten führen können.

Die Arbeit formalisiert das Ziel des Kontaminationsaudits: Gegeben ein Kandidaten-TSFM $f_\theta$ und ein zu auditierender Datensatz $D$ , besteht das Ziel darin, einen Score $S(f_\theta, D)$ zu schätzen, der das Risiko einer Vortrainings-Kontamination quantifiziert und dabei „saubere" von „kontaminierten" Paaren unterscheidet, ohne Zugriff auf das vollständige Vortrainings-Korpus zu haben.

2. Methodik: TSFMAudit

Die Autoren schlagen TSFMAudit vor, ein Framework, das auf Dynamiken der Probenanpassung (probe adaptation dynamics) basiert. Die zentrale Intuition besteht darin, dass sich Kontamination als ungewöhnlich effiziente Anpassung während eines Feinabstimmungs-Probes manifestiert.

Wichtige Beobachtungen:

Effiziente Anpassung: Wenn ein Modell während des Vortrainings bereits prädiktive Strukturen kodiert hat, die spezifisch für einen Datensatz sind, benötigt es weniger Anpassung, wenn es anschließend auf demselben Datensatz feinabgestimmt wird. Dies führt zu einer schnelleren Verlustreduktion bei minimaler Bewegung der Backbone-Parameter.
Verzerrung durch Datensatzschwierigkeit: Schnelle Anpassung ist nicht ausschließlich kontaminierten Modellen vorbehalten; saubere Modelle können sich ebenfalls schnell anpassen, wenn der Datensatz intrinsisch einfach ist. Um dies zu mildern, vergleicht die Methode den Kandidaten mit einer Referenzsuite von Modellen mit vergleichbarer Architektur, die jedoch keinen Zugang zum Ziel-Datensatz hatten.

Die TSFMAudit-Pipeline:

Probing-Phase: Sowohl das Kandidatenmodell als auch eine Suite von Referenzmodellen ( $\mathcal{R}$ ) werden für eine feste Anzahl von Epochen ( $T_{probe}$ ) auf dem zu auditierenden Datensatz $D$ feinabgestimmt.
Trace-Extraktion: Für jede Epoche $t$ $t$ erfasst das System:
- $\ell_t$ : Den Prognoseverlust.
- $w_t$ : Die kumulative $\ell_2$ -Verschiebung der Backbone-Parameter von ihrem Anfangszustand.
- Abgeleitete Metriken: Relativer Verlustabfall ( $d_t$ ) und Anpassungseffizienz ( $a_t = d_t / w_t$ ).
Entverzerrung durch Referenzvergleich: Um datensatzspezifische Schwierigkeitsverzerrungen zu entfernen, werden die Trace-Features des Kandidaten elementweise mit den Traces jedes Referenzmodells verglichen. Dies erzeugt Differenz- ( $\Delta$ ) und Verhältnis- ( $\rho$ ) Features.
Bewertung und Kalibrierung: Ein leichter Scorer (logistische Regression) wird auf einem Audit-Trainingsdatensatz mit diesen entverzerrten Features trainiert, um die Wahrscheinlichkeit einer Kontamination vorherzusagen.
- Schwellenwertbildung: Das System übernimmt ein konservatives Prinzip („Unschuldige nicht beschuldigen") (FP-0-Kalibrierung). Der Entscheidungsschwellenwert $\tau$ wird auf den maximalen Score gesetzt, der auf bekannten sauberen Validierungsdatensätzen beobachtet wurde, wodurch sichergestellt wird, dass kein sauberer Datensatz fälschlicherweise als kontaminiert markiert wird.

3. Hauptbeiträge

Erste systematische Studie: Nach Kenntnis der Autoren ist dies die erste Arbeit, die das Auditing von Vortrainings-Kontamination spezifisch für TSFMs formal untersucht und eine Methode dafür vorschlägt.
Neuartige Methodik: Die Einführung von TSFMAudit, das Dynamiken der Anpassung während des Probes (Verlustreduktion vs. Parameterbewegung) nutzt, anstatt statischer Verluste oder Extraktion von Memorierung.
Referenzbasierte Entverzerrung: Ein Mechanismus zur Kontrolle der Datensatzschwierigkeit durch den Vergleich der Anpassungseffizienz des Kandidaten mit einer Suite von Referenzmodellen, die von Grund auf oder auf unrelated Daten trainiert wurden.
Umfassende Evaluierung: Die Methode wird an 6 TSFMs (Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) und 187 Datensätzen (Kombination aus GIFT-Eval- und TIME-Benchmarks) evaluiert und mit 10 Baselines verglichen, die aus der LLM-Literatur adaptiert wurden.

4. Experimentelle Ergebnisse

Die Experimente adressieren vier primäre Fragen bezüglich der Wirksamkeit der Methode:

Detektionsleistung (Q1): TSFMAudit übertrifft signifikant statische-Verlust-Baselines (Raw Loss, Loss Drop Rate), LiRA-inspirierte Verhältnisse und Frequenzbereich-Baselines. Während statische Metriken nahezu null Matthews-Korrelationskoeffizienten (MCC) liefern, erreicht TSFMAudit einen MCC von 0,125 (All Ref-Konfiguration) und ein Macro-F1 von 0,521. Die Autoren stellen fest, dass die absoluten MCC-Werte bescheiden bleiben, was die inhärente Schwierigkeit des Problems unter konservativer FP-0-Kalibrierung und verrauschten Proxy-Labels widerspiegelt.
Entverzerrungseffekt (Q2): Die referenzbasierte Entverzerrung ist entscheidend. Alle referenzbasierten Varianten übertreffen die Baseline der Kandidaten-nur-Dynamik. Die „All Ref"-Konfiguration (unter Verwendung aller vier Referenzmodelle: ScratchCNN, ScratchTransformer, Stat, VisionTS) liefert die beste aggregierte Leistung und bestätigt, dass relative Anpassungssignale informativer sind als absolute.
Feature-Nützlichkeit (Q3): Feature-Ablation zeigt, dass kein einzelnes Feature ausreicht. Die Anpassungseffizienz ( $a_t$ ) ist das stärkste einzelne Feature und stützt die Hypothese, dass Kontamination durch hohe Effizienz (schneller Verlustabfall, geringe Parameterbewegung) gekennzeichnet ist. Die Kombination aller Dynamik-Features (Verlust, Verschiebung, Effizienz) liefert jedoch die besten Ergebnisse.
Praktische Bereitstellung (Q4): Die Methode wurde am TIME-Benchmark getestet, einem frischen externen Benchmark ohne Kontaminationslabels. Unter Verwendung eines festen Auditors, der auf vorherigen Daten trainiert wurde, identifizierte TSFMAudit die TIME-Datensätze mit hoher Zuversicht korrekt als „sauber" (nicht geleakt) (gepoolte Nicht-Leakage-Rate > 95 %), was seine Nützlichkeit in realen Bereitstellungsszenarien ohne Neutraining demonstriert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TSFMAudit die Dynamiken während des Probes als vielversprechende Grundlage für zuverlässiges Kontaminationsauditing bei Zeitreihen etabliert.

Paradigmenwechsel: Es bewegt sich weg von statischen, vor-Probe-Metriken (die bei Zeitreihen unzuverlässig sind) hin zu dynamischer, verhaltensbasierter Analyse während der Feinabstimmung.
Durchführbarkeit: Es wird gezeigt, dass Kontaminationsauditing auch ohne Zugriff auf das Vortrainings-Korpus oder die Fähigkeit zur Skalierung des Vortrainings durchführbar ist, sofern die Anpassungsverhalten des Modells abgefragt werden können.
Einschränkungen: Die Autoren bleiben bescheiden bezüglich der Ergebnisse und erkennen an, dass das Detektionsproblem herausfordernd ist. Die bescheidenen MCC-Werte deuten darauf hin, dass die Methode, obwohl sie Baselines übertrifft, kein perfekter Detektor ist, insbesondere unter strengen False-Positive-Beschränkungen und im Umgang mit Proxy-Labels, die möglicherweise nicht alle Formen von Leckagen (z. B. transformierte Duplikate) erfassen.

Zusammenfassend bietet TSFMAudit das erste dedizierte Framework zum Auditing von TSFMs und stellt einen robusten, dynamischen Ansatz zur Identifizierung von Datenkontamination bereit, der der kontinuierlichen und heterogenen Natur von Zeitreihendaten Rechnung trägt.