🤖 machine learning

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

Dit artikel introduceert TSFMAudit, de eerste methode die is ontworpen om pretraining-datacontaminatie in Time Series Foundation Models te detecteren door gebruik te maken van de intuïtie dat gecontamineerde datasets ongebruikelijk efficiënte adaptatiedynamiek vertonen tijdens fine-tuning.

Oorspronkelijke auteurs: Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kok inhuurt om een complex gerecht te bereiden voor een groot diner. Je wilt weten of deze kok echt een genie is dat van alles van scratch kan koken, of dat ze alleen het recept voor het specifieke gerecht dat je gaat serveren, uit het hoofd heeft geleerd.

Dit is het probleem dat TSFMAudit oplost, maar in plaats van koks en recepten gaat het over Time Series Foundation Models (super-slimme AI die dingen zoals aandelenkoersen, weer of verkeer voorspelt) en datacontaminatie.

Hier is de uitleg van het artikel in eenvoudige bewoordingen:

Het Probleem: De "Gelekte Toets"

In de wereld van AI trainen onderzoekers modellen op enorme hoeveelheden data (het "pretraining-corpus") en testen ze ze vervolgens op specifieke datasets om te zien hoe goed ze zijn.

Het probleem is dat de data die voor de toets wordt gebruikt, soms per ongeluk in de trainingshoop belandt.

De Analogie: Stel je een student voor die studeert voor een wiskunde-examen. Als de leraar per ongeluk de exacte toetsvragen in de studiegids zet, haalt de student een perfect cijfer. Maar dat betekent niet dat ze een wiskundegenie zijn; het betekent alleen dat ze de antwoorden uit het hoofd hebben geleerd.
Waarom het lastig is bij Tijdsreeksen: Bij tekst (zoals boeken) kun je eenvoudig zien of een zin is gekopieerd. Maar tijdsreeksdata (zoals een grafiek van temperaturen over een jaar) is continu. Hetzelfde patroon kan er anders uitzien als je de eenheden verandert (Celsius naar Fahrenheit) of de schaal. Het is dus erg moeilijk om te zeggen of de AI de data eerder heeft "gezien" of dat het gewoon goed is in het voorspellen van dat specifieke patroon.

De Oplossing: De "Proef"

De auteurs hebben een tool genaamd TSFMAudit ontwikkeld. In plaats van alleen te kijken naar de uiteindelijke score (die kan worden vervalst door uit het hoofd leren), kijken ze hoe de AI leert wanneer je ze een klein beetje nieuwe training geeft.

Denk hierbij aan een fitheidstest:

De Opzet: Je hebt een "Kandidaat"-AI (die je auditert) en een groep "Referentie"-AI's (verse modellen die de data nog niet hebben gezien).
De Proef: Je geeft ze allemaal een korte, kleine workout (enkele minuten fine-tuning) op de specifieke dataset waar je verdacht van bent.
De Observatie:
- De Schone AI: Als de AI deze data nooit heeft gezien, moet ze hard werken. Ze zweet veel (haar interne instellingen veranderen veel) en haar prestaties verbeteren langzaam.
- De Gecontamineerde AI: Als de AI deze data al heeft gezien tijdens haar grote trainingsfase, herkent ze het patroon direct. Ze breekt nauwelijks een zweet (haar interne instellingen bewegen nauwelijks) en haar prestaties schieten direct omhoog.

Het Belangrijke Inzicht: Contaminatie ziet eruit als ongebruikelijk efficiënte aanpassing. De "bedrieger" leert sneller met minder moeite.

Hoe Ze Het Eerlijk Maken (De "Referentie Suite")

Je zou kunnen zeggen: "Maar wat als de data gewoon heel makkelijk te voorspellen is? Dan zou zelfs een schone AI snel leren."

Om dit op te lossen, gebruiken de auteurs een Referentie Suite. Ze voeren dezelfde test uit op vier andere modellen die vergelijkbaar groot zijn, maar die de data zeker niet hebben gezien.

De Analogie: Stel je voor dat je een hardloper beoordeelt. Als ze een 100 meter in 10 seconden loopt, is dat geweldig. Maar als het parcours een afdaling is, zijn ze misschien niet zo snel. Dus laat je andere hardlopers op hetzelfde parcours lopen. Als je hardloper beduidend sneller is dan iedereen anders op hetzelfde makkelijke parcours, weet je dat ze een oneerlijk voordeel hebben (zoals een verborgen motor).
TSFMAudit vergelijkt de snelheid van de Kandidaat met de Referentiemodellen. Als de Kandidaat veel te efficiënt is in vergelijking met de Referenties, wordt deze gemarkeerd als gecontamineerd.

Wat Ze Vonden

Het team testte dit op 6 verschillende Time Series AI-modellen en 187 verschillende datasets.

Oude Methoden Faalden: Ze probeerden oude trucs die voor tekstmodellen werden gebruikt (zoals controleren of de loss-score te laag is), maar die werkten niet goed voor tijdsreeksen omdat sommige data gewoon van nature makkelijk te voorspellen is.
TSFMAudit Werkte: Door te kijken naar het "zweet" (hoeveel het model veranderde) en de "snelheid" (hoe snel de score verbeterde) tijdens de proef, konden ze de bedriegers veel beter opsporen dan met welke andere methode dan ook.
Real-World Check: Ze testten hun tool op een gloednieuwe benchmark genaamd TIME. Omdat deze benchmark na het trainen van de modellen is opgebouwd, zou deze schoon moeten zijn. TSFMAudit bevestigde dat deze modellen de TIME-data niet hadden gezien, wat bewijst dat de tool in de praktijk werkt.

Samenvatting

TSFMAudit is een "leugendetector" voor AI die tijd voorspelt. Het vraagt niet alleen: "Heb je een goed cijfer gehaald?" Het vraagt: "Hoe hard heb je moeten werken om dat cijfer te halen?" Als de AI te makkelijk leert in vergelijking met haar collega's, is de kans groot dat ze de antwoorden al kende. Dit helpt onderzoekers ervoor te zorgen dat wanneer ze zeggen dat een AI slim is, deze ook daadwerkelijk slim is, en niet gewoon een bedrieger die de toets uit het hoofd heeft geleerd.

Technische Samenvatting: TSFMAudit – Audit van Dataverontreiniging in Forecasting Time Series Foundation Models

1. Probleemformulering

Time Series Foundation Models (TSFMs) worden steeds vaker voorgetraind op grote, heterogene corpora afkomstig uit diverse real-world en synthetische bronnen. Tegelijkertijd worden veelgebruikte evaluatiebenchmarks (bijv. GIFT-Eval, TIME) vaak samengesteld uit dezelfde publieke bronnen. Deze overlap creëert een aanzienlijk risico op voortrainingsverontreiniging, waarbij evaluatiegegevens tijdens de voortrainingsfase van het model zijn blootgesteld. Dergelijke blootstelling kan downstream-prestatieschattingen kunstmatig opblazen, wat leidt tot te optimistische beoordelingen van de generalisatiecapaciteiten van een model.

Het auditen van deze verontreiniging in tijdreeksen is uniek uitdagend in vergelijking met Large Language Models (LLMs) vanwege de aard van de data:

Continuïteit en Heterogeniteit: Tijdreeksen zijn continue waarden, waardoor exacte string- of tokenmatching (gebruikt bij LLM-overlapdetectie) niet van toepassing is.
Gevoeligheid voor Preprocessing: Hetzelfde onderliggende signaal kan opnieuw verschijnen na herschaling, hernoeming, herwindowing of andere transformaties, waardoor eenvoudige duplicaatzoekopdrachten kwetsbaar worden.
Gebrek aan Documentatie: Documentatie op corpusniveau is vaak onvolledig, waardoor het moeilijk is om blootstelling uitsluitend via metadata te verifiëren.
Onbetrouwbaarheid van Statische Metrieken: Statische loss- of perplexity-scores zijn onbetrouwbare indicatoren, omdat gladde seizoensgebonden trends of makkelijke datasets zelfs voor modellen die de data nooit hebben gezien, een lage loss kunnen opleveren.

Het artikel formaliseert het doel van verontreinigingsauditing: gegeven een kandidaat-TSFM $f_\theta$ en een geauditeerde dataset $D$ , is het doel om een score $S(f_\theta, D)$ te schatten die het risico op voortrainingsverontreiniging kwantificeert, waarbij onderscheid wordt gemaakt tussen "schone" en "verontreinigde" paren zonder toegang tot het volledige voortrainingscorpus.

2. Methodologie: TSFMAudit

De auteurs stellen TSFMAudit voor, een framework gebaseerd op dynamiek van probe-adaptatie. De kernintuïtie is dat verontreiniging zich manifesteert als ongebruikelijk efficiënte adaptatie tijdens een fine-tuning-probe.

Belangrijkste Observaties:

Efficiënte Adaptatie: Als een model tijdens de voortraining al voorspellende structuren specifiek voor een dataset heeft gecodeerd, vereist het minder adaptatie wanneer het vervolgens op diezelfde dataset wordt gefine-tuned. Dit resulteert in een snellere loss-reductie met minimale beweging van de backbone-parameters.
Bias door Datasetmoeilijkheid: Snelle adaptatie is niet uniek voor verontreinigde modellen; schone modellen kunnen ook snel adaptieren als de dataset intrinsiek makkelijk is. Om dit te mitigeren, vergelijkt de methode de kandidaat met een Referentie Suite van modellen met een vergelijkbare architectuur maar zonder blootstelling aan de doeldataset.

De TSFMAudit-pijplijn:

Probing-fase: Zowel het kandidaatmodel als een suite van referentiemodellen ( $\mathcal{R}$ ) worden gefine-tuned op de geauditeerde dataset $D$ voor een vast aantal epochs ( $T_{probe}$ ).
Trace-extractie: Voor elke epoch $t$ $t$ registreert het systeem:
- $\ell_t$ : De forecasting loss.
- $w_t$ : De cumulatieve $\ell_2$ -verplaatsing van de backbone-parameters ten opzichte van hun initiële staat.
- Afgeleide metrieken: Relatieve loss-daling ( $d_t$ ) en adaptatie-efficiëntie ( $a_t = d_t / w_t$ ).
Debiasing via Referentievergelijking: Om dataset-specifieke moeilijkheidsbias te verwijderen, worden de trace-kenmerken van de kandidaat element-voor-element vergeleken met de trace van elk referentiemodel. Dit genereert verschil- ( $\Delta$ ) en ratio- ( $\rho$ ) kenmerken.
Scoring en Calibratie: Een lichtgewicht scorer (logistische regressie) wordt getraind op een audittrainingsset met deze gedebiasde kenmerken om de verontreinigingskans te voorspellen.
- Thresholding: Het systeem hanteert een conservatief principe van "de onschuldige niet beschuldigen" (FP-0-calibratie). De beslissingsdrempel $\tau$ wordt ingesteld op de maximale score die is waargenomen op bekende schone validatiedatasets, zodat er geen schone dataset ten onrechte als verontreinigd wordt gemarkeerd.

3. Belangrijkste Bijdragen

Eerste Systematische Studie: Naar beste weten van de auteurs is dit het eerste werk dat formeel onderzoek doet en een methode voorstelt voor voortrainingsverontreinigingsauditing specifiek voor TSFMs.
Nieuwe Methodologie: De introductie van TSFMAudit, die gebruikmaakt van dynamiek van adaptatie tijdens de probe (loss-reductie versus parameterbeweging) in plaats van statische loss of memorisatie-extractie.
Referentie-gebaseerde Debiasing: Een mechanisme om rekening te houden met datasetmoeilijkheid door de adaptatie-efficiëntie van de kandidaat te vergelijken met een suite van referentiemodellen die vanaf nul of op niet-gerelateerde data zijn getraind.
Uitgebreide Evaluatie: De methode wordt geëvalueerd op 6 TSFMs (Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) en 187 datasets (combinatie van GIFT-Eval en TIME-benchmarks), met vergelijking tegen 10 baselines afgeleid uit de LLM-literatuur.

4. Experimentele Resultaten

De experimenten behandelen vier hoofdvragen met betrekking tot de effectiviteit van de methode:

Detectieprestaties (V1): TSFMAudit presteert aanzienlijk beter dan statische-loss baselines (Raw Loss, Loss Drop Rate), LiRA-geïnspireerde ratio's en frequentiedomein-baselines. Waar statische metrieken bijna nul Matthews Correlation Coefficients (MCC) opleveren, bereikt TSFMAudit een MCC van 0,125 (All Ref-configuratie) en een Macro-F1 van 0,521. De auteurs merken op dat absolute MCC-waarden bescheiden blijven, wat de inherente moeilijkheid van het probleem weerspiegelt onder conservatieve FP-0-calibratie en ruwe proxy-labels.
Debiasing-effect (V2): Referentie-gebaseerde debiasing is cruciaal. Alle referentie-gebaseerde varianten presteren beter dan de kandidaat-only-dynamieken-baseline. De "All Ref"-configuratie (met gebruik van alle vier referentiemodellen: ScratchCNN, ScratchTransformer, Stat, VisionTS) levert de beste geaggregeerde prestaties op, wat bevestigt dat relatieve adaptatiesignalen informatiever zijn dan absolute signalen.
Kenmerknut (V3): Feature-ablatie toont aan dat geen enkel kenmerk afzonderlijk voldoende is. Adaptatie-efficiëntie ( $a_t$ ) is het sterkste individuele kenmerk, wat de hypothese ondersteunt dat verontreiniging wordt gekenmerkt door hoge efficiëntie (snelle loss-daling, lage parameterbeweging). Het combineren van alle dynamische kenmerken (loss, verplaatsing, efficiëntie) levert echter de beste resultaten op.
Praktische Implementatie (V4): De methode is getest op de TIME Benchmark, een vers extern benchmark zonder verontreinigingslabels. Met behulp van een vaste auditor getraind op eerdere data, identificeerde TSFMAudit de TIME-datasets correct als "schoon" (niet-leaked) met hoge zekerheid (gepoolde non-leakage-rate > 95%), wat de bruikbaarheid demonstreert in real-world implementatiescenario's zonder hertraining.

5. Betekenis en Claims

Het artikel claimt dat TSFMAudit dynamiek tijdens de probe vestigt als een veelbelovende basis voor betrouwbare verontreinigingsauditing in tijdreeksen.

Paradigmaverschuiving: Het beweegt weg van statische, pre-probe metrieken (die onbetrouwbaar zijn in tijdreeksen) naar dynamische, gedragsanalyses tijdens fine-tuning.
Haalbaarheid: Het toont aan dat verontreinigingsauditing haalbaar is, zelfs zonder toegang tot het voortrainingscorpus of de mogelijkheid om voortraining op grote schaal te reproduceren, mits men het adaptatiegedrag van het model kan onderzoeken.
Beperkingen: De auteurs blijven bescheiden over de resultaten en erkennen dat het detectieprobleem uitdagend is. De bescheiden MCC-scores geven aan dat, hoewel de methode superieur is aan baselines, het geen perfecte detector is, vooral onder strikte false-positive-beperkingen en bij het omgaan met proxy-labels die mogelijk niet alle vormen van lekken vangen (bijv. getransformeerde duplicaten).

Kortom, TSFMAudit biedt het eerste toegewijde framework voor het auditen van TSFMs, met een robuuste, dynamische aanpak voor het identificeren van dataverontreiniging die rekening houdt met de continue en heterogene aard van tijdreeksdata.