Daily and Weekly Periodicity in Large Language Model Performance and Its Implications for Research

Deze studie weerlegt de aanname dat de prestaties van grote taalmodellen tijdsonafhankelijk zijn door aan te tonen dat GPT-4o aanzienlijke dag- en weekcycli vertoont die ongeveer 20% van de totale variatie in de uitkomsten verklaren, wat belangrijke gevolgen heeft voor de betrouwbaarheid en reproduceerbaarheid van onderzoek met deze modellen.

De kern

Titel: Waarom een AI soms slimmer is dan op andere momenten: Een verhaal over de 'biologische klok' van een computer

Stel je voor dat je een zeer slimme, onuitputtelijke assistent hebt die je helpt met moeilijke vraagstukken, zoals het oplossen van natuurkundeproblemen of het analyseren van teksten. Je denkt misschien: "Als ik dezelfde vraag aan deze assistent stel, krijg ik altijd hetzelfde antwoord, toch?"

Niet noodzakelijk. Een nieuw onderzoek van Paul Tschisgale en Peter Wulff toont aan dat deze digitale assistent (in dit geval GPT-4o) net als mensen een soort intern ritme heeft. Soms is hij piekfijn, en op andere momenten wat minder scherp. En dit ritme volgt de klok en de dagen van de week.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Verkeerde Aanname: De AI is een Robot zonder Emoties

Veel onderzoekers gaan er tot nu toe van uit dat een AI een statisch ding is. Alsof je een rekenmachine hebt: als je $2+2$ intikt, krijg je altijd $4$, of je dit nu om 8:00 's ochtends doet of om 23:00 's avonds.

De auteurs van dit onderzoek zeggen echter: "Nee, dat klopt niet." Ze zien de AI meer als een gigantisch drukke bibliotheek die door duizenden mensen tegelijk wordt gebruikt.

2. De Oorzaak: De "Rushhour" van de Server

Deze AI zit niet op één computer in je kamer, maar in enorme datacenters (grote gebouwen vol servers) die over de hele wereld verspreid zijn.

• Maandagochtend: Iedereen werkt, studenten leren, bedrijven analyseren. De servers staan vol. Het is er drukker dan in de spits op de snelweg.
• Zondagmiddag: Iedereen is aan het ontspannen. De servers zijn rustig.

Wanneer het erg druk is, moeten de beheerders van deze systemen maatregelen nemen om het systeem niet te laten crashen. Ze kunnen bijvoorbeeld:

• De vragen van de gebruikers iets "inkorten" (om ruimte te besparen).
• De antwoorden sneller genereren, maar dan minder zorgvuldig.
• De vragen doorsturen naar minder krachtige computers.

Dit is als een chef-kok in een restaurant. Als er maar één gast is, kan hij een perfect gerecht bereiden. Als er 500 gasten tegelijk binnenstormen, moet hij misschien sneller werken, minder ingrediënten gebruiken of standaardrecepten volgen. Het eten is dan nog steeds eetbaar, maar misschien niet even goed als op een rustige dag.

3. Het Experiment: De AI als Sporter

Om dit te bewijzen, hebben de onderzoekers een experiment gedaan dat leek op het testen van een sporter:

• Ze gaven de AI gedurende drie maanden elke dag om de drie uur exact dezelfde natuurkundetoets.
• Ze deden dit 10 keer per keer, zodat ze een betrouwbaar gemiddelde kregen.
• Ze keken of de score veranderde afhankelijk van het tijdstip.

Het resultaat? De scores waren niet stabiel. Ze zagen een duidelijk patroon:

• De AI presteerde anders op maandag dan op zondag.
• De AI presteerde anders om 10:00 's ochtends dan om 22:00 's avonds.

Bijna 20% van de verschillen in de antwoorden kon worden verklaard door dit tijdsritme. Dat is enorm! Het betekent dat als je een onderzoek doet op een maandagochtend, je een ander resultaat krijgt dan op een zondagavond, zelfs als je alles anders exact hetzelfde houdt.

4. De "Trage Golf" in de Data

De onderzoekers gebruikten een wiskundige techniek (Fourier-analyse) om naar de data te kijken. Dit is alsof je luistert naar een muziekstuk en probeert de verschillende instrumenten te horen.
Ze ontdekten dat er twee ritmes door elkaar heen spelen:

1. Een dagritme (24 uur): De AI is drukker overdag dan 's nachts.
2. Een weekritme (7 dagen): De AI is drukker op werkdagen dan in het weekend.

Het interessante is dat deze twee ritmes niet simpelweg bij elkaar worden opgeteld. Ze moduleren elkaar. Het is alsof de dagritme een gitaarsnaren is, en de weekritme de hand die op de snaren drukt. De klank verandert afhankelijk van welke dag het is.

5. Waarom Dit Belangrijk Is voor Jou

Dit heeft grote gevolgen voor hoe we AI gebruiken in onderzoek en in het dagelijks leven:

• Betrouwbaarheid: Als je een onderzoek doet met AI, en je verzamelt je data alleen op dinsdagmiddag, ben je misschien niet het "echte" gemiddelde van de AI aan het meten, maar alleen hoe hij zich voelt op dinsdagmiddag. Je conclusies kunnen dus vertekend zijn.
• Reproduceerbaarheid: Als een ander onderzoekster jouw onderzoek overdoet, maar dan in het weekend, kan ze andere resultaten krijgen. Dit maakt het moeilijk om wetenschappelijke resultaten te verifiëren.
• Oplossing: De auteurs adviseren om bij onderzoek met AI niet op één moment te meten, maar je data te spreiden over minimaal één volledige week (en liever nog langer). Zo vang je alle ritmes op en krijg je een eerlijk beeld.

Conclusie: De AI heeft een "Slaapritme"

Kortom: AI is niet zo'n statische, onfeilbare machine als we dachten. Het is een levend systeem dat reageert op de drukte in de wereld. Het heeft een soort "biologische klok" die wordt bepaald door de menselijke werkweek.

Voor onderzoekers betekent dit: Let op de tijd! Net zoals je niet een sporter meet terwijl hij net wakker is of net na een marathon, moet je AI niet meten op willekeurige momenten als je eerlijke resultaten wilt. Je moet rekening houden met de "rushhour" van de computerwereld.

Technische samenvatting

Probleemstelling

De kern van dit onderzoek is de onderliggende aanname in veel studies met Large Language Models (LLMs) dat modelprestaties tijd-invariant zijn onder vaste omstandigheden (dezelfde modelversie, hyperparameters en prompts). Veel onderzoekers gaan er vanuit dat de gemiddelde outputkwaliteit stabiel blijft over de tijd, wat essentieel is voor de betrouwbaarheid, validiteit en reproduceerbaarheid van onderzoek. Echter, er is groeiend bewijs (zowel anekdotisch als empirisch) dat LLM-prestaties kunnen variëren afhankelijk van het tijdstip van de vraag, zelfs als de experimentele instellingen identiek blijven. Als deze variatie systematisch is (bijvoorbeeld gebaseerd op dag- of weekcycli), kunnen conclusies die op een enkel meetmoment zijn gebaseerd, vertekend zijn.

Methodologie

De auteurs hebben een longitudinale studie uitgevoerd om de hypothese van tijd-invariantie te testen.

• Model en Taak: Er werd gebruikgemaakt van een specifiek snapshot van GPT-4o (gpt-4o-2024-08-06). De taak was een meerkeuzevraag uit de Duitse Natuurkunde Olympiade (intermediair niveau) over elektrische schakelingen.
• Data-Generatie:
  • De API werd benaderd met een vaste temperatuur ($T=1$) en identieke prompts (systeem- en gebruikersprompt).
  • Het experiment liep ongeveer drie maanden (5 augustus 2025 tot 31 oktober 2025).
  • Er werden tien queries per tijdstip uitgevoerd, met een interval van drie uur.
  • Totaal aantal queries: $N = 6.930$.
• Scoring: Het antwoord werd automatisch gescoord op een genormaliseerde schaal van 0 tot 1 (in stappen van 0,25), gebaseerd op de correctheid van de geselecteerde opties.
• Data-analyse:
  • Descriptieve analyse: Onderzoek naar trends en variatie op dag- en weekniveau.
  • Fourier-analyse: Toepassing van de Fast Fourier Transform (FFT) in combinatie met Welch's methode (met Hann-venster) om dominante periodieke componenten in de tijdreeks te identificeren.
  • Significantietoetsing: Een niet-parametrische permutatietest (1000 iteraties) werd gebruikt om een significantiedrempel te bepalen voor de spectrale pieken.

Belangrijkste Resultaten

De analyse leverde overtuigend bewijs op voor significante periodieke variatie in de prestaties van het model:

1. Geen Lineaire Trend: Er was geen systematische drift in de prestaties over de tijd (OLS-regressie was niet significant), wat betekent dat de variatie niet simpelweg een stijgende of dalende lijn is.
2. Interactie Dag-Week: Er is een duidelijke interactie tussen dag- en weekpatronen. De prestaties variëren niet alleen per uur van de dag, maar dit patroon verschilt ook per dag van de week (bijv. weekend vs. doordeweekse dagen).
3. Spectrale Analyse (Fourier):
   • De spectrale analyse toonde significante pieken die overeenkomen met dagelijkse (24 uur) en weekelijkse (7 dagen) cycli.
   • Cruciaal is het ontbreken van een scherpe piek op exact 24 uur. In plaats daarvan werden zijbanden (sidebands) waargenomen rond de 24-uurscyclus (bijv. pieken bij ongeveer 21,0 uur en 30,9 uur).
   • Dit patroon bevestigt een multiplicatief proces: de dagcyclus wordt gemoduleerd door de weekcyclus. De formule voor deze interactie is $f = k \cdot f_d \pm m \cdot f_w$, waarbij $f_d$ de dagfrequentie en $f_w$ de weekfrequentie is.
   • Ook sub-dagelijkse pieken (bijv. 9,6 uur en 8,6 uur) werden gevonden, wat wijst op harmonischen van de dagcyclus die eveneens gemoduleerd worden.
4. Grootte van het Effect:
   • Ongeveer 20,3% van de totale variantie in de prestaties kan worden toegeschreven aan deze geïdentificeerde periodieke componenten.
   • De piek-tot-piek variatie door deze periodiciteit bedraagt ongeveer 0,139 op een schaal van 0 tot 1 (ongeveer 14% van de volledige schaal).

Bijdragen en Implicaties

De studie levert een belangrijke bijdrage aan het begrip van de betrouwbaarheid van LLMs in wetenschappelijk onderzoek:

• Uitdaging aan Tijd-Invariantie: De aanname dat LLM-prestaties onder vaste omstandigheden constant zijn, wordt weerlegd. Periodieke variatie is een substantiële bron van onzekerheid.
• Oorzaak: De auteurs suggereren dat deze variatie waarschijnlijk het gevolg is van serverbelasting en beheerstrategieën door de provider. Hogere vraag (werkdagen, dagtijden) leidt mogelijk tot maatregelen zoals prompt-compressie, routing naar kwantiserde modellen of inferentie-optimalisatie, wat de outputkwaliteit beïnvloedt.
• Implicaties voor Onderzoek:
  • Bias in Evaluaties: Studies die data verzamelen in een smal tijdsvenster (bijv. alleen op een dinsdagochtend) kunnen systematisch over- of onderschatten van de werkelijke prestaties.
  • Reproduceerbaarheid: Als onderzoekers LLMs gebruiken als instrument (bijv. voor kwalitatieve codering), kunnen tijdsgebonden variaties leiden tot inconsistente resultaten als metingen niet over een volledige cyclus worden verspreid.
  • Aanbevelingen: Om valide en reproduceerbare resultaten te krijgen, wordt geadviseerd om data te verzamelen over minimaal één volledige week (de langste geobserveerde periodiciteit), met een evenwichtige spreiding over de dagen en uren. Daarnaast is het noodzakelijk om meerdere herhalingen per tijdstip te gebruiken om stochastische ruis te minimaliseren.

Significantie

Dit onderzoek introduceert een tot nu toe ondergewaardeerde bron van variabiliteit in AI-onderzoek: tijdsselectie. Het toont aan dat de "kwaliteit" van een LLM niet statisch is, maar dynamisch reageert op externe factoren zoals serverbelasting. Dit heeft directe gevolgen voor hoe benchmarkstudies worden ontworpen en geïnterpreteerd. Het pleit voor een verschuiving naar robuustere experimentele designs die rekening houden met temporele patronen, en suggereert dat lokaal gehoste modellen (zonder gedeelde serverbelasting) mogelijk meer reproduceerbare resultaten kunnen bieden voor kritische toepassingen.