Daily and Weekly Periodicity in Large Language Model Performance and Its Implications for Research

Eine longitudinale Studie zeigt, dass die Leistung von GPT-4o unter festgelegten Bedingungen signifikante tägliche und wöchentliche Schwankungen aufweist, was die Annahme einer zeitlichen Invarianz in Frage stellt und wichtige Implikationen für die Zuverlässigkeit und Reproduzierbarkeit von LLM-Forschung hat.

Das Wesentliche

Titel: Warum KI manchmal „müde" ist: Ein Geheimnis über die Uhrzeit

Stellen Sie sich vor, Sie gehen jeden Tag in ein riesiges, hochmodernes Restaurant, um das gleiche Gericht zu bestellen: einen perfekten Burger. Sie bestellen immer beim selben Kellner, mit derselben Bestellung und am selben Tisch. Logischerweise erwarten Sie, dass der Burger jeden Tag genau gleich schmeckt, oder?

Nun, eine neue Studie von Paul Tschisgale und Peter Wulff zeigt, dass dies bei Künstlicher Intelligenz (KI) – genauer gesagt bei großen Sprachmodellen wie GPT-4o – nicht unbedingt der Fall ist. Die Forscher haben herausgefunden, dass die „Qualität" der KI-Antworten stark davon abhängt, wann man sie fragt.

Hier ist die Geschichte dahinter, einfach erklärt:

1. Das Experiment: Der KI-Testlauf

Die Forscher haben sich eine Aufgabe aus der Physik ausgedacht (eine Art Knobelaufgabe über Batterien und Glühbirnen). Über einen Zeitraum von drei Monaten haben sie diese Aufgabe jeden Tag alle drei Stunden an die KI gestellt. Insgesamt haben sie die KI fast 7.000 Mal gefragt.

Sie wollten wissen: Bleibt die Leistung der KI gleich, oder schwankt sie?

2. Die Entdeckung: Der innere Rhythmus der KI

Das Ergebnis war überraschend: Die KI war nicht immer gleich gut. Ihre Leistung schwankte wie ein Herzschlag.

• Der Takt: Die KI schien einen täglichen Rhythmus (alle 24 Stunden) und einen wöchentlichen Rhythmus (über die Woche verteilt) zu haben.
• Die Mischung: Besonders interessant war, dass sich diese beiden Rhythmen gegenseitig beeinflussten. Es war nicht so, dass sie einfach nur addiert wurden. Stattdessen wirkte der Wochentag wie ein Regler, der den Tagesrhythmus veränderte.

Die Analogie: Der überfüllte Supermarkt
Stellen Sie sich die KI-Server als einen riesigen Supermarkt vor.

• Tagsüber und unter der Woche ist es dort extrem voll. Tausende Menschen (und andere Computer) bestellen gleichzeitig. Der Laden ist überlastet. Um den Kassenstau zu vermeiden, schalten die Manager (die Server-Verwalter) auf „Sparmodus". Vielleicht werden die Kassen etwas langsamer bedient oder die Qualität der Beratung leidet leicht, nur damit alle bedient werden können.
• Nachts und am Wochenende ist es ruhiger. Die Kassen laufen im Leerlauf. Hier kann sich der Kellner (die KI) Zeit nehmen, genauer hinsehen und liefert vielleicht ein „besseres" Ergebnis.

Die Studie zeigt, dass diese Schwankungen real sind und etwa 20 % der gesamten Unterschiede in den Ergebnissen ausmachen. Das ist enorm! Es bedeutet, dass die KI an einem Dienstag um 14 Uhr vielleicht deutlich schlechter ist als an einem Sonntag um 3 Uhr morgens – obwohl sie technisch gesehen „dieselbe" KI ist.

3. Warum ist das wichtig? (Die Gefahr für die Wissenschaft)

Viele Forscher nutzen KI als Werkzeug. Sie lassen die KI Texte analysieren, Daten auswerten oder Aufgaben lösen.

• Das Problem: Wenn ein Forscher seine Daten nur an einem einzigen Tag oder nur zu einer bestimmten Uhrzeit sammelt, könnte er ein verzerrtes Bild erhalten.
• Beispiel: Stellen Sie sich vor, ein Forscher testet die KI nur montags um 10 Uhr. Er könnte denken: „Wow, die KI ist heute super!" oder „Die KI ist heute schlecht!". Aber das liegt gar nicht an der KI selbst, sondern nur daran, dass der Supermarkt zu dieser Zeit überfüllt war.

Das ist wie wenn man die Qualität eines Restaurants nur bewertet, wenn man genau dann hingeht, wenn der Küchenchef gerade gestresst ist. Man würde ein falsches Urteil fällen.

4. Was sollten wir tun?

Die Autoren geben ein paar einfache Tipps, damit unsere Forschung mit KI nicht auf wackeligen Beinen steht:

1. Nicht nur einmal messen: Man sollte die KI nicht nur einmal fragen.
2. Über die Woche verteilen: Wenn man Daten sammelt, sollte man das über eine ganze Woche (oder länger) verteilen, um den „Supermarkt-Stau" auszugleichen.
3. Viele Wiederholungen: Man sollte die gleiche Aufgabe oft wiederholen, um den Zufall auszugleichen.

Fazit

Die KI ist kein statischer Roboter, der immer gleich funktioniert. Sie ist eher wie ein lebendiges System, das auf den Druck der Welt reagiert. Wenn wir sie als Werkzeug nutzen, müssen wir uns bewusst machen, dass die Uhrzeit und der Wochentag einen großen Einfluss darauf haben, was sie uns antwortet.

Wer das ignoriert, riskiert, dass seine Forschungsergebnisse nicht wiederholbar sind – also morgen vielleicht ganz anders aussehen als heute. Die Lösung? Einfach ein bisschen mehr Geduld und eine breitere Zeitspanne für die Tests.

Technische Zusammenfassung

Titel: Tägliche und wöchentliche Periodizität in der Leistung von Large Language Models und deren Implikationen für die Forschung

Autoren: Paul Tschisgale und Peter Wulff (Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik, Kiel; Pädagogische Hochschule Ludwigsburg)

---

1. Problemstellung und Ausgangslage

Large Language Models (LLMs) werden zunehmend sowohl als Forschungsobjekte (zur Bewertung von Fähigkeiten) als auch als Werkzeuge (z. B. für qualitatives Coding oder Datenextraktion) eingesetzt. Eine fundamentale, oft implizite Annahme in der aktuellen Forschung ist die Zeitinvarianz der LLM-Leistung. Diese besagt, dass bei festen Bedingungen (identisches Modell-Snapshot, Hyperparameter und Prompt) die durchschnittliche Ausgabequalität über die Zeit konstant bleibt.

Die Autoren argumentieren, dass diese Annahme kritisch zu hinterfragen ist. Wenn die Leistung eines LLM systematisch von der Uhrzeit oder dem Wochentag abhängt, würden dies die Zuverlässigkeit, Validität und Reproduzierbarkeit von Forschungsergebnissen gefährden. Es gibt bereits Hinweise darauf, dass Serverlastschwankungen (tägliche und wöchentliche Nutzungsmuster) zu periodischen Veränderungen in der Inferenzqualität führen könnten, z. B. durch Lastmanagement-Strategien wie Prompt-Pruning oder Quantisierung bei hoher Auslastung.

2. Methodik

Um die Zeitinvarianz empirisch zu testen, führten die Autoren eine longitudinale Studie über einen Zeitraum von ca. drei Monaten durch.

• Modell: GPT-4o (spezifisches Snapshot: gpt-4o-2024-08-06).
• Aufgabe: Ein physikalisches Multiple-Choice-Problem aus der deutschen Physik-Olympiade (mittleres Schwierigkeitsgrad).
• Design:
  • Die Aufgabe wurde alle 3 Stunden über einen Zeitraum vom 5. August 2025 bis 31. Oktober 2025 (CEST) gestellt.
  • Zu jedem Zeitpunkt wurden 10 Wiederholungen (Queries) durchgeführt, um stochastisches Rauschen zu mitteln.
  • Feste Bedingungen: Identischer System-Prompt, User-Prompt, Temperatur ($T=1$) und API-Endpunkt.
  • Datenvolumen: Insgesamt $N = 6.930$ gültige Antworten.
• Auswertung:
  • Die Antworten wurden automatisiert bewertet (Skala 0 bis 1 in Schritten von 0,25).
  • Statistische Analyse:
    • OLS-Regression mit heteroskedastizitäts- und autokorrelationskonsistenten (HAC) Standardfehlern zur Prüfung auf lineare Drift.
    • Fourier-Analyse (Spektralanalyse): Anwendung der Fast Fourier Transform (FFT) in Kombination mit der Welch-Methode, um dominante periodische Komponenten im Zeitreihendaten zu identifizieren.
    • Signifikanztests mittels nicht-parametrischer Permutation (1000 Iterationen).

3. Wichtige Ergebnisse

A. Abwesenheit linearer Drift, Vorhandensein periodischer Muster

• Die Regression ergab keinen signifikanten linearen Trend (Drift) in der Leistung über die drei Monate ($p = 0,303$). Die Leistung schwankte nicht systematisch nach oben oder unten über die gesamte Dauer.
• Jedoch zeigte die visuelle Inspektion der Tages- und Wochendurchschnitte, dass die Leistung stark von der Tageszeit und dem Wochentag abhängt.

B. Spektralanalyse und Periodizität

Die Fourier-Analyse enthüllte signifikante periodische Komponenten, die zusammen ca. 20,3 % der Gesamtvarianz der Leistung erklären.

• Wöchentliche Komponente: Es wurden Peaks bei ca. 5,5 und 7,3 Tagen identifiziert, was auf einen wöchentlichen Zyklus hindeutet.
• Tägliche Komponente & Modulation: Statt eines einzelnen Peaks bei genau 24 Stunden zeigten sich signifikante Peaks bei 21,0 h und 30,9 h.
  • Dies wird als Seitenbänder (Sidebands) interpretiert, die entstehen, wenn ein täglicher Rhythmus ($f_d$) durch einen wöchentlichen Zyklus ($f_w$) multiplikativ moduliert wird ($f = f_d \pm f_w$).
  • Das Fehlen eines scharfen 24-h-Peaks deutet darauf hin, dass der Tagesrhythmus nicht unabhängig ist, sondern sich je nach Wochentag in Amplitude und Form ändert.
• Sub-tägliche Harmonische: Weitere signifikante Peaks bei ca. 9,6 h und 8,6 h deuten auf Harmonische des nicht-sinusförmigen Tagesrhythmus hin.

C. Quantitative Auswirkung

• Die periodische Struktur allein verursacht eine Peak-to-Peak-Schwankung von 0,139 Punkten auf einer Skala von 0 bis 1.
• Dies entspricht einer Schwankung von ca. 14 % des gesamten Leistungsbereichs.
• Die Interaktion zwischen Tages- und Wochentag ist deutlich sichtbar (Heatmap): Die Leistungsmuster zu verschiedenen Tageszeiten variieren systematisch zwischen Werktagen und Wochenenden.

4. Schlüsselbeiträge und Implikationen

1. Widerlegung der Zeitinvarianz-Annahme: Die Studie liefert starke empirische Belege dafür, dass die Leistung von LLMs unter scheinbar festen Bedingungen nicht zeitinvariant ist, sondern signifikanten täglichen und wöchentlichen Schwankungen unterliegt.
2. Risiko für die Forschungsreproduzierbarkeit:
   • Studien, die Daten nur in kurzen oder spezifischen Zeitfenstern sammeln (z. B. nur an Werktagen oder nur zu bestimmten Uhrzeiten), können verzerrte Leistungsschätzungen liefern.
   • Bei der Nutzung von LLMs als Forschungswerkzeuge (z. B. für Coding oder Annotation) können diese zeitlichen Schwankungen systematische Fehler in den Forschungsdaten einführen, die fälschlicherweise als Eigenschaften der Daten oder des Modells interpretiert werden.
3. Methodische Empfehlungen:
   • Um valide und reproduzierbare Ergebnisse zu erzielen, sollten Datenerhebungen mindestens einen vollen Wochentagzyklus (oder Vielfache davon) umfassen.
   • Die Stichproben sollten über diesen Zeitraum gleichmäßig verteilt sein (idealerweise stündlich oder täglich), um höhere Frequenzkomponenten zu erfassen.
   • Es sollten multiple Wiederholungen pro Zeitpunkt durchgeführt werden, um das stochastische Rauschen des Modells zu reduzieren.
   • Forscher sollten Unsicherheitsmaße bezüglich der zeitlichen Variabilität berichten und in nachgelagerten Analysen berücksichtigen.

5. Diskussion und Limitationen

• Ursachen: Die Autoren vermuten, dass die Schwankungen durch Serverlastmanagement (Load Shedding) bei Spitzenzeiten (werktags, tagsüber) verursacht werden, was zu Inferenz-Optimierungen führt, die die Qualität beeinträchtigen.
• Limitationen:
  • Die zeitliche Auflösung (alle 3 Stunden) könnte höhere Frequenzen verdecken (Aliasing-Risiko).
  • Nur eine einzige Aufgabe (Physik) wurde getestet; die Generalisierbarkeit auf andere Domänen muss noch geprüft werden.
  • Die Studie basiert auf einem extern gehosteten Modell; lokale Modelle ohne geteilte Serverlast könnten andere Muster zeigen.
• Vergleich mit menschlicher Kognition: Ähnlich wie menschliche Leistung durch circadiane Rhythmen und Müdigkeit beeinflusst wird, unterliegen LLMs externen, nicht selbstregulierten Schwankungen. Im Gegensatz zu Menschen können LLMs diese Schwankungen jedoch nicht metakognitiv überwachen oder kompensieren.

Fazit

Die Studie zeigt, dass die zeitliche Dimension der Datenerhebung ein bisher unterschätzter, aber kritischer Faktor in der LLM-Forschung ist. Die Annahme, dass LLMs unter festen Bedingungen zeitlich stabil sind, ist empirisch widerlegt. Um die Validität und Reproduzierbarkeit von LLM-Studien zu gewährleisten, müssen zukünftige Forschungsdesigns diese periodische Variabilität aktiv kontrollieren und in ihre Unsicherheitsanalysen einbeziehen.