Daily and Weekly Periodicity in Large Language Model Performance and Its Implications for Research

Une étude longitudinale sur GPT-4o révèle que ses performances varient selon des rythmes journaliers et hebdomadaires, remettant ainsi en cause l'hypothèse d'invariance temporelle souvent admise dans la recherche utilisant les grands modèles de langage.

L'essentiel

🕰️ Le Secret de l'Horloge Cachée des IA

Imaginez que vous avez un ami très intelligent, un génie des mathématiques et de la physique, que vous appelez pour résoudre un problème. Vous vous attendez à ce qu'il donne toujours la même réponse, peu importe l'heure à laquelle vous l'appelez, n'est-ce pas ?

C'est ce que les chercheurs pensaient jusqu'à récemment. Ils croyaient que les Grands Modèles de Langage (comme GPT-4o) étaient comme des horloges suisses : parfaitement stables, toujours aussi précis, que ce soit à 8h du matin ou à 3h du matin.

Mais une nouvelle étude, menée par deux chercheurs allemands, a découvert quelque chose de surprenant : ce "génie" a en réalité un rythme de vie, un cycle de fatigue et d'énergie qui change selon l'heure et le jour.

🌍 L'Analogie du Restaurant Bondé

Pour comprendre pourquoi, imaginez que l'IA n'est pas un cerveau isolé, mais un très grand restaurant qui sert des millions de clients partout dans le monde.

1. Les heures de pointe (Le Lundi matin) : C'est l'heure de pointe. Le restaurant est bondé. Les serveurs (les serveurs informatiques) courent partout. Pour que tout le monde soit servi rapidement, le chef (le système de l'IA) doit parfois faire des compromis : il simplifie les plats, il va plus vite, il ne vérifie pas chaque détail. Résultat : la qualité du plat (la réponse de l'IA) peut être un peu moins parfaite.
2. Les heures creuses (Le Dimanche soir) : Le restaurant est calme. Le chef a le temps de cuisiner lentement, de vérifier chaque ingrédient, de faire un plat d'exception. La qualité est au top.

Les chercheurs ont découvert que l'IA suit ce même rythme. Sa performance varie en fonction de la charge de travail de ses serveurs, qui dépend de l'activité humaine (les gens travaillent le jour, dorment la nuit, travaillent le lundi, se reposent le week-end).

🔍 Ce qu'ils ont fait (L'expérience)

Pour prouver cela, les chercheurs ont joué le rôle de clients très patients et très méticuleux :

• Ils ont demandé à la même version de GPT-4o de résoudre le même problème de physique (un exercice sur les piles et les ampoules).
• Ils l'ont fait 10 fois de suite, toutes les 3 heures, pendant 3 mois.
• Ils ont noté chaque réponse comme un professeur (de 0 à 1).

Au total, ils ont collecté près de 7 000 réponses.

📉 Ce qu'ils ont trouvé (La surprise)

En analysant ces données avec une technique mathématique appelée "analyse de Fourier" (qui sert à trouver des rythmes cachés dans le bruit), ils ont vu des motifs clairs :

• Ce n'est pas du hasard : Environ 20 % des variations dans la qualité des réponses ne sont pas dues au hasard, mais à un cycle précis.
• Le rythme journalier et hebdomadaire : L'IA est plus performante à certains moments de la journée et certains jours de la semaine. Par exemple, elle semble avoir des "creux" et des "pics" de performance qui se répètent comme les marées.
• L'effet "Sideband" : C'est comme si le rythme de la journée (24h) et celui de la semaine (7 jours) se mélangeaient pour créer des variations complexes. Parfois, l'IA est meilleure à 21h un mardi, mais pire à 21h un jeudi.

En gros, si vous demandez la même chose à l'IA à deux moments différents, vous pourriez obtenir deux réponses de qualité très différente, simplement parce que le "restaurant" était plus ou moins bondé à ce moment-là.

⚠️ Pourquoi c'est important pour la science ?

C'est un gros problème pour les chercheurs qui utilisent l'IA comme outil :

1. La reproductibilité : Si un chercheur fait une expérience un mardi matin et un autre chercheur la refait un vendredi soir, ils pourraient obtenir des résultats différents. Ce n'est pas parce que l'IA a changé, mais parce que le moment a changé. C'est comme si deux cuisiniers essayaient de reproduire un plat, mais l'un cuisinait quand la cuisine était vide et l'autre quand elle était en feu.
2. La fiabilité : Si on utilise l'IA pour coder des données ou analyser des textes, on risque de biaiser les résultats selon l'heure où l'on a demandé l'analyse.
3. L'illusion de stabilité : On pensait que l'IA était un outil fixe. En réalité, c'est un système vivant qui fluctue.

💡 La leçon à retenir

Cette étude nous dit qu'il faut arrêter de traiter l'IA comme une machine parfaite et statique.

Pour faire de la bonne science avec l'IA, il faut :

• Étaler ses tests : Ne pas faire toutes ses expériences en une seule journée. Il faut tester sur plusieurs jours, voire plusieurs semaines, pour avoir une image moyenne fiable.
• Être conscient du contexte : Se demander "À quel moment de la semaine et de la journée ai-je demandé cela ?".
• Accepter l'incertitude : Reconnaître que l'heure de la demande fait partie de l'expérience, tout comme la température ou la lumière.

En résumé : L'IA a un rythme de vie. Elle est plus "alerte" à certains moments et plus "fatiguée" à d'autres, selon l'affluence mondiale sur ses serveurs. Pour bien l'utiliser, il faut apprendre à danser avec son horloge, et non pas ignorer qu'elle existe.

Résumé technique

1. Problématique

L'étude remet en question l'hypothèse fondamentale sous-jacente à de nombreuses recherches utilisant les grands modèles de langage (LLM) : celle de l'invariance temporelle.

• Hypothèse actuelle : Les chercheurs supposent souvent que la performance d'un LLM, sous des conditions fixes (même snapshot de modèle, mêmes hyperparamètres, même prompt), est stable dans le temps.
• Problème identifié : Si la performance varie systématiquement en fonction du moment de la requête (heure de la journée, jour de la semaine), cela compromet la fiabilité, la validité et la reproductibilité des études.
• Origine potentielle : Les auteurs postulent que les variations de charge des serveurs (liées aux rythmes quotidiens et hebdomadaires d'utilisation humaine) pourraient entraîner des stratégies de gestion de charge (compression, routage vers des modèles quantifiés, etc.) qui dégradent la qualité des sorties de manière périodique.

2. Méthodologie

Les auteurs ont mené une étude longitudinale rigoureuse sur une période d'environ trois mois pour tester cette hypothèse.

• Modèle et Configuration :
  • Modèle : GPT-4o (snapshot spécifique gpt-4o-2024-08-06).
  • Interface : API OpenAI.
  • Paramètres fixes : Température fixée à $T=1$, prompts identiques (système et utilisateur).
• Tâche : Résolution d'un problème de physique à choix multiples (niveau olympiades allemandes).
  • Le problème porte sur l'énergie et les circuits électriques (batteries et ampoules).
  • Évaluation : Un système de notation par option (0,25 point par option correctement traitée), permettant un score total normalisé de 0 à 1.
• Protocole de collecte de données :
  • Fréquence : 10 requêtes toutes les 3 heures.
  • Période : Du 5 août 2025 au 31 octobre 2025 (heure CEST).
  • Volume total : $N = 6\,930$ requêtes valides.
• Analyse des données :
  • Régression OLS : Pour détecter une dérive temporelle systématique (tendance linéaire).
  • Analyse de Fourier (FFT) : Utilisation de la méthode de Welch avec fenêtrage de Hann pour identifier les composantes périodiques dominantes dans la série temporelle.
  • Test de signification : Seuil de signification basé sur une procédure de permutation non paramétrique (1000 itérations, $\alpha = 0,05$).

3. Résultats Clés

• Absence de dérive linéaire : L'analyse de régression n'a montré aucune tendance systématique à la hausse ou à la baisse de la performance sur la durée de l'étude ($p = 0,303$).
• Présence de variabilité périodique significative :
  • L'analyse spectrale a révélé des pics significatifs correspondant à des rythmes journaliers et hebdomadaires.
  • Interactions : Les résultats ne montrent pas simplement une somme de rythmes, mais une interaction multiplicative. Le rythme journalier est modulé par le jour de la semaine.
  • Fréquences détectées :
    • Pic hebdomadaire : ~7,3 jours et ~5,5 jours (cohérent avec un cycle de 7 jours).
    • Pics journaliers (bandes latérales) : Au lieu d'un pic unique à 24h, on observe des pics à 21,0 h et 30,9 h. Cela correspond théoriquement aux bandes latérales ($f_d \pm f_w$) générées par la modulation d'un cycle journalier par un cycle hebdomadaire.
    • Harmoniques : Des pics à ~9,6 h et ~8,6 h suggèrent des harmoniques de cycles non sinusoïdaux.
• Magnitude de l'effet :
  • Les composantes périodiques identifiées expliquent environ 20,3 % de la variance totale de la performance.
  • La variation pic-à-pic induite par la structure périodique représente environ 14 % de l'échelle de performance totale (soit une fluctuation de 0,139 unité sur une échelle de 0 à 1).
• Visualisation : La carte thermique (heatmap) montre clairement que les performances varient selon l'heure de la journée, et que ce motif change selon le jour de la semaine (ex: différence entre semaine et week-end).

4. Contributions Principales

1. Démonstration empirique de l'invariance temporelle : L'étude fournit des preuves solides que la performance d'un LLM n'est pas stationnaire dans le temps, même avec des conditions expérimentales strictement contrôlées.
2. Identification de la structure spectrale : L'analyse démontre que la variabilité suit un modèle complexe de modulation (quotidien modulé par hebdomadaire), plutôt qu'un simple bruit aléatoire ou une tendance linéaire.
3. Quantification de l'impact : En montrant que ~20 % de la variance est due au moment de la mesure, l'article quantifie un risque majeur pour la reproductibilité scientifique.
4. Recommandations méthodologiques : Les auteurs proposent des protocoles pour atténuer ce biais :
   • Échantillonnage sur au moins une semaine complète (ou multiples).
   • Échantillonnage régulier (idéalement toutes les heures).
   • Répétition des mesures à chaque point temporel pour réduire le bruit stochastique.
   • Rapport systématique de la variabilité temporelle dans les études futures.

5. Signification et Implications

• Pour la recherche sur les capacités des LLM : Les estimations de performance publiées dans la littérature pourraient être biaisées si les données ont été collectées dans des fenêtres temporelles étroites coïncidant avec des pics ou des creux de performance. Cela remet en cause la comparabilité directe de certaines études.
• Pour l'utilisation des LLM comme outils de recherche : Dans des tâches comme le codage qualitatif ou l'extraction de données, une variabilité temporelle non contrôlée peut introduire des biais systématiques dans les résultats, faussant les conclusions substantives.
• Distinction Humain-Machine : Contrairement aux humains qui peuvent (théoriquement) surveiller et réguler leur état cognitif (fatigue, rythme circadien), les LLM ne possèdent aucune capacité de métacognition pour détecter ou compenser leurs propres fluctuations de performance.
• Perspectives futures : L'étude suggère que l'utilisation de modèles hébergés localement (sans charge de serveur partagée) pourrait éliminer ou atténuer ces variations, offrant ainsi une meilleure stabilité pour les analyses reproductibles.

En conclusion, cet article établit que le moment de l'échantillonnage est une source d'incertitude critique, souvent négligée, qui doit être intégrée dans la conception expérimentale et l'interprétation des résultats impliquant les grands modèles de langage.