Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control

Résumé Technique : Évaluation de la Validité des Alertes de Effondrement Récursif sous Contrôle de Faux Positifs Appariés

Énoncé du Problème
Les systèmes récursifs — où les états présents façonnent les états futurs et où les mises à jour locales renforcent la continuation — peuvent entrer dans des régimes de type « effondrement » caractérisés par une amplification auto-renforcée, une persistance récursive et un rétrécissement de la diversité avant la défaillance manifeste. Bien que les signaux d'alerte précoce (EWS) pour les transitions critiques (ex: croissance de la variance, décalages d'autocorrélation) soient établis dans la littérature des systèmes complexes, ils souffrent souvent de vulnérabilités aux faux positifs sous forçage non stationnaire. Cet article traite de l'absence d'un benchmark reproductible et falsifiable pour tester si des défaillances récursives spécifiques suivent un schéma de télémétrie directionnel (gain croissant, persistance croissante, diversité déclinante) sous un contrat strict de faux positifs (FP) appariés. Le défi central consiste à distinguer les signatures de pré-effondrement réelles du bruit ou des artefacts spécifiques au domaine, sans permettre aux détecteurs de « gagner » simplement en répartissant différemment les fausses alarmes.

Méthodologie
L'article introduit Loopzero, un cadre de benchmark à limites de revendication qui sépare la spécification formelle de l'évaluation empirique.

1. Obstruction Formelle (Lean) : Les auteurs formalisent une « obstruction de non-progrès » pour les systèmes de rétroaction récursive dans le prouveur de théorèmes Lean. Cela définit une condition structurelle où un système effectue des étapes locales valides mais perd un progrès significatif en raison de liens monotones (quantités qui peuvent stagner ou s'aggraver mais ne pas se rétablir). L'artefact Lean vérifie l'obstruction abstraite et une spécialisation schématique de la télémétrie, mais ne vérifie explicitement pas que les données du monde réel satisfont la fonction de mesure.
2. Pont de Télémétrie Conditionnel : Le cadre pose un pont conditionnel : si un système présente l'obstruction formelle, il devrait manifester trois témoins observables avant l'effondrement :
   • Gain Croissant ($G$) : Amplification des perturbations.
   • Persistance Récursive Croissante ($p$) : Dépendance accrue aux états générés en interne (opérationnalisée comme une porte de non-relaxation).
   • Diversité Déclinante ($\delta$) : Contraction de l'espace d'état effectif.
3. Contrat de Faux Positifs Appariés : Pour garantir une comparaison équitable, tous les détecteurs (y compris le détecteur de quantile pré-enregistré de Loopzero et les comparateurs standards) sont évalués sous une bande de faux positifs égale et verrouillée : FP $\in$ [0,03, 0,07]. Une configuration n'est « acceptée » que si son taux de faux positifs tombe dans cet intervalle. Cela empêche le réglage des détecteurs vers des seuils arbitraires qui pourraient gonfler les performances.
4. Benchmarks : L'évaluation est menée sur deux benchmarks d'artefacts publics gelés :
   • Marchés Publics : Données segmentées des événements de la « Volmageddon » de 2018 et des coupe-circuits généralisés du COVID en 2020 (38 unités de contrôle, 16 unités d'événement).
   • Systèmes de Recommandation : Un rejeu déterministe hors ligne des trajectoires d'utilisateurs de MovieLens-25M utilisant un moteur de filtrage collaboratif (4 755 unités de contrôle, 35 584 unités d'événement à l'horizon $h=50$).
   • Vérification Secondaire : Les trajectoires numérisées de Shumailov et al. (2024) sur l'effondrement de la boucle d'entraînement des LLM sont utilisées uniquement pour la cohérence directionnelle, et non pour l'évaluation de FP appariés.

Résultats Clés

• Non-Acceptation des Détecteurs : Sous le contrat de FP verrouillé, aucun comparateur testé (y compris les familles standards telles qu'AC1, Matrix Profile, l'Entropie de Permutation, CUSUM et Page-Hinkley) ni aucun point de fonctionnement du détecteur de quantile pré-enregistré de Loopzero n'a atteint un point de fonctionnement accepté sur les deux benchmarks canoniques.
  • Marchés : Le comparateur non trivial le plus proche (AC1) avait un FP de 0,132 (au-dessus de la bande) ; les familles lentes étaient soit trivialement silencieuses (FP=0), soit bien au-dessus de la bande.
  • Recommandation : Le comparateur le plus proche (Matrix Profile) avait un FP de 0,014 (en dessous de la bande) ; aucune configuration n'a atteint la bande [0,03, 0,07] avec une récupération d'événement non nulle.
• Alignement des Témoins Directionnels : Malgré l'absence d'acceptation des détecteurs, le critère du pont directionnel a tenu sur les benchmarks canoniques. Dans la fenêtre de pré-effondrement, les unités d'événement présentaient un $G$ plus élevé, un $p$ plus élevé et un $\delta$ plus faible que les unités de contrôle.
  • Sur le benchmark de recommandation ($h=50$), les trois témoins se sont alignés dans la direction prédite avec des intervalles de confiance clairs de la nullité (Cohen's $d \approx +0,10$ pour $G$, $+0,08$ pour $p$, $-0,17$ pour $\delta$).
  • Cet alignement était sensible à l'horizon : à $h=40$, $G$ a inversé sa direction ; à $h=60$, $p$ et $\delta$ se sont effondrés vers la nullité.
• Analyse de l'Enveloppe-Frontière : En étendant la grille de sensibilité du détecteur de Loopzero (variation des seuils de quantile $q$), les auteurs ont constaté que les comparateurs EWS standards opèrent dans un régime de faux positifs structurellement plus élevé que le détecteur basé sur les percentiles de Loopzero à travers des grilles étendues. Cependant, cette différence structurelle ne s'est pas traduite par un point de fonctionnement accepté pour aucun détecteur sous le contrat strict.

Revendications et Signification
L'article formule une revendication scientifique délibérément minimale et modeste : une obstruction formellement spécifiée pour l'effondrement récursif admet une signature de pré-effondrement mesurable et conditionnelle, mais sous un contrat d'équité strict de faux positifs appariés, aucun détecteur standard testé (ni le détecteur proposé Loopzero) n'atteint actuellement un point de fonctionnement accepté sur les benchmarks canoniques.

La signification réside dans la conjonction de ces résultats :

1. Falsifiabilité : Le cadre est explicitement falsifiable. La revendication serait affaiblie si des événements d'effondrement se produisaient sans le schéma $G/p/\delta$, ou si les comparateurs atteignaient des points de fonctionnement acceptés sous le même contrat.
2. La Non-Acceptation comme Résultat : L'article traite la « non-acceptation » comme un résultat scientifique de premier rang. Il démontre que la difficulté de détecter l'effondrement récursif n'est pas simplement une question de réglage des seuils, mais un défi structurel où les détecteurs actuels ne parviennent pas à trouver un point de fonctionnement valide dans un budget d'alerte réaliste.
3. Programme Empirique Résolu par Domaine : Ce travail soutient un programme empirique explicitement borné plutôt qu'un détecteur à domaine unique. La signature directionnelle semble cohérente à travers des domaines disparates (marchés, recommandations, LLM), suggérant une propriété structurelle universelle de la défaillance récursive, même si la détection pratique reste insaisissable.

Les auteurs précisent explicitement que l'artefact Lean ne vérifie pas la télémétrie réelle, et que les revendications empiriques dépendent du protocole de pont, et non de la preuve formelle. L'article conclut que la prochaine étape scientifique est le test de résistance via des domaines supplémentaires et des classes de comparateurs plus larges, plutôt que de revendiquer la construction d'un détecteur opérationnel déployable.