Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control

Technische Samenvatting: Het Benchmarking van Waarschuwingen voor Recursieve Collaps onder Gelijkwaardige False-Positive Controle

Probleemstelling
Recursieve systemen—waarbij huidige staten toekomstige staten vormgeven en lokale updates continuatie versterken—kunnen terechtkomen in "collaps-achtige" regimes die worden gekenmerkt door zelfversterkende amplificatie, persistente recursie en een afnemende diversiteit voordat overtredend falen optreedt. Hoewel vroege waarschuwingssignalen (EWS) voor kritieke transities (bijv. variantiegroei, autocorrelatie-verschuivingen) gevestigd zijn in de literatuur over complexe systemen, lijden ze vaak aan kwetsbaarheden voor vals-positieven onder niet-stationaire forcering. Dit artikel adresseert het gebrek aan een reproduceerbare, falsifieerbare benchmark voor het testen of specifieke recursieve fouten een directioneel telemetrie-patroon volgen (stijgende winst, stijgende persistentie, dalende diversiteit) onder een strikt, gelijkwaardig false-positief (FP) contract. De kernuitdaging is het onderscheiden van echte pre-collaps signatures van ruis of domeinspecifieke artefacten, zonder dat detectoren kunnen "winnen" door simpelweg foutieve alarmen anders te verdelen.

Methodologie
Het artikel introduceert Loopzero, een claim-gebonden benchmarkframework dat formele specificatie scheidt van empirische evaluatie.

1. Formele Obstructie (Lean): De auteurs formaliseren een "no-progress obstructie" voor recursieve feedbacksystemen in de Lean theorem prover. Dit definieert een structurele conditie waarbij een systeem geldige lokale stappen zet maar betekenisvolle progressie verliest door monotone tethers (kwantiteiten die kunnen aanhouden of verslechteren maar niet kunnen herstellen). Het Lean-artefact verifieert de abstracte obstructie en een schematische telemetrie-specialisatie, maar verifieert expliciet niet dat real-world data aan de meetkaart voldoet.
2. Conditionele Telemetrie Brug: Het framework postuleert een conditionele brug: indien een systeem de formele obstructie vertoont, zou het drie observeerbare getuigen moeten manifesteren voorafgaand aan de collaps:
   • Stijgende Winst ($G$): Amplificatie van perturbaties.
   • Stijgende Recursieve Persistentie ($p$): Toenemende afhankelijkheid van intern gegenereerde staten (geoperationaliseerd als een non-relaxatie gate).
   • Dalende Diversiteit ($\delta$): Contractie van de effectieve staatruimte.
3. Gelijkwaardig False-Positive Contract: Om een eerlijke vergelijking te garanderen, worden alle detectoren (inclusief de eigen pre-geregistreerde kwantiel-detector van Loopzero en standaard comparators) geëvalueerd onder een vastgelegd gelijkwaardig false-positief band: FP $\in$ [0.03, 0.07]. Een configuratie wordt alleen "geaccepteerd" als de false-positieve ratio binnen dit interval valt. Dit voorkomt dat detectoren worden afgestemd op willekeurige drempelwaarden die de prestaties kunstmatig kunnen opblazen.
4. Benchmarks: Evaluatie vindt plaats op twee bevroren publieke-artefact benchmarks:
   • Publieke Markten: Gesegmenteerde data van de 2018 Volmageddon en de 2020 COVID marktbrede circuit breaker gebeurtenissen (38 controle-eenheden, 16 event-eenheden).
   • Recommender Systemen: Een offline deterministische replay van MovieLens-25M gebruikers-trajecten met behulp van een collaborative-filtering engine (4.755 controle-eenheden, 35.584 event-eenheden bij horizon $h=50$).
   • Secundaire Check: Gedigitaliseerde trajecten van Shumailov et al. (2024) over LLM training-loop collaps worden gebruikt voor directionele consistentie, maar niet voor de matched-FP evaluatie.

Belangrijkste Resultaten

• Niet-acceptatie van Detectoren: Onder het strikte FP-contract werd geen enkele geteste comparator-configuratie (inclusief standaardfamilies zoals AC1, Matrix Profile, Permutation Entropy, CUSUM, en Page-Hinkley) en geen enkel werkpunt van de pre-geregistreerde kwantiel-detector van Loopzero geaccepteerd op de canonieke benchmarks.
  • Markten: De dichtstbijzijnde niet-triviale comparator (AC1) had een FP van 0.132 (boven de band); langzame families waren ofwel triviaal-stil (FP=0) of ver boven de band.
  • Recommender: De dichtstbijzijnde comparator (Matrix Profile) had een FP van 0.014 (onder de band); geen configuratie bereikte de [0.03, 0.07] band met een niet-nul event recovery.
• Directionele Getuige Alignement: Ondanks het gebrek aan detector-acceptatie, hield de directionele brug-criteria stand op de canonieke benchmarks. In de pre-collaps window vertoonden event-eenheden een hogere $G$, hogere $p$, en lagere $\delta$ dan de controle-eenheden.
  • Op de recommender benchmark ($h=50$) kwamen alle drie de getuigen in de voorspelde richting overeen met betrouwbaarheidsintervallen die vrij waren van de null (Cohen's $d \approx +0.10$ voor $G$, $+0.08$ voor $p$, $-0.17$ voor $\delta$).
  • Deze alignement was gevoelig voor de horizon: bij $h=40$ keerde $G$ van richting; bij $h=60$ zakten $p$ en $\delta$ naar de null.
• Envelope-Boundary Analyse: Wanneer de sensitiviteitsgrid van de Loopzero-detector wordt uitgebreid (variërende kwantiel-drempels $q$), vonden de auteurs dat standaard EWS comparators in een structureel hoger false-positieve regime opereren dan de percentiel-gebaseerde detector van Loopzero over uitgebreide grids. Dit structurele verschil vertaalde zich echter niet naar een geaccepteerd werkpunt voor enige detector onder het strikte contract.

Claims en Betekenis
Het artikel maakt een bewust minimale en bescheiden wetenschappelijke claim: Een formeel gespecificeerde obstructie voor recursieve collaps staat een conditionele, meetbare pre-collaps signature toe, maar onder een strikt gelijkwaardig false-positief fairness contract bereikt geen enkele geteste standaard detector (noch de voorgestelde Loopzero detector) momenteel een geaccepteerd werkpunt op de canonieke benchmarks.

De betekenis ligt in de conjunctie van deze bevindingen:

1. Falsifieerbaarheid: Het framework is expliciet falsifieerbaar. De claim zou verzwakt worden als collaps-events zouden optreden zonder het $G/p/\delta$ patroon, of als comparators geaccepteerde werkpunten zouden bereiken onder hetzelfde contract.
2. Niet-acceptatie als Uitkomst: Het artikel behandelt "niet-acceptatie" als een eersteklas wetenschappelijke uitkomst. Het demonstreert dat de moeilijkheid van het detecteren van recursieve collaps niet louter een kwestie is van het afstemmen van drempelwaarden, maar een structurele uitdaging waarbij huidige detectoren geen geldig werkpunt vinden binnen een realistisch alarmbudget.
3. Domein-opgelost Empirisch Programma: Het werk ondersteunt een expliciet begrensd empirisch programma in plaats van een single-domain detector. De directionele signature lijkt consistent over uiteenlopende domeinen (markten, recommenders, LLM's), wat wijst op een universele structurele eigenschap van recursief falen, zelfs als praktische detectie nog steeds ongrijpbaar blijft.

De auteurs stellen expliciet dat het Lean-artefact geen real-world telemetrie verifieert, en dat de empirische claims afhangen van het brug-protocol, niet van het formele bewijs. Het artikel concludeert dat de volgende wetenschappelijke stap het stress-testen via aanvullende domeinen en bredere comparator-klassen is, in plaats van het claimen van de constructie van een operationele detector voor gebruik in productie.