Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control

Sintesi Tecnica: Benchmarking delle Rivendicazioni di Avviso di Collasso Ricorsivo sotto un Controllo di Falsi Positivi Appaiato

Problematica
I sistemi ricorsivi — dove gli stati presenti modellano gli stati futuri e gli aggiornamenti locali rinforzano la continuazione — possono entrare in regimi "simili al collasso" caratterizzati da un'amplificazione del feedback, una persistenza ricorsiva e una riduzione della diversità prima che avvenga il fallimento manifesto. Sebbene i segnali di pre-avviso (EWS) per le transizioni critiche (ad es. crescita della varianza, spostamenti dell'autocorrelazione) siano stabiliti nella letteratura dei sistemi complessi, essi soffrono spesso di vulnerabilità ai falsi positivi sotto forzanti non stazionarie. Questo articolo affronta la mancanza di un benchmark riproducibile e falsificabile per testare se specifici fallimenti ricorsivi seguano un pattern di telemetria direzionale (guadagno crescente, persistenza crescente, diversità decrescente) sotto un rigoroso contratto di falsi positivi (FP) appaiato. La sfida centrale è distinguere le firme del pre-collasso reale dal rumore o dagli artefatti specifici del dominio senza permettere ai detector di "vincere" semplicemente distribuendo diversamente i falsi allarmi.

Metodologia
Il documento introduce Loopzero, un framework di benchmarking a rivendicazione limitata che separa la specifica formale dalla valutazione empirica.

1. Ostruzione Formale (Lean): Gli autori formalizzano un' "ostruzione di non-progresso" per i sistemi di feedback ricorsivo nel theorem prover Lean. Questo definisce una condizione strutturale in cui un sistema compie passi locali validi ma perde un progresso significativo a causa di vincoli monotoni (quantità che possono mantenersi o peggiorare, ma non recuperare). L'artefatto Lean verifica l'ostruzione astratta e una specializzazione schematica della telemetria, ma non verifica esplicitamente che i dati del mondo reale soddisfino la mappa di misurazione.
2. Ponte di Telemetria Condizionale: Il framework pone un ponte condizionale: se un sistema presenta l'ostruzione formale, dovrebbe manifestare tre testimoni osservabili prima del collasso:
   • Guadagno Crescente ($G$): Amplificazione delle perturbazioni.
   • Persistenza Ricorsiva Crescente ($p$): Dipendenza crescente da stati generati internamente (operazionalizzata come un gate di non-rilassamento).
   • Diversità Decrescente ($\delta$): Contrazione dello spazio degli stati effettivo.
3. Contratto di Falsi Positivi Appaiato: Per garantire un confronto equo, tutti i detector (inclusi il quantile detector pre-registrato di Loopzero e i comparatori standard) sono valutati sotto una banda di falsi positivi uguale e bloccata: FP $\in$ [0.03, 0.07]. Una configurazione è considerata "accettata" solo se il suo tasso di falsi positivi rientra in questo intervallo. Ciò impedisce di tarare i detector su soglie arbitrarie che potrebbero gonfiare le prestazioni.
4. Benchmark: La valutazione è condotta su due benchmark di artefatti pubblici congelati:
   • Mercati Pubblici: Dati segmentati degli eventi di Volmageddon del 2018 e dei circuit breaker generalizzati del COVID nel 2020 (38 unità di controllo, 16 unità di evento).
   • Sistemi di Raccomandazione: Un replay deterministico offline di traiettorie utente MovieLens-25M utilizzando un motore di collaborative-filtering (4.755 unità di controllo, 35.584 unità di evento all'orizzonte $h=50$).
   • Controllo Secondario: Le traiettorie digitalizzate di Shumailov et al. (2024) sul collasso del loop di addestramento di LLM sono utilizzate solo per la coerenza direzionale, non per la valutazione del FP appaiato.

Risultati Chiave

• Non Accettazione del Detector: Sotto il contratto FP bloccato, nessuna configurazione di comparatore testata (inclusi le famiglie standard come AC1, Matrix Profile, Permutation Entropy, CUSUM e Page-Hinkley) né alcun punto operativo del quantile detector pre-registrato di Loopzero ha raggiunto un punto operativo accettato su nessuno dei benchmark canonici.
  • Mercati: Il comparatore non banale più vicino (AC1) aveva un FP di 0.132 (sopra la banda); le famiglie lente erano o trivialmente silenti (FP=0) o molto al di sopra della banda.
  • Raccomandatore: Il comparatore più vicino (Matrix Profile) aveva un FP di 0.014 (sotto la banda); nessuna configurazione ha raggiunto la banda [0.03, 0.07] con recupero di eventi non nullo.
• Allineamento dei Testimoni Direzionali: Nonostante la mancanza di accettazione del detector, il criterio del ponte direzionale ha retto sui benchmark canonici. Nella finestra di pre-collasso, le unità di evento mostravano un $G$ più alto, un $p$ più alto e un $\delta$ più basso rispetto ai controlli.
  • Sul benchmark del raccomandatore ($h=50$), tutti e tre i testimoni si sono allineati nella direzione prevista con intervalli di confidenza chiari rispetto al nullo (Cohen's $d \approx +0.10$ per $G$, $+0.08$ per $p$, $-0.17$ per $\delta$).
  • Questa allineamento era sensibile all'orizzonte: a $h=40$, $G$ ha invertito la direzione; a $h=60$, $p$ e $\delta$ sono collassati verso il nullo.
• Analisi dell'Inviluppo-Confine: Estendendo la griglia di sensibilità per il detector di Loopzero (variando le soglie di quantile $q$), gli autori hanno scoperto che i comparatori EWS standard operano in un regime di falsi positivi strutturalmente più elevato rispetto al detector basato su percentili di Loopzero attraverso griglie estese. Tuttavia, questa differenza strutturale non si è tradotta in un punto operativo accettato per alcun detector sotto il rigido contratto.

Rivendicazioni e Significato
L'articolo formula una rivendicazione scientifica deliberatamente minima e modesta: un'ostruzione formalmente specificata per il collasso ricorsivo ammette una firma pre-collasso condizionale e misurabile, ma sotto un rigoroso contratto di equità dei falsi positivi, nessun detector standard testato (né il proposto detector Loopzero) raggiunge attualmente un punto operativo accettato sui benchmark canonici.

La significatività risiede nella congiunzione di questi risultati:

1. Falsificabilità: Il framework è esplicitamente falsificabile. La rivendicazione sarebbe indebolita se gli eventi di collasso si verificassero senza il pattern $G/p/\delta$, o se i comparatori recuperassero punti operativi accettati sotto lo stesso contratto.
2. Il "Non-Accettato" come Risultato: Il documento tratta la "non-accettazione" come un risultato scientifico di prima classe. Dimostra che la difficoltà nel rilevare il collasso ricorsivo non è solo una questione di taratura delle soglie, ma una sfida strutturale in cui gli attuali detector non riescono a trovare un punto operativo valido entro un budget di allerta realistico.
3. Programma Empirico Risolto per Dominio: Il lavoro supporta un programma empirico esplicitamente limitato al dominio piuttosto che un singolo detector di dominio. La firma direzionale appare coerente attraverso domini disparati (mercati, raccomandatori, LLM), suggerendo una proprietà strutturale universale del fallimento ricorsivo, anche se il rilevamento pratico rimane elusivo.

Gli autori dichiarano esplicitamente che l'artefatto Lean non verifica la telemetria reale, e le rivendicazioni empiriche dipendono dal protocollo di ponte, non dalla prova formale. Il documento conclude che il passo scientifico successivo è il test di stress tramite ulteriori domini e classi di comparatori più ampie, piuttosto che rivendicare la costruzione di un detector operativo implementabile.