How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule

Sintesi Tecnica: Una Legge di Scala per il Rilevamento del Shift di Distribuzione

Enunciato del Problema
Il documento affronta la sfida del rilevamento dei cambiamenti di distribuzione (distribution shift) in flussi di embedding ad alta dimensionalità. Mentre gli approcci standard inquadrano questa sfida come una scelta di statistica (ad esempio, deriva della covarianza, stima della densità o riassunti topologici come l'omologia persistente), l'autore sostiene che l'efficacia di qualsiasi rilevatore basato sui momenti è fondamentalmente limitata dalla scala spaziale ($\varepsilon$) del cambiamento e dalla frazione di massa ($f$) che esso trasporta, piuttosto che dal numero di caratteristiche o dalla dimensionalità dello spazio. Il lavoro investiga specificamente se i metodi topologici (Omologia Persistente) offrano un vantaggio distinto rispetto alle statistiche basate sui momenti, in particolare in condizioni avversarie.

Metodologia e Quadro Teorico
Il nucleo del documento è la derivazione e la validazione empirica di una legge di scala che governa la complessità necessaria per rilevare i cambiamenti distribuzionali.

1. La Legge di Scala (Limite Inferiore):

   • L'autore dimostra che certificare una caratteristica di scala spaziale $\varepsilon$ che trasporta una frazione di massa $f$ richiede test polinomiali di grado $N^*$ che soddisfano:
     $$N^* \ge \frac{\log(1/f)}{2\varepsilon}$$
   • Questo limite è derivato dal problema estremo di Chebyshev. Ciò implica che il costo del rilevamento è governato dalla finezza della caratteristica, non dal conteggio delle caratteristiche.
   • Per una topologia di complessità $b$ (ad esempio, $b$ cicli), viene stabilito un limite inferiore di $N^* \ge 4b - 1$ utilizzando argomenti di quadratura di Gauss.

2. Il Limite Superiore e la Regola di Calibrazione:

   • Sebbene il limite inferiore sia rigoroso per i test polinomiali, il documento identifica che le funzioni di test Gaussiane (il witness RKHS di un kernel RBF) possono raggiungere un tasso di $N^* \propto \log(1/f)/\varepsilon$.
   • Ciò porta a una regola pratica di calibrazione: la larghezza di banda ($\sigma$) di un test MMD dovrebbe essere impostata per corrispondere alla scala della caratteristica ($\sigma \approx \varepsilon$).

3. Controesempi e Limitazioni:

   • La legge è unidirezionale: fornisce un limite inferiore sull'ordine necessario, ma non certifica mai la sufficienza.
   • Viene costruito un controesempio specifico: un anello con spessore non nullo trasporta una prima omologia non banale ($H_1 \neq 0$) pur condividendo media, covarianza e tutti i momenti fino all'ordine quattro con un disco pieno. Questo confuta l'idea che "l'informazione del quarto ordine governi il cambiamento topologico canonico" in tutti i casi.

4. Valutazione Empirica:

   • Dataset: Flussi di embedding reali (MiniLM, bge-1024) da corpora 20 Newsgroups e AG News.
   • Avversario: Un avversario basato sul gradiente ottimizzato per eludere specifiche statistiche di difesa ($\mu, \Sigma$, k-NN, curtosi) preservando la topologia target.
   • Baseline: Deriva della covarianza, distanza di Mahalanobis, densità k-NN, curtosi di Mardia e vari riassunti topologici (Primo Paesaggio di Persistenza, Persistenza Totale, ecc.).
   • Protocollo: Finestre scorrevoli ($W=200$), riduzione PCA alla dimensione intrinseca, e valutazione a fissi tassi di falsi positivi (FPR) e lunghezze medie di corsa (ARL).

Risultati Chiave

1. Validazione della Legge di Scala:

   • Gli esperimenti confermano che la larghezza di banda ottimale di MMD $\sigma^*$ è approssimativamente uguale alla scala della caratteristica $\varepsilon$ (rapporto mediano $\sigma^*/\varepsilon = 1.12$, IQR $[1.01, 1.52]$).
   • Una stima dei dati di $\varepsilon$ permette al test MMD di raggiungere un AUC $\ge 0.95$.
   • Contro un avversario adattivo ottimizzato contro $\{\mu, \Sigma, \text{k-NN}, \text{curtosi}\}$, tutte quelle statistiche vengono evase. Solo il test kernel con larghezza di banda accoppiata (MMD-RBF) rileva con successo il cambiamento.

2. Performance dell'Omologia Persistente (PH):

   • La scelta del riassunto è critica: La performance della PH è dominata dalla scelta della statistica di riassunto.
     • Primo Paesaggio di Persistenza: Si comporta male (AUC $\approx 0.75$, recall 0.00 a FPR=1%). La sua performance degrada con la dimensione ambiente ed è sensibile alla dimensione di riduzione.
     • Persistenza Totale: Si comporta significativamente meglio (AUC $\approx 0.99$, recall 0.75 a FPR=1%), eguagliando la performance della curtosi in scenari non avversari.
   • Ridondanza: Il riassunto "Persistenza Totale" si comporta strutturalmente come un momento di basso ordine (un readout del profilo radiale). Nel regime di cambiamenti grossolani a singola scala (l'oggetto dello studio), è ridondante con la curtosi ma incurre in un costo computazionale massiccio (116$\times$ la curtosi).
   • Fallimento Avversario: Contro l'avversario adattivo, sia la Persistenza Totale che la curtosi falliscono simultaneamente. L'unico rilevatore superstite è il test kernel con larghezza di banda accoppiata.

3. Costo vs. Potenza:

   • Non esiste un "gap di potenza" in cui la PH rileva ciò che i momenti mancano in questo compito specifico; piuttosto, esiste un gap di costo.
   • La PH (anche con il miglior riassunto) costa circa 116 volte più della curtosi e fallisce nelle stesse condizioni avversarie. L'unico test sopravvissuto è il test kernel con larghezza di banda accoppiata.

Significato e Rivendicazioni
Il documento conclude con un insieme di rivendicazioni modeste ma precise:

• La Legge di Scala: Stabilisce un limite inferiore teorico sull'ordine dei momenti richiesto per rilevare caratteristiche di una data scala, provando che il costo del rilevamento è una funzione della finezza della caratteristica, non del conteggio delle caratteristiche.
• Regola di Calibrazione: Fornisce una regola concreta, empiricamente validata, per impostare la larghezza di banda dei test a due campioni kernel ($\sigma \approx \varepsilon$), fondamentale per il loro successo contro avversari adattivi.
• Verdetto sulla Topologia: Il documento non afferma che i riassunti topologici siano inutili. Tuttavia, conclude che per il monitoraggio grossolano a singola scala (il regime degli esperimenti), i riassunti topologici sono dominati dai test kernel in termini di costo.
  • Il riassunto che funziona (Persistenza Totale) agisce essenzialmente come un momento, allineandosi alla previsione della legge secondo cui i momenti di basso ordine sono sufficienti per caratteristiche grossolane.
  • Il documento suggerisce che il vero valore dell'omologia persistente risieda nel rilevare strutture fini o multi-scala dove l'ordine dei momenti equivalente sarebbe proibitivamente alto, un regime non presente nei cambiamenti di embedding testati.

In sintesi, il lavoro sostiene che per il rilevamento del cambio di distribuzione negli embedding, la scelta della statistica è vincolata dalla scala del cambiamento. L'approccio pratico ottimale è un test kernel con larghezza di banda accoppiata a tale scala, mentre i metodi topologici non offrono vantaggi in termini di costo o potenza per la specifica classe di deformazioni grossolane testate.