Sintesi Tecnica: LOTTERY

Definizione del Problema

Il documento affronta la sfida del test a due campioni data-adattivo in condizioni di severa asimmetria della dimensione del campione. In molti scenari di monitoraggio del mondo reale (ad es., rilevamento del dataset shift, rilevamento avversario, monitoraggio dei modelli), i professionisti possiedono un abbondante dataset di riferimento storico ($X \sim P$) ma ricevono solo un piccolo numero di campioni di query ($Y \sim Q$) per testarlo rispetto al riferimento.

I test a due campioni basati sull'apprendimento esistenti si affidano tipicamente a un paradigma di split train-test per separare l'apprendimento delle rappresentazioni dal test di ipotesi, garantendo un controllo valido dell'errore di Tipo I. Tuttavia, in contesti few-shot dove $|Y|$ è estremamente piccolo, dividere i dati di query è dannoso:

1. Instabilità dell'Apprendimento: Utilizzare un sottoinsieme minuscolo di $Y$ per l'addestramento porta a estrattori di caratteristiche ad alta varianza e instabili.
2. Rumore nel Test: Allocare i pochi punti rimanenti per il test risulta in una calibrazione rumorosa e in una bassa potenza statistica.
3. Collo di Bottiglia: Semplicemente aumentare la dimensione del campione di riferimento non mitiga la fondamentale scarsità di punti di query.

La domanda centrale posta è: Come si può mantenere l'adattività dei test basati sull'apprendimento evitando di apprendere dai scarsi dati di query?

Metodologia: LOTTERY

Gli autori propongono LOTTERY (Learning from Reference-Only samples in Two-sample Testing under sizE asymmetRY), un framework che sposta il paradigma da "apprendere una discrepanza tra $X$ e $Y$" a "apprendere una collezione di segnali di compatibilità da $X$ e testare $Y$ rispetto ad essi".

1. Apprendimento Solo dal Riferimento (RDR)

Invece di dividere $Y$, LOTTERY apprende Rappresentazioni Dipendenti dal Riferimento (RDRs) esclusivamente dai dati di riferimento abbondanti $X$. Un RDR è una funzione $f: \mathcal{X} \to \mathbb{R}$ addestrata su $X$ tale che valori più elevati di $f(y)$ indichino una minore compatibilità con la distribuzione di riferimento $P$.
Il framework impiega una famiglia di RDR complementari per catturare diversi aspetti strutturali di $P$:

• ME-RDR (Mean Embedding): Cattura pattern di similarità locale utilizzando kernel caratteristici e posizioni di test. Garantito teoricamente come consistente per qualsiasi alternativa $P \neq Q$.
• Mahalanobis-RDR: Cattura la struttura globale (spostamenti di media e covarianza).
• kNN-RDR: Cattura la geometria di scala e di supporto locale tramite distanze tra i vicini più prossimi.
• LOF-RDR: Cattura irregolarità locali della densità relativa.

2. Aggregazione Guidata dall'Incertezza

Poiché nessun singolo RDR è uniformemente potente contro tutte le alternative, LOTTERY aggrega l'evidenza dall'intera famiglia. Per ottimizzare questa aggregazione senza utilizzare i dati di query, gli autori introducono uno schema di pesatura guidato dall'incertezza:

• Stabilità: Quantificata dalla varianza della media del batch dell'RDR durante il campionamento da un set di calibrazione di riferimento. Gli RDR instabili (alta varianza) vengono penalizzati.
• Sensibilità: Quantificata dalla risposta dell'RDR a piccole perturbazioni controllate dei dati di riferimento.
• Pesatura: Il peso finale per un RDR $f$ è $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$, favorendo le rappresentazioni che sono sia stabili sotto l'ipotesi nulla che sensibili alle deviazioni.
• Statistica del Test: La statistica finale è una somma pesata di spostamenti medi standardizzati al quadrato: $T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$.

3. Test di Permutazione Aggregato (Pooled Permutation Testing)

Per garantire un controllo valido dell'errore di Tipo I senza dividere i dati di query, LOTTERY utilizza un test di permutazione aggregato.

• Un set di riferimento tenuto da parte $X_{hold}$ viene combinato con il batch di query $Y$ per formare un campione aggregato $U$.
• Sotto l'ipotesi nulla ($P=Q$), tutti i punti in $U$ sono scambiabili.
• La statistica del test viene calcolata per il $Y$ osservato e confrontata con una distribuzione generata campionando casualmente sottoinsiemi di dimensione $|Y|$ da $U$.
• Ciò produce un controllo esatto dell'errore di Tipo I a livello $\alpha$ per campioni finiti.

Contributi Chiave

1. Framework Solo dal Riferimento: Introduce un nuovo paradigma per il test a due campioni nel regime di asimmetria dimensionale few-shot, eliminando la necessità di dividere i scarsi dati di query per l'apprendimento delle rappresentazioni.
2. Aggregazione Guidata dall'Incertezza: Propone un meccanismo per pesare adattivamente molteplici rappresentazioni dipendenti dal riferimento in base alla loro stabilità e sensibilità, derivate esclusivamente dai dati di riferimento.
3. Garanzie Teoriche:
   • Controllo dell'Errore di Tipo I: Dimostra che la procedura di permutazione aggregata controlla l'errore di Tipo I al livello $\alpha$ per campioni finiti.
   • Consistenza: Mostra che la potenza del test converge a 1 all'aumentare delle dimensioni del campione, a condizione che la famiglia di rappresentazioni contenga almeno una rappresentazione consistente (ad es., ME-RDR).
4. Prestazioni Empiriche: Dimostra forti prestazioni su benchmark sintetici e reali, superando in particolare i metodi basati su kernel e quelli basati su split in scenari estremi di few-shot.

Risultati Sperimentali

Gli autori valutano LOTTERY su dati sintetici (BLOB) e dataset reali (Higgs Boson, rilevamento avversario CIFAR-10).

• Variazione della Dimensione del Riferimento ($N$): Con una dimensione di query fissa e piccola, LOTTERY mostra una crescita della potenza significativamente più veloce all'aumentare di $N$ rispetto ai baseline. Supera tutti i metodi quando $N$ è sufficientemente grande (ad es., $N \ge 300$ su BLOB).
• Variazione della Dimensione della Query ($M$): Nei regimi few-shot estremi (ad es., $M=2$ a $M=10$), LOTTERY raggiunge una potenza sostanzialmente superiore rispetto ai baseline basati su kernel (MMD-FUSE, MMDAgg) e sull'apprendimento split-based (MMD-Deep, RL-TST), che spesso operano vicino ai livelli del caso casuale.
• Studi di Ablazione:
  • Rimuovere il meccanismo di selezione guidata dall'incertezza porta a un calo costante della potenza, confermando il valore del declassamento degli RDR instabili.
  • L'aggregazione di molteplici famiglie RDR produce risultati migliori rispetto a un singolo RDR, confermando la loro complementarità attraverso diversi tipi di shift distribuzionali (media globale, varianza, densità locale).
• Errore di Tipo I: I controlli empirici confermano che il test mantiene l'errore di Tipo I vicino al livello di significatività $\alpha = 0.05$ in tutte le configurazioni.

Significato e Rivendicazioni

Il documento sostiene che LOTTERY fornisca un approccio principato ed efficace per il test a due campioni sotto estremo squilibrio di classe. La sua importanza risiede nel:

• Risolvere il Collo di Bottiglia Few-Shot: Aggira l'instabilità inerente alla divisione di piccoli batch di query, un limite che affligge i test adattivi ai dati esistenti.
• Unire il Test One-Class e il Test a Due Campioni: Adatta il successo della classificazione one-class (apprendimento da una singola distribuzione) in un rigoroso framework di test a due campioni con garanzie formali di errore di Tipo I, distinguendosi dal rilevamento delle anomalie standard che spesso manca di garanzie di test a livello $\alpha$.
• Utilità Pratica: Offre uno strumento diagnostico per applicazioni ad alto rischio come il rilevamento avversario e il monitoraggio dei modelli, dove i dati di query sono scarsi ma i dati di riferimento sono abbondanti, consentendo un rilevamento più affidabile di shift distribuzionali e fallimenti silenziosi.

Gli autori sottolineano che il metodo è di natura statistica e inteso come componente diagnostica all'interno di un processo più ampio, piuttosto che come regola decisionale autonoma per i singoli.