Sintesi Tecnica: MMD-Balls come Insiemi Credali per l'Incertezza Epistemica nell'Adattamento al Tempo di Test

1. Enunciato del Problema

Il lavoro affronta una lacuna critica nell'Adattamento al Tempo di Test (TTA): mentre i metodi esistenti (ad esempio, minimizzazione dell'entropia, regolarizzazione) migliorano l'accuratezza del modello in presenza di spostamenti di distribuzione, mancano di garanzie formali che colleghino l'entità dello spostamento alla affidabilità della previsione. In domini critici per la sicurezza (guida autonoma, imaging medico), i modelli possono degradarsi silenziosamente quando incontrano distribuzioni target ($P_t$) che differiscono dalla distribuzione di training sorgente ($P_s$).

I metodi attuali di quantificazione dell'incertezza spesso confondono l'incertezza aleatoria (rumore intrinseco dei dati) con l'incertezza epistemica (incertezza dovuta alla conoscenza limitata del processo di generazione dei dati). Inoltre, non forniscono limiti formali su come il rischio si degrada in funzione dello spostamento distribuzionale. Gli autori formalizzano la domanda centrale: Possiamo vincolare il rischio target in funzione dello spostamento distribuzionale per fornire un'incertezza epistemica azionabile?

2. Metodologia e Quadro Teorico

Il lavoro propone un quadro unificato che integra la teoria PAC-Bayesiana, gli Inserimenti di Media del Kernel (MMD) e la teoria della Probabilità Imprecisa di Walley.

2.1 Definizioni Fondamentali

• Funzione di Perdita RKHS-Lipschitz (Assunzione 1): Si assume che la funzione di perdita attesa condizionata $L(w, \cdot)$ appartenga a uno Spazio di Hilbert a Kernel Riproduttivo (RKHS) $\mathcal{H}$ con una norma limitata $\|L(w, \cdot)\|_\mathcal{H} \leq L_H$. Ciò consente l'uso delle proprietà del kernel per vincolare le differenze di rischio.
• Insieme Credale Indotto da MMD: Gli autori definiscono un insieme di distribuzioni target plausibili come una sfera MMD attorno alla sorgente:
  $$C_\varepsilon(P_s) = \{Q \in \mathcal{P}(\mathcal{X}) : \text{MMD}(P_s, Q) \leq \varepsilon\}$$
  Interpretato attraverso la teoria di Walley, questo insieme rappresenta tutte le distribuzioni indistinguibili dalla sorgente alla risoluzione $\varepsilon$, formando un insieme credale che quantifica l'incertezza epistemica.

2.2 Derivazioni Teoriche

1. Limite PAC-Bayesiano con Penalità MMD (Teorema 1):
   Gli autori derivano un limite di generalizzazione per il rischio target $R_{P_t}(\rho)$ che include esplicitamente una penalità di spostamento dipendente da MMD:
   $$R_{P_t}(\rho) \leq \hat{R}_{P_s}(\rho) + \sqrt{\frac{KL(\rho\|\pi) + \log(2\sqrt{n}/\delta)}{2n}} + L_H \cdot \text{MMD}(P_s, P_t)$$
   Ciò scompone il rischio in: (i) Incertezza aleatoria (rischio empirico), (ii) Incertezza di stima (complessità PAC-Bayesiana) e (iii) Penalità di spostamento epistemica (lineare in MMD).

2. Versione a Campione Finito (Teorema 3):
   Poiché l'MMD della popolazione è sconosciuto, il lavoro fornisce un limite calcolabile utilizzando lo stimatore MMD non distorto $\widehat{\text{MMD}}_u$ e un termine di concentrazione $\varepsilon_{m,n}$ derivato da disuguaglianze di concentrazione sub-Gaussiane. Il limite vale con probabilità $1-\delta$ e raggiunge il tasso minimassimo ottimale $O(1/\sqrt{n})$.

3. Decomposizione del Rischio (Corollario 9):
   Definendo i rischi inferiore ($\underline{R}_\varepsilon$) e superiore ($\overline{R}_\varepsilon$) sull'insieme credale, il quadro produce un intervallo di imprecisione. La larghezza di questo intervallo separa l'incertezza epistemica (guidata dalla penalità di spostamento $L_H \cdot \varepsilon$ e dalla complessità) dall'incertezza aleatoria (catturata dal rischio empirico).

4. Preservazione Geometrica (Proposizione 10):
   Il lavoro stabilisce limiti sulla distorsione geodetica nell'RKHS. Dimostra che, sotto assunzioni di mappatura delle caratteristiche limitate, la distorsione della geometria delle caratteristiche locali tra i viciniori sorgente e target è controllata dall'MMD. Ciò fornisce una spiegazione teorica del motivo per cui l'adattamento guidato dal kernel preserva la struttura delle classi rare meglio dei metodi basati sull'entropia, che possono collassare le regioni delle classi rare.

3. Contributi Chiave

Il lavoro rivendica quattro contributi teorici primari:

1. Un Limite PAC-Bayesiano con Penalità di Spostamento MMD: Un limite di generalizzazione (Teorema 1) e il suo corrispettivo a campione finito (Teorema 3) che parametrizzano esplicitamente il degrado del rischio in base all'entità dello spostamento distribuzionale.
2. Interpretazione come Insieme Credale: Una nuova interpretazione delle sfere MMD come insiemi credali (Proposizione 7), fornendo garanzie di rischio nel caso peggiore su tutto l'insieme delle distribuzioni plausibili.
3. Decomposizione dell'Incertezza: Una decomposizione formale del rischio inferiore-superiore (Corollario 9) che separa l'incertezza epistemica (spostamento distribuzionale) dall'incertezza aleatoria (difficoltà del compito), affrontando la richiesta di Hüllermeier & Waegeman (2021) per una separazione dell'incertezza fondata su principi.
4. Preservazione Geodetica: Limiti che spiegano perché l'adattamento guidato dal kernel protegge la geometria delle caratteristiche locali (Proposizione 10), offrendo una base teorica per la robustezza contro il collasso delle classi rare.

4. Risultati e Implicazioni

• Criterio Decisionale per l'Adattamento: L'intervallo di imprecisione $[\underline{R}_\varepsilon, \overline{R}_\varepsilon]$ funge da criterio decisionale. L'adattamento è giustificato quando il rischio superiore supera una soglia di tolleranza $r_{max}$ mentre il rischio inferiore non lo fa. Se il rischio inferiore supera già $r_{max}$, l'adattamento è considerato inutile.
• Connessione con il Test di Ipotesi: La larghezza $\varepsilon$ dell'insieme credale può essere calibrata utilizzando la distribuzione asintotica nulla del test a due campioni MMD, collegando il test statistico classico alla quantificazione dell'incertezza epistemica.
• Robustezza delle Classi Rare: I limiti di preservazione geometrica suggeriscono che il controllo dell'MMD previene la distorsione dei manifold di caratteristiche locali, offrendo un argomento formale per la robustezza dei metodi TTA guidati dal kernel rispetto alla minimizzazione dell'entropia.

5. Significato e Rivendicazioni

Il lavoro si posiziona come il primo a formulare l'incertezza TTA attraverso insiemi credali indotti da MMD, unificando la generalizzazione PAC-Bayesiana, i metodi a kernel e la probabilità imprecisa.

• Deploy Affidabile: Il quadro consente ai sistemi di attivare meccanismi di astensione o fallback quando l'incertezza epistemica (misurata dalla larghezza credale) supera una soglia tollerabile, allineandosi agli obiettivi dell'Intelligenza Epistemica.
• Garanzie Formali: A differenza dei metodi TTA esistenti che si affidano a euristiche, questo approccio fornisce limiti formali dipendenti dai dati che collegano l'entità dello spostamento al rischio.
• Relazione con la Predizione Conformale: Gli autori notano che, mentre la predizione conformale gestisce l'incertezza predittiva (copertura marginale), la loro larghezza credale $\varepsilon$ gestisce l'incertezza epistemica distribuzionale. Propongono una futura combinazione in cui $\varepsilon$ adatta il livello di copertura dei predittori conformali, sebbene non presentino risultati sperimentali per questa combinazione.

Limitazioni Riconosciute:
Il lavoro riconosce che l'Assunzione 1 (perdita RKHS-Lipschitz) non è banale per le reti profonde con output softmax, sebbene l'universalità dei kernel RBF offra un supporto informale. Si nota inoltre che l'Assunzione 2 (mappatura delle caratteristiche limitata) vale approssimativamente in regimi specifici (ad esempio, NTK, normalizzazione spettrale) ma richiede un'analisi più specifica dell'architettura. Il tasso di convergenza MMD, sebbene minimassimo ottimale, può essere lasco nella pratica senza una selezione adattiva del kernel.