Geometry-Aware Bayesian Quantification via Compositional Data Analysis

Sintesi Tecnica: Quantificazione Bayesiana Sensibile alla Geometria tramite l'Analisi dei Dati Composizionali

1. Definizione del Problema

Il documento affronta il problema della quantificazione (o stima della prevalenza delle classi) in presenza di label shift (spostamento delle etichette). In questo scenario, un classificatore addestrato su una distribuzione sorgente $P_s$ deve stimare la distribuzione delle classi ignota $P_t(Y)$ del dominio target, assumendo che la distribuzione condizionata delle feature date le etichette rimanga invariante ($P_s(X|Y) = P_t(X|Y)$).

Mentre molti metodi operano direttamente sulle probabilità a posteriori del classificatore, gli autori identificano un fondamentale disallineamento geometrico nei metodi esistenti basati su densità continue (specificamente i quantificatori basati su KDE come KDEy). I vettori di probabilità a posteriori giacciono sul simplesso della probabilità ($\Delta^{K-1}$), costituendo dati composizionali. La stima della densità kernel (KDE) standard si basa su kernel gaussiani euclidei, che ignorano la struttura relativa delle composizioni. Ciò conduce a due criticità fondamentali:

1. Violazione dei Confini: I kernel euclidei assegnano massa di probabilità non nulla al di fuori dei confini del simplesso.
2. Geometria Distorta: La distanza euclidea non rispetta la natura relativa delle composizioni, potenzialmente distorcendo le relazioni di similarità tra i vettori di posterior.

Questo disallineamento è particolarmente grave vicino ai confini del simplesso, dove si concentrano le predizioni sicure del classificatore (comuni nei contesti reali, specialmente con le reti neurali).

2. Metodologia

La soluzione proposta integra l'Analisi dei Dati Composizionali (CoDA) con l'inferenza bayesiana e una nuova regolarizzazione di shrinkage (contrazione).

A. Rappresentazione Sensibile alla Geometria
Invece di modellare le densità nello spazio euclideo ambiente, il metodo trasforma i vettori a posteriori $p$ in coordinate di log-rapporto utilizzando la trasformazione Centered Log-Ratio (CLR):
$$\phi(p) = \left( \log \frac{p_1}{g(p)}, \dots, \log \frac{p_K}{g(p)} \right)$$
dove $g(p)$ è la media geometrica delle componenti. Questo mappa il simplesso in un sottospazio a somma zero di $\mathbb{R}^K$, consentendo una stima della densità coerente con la geometria di Aitchison.

B. Regolarizzazione di Shrinkage
Gli autori osservano che le trasformazioni log-ratio naive diventano instabili vicino al confine del simplesso (dove le componenti tendono a zero). Per mitigare ciò, introducono una trasformazione di shrinkage $T_\lambda$:
$$T_\lambda(p) = (1-\lambda)p + \lambda u$$
dove $u = (1/K, \dots, 1/K)$ è il baricentro e $\lambda \in [0, 1)$.

• Effetto: Contrae il simplesso effettivo verso il centro, garantendo che le composizioni trasformate rimangano lontane dallo zero.
• Regolazione della Bandwidth: Lo shrinkage riscala uniformemente le distanze nell'iperpiano del simplesso per un fattore $(1-\lambda)$. Di conseguenza, la bandwidth effettiva viene regolata a $h_{eff} = (1-\lambda)h$ per preservare i livelli di smoothing.
• Giustificazione Teorica: Man mano che $\lambda \to 1$, la trasformazione linearizza la mappa CLR vicino al baricentro, regolarizzando la geometria senza far collassare il modello in una standard KDE euclidea.

C. Formulazione Bayesiana
Il metodo formula la quantificazione come un problema di stima della densità di miscela. La verosimiglianza del vettore di prevalenza target $\pi$ date le posteriori osservate $P$ viene derivata. Fondamentalmente, il termine del Jacobiano derivante dal cambiamento di variabili (dal simplesso allo spazio log-ratio) è indipendente da $\pi$. Ciò consente un'inferenza bayesiana pratica:
$$p(\pi | P) \propto p(\pi) \prod_{i=1}^n \left( \sum_{k=1}^K \pi_k f_k^h(z^{(i)}) \right)$$
dove $z^{(i)} = \phi(T_\lambda(p^{(i)}))$ e $f_k^h$ sono le densità condizionate per classe stimate nello spazio trasformato. Questa formulazione supporta sia la stima puntuale (tramite Maximum Likelihood) sia l'inferenza bayesiana completa (tramite campionamento, ad esempio NUTS) sulle prevalenze di classe.

3. Contributi Chiave

1. KDE Sensibile alla Geometria: Il primo quantificatore basato su KDE che rispetta la geometria del simplesso delle probabilità a posteriori utilizzando trasformazioni log-ratio e la geometria di Aitchison.
2. Regolarizzazione di Shrinkage: Un meccanismo innovativo per stabilizzare la modellazione log-ratio vicino ai confini del simplesso, prevenendo l'instabilità numerica pur preservando la struttura composizionale.
3. Framework Bayesiano per la KDE: Una derivazione rigorosa dell'inferenza bayesiana per i quantificatori basati su KDE, superando i limiti precedenti in cui tali formulazioni erano limitate a modelli discretizzati (istogrammi) o problemi binari.
4. Validazione Empirica: Valutazione completa su 42 dataset (tabulari, testuali e di immagini) che dimostra prestazioni competitive rispetto ai migliori stimatori puntuali e risultati superiori tra i metodi di quantificazione bayesiana.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo (denotato KDEy(Ait-$\lambda$) per la stima puntuale e Bayes-KDEy(Ait-$\lambda$) per l'inferenza bayesiana) contro i baseline inclusi CC, PCC, BBSE/ACC, MLLS/EMQ e la standard Gaussian KDE (KDEy(Gau)).

• Stima Puntuale: Il metodo proposto ha ottenuto il miglior rango medio sia in Errore Assoluto (AE) che in errore del rapporto dei pesi al quadrato (W) attraverso tutte le modalità (tabulari, testuali, immagini). Ha spesso superato la standard Gaussian KDE, in particolare sui dataset tabulari e di immagini.
• Quantificazione dell'Incertezza: Nel regime bayesiano, il metodo ha fornito una buona copertura e ampiezze di intervallo ragionevoli. Sebbene Bayes-ACC abbia mostrato gap di copertura grezzi leggermente migliori a scapito di intervalli più ampi e una stima puntuale più debole, i metodi KDE proposti offrivano il miglior ranking aggregato complessivo.
• Robustezza alla Severità dello Shift: Il metodo ha dominato in regimi di label shift bassi, medi e alti, con l'eccezione di specifici dataset testuali in shift bassi/medi dove altri metodi bayesiani hanno performato leggermente meglio.
• Performance ai Confini: Negli esperimenti con prevalenze target concentrate vicino al confine del simplesso ($\alpha_{test}=0.1$), la KDE di Aitchison regolarizzata tramite shrinkage ha superato significativamente la Gaussian KDE euclidea e i baseline bootstrap, validando la necessità di rispettare la geometria del simplesso in questi regimi.
• Ablazione: Rimuovere lo shrinkage ($\lambda=0$) ha portato a fallimenti netti su specifici benchmark, confermando che lo shrinkage non è solo una salvaguardia numerica ma un meccanismo adattivo essenziale per la stabilità.

5. Significato e Rivendicazioni

Il documento sostiene che rispettare la geometria del simplesso delle probabilità a posteriori è non solo teoricamente motivato ma praticamente vantaggioso per la quantificazione multiclasse. Gli autori argomentano che:

• Le standard KDE euclidee introducono disallineamenti geometrici che portano a predizioni di prevalenza distorte o instabili, specialmente vicino ai confini.
• La rappresentazione log-ratio regolarizzata tramite shrinkage colma il divario tra i requisiti teorici dell'analisi dei dati composizionali e la praticità computazionale richiesta dai processi di machine learning.
• La formulazione bayesiana derivata consente una quantificazione dell'incertezza rigorosa per i metodi basati su densità continue, una capacità precedentemente assente nel contesto multiclasse.

Gli autori mantengono un approccio modesto riguardo ai limiti, notando che l'approccio attuale si affida alla selezione tramite validazione dei parametri di shrinkage e di bandwidth, e che un trattamento bayesiano completo di questi iperparametri rimane una direzione aperta. Riconoscono inoltre che il metodo è attualmente specifico per il label shift, lasciando i varianti di covariate shift come sviluppi futuri.