Riepilogo Tecnico: Un Algoritmo k–NN basato sulla Divergenza di Jensen-Shannon per l'Imputazione di Valori Mancanti in Dati Compositivi

1. Enunciato del Problema

I dati compositivi, definiti come vettori multivariati non negativi che sommano a una costante (tipicamente 1), risiedono in uno spazio campionario simplex standard ($S^{D-1}$). I valori mancanti in tali dati pongono sfide uniche, poiché le tecniche di imputazione standard spesso non rispettano la geometria restrittiva del simplex o richiedono trasformazioni log-ratio che non possono gestire valori zero.

I metodi esistenti, come l'algoritmo k–NN proposto da Hron et al. (2010), si basano sulla distanza di Aitchison. Tuttavia, la distanza di Aitchison richiede trasformazioni log-ratio, rendendola inapplicabile a dataset contenenti zeri (sia arrotondati che strutturali). Inoltre, gli approcci tradizionali spesso assumono una struttura parametrica specifica o richiedono modelli di regressione iterativi che possono essere computazionalmente intensivi. Questo articolo affronta la necessità di un metodo di imputazione flessibile e non parametrico che:

1. Operi direttamente sul simplex senza trasformazioni log-ratio.
2. Accolga naturalmente i valori zero.
3. Offra efficienza computazionale e flessibilità nella gestione dei pattern di valori mancanti.

2. Metodologia

La soluzione proposta è un nuovo algoritmo JSD k–NN, esteso con una generalizzazione della media di Fréchet e un meccanismo adattivo.

2.1 Metrica di Distanza: Divergenza di Jensen-Shannon (JSD)

Invece della distanza di Aitchison, l'algoritmo utilizza la divergenza di Jensen-Shannon (JSD) per misurare le distanze tra vettori compositivi.

• Definizione: Per due composizioni $x$ e $y$, $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$.
• Vantaggi: A differenza della distanza di Aitchison, la JSD tratta i valori zero naturalmente (poiché $0 \log 0 = 0$), eliminando la necessità di strategie di sostituzione degli zeri. È una metrica (la radice quadrata soddisfa la disuguaglianza triangolare) ed è limitata.

2.2 L'Algoritmo JSD k–NN

L'algoritmo centrale segue una procedura non parametrica in sei passaggi:

1. Selezione: Scegliere il numero di vicini più prossimi, $k$.
2. Separazione: Dividere i dati in vettori incompleti ($X_M$) e vettori completi ($X_O$).
3. Normalizzazione: Per un vettore incompleto, normalizzare le componenti osservate in modo che la somma sia 1. Analogamente, normalizzare le componenti corrispondenti nei vettori completi.
4. Calcolo della Distanza: Calcolare la JSD tra le componenti osservate normalizzate del vettore incompleto e tutti i vettori completi.
5. Selezione dei Vicini: Identificare i $k$ vettori completi con le distanze JSD più piccole.
6. Imputazione: Calcolare la media dei $k$ vicini più prossimi. Le componenti mancanti sono stimate prendendo la media aritmetica delle componenti corrispondenti nei $k$ vicini, normalizzandole e scalandole per la somma delle componenti osservate nel vettore incompleto originale.

2.3 Estensione 1: JSD $\alpha$–k–NN (Media di Fréchet)

Per aumentare la flessibilità, la media aritmetica utilizzata nel Passaggio 5 è sostituita dalla media campionaria di Fréchet definita da Tsagris et al. (2011):
$$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$$
dove $\alpha$ è un iperparametro regolabile.

• Proprietà: Quando $\alpha \to 0$, converge alla media geometrica; a $\alpha = 1$, è la media aritmetica. Ciò permette all'algoritmo di adattarsi alla distribuzione dei dati senza trasformazioni log-ratio.

2.4 Estensione 2: JSD $\alpha$–k–NN Adattiva

Riconoscendo che i pattern di valori mancanti possono variare (ad esempio, la mancanza è correlata a specifiche grandezze delle componenti), gli autori propongono un approccio adattivo in cui gli iperparametri ($\alpha$ e $k$) sono regolati separatamente per ogni distinto pattern di mancanza osservato nei dati, invece di utilizzare una singola coppia globale.

2.5 Regolazione degli Iperparametri

I valori ottimali per $k$ e $\alpha$ sono determinati tramite un protocollo di validazione incrociata ripetuta leave-N-out. La metrica di prestazione è la distanza (distanza di Aitchison se non sono presenti zeri; JSD se sono presenti zeri) tra i valori reali e i valori imputati nel set di test.

3. Contributi Chiave

1. Imputazione Tollerante agli Zeri: Il metodo è il primo approccio k–NN per dati compositivi che non richiede trasformazioni log-ratio, gestendo così nativamente sia gli zeri arrotondati che quelli strutturali.
2. Flessibilità Non Parametrica: Utilizzando la JSD e la media di Fréchet, il metodo evita assunzioni parametriche restrittive sulla struttura dei dati.
3. Efficienza Computazionale: L'algoritmo è significativamente più veloce dei metodi competitivi basati su regressione iterativa (in particolare quelli nel pacchetto robCompositions).
4. Framework Adattivo: L'introduzione di un meccanismo adattivo permette agli iperparametri di adattarsi a specifici pattern di mancanza, sebbene l'articolo noti che ciò aggiunge complessità computazionale.

4. Risultati dagli Studi di Simulazione

Gli autori hanno valutato gli algoritmi utilizzando quattro dataset reali: Vini (senza zeri), Idrochimico (senza zeri), Acidi Grassi delle Prede (contiene zeri e classi di specie) e FADN (dati agricoli con zeri e scenari di aggregazione/disaggregazione).

• Accuratezza (Senza Zeri): Sui dataset Vini e Idrochimico, il JSD $\alpha$–k–NN (con $\alpha$ ottimale) ha superato il JSD k–NN standard rispettivamente del 12% e del 2%, misurati tramite la distanza di Aitchison. Entrambi i metodi proposti hanno superato gli algoritmi concorrenti di Hron et al. (2010) (rob k–NN, lm, ltsReg).
• Accuratezza (Con Zeri): Sul dataset Acidi Grassi delle Prede, il JSD k–NN ha migliorato le prestazioni del 22% rispetto al robust k–NN (Hron et al., 2010) utilizzando la distanza euclidea. Il JSD $\alpha$–k–NN ha fornito un ulteriore miglioramento del 3,5%. La versione adattiva non ha prodotto ulteriori guadagni in questo caso specifico.
• Scenario di Disaggregazione: Nel dataset FADN (simulando la disaggregazione di dati agricoli aggregati), il JSD k–NN ha superato il robust k–NN del 15%. Le estensioni $\alpha$ e adattiva non hanno mostrato ulteriori miglioramenti in questo caso.
• Costo Computazionale: Il JSD k–NN è stato significativamente più veloce del robust k–NN. I fattori di accelerazione sono variati da circa 6x a 25x, a seconda della dimensione del campione e della dimensionalità. L'accelerazione è stata più pronunciata a dimensionalità più elevate e dimensioni campionarie più basse.

5. Significato e Affermazioni

L'articolo afferma che il proposto algoritmo JSD k–NN offre un'alternativa robusta, accurata ed efficientemente computazionale per l'imputazione di valori mancanti in dati compositivi. Il suo significato principale risiede nella capacità di gestire valori zero senza modifiche, un limite critico dei metodi esistenti basati su log-ratio.

Gli autori concludono modestamente che, sebbene l'estensione JSD $\alpha$–k–NN adattiva offra un miglioramento teorico adattando i parametri ai pattern di mancanza, non migliora sempre sostanzialmente le prestazioni nella pratica. Suggeriscono che la complessità aggiuntiva potrebbe non valere la pena in tutti i casi, in particolare quando i pattern di mancanza sono sparsi. Tuttavia, il JSD k–NN centrale e l'estensione della media di Fréchet (JSD $\alpha$–k–NN) dimostrano costantemente accuratezza ed efficienza superiori rispetto ai metodi all'avanguardia attuali.

Il lavoro è posizionato come uno strumento pratico per settori come l'ecologia, l'agricoltura e le statistiche ufficiali, dove i dati compositivi con zeri e valori mancanti sono prevalenti. Gli autori riconoscono che, sebbene il metodo assuma che i dati siano Mancanti a Caso (MAR), non è stato valutato in scenari di Mancanti Non a Caso (MNAR), che sono comuni nelle statistiche ufficiali.