Explaining a probabilistic prediction on the simplex with Shapley compositions

Sintesi Tecnica: Spiegazione di una Predizione Probabilistica sul Simplesso tramite Composizioni di Shapley

Definizione del Problema
I modelli di machine learning, in particolare quelli che eseguono la classificazione multiclasse, spesso producono distribuzioni di probabilità discrete piuttosto che valori scalari. Tali output risiedono su un simplesso multidimensionale. Sebbene i valori di Shapley siano uno strumento standard per spiegare le predizioni scalari quantificando i contributi delle feature, la loro applicazione diretta ai contesti multiclasse è problematica. Gli approcci attuali tipicamente calcolano i valori di Shapley separatamente per ogni classe (one-vs-rest o one-vs-one). Questo metodo ignora la natura compositiva dell'output, dove i valori relativi tra le probabilità sono più significativi dei valori assoluti, e non riesce a rispettare la struttura geometrica del simplesso di probabilità. Inoltre, calcolare valori separati per ogni classe può portare a spiegazioni incoerenti in cui il percorso cumulativo dalla predizione base alla predizione finale lascia lo spazio del simplesso.

Metodologia
Gli autori propongono le composizioni di Shapley, un framework che estende i valori di Shapley allo spazio delle distribuzioni di probabilità discrete utilizzando la geometria di Aitchison derivata dall'analisi dei dati composizionali.

1. Geometria di Aitchison: Il documento tratta il simplesso di probabilità ($S_D$) non come uno spazio euclideo standard, ma come uno spazio dotato di operazioni specifiche:

   • Perturbazione ($\oplus$): Agisce come addizione tra composizioni.
   • Potenziamento ($\odot$): Agisce come moltiplicazione scalare.
   • Prodotto Interno: Definito tramite i rapporti logaritmici delle parti.
   • Trasformazione Isometric Log-Ratio (ILR): Mappa il simplesso in uno spazio euclideo $(D-1)$-dimensionale ($\mathbb{R}^{D-1}$), preservando la metrica e permettendo alle operazioni vettoriali standard (addizione, sottrazione) di rappresentare perturbazioni e potenziamenti.

2. Definizione di Composizione di Shapley:

   • La funzione caratteristica viene ridefinita per mappare i sottoinsiemi di feature al simplesso utilizzando la sottrazione di Aitchison ($\ominus$), che rappresenta il cambiamento nella predizione attesa quando le feature vengono osservate.
   • La composizione di Shapley per una feature è definita come la media di queste perturbazioni su tutti i possibili coalizioni, calcolata utilizzando le operazioni di Aitchison (perturbazione e potenziamento) anziché la somma e la scala standard.
   • Matematicamente, la composizione di Shapley $\phi_i$ è l'unica quantità che soddisfa Linearità, Simmetria ed Efficienza sul simplesso di Aitchison.
   • L'Efficienza in questo contesto garantisce che la perturbazione della distribuzione base (predizione attesa) tramite la somma di tutte le composizioni di Shapley sia uguale alla distribuzione predetta finale: $\bigoplus_{i=1}^d \phi_i = f(x) \ominus E_A[f(X)]$.

3. Visualizzazione e Analisi:

   • Spazio ILR: Le composizioni di Shapley sono visualizzate come vettori nello spazio ILR $(D-1)$-dimensionale. Ciò consente l'analisi di angoli (ortogonalità/ridondanza), norme (forza del contributo) e proiezioni su composizioni di classi (direzione dell'influenza).
   • Visualizzazioni Alternative: Per dimensioni superiori, il documento suggerisce di visualizzare le composizioni come istogrammi (mostrando lo spostamento distributivo per feature) o di utilizzare i grafici a coordinate parallele per tracciare la successiva perturbazione della distribuzione di probabilità dalla base alla predizione.

Contributi Chiave

• Definizione Formale: Il documento definisce le composizioni di Shapley come un'estensione principesca dei valori di Shapley allo spazio delle distribuzioni di probabilità discrete per la classificazione multiclasse.
• Dimostrazione Assiomatica: Gli autori dimostrano che la composizione di Shapley è l'unica quantità che soddisfa linearità, simmetria ed efficienza sul simplesso di Aitchison, estendendo così il fondamento teorico dei valori di Shapley ai contesti multiclasse.
• Framework Geometrico: Il lavoro stabilisce un'interpretazione geometrica coerente in cui i contributi delle feature sono perturbazioni additive sul simplesso, evitando l'incoerenza degli approcci one-vs-rest che possono uscire dallo spazio delle probabilità.
• Strumenti di Visualizzazione: Il documento introduce tecniche di visualizzazione specifiche (grafici ILR, istogrammi, coordinate parallele) adattate per interpretare questi contributi multidimensionali.

Risultati e Dimostrazioni
Il documento fornisce dimostrazioni di prova di concetto piuttosto che benchmark empirici su larga scala:

• Dataset Iris (3 Classi): Visualizzato in uno spazio ILR 2D, mostra come feature come la lunghezza e la larghezza del petalo perturbino la distribuzione base verso la regione "versicolor". L'analisi evidenzia come le composizioni di Shapley catturino il compromesso tra le classi (ad esempio, una feature che aumenta la probabilità di una classe necessariamente diminuisce le altre) in modo più coerente rispetto ai valori SHAP separati.
• Riconoscimento di Cifre (4 e 10 Classi):
  • Un compito a 4 classi (cifre 0–3) è visualizzato in uno spazio ILR 3D, illustrando la struttura tetraedrica del simplesso.
  • Un compito a 10 classi dimostra l'uso dei bilanci (rapporti logaritmici di gruppi di classi) per interpretare componenti ILR specifiche. Ciò consente agli utenti di concentrarsi su sottospazi che confrontano gruppi specifici di classi (ad esempio, dispari vs pari, o coppie specifiche di cifre) senza visualizzare l'intero spazio ad alta dimensione.
• Stima: Gli autori adattano algoritmi di campionamento esistenti (dal toolkit SHAP) per stimare le composizioni di Shapley, notando che sono necessari aggiustamenti per garantire che la proprietà di efficienza sia mantenuta nelle approssimazioni.

Significatività e Rivendicazioni
Il documento sostiene di essere il primo a proporre un'estensione formale del framework del valore di Shapley al simplesso multidimensionale per spiegare le predizioni probabilistiche multiclasse.

• Fondazione Teorica: Il contributo primario è teorico e metodologico, fornendo un modo "ben fondato" per gestire la natura composizionale degli output multiclasse.
• Coerenza: Risolve il problema delle spiegazioni one-vs-rest garantendo che il percorso esplicativo rimanga all'interno del simplesso di probabilità e tratti la distribuzione come un'entità singola.
• Lavoro Futuro: Gli autori notano con modestia che i loro risultati sperimentali sono limitati a esempi illustrativi. Identificano la complessità computazionale (scalabilità con il numero di feature) e l'assunzione di indipendenza delle feature come attuali limitazioni, lasciando lo sviluppo di algoritmi di stima per feature dipendenti e applicazioni su larga scala alla ricerca futura.