Riepilogo Tecnico: Allineamento Rashomon

Definizione del Problema

Gli attuali metodi per valutare la somiglianza funzionale tra modelli di apprendimento automatico si basano su misure distribuzionali. Queste metriche confrontano gli output dei modelli su dati reali disponibili (set di test) per quantificare l'accordo. Tuttavia, gli autori sostengono che tali misure soffrano di due criticità fondamentali:

1. Validità Ecologica: Esse riflettono la somiglianza solo nelle regioni dello spazio di input coperte dai dati disponibili. Se il campione di dati non è rappresentativo della vera distribuzione sottostante, la stima della somiglianza è scarsa.
2. Sensibilità al Concept Drift: Anche se accurate per i dati attuali, queste misure diventano obsolete se la distribuzione dei dati cambia (covariate shift), poiché non tengono conto dell'allineamento strutturale dei confini decisionali attraverso l'intero spazio delle istanze.

Le misure di somiglianza funzionale esistenti non riescono a distinguere tra modelli che concordano su specifici punti dati ma che definiscono confini decisionali strutturalmente diversi altrove. Di conseguenza, affidarsi esclusivamente all'accuratezza predittiva o all'accordo distribuzionale può essere ingannevole, mascherando significative divergenze strutturali tra i modelli.

Metodologia: Allineamento Rashomon (RA)

Il documento propone l'Allineamento Rashomon (RA), un nuovo framework per valutare la somiglianza funzionale che incorpora una prospettiva geometrica. L'RA è definito come la probabilità che due modelli, $M_A$ e $M_B$, producano la stessa previsione per un'istanza $x$ selezionata casualmente da una distribuzione di riferimento $Q$. Gli autori distinguono tra due varianti in base alla scelta di $Q$:

1. Allineamento Rashomon Distribuzionale (dRA)

• Distribuzione di Riferimento ($Q$): La distribuzione generatrice dei dati $P(X)$.
• Stima: Calcolata utilizzando un campione di dati osservati (ad esempio, un set di test hold-out).
• Caratteristiche: Riflette l'accordo nelle regioni in cui esistono i dati reali. È sensibile alla rappresentatività del campione e ai cambiamenti nella distribuzione dei dati. È uno stimatore non distorto dell'accordo a livello di popolazione sotto $P(X)$.

2. Allineamento Rashomon Geometrico (gRA)

• Distribuzione di Riferimento ($Q$): La distribuzione uniforme $U(F)$ sullo spazio delle istanze $F$ (definita dai domini delle variabili).
• Stima: Calcolata utilizzando un campione sintetico $X_{syn}$ estratto uniformemente dallo spazio delle istanze (tipicamente all'interno del bounding box delle caratteristiche di addestramento).
• Caratteristiche: Stima la somiglianza attraverso l'intero spazio delle istanze, indipendentemente da qualsiasi specifica distribuzione di dati. Misura la frazione dello spazio delle istanze in cui le funzioni decisionali coincidono.
• Invarianza: Poiché $X_{syn}$ è generato indipendentemente dai dati di addestramento o di test, il gRA è invariante rispetto ai cambiamenti di $P(X)$, purché le funzioni decisionali sottostanti rimangano fisse.

Relazione Teorica

Il documento stabilisce che dRA e gRA sono correlati tramite un cambiamento di misura. Il divario tra loro ($|dRA^* - gRA^*|$) quantifica l'entità in cui i dati osservati non rappresentano l'intero spazio delle istanze. Un valore di dRA elevato con un gRA basso indica che i modelli concordano dove si trovano i dati, ma discordono altrove; un tipo di accordo che è fragile sotto i cambiamenti di distribuzione.

Setup Sperimentale

Per validare la metodologia, gli autori hanno condotto uno studio empirico esteso:

• Dataset: 92 dataset diversificati dal repository UCI Machine Learning, che coprono vari domini, dimensioni (da 32 a oltre 4.600 istanze), dimensionalità (da 4 a 649 caratteristiche) e tipi di caratteristiche.
• Modelli: Un confronto tra alberi decisionali potati (pruned) e non potati (unpruned). Questo scenario è stato scelto perché i modelli condividono lo stesso linguaggio ipotetico (confini direttamente confrontabili) ma mostrano diverse tendenze riguardo all'overfitting, garantendo un mix di coppie allineate e disallineate.
• Protocollo: Validazione incrociata a 5 fold. Per ogni fold, i modelli sono stati addestrati e tre metriche sono state registrate: differenza di accuratezza, dRA (sul partizionamento di test) e gRA (su 1.000 istanze uniformi sintetiche).

Risultati Chiave

Gli esperimenti hanno prodotto quattro intuizioni primarie:

1. Complementarità di gRA e Accuratezza:

   • Esiste una moderata correlazione positiva ($r = 0.514$) tra gRA e differenza di accuratezza.
   • Tuttavia, le misure non sono ridondanti. Lo studio ha identificato casi critici in cui i modelli presentavano un basso gRA ma una bassa differenza di accuratezza (confini strutturalmente diversi che però si bilanciano sul set di test) e un alto gRA ma un'alta differenza di accuratezza (confini simili dove il disaccordo è concentrato in specifiche regioni del test set).
   • Ciò dimostra che concentrarsi esclusivamente sulle prestazioni predittive può essere ingannevole; il gRA rivela somiglianze o differenze strutturali che l'accuratezza da sola non può cogliere.

2. Complementarità di gRA e dRA:

   • I valori di dRA erano generalmente più alti e più concentrati rispetto ai valori di gRA, indicando che i modelli tendono ad accordarsi maggiormente sui dati osservati rispetto all'intero spazio delle istanze.
   • Esiste una forte correlazione ($r = 0.745$) tra gRA e dRA, ma sono state osservate deviazioni significative.
   • Risultato Critico: Diversi dataset hanno mostrato un alto dRA ma un basso gRA. In questi casi, i modelli concordavano sulla partizione di test ma differivano sostanzialmente su gran parte dello spazio delle istanze. Affidarsi esclusivamente al dRA in tali scenari porterebbe a una sovrastima della somiglianza strutturale dei modelli.
   • Al contrario, nessun dataset ha mostrato un alto gRA con un basso dRA, in linea con la relazione teorica secondo cui l'accordo uniforme implica l'accordo su qualsiasi sottocampione.

3. Analisi dei Quadranti:

   • L'analisi ha suddiviso i dataset in quattro quadranti basati sulle mediane di gRA e sulla differenza assoluta di accuratezza.
   • Il quadrante più popolato è stato quello alta differenza di accuratezza / basso gRA, confermando che la potatura spesso altera significativamente i confini in problemi complessi.
   • Il quadrante alta differenza di accuratezza / alto gRA ha evidenziato casi in cui esisteva un allineamento globale nonostante le discrepanze nell'accuratezza del test, enfatizzando che il disaccordo era concentrato nella specifica regione del set di test.

Significato e Rivendicazioni

Il documento sostiene che l'Allineamento Rashomon fornisce una visione completa dell'allineamento dei confini decisionali che è indipendente dalle specifiche distribuzioni di dati. La significatività del lavoro risiede nel:

• Introduzione di una Prospettiva Geometrica: Andare oltre la somiglianza distribuzionale per valutare la somiglianza funzionale attraverso l'intero spazio delle istanze.
• Rivelazione di Divergenze Nascoste: Dimostrare che le misure distribuzionali (e l'accuratezza) possono mascherare differenze strutturali tra i modelli, specialmente in presenza di covariate shift o quando i dati non sono rappresentativi.
• Utilità Pratica: Gli autori propongono che l'RA possa essere utilizzato per la selezione dei modelli, la costruzione di ensemble (selezionando modelli diversi) e una maggiore interpretabilità degli algoritmi di apprendimento automatico.

Gli autori mantengono una posizione modesta, sottolineando che l'RA completa l'accuratezza piuttosto che sostituirla. Suggeriscono che il lavoro futuro riguardi l'applicazione dell'RA ad altri algoritmi e il perfezionamento dei metodi per il campionamento dallo spazio delle istanze.