Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

Nello studio moderno del comportamento umano, i ricercatori si affidano sempre più a potenti programmi informatici per trovare schemi in vasti quantitativi di dati provenienti da sondaggi. Questi modelli di apprendimento automatico sono eccellenti nel individuare connessioni complesse che la statistica tradizionale potrebbe ignorare, come ad esempio come il reddito, l'età e il luogo di residenza di una persona possano combinarsi per influenzare le sue abitudini sociali. Tuttavia, questi modelli sono spesso opachi; possono prevedere un risultato con un'alta precisione ma non offrono una spiegazione chiara del perché. Per risolvere questo problema, gli scienziati utilizzano uno strumento chiamato SHAP, che agisce come un riflettore, evidenziando quali fattori il modello ha considerato più importanti nel compiere una previsione. Il problema è che questo riflettore spesso confonde due cose molto diverse: una genuina relazione di causa-effetto e una mera coincidenza. Solo perché due cose accadono insieme, non significa che una abbia causato l'altra. Ad esempio, un modello potrebbe indicare l'età del coniuge come una ragione chiave per l'uso di Internet di una persona, non perché l'età del coniuge cambi direttamente il modo in cui la persona naviga online, ma semplicemente perché i coniugi tendono ad avere età simili, e l'età stessa è un forte motore dell'uso della tecnologia. Distinguere tra queste vere cause e le correlazioni fuorvianti è essenziale per gli scienziati sociali che vogliono comprendere il comportamento umano piuttosto che limitarsi a predirlo.

Un nuovo studio di Shidong Li, della North University of China, affronta questo problema frontalmente applicando un rigoroso quadro diagnostico a dati reali di sondaggi sociali. Il ricercatore ha analato le risposte del Chinese General Social Survey 2023, un enorme dataset che rappresenta quasi 4.800 persone in trentuno province. L'obiettivo era testare diciotto diversi aspetti della vita sociale, che vanno dalla frequenza con cui le persone visitano gli amici alla fiducia negli estranei e alle abitudini di consumo mediatico. Invece di accettare le spiegazioni standard fornite da un singolo modello informatico, lo studio ha impiegato un approccio "dual-SHAP". Questo metodo confronta due diversi modi di calcolare l'importanza. Il primo metodo osserva i dati così come esistono naturalmente, preservando tutti i legami esistenti tra le variabili. Il secondo metodo rompe artificialmente questi legami, chiedendosi cosa accadrebbe a una previsione se un fattore specifico cambiasse mentre tutto il resto rimane indipendente. Confrontando i risultati di questi due metodi, lo studio è stato in grado di misurare un "punteggio di credibilità" per ogni fattore. Un punteggio alto significa che l'importanza del fattore resiste anche quando le correlazioni vengono interrotte, suggerendo un legame causale diretto. Un punteggio basso indica che il fattore era probabilmente solo un passeggero che viaggiava sulle tracce di un'altra variabile più influente.

L'indagine è iniziata scansionando i diciotto comportamenti sociali per vedere quali potessero essere affidabilmente predetti dai dati disponibili. Tra i ventidue comportamenti originariamente considerati, diciotto sono stati ritenuti abbastanza prevedibili da poter essere analizzati ulteriormente, mentre quattro, come la frequenza delle attività di volontariato, erano troppo erratici per essere modellati efficacemente. Tra i diciotto rimasti, lo studio ha testato cinque diversi tipi di algoritmi di apprendimento automatico per vedere quale performasse meglio per ogni specifico comportamento. I risultati hanno sfidato un'assunzione comune nel campo: che un algoritmo specifico, noto come XGBoost, sia il campione universale per tutti i compiti. Inveve, lo studio ha scoperto che nessun singolo modello domina l'intero panorama. Un modello chiamato RandomForest è stato il migliore per dieci dei diciotto esiti, coprendo aree come l'interazione sociale e l'uso dei media. Tuttavia, altri modelli, tra cui la regressione Ridge, LightGBM e GradientBoosting, si sono dimostrati superiori per esiti specifici come la fiducia sociale generale o la lettura dei giornali. Questa scoperta suggerisce che la scelta del modello informatico non è un dettaglio tecnico minore, ma una decisione sostanziale che modella fondamentalmente le conclusioni che i ricercatori traggono su ciò che guida il comportamento umano.

Una volta selezionato il miglior modello per ogni comportamento, lo studio ha ristretto la lista dei potenziali fattori da trentotto predittori a ventinove fattori chiave. Questo processo di selezione ha utilizzato lo strumento SHAP stesso per filtrare le variabili che contribuivano molto poco al quadro generale, come il numero di figlie di una persona o atteggiamenti specifici verso i ruoli di genere. I ventinove fattori rimanenti includevano dati demografici come età e reddito, oltre ad atteggiamenti verso l'equità sociale e abilità linguistiche. L'età è emersa come il predittore più dominante in generale, seguita da vicino dal reddito personale e dalle competenze linguistiche. Con questi fattori chiave identificati, i ricercatori hanno applicato il framework dual-SHAP per calcolare la credibilità dell'influenza di ciascun fattore. Hanno scoperto che il punteggio di credibilità medio attraverso tutte le relazioni era 0,727, indicando che, sebbene molti fattori abbiano un'influenza diretta, una parte significativa dell'importanza assegnata dai modelli standard è gonfiata dalle correlazioni.

Lo studio ha rivelato un ampio spettro di affidabilità. Alcuni fattori, come la percezione di equità sociale o le opinioni politiche sulla migrazione, hanno mostrato punteggi di credibilità elevati, il che significa che la loro influenza sugli esiti sociali è robusta e probabilmente causale. Al contrario, fattori come l'età del coniuge o la durata di un matrimonio hanno spesso mostrato una credibilità bassa o addirittura negativa quando il loro legame con l'età del rispondente veniva interrotto. Ad esempio, quando lo studio ha simulato uno scenario in cui l'età del coniuge veniva cambiata indipendentemente dall'età del rispondente, l'apparente influenza dell'età del coniuge sull'uso di Internet svaniva o addirittura cambiava direzione. Ciò ha servito come un chiaro avvertimento che il modello originale aveva scambiato una correlazione per una causa. I ricercatori hanno stabilito una soglia per aiutare l'interpretazione di questi punteggi: hanno suggerito che un punteggio di 0,80 o superiore debba essere considerato un forte indicatore di una relazione principalmente causale. Utilizzando questo standard, solo circa il quaranta per cento delle coppie fattore-comportamento qualificava come principalmente causale. Se la soglia veniva abbassata a un livello più permissivo di 0,50, quasi il novantatré per cento delle coppie soddisfaceva i criteri, ma i ricercatori hanno sostenuto che lo standard più rigoroso sia necessario per evitare di essere tratti in inganno da schemi accidentali.

Per garantire che questi risultati non fossero solo artefatti statistici, lo studio ha eseguito un controllo finale simulando cambiamenti nel mondo reale. Si sono chiesti cosa sarebbe successo al comportamento previsto di una persona se un fattore specifico, come il reddito o l'età, fosse aumentato di un importo standard. I risultati sono stati coerenti con il senso comune e con la scienza sociale stabilita. Ad esempio, aumentare l'età di una persona nella simulazione ha portato a una diminuzione prevista dell'uso di Internet, riflettendo il noto divario digitale in cui gli adulti più anziani utilizzano meno frequentemente la tecnologia. Allo stesso modo, aumentare il reddito personale ha portato a un aumento previsto della lettura dei giornali, allineandosi all'idea che uno status socioeconomico più elevato sia legato al consumo di media cartacei. Queste simulazioni hanno confermato che i modelli stavano catturando relazioni genuine e interpretabili piuttosto che rumore casuale. Inoltre, quando i ricercatori hanno testato il framework su diversi sottogruppi, come adulti giovani rispetto a quelli più anziani o residenti urbani rispetto a quelli rurali, i modelli generali sono rimasti costanti, sebbene i punteggi di credibilità specifici variassero leggermente a seconda della popolazione. Ciò ha dimostrato che, sebbene il metodo sia robusto, la forza di un legame causale può dipendere dal gruppo specifico studiato.

In definitiva, questo lavoro fornisce uno strumento trasparente e riproducibile per gli scienziati sociali per separare il segnale dal rumore nelle spiegazioni dell'apprendimento automatico. Non pretende di provare la causalità in senso assoluto, poiché potrebbero esserci ancora fattori non misurati, ma offre un modo pratico per diagnosticare quando una spiegazione è probabilmente fuorviante. Confrontando come un modello si comporta quando vede i dati così come sono rispetto a come si comporta quando rompe i legami naturali tra le variabili, i ricercatori possono ora identificare quali fattori guidano realmente gli esiti sociali e quali sono invece meri riflessi causati da altre variabili. Lo studio conclude che, sebbene l'apprendimento automatico sia una lente potente per osservare il comportamento umano, richiede questo tipo di calibrazione attenta per garantire che gli approfondimenti che fornisce non siano solo previsioni accurate, ma spiegazioni affidabili del perché le persone agiscono in un certo modo.