📊 statistica

Is Using Shapley Value Good for Covariate Selection in Panel Models?

Questo articolo propone e valida un metodo basato sul valore di Shapley a effetti fissi per la selezione delle covariate nei modelli panel, dimostrando attraverso simulazioni e applicazioni empiriche che esso offre un'alternativa trasparente, computazionalmente efficiente e parsimoniosa agli approcci esistenti, recuperando accuratamente i veri set attivi e migliorando le prestazioni del modello.

Autori originali: Htwe Ko, Pathairat Pastpipatkul

Pubblicato 2026-10-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Htwe Ko, Pathairat Pastpipatkul

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'economia, i ricercatori si trovano spesso di fronte a un enigma che sembra semplice ma è profondamente complesso: capire quali fattori guidino davvero un risultato specifico, come la crescita del reddito di una nazione. Immaginate uno scienziato che osserva un enorme foglio di calcolo contenente dati di decine di paesi nel corso di molti anni. Ha un elenco di potenziali cause: cose come la spesa per l'istruzione, gli investimenti esteri, i tassi di inflazione e la crescita demografica. Il problema è che ci sono troppi candidati da testare tutti insieme senza creare confusione, e la teoria economica raramente indica un elenco di ingredienti singolo e perfetto. Per decenni, i statistici hanno cercato di risolvere questo problema utilizzando vari scorciatoie matematiche per filtrare il rumore, ma questi metodi spesso lasciano i ricercatori a indovinare quali variabili stiano effettivamente facendo il lavoro pesante e quali siano solo presenti per caso. La sfida centrale non è solo trovare un modello che si adatti bene ai dati, ma capire esattamente quanto credito ogni singolo fattore meriti per tale adattamento, specialmente quando quei fattori sono intrecciati tra loro in modi complessi.

Un team di ricercatori dell'Università di Chiang Mai ha proposto un nuovo modo per affrontare questo problema, prendendo in prestito un concetto dalla teoria dei giochi per portare chiarezza al caos dei dati economici. Invece di trattare la selezione delle variabili come un gioco di indovinelli statistico, l'hanno inquadrata come un gioco cooperativo in cui ogni potenziale fattore è un giocatore. In questo gioco, l'obiettivo è misurare quanto ogni giocatore contribuisca al successo del team, che in questo caso è la capacità del modello di spiegare le variazioni del reddito nazionale. I ricercatori hanno utilizzato uno strumento matematico chiamato valore di Shapley, un metodo originariamente progettato per dividere equamente i guadagni tra i giocatori in un gioco cooperativo. Applicando questa logica ai dati economici, sono stati in grado di calcolare il contributo medio esatto di ogni singola variabile, tenendo conto di ogni possibile combinazione di fattori. Questo approccio tratta gli effetti fissi dei dati — i tratti unici e immutabili di ogni paese e di ogni anno — come un contesto costante, permettendo ai ricercatori di concentrarsi puramente su come le variabili variabili interagiscano per spiegare il risultato.

I ricercatori hanno testato il loro nuovo metodo, che chiamano selezione di covariate con effetti fissi e valore di Shapley (Fixed Effects Shapley-Value covariate selection), utilizzando una serie di simulazioni al computer. Hanno creato migliaia di dataset economici fittizi in cui conoscevano già la risposta vera in anticipo: sapevano esattamente quali variabili fossero i veri motori e quali fossero solo rumore casuale. In questi test, il metodo si è dimostrato straordinariamente efficace. Man mano che la quantità di dati cresceva, il metodo diventava quasi perfetto nell'identificare i veri motori e nell'ignorare il rumore. È riuscito a separare il segnale dal disturbo, recuperando il set corretto di variabili in quasi ogni istanza in cui la dimensione del campione era sufficientemente grande. Le simulazioni hanno dimostrato che, mentre alcuni metodi più vecchi avrebbero continuato a includere variabili irrilevanti solo perché sembravano buone in una specifica combinazione, questo nuovo approccio assegnava costantemente un valore nullo o negativo ai fattori inutili, filtrandoli efficacemente.

Per vedere se questo funzionasse nel mondo reale, il team ha applicato il loro metodo a dati economici reali di quarantacinque paesi, divisi in gruppi di venti nazioni sviluppate e venticinque nazioni in via di sviluppo, coprendo gli anni dal 2000 al 2023. Sono partiti da un modello completo contenente dieci diversi indicatori economici, come il debito pubblico, l'apertura commerciale e i tassi di cambio. Quando hanno eseguito l'analisi del valore di Shapley, i risultati hanno rivelato una chiara gerarchia di importanza che differiva a seconda del tipo di paese. Per le nazioni sviluppate, l'apertura commerciale e l'investimento diretto estero sono emersi come i motori più potenti, mentre per le nazioni in via di sviluppo, l'investimento estero e la crescita demografica hanno preso il comando. Il metodo ha anche evidenziato variabili che, nonostante apparissero significative nei test statistici tradizionali, in realtà contribuivano molto poco alla spiegazione complessiva della crescita. In alcuni casi, ha persino assegnato un valore negativo a certi fattori, indicando che includerli rendeva il modello peggiore aggiungendo complessità non necessaria senza aggiungere reale potere esplicativo.

I modelli finali prodotti da questo metodo erano molto più semplici e focalizzati rispetto alle versioni originali onnicomprensive. Nel gruppo dei paesi sviluppati, il metodo ha selezionato sette variabili chiave; nel gruppo dei paesi in via di sviluppo, ha ridotto l'elenco a soli tre; e per il gruppo combinato, ne ha scelti quattro. Questi modelli snelliti hanno performato altrettanto bene dei modelli completi nel spiegare i dati, ma con una struttura molto più pulita. Quando i ricercatori hanno confrontato i loro risultati con altre tecniche statistiche avanzate, hanno trovato un forte accordo sulle variabili più importanti, ma il nuovo metodo offriva un vantaggio distinto: forniva un elenco unico e definitivo delle migliori variabili piuttosto che un confuso insieme di probabilità. Ciò significa che un ricercatore può ora guardare i dati e affermare con fiducia esattamente quali fattori stanno guidando la crescita, senza dover indovinare quali variabili mantenere o scartare. Lo studio conclude che questo approccio basato sulla teoria dei giochi offre un modo trasparente, equo ed efficiente dal punto di vista computazionale per risolvere uno dei problemi più antichi dell'economia, trasformando un disordinato elenco di possibilità in una storia chiara e basata sull'evidenza di ciò che conta davvero.

Sintesi Tecnica: Selezione di Covariate tramite Valore di Shapley a Effetti Fissi in Modelli Panel

Problematica
Il documento affronta la persistente sfida della selezione delle covariate nei modelli panel, in particolare nei contesti macroeconomici dove i ricercatori si trovano di fronte a un "menù" di determinanti plausibili che spesso supera il numero di osservazioni o la capacità di stima affidabile. Gli approcci tradizionali, come la regressione stepwise, la penalizzazione di tipo Lasso o la ricerca tramite criteri di informazione su tutti i $2^p$ sottoinsiemi, presentano dei limiti: diventano computazionalmente inflessibili quando il numero di covariate ( $p$ ) supera circa venti, le loro conclusioni sono sensibili al criterio scelto e non forniscono una decomposizione esatta del potere esplicativo di un modello nelle contribuzioni dei singoli regressori. Inoltre, i metodi esistenti spesso confondono la selezione con la contrazione (shrinkage) o mancano di un meccanismo trasparente per attribuire il "valore" del modello a variabili specifiche tenendo conto degli effetti fissi.

Metodologia: Valore di Shapley a Effetti Fissi (FESV)
Gli autori propongono il metodo Fixed-Effects Shapley-Value (FESV), che inquadra la selezione delle covariate come un problema di teoria dei giochi cooperativi.

Formulazione del Gioco:
- Giocatori: Ogni covariata candidata è trattata come un giocatore in un gioco a utilità trasferibile.
- Non-Giocatori: Gli effetti fissi di unità ( $\alpha_i$ ) e di tempo ( $\gamma_t$ ) sono trattati come componenti strutturali che sono sempre presenti; essi vengono eliminati tramite la trasformazione within prima della valutazione della coalizione e non vengono mai selezionati.
- Funzione Caratteristica ( $v$ ): Il valore di una coalizione (sottoinsieme di covariate $S$ ) è definito come l' $R^2$ aggiustato della regressione del within-estimator utilizzando solo le variabili in $S$ . Questa funzione è netta degli effetti fissi e penalizzata per i gradi di libertà.
- Funzioni Alternative: Lo studio considera anche l' $R^2$ non aggiustato e il BIC negativo come funzioni caratteristiche per testarne la robustezza.
Calcolo del Valore di Shapley:
- Il valore di Shapley ( $\phi_i$ ) per ogni covariata è calcolato come la media ponderata del suo contributo marginale attraverso tutte le possibili coalizioni ( $2^p$ sottoinsiemi).
- Proprietà: Il metodo sfrutta le proprietà assiomatiche del valore di Shapley: efficienza (la somma dei valori è uguale alla variazione totale spiegata), simmetria, additività e la proprietà del giocatore nullo (le variabili irrilevanti ricevono un valore nullo o negativo).
- Computazione: Il vettore di Shapley esatto è calcolato enumerando tutti i $2^p$ coalizioni, applicando la regressione within per ciascuna di esse e applicando pesi combinatori.
Regole di Selezione:
- Regola A (Segno Positivo): Seleziona tutte le covariate con un valore di Shapley positivo ( $\phi_i > 0$ ). Questo funge da diagnostica ma tende a sovra-selezionare in campioni finiti a causa del rumore di campionamento.
- Regola B (Annidata Penalizzata): Ordina le covariate per decrescente valore di Shapley e seleziona il sottoinsieme $k$ -esimo che massimizza un obiettivo penalizzato: $J(k) = v(M_k) - \gamma k$ , dove $\gamma$ è una penalità definita dall'utente (ad esempio, 0,01). Questa regola controlla efficacementamente i falsi positivi imponendo un costo per l'aggiunta di variabili che non migliorano sufficientemente il fit aggiustato.

Contributi Chiave

Decomposizione Esatta: A differenza dei metodi stepwise o penalizzati, il FESV fornisce una decomposizione esatta e non residua dell' $R^2$ aggiustato del modello completo nelle singole contribuzioni per covariata.
Separazione tra Selezione e Stima: Il metodo esegue la selezione senza contrazione (shrinkage). Una volta identificato il sottoinsieme ottimale tramite il gioco di Shapley, viene utilizzata la normale OLS sui dati trasformati within, preservando l'interpretabilità dei coefficienti.
Gestione degli Effetti Fissi: L'approccio tratta esplicitamente gli effetti fissi come non-giocatori, garantendo che la selezione sia robusta alla specificazione degli effetti di unità e di tempo.
Consistenza Teorica: Il documento stabilisce che, sotto standard assunzioni di regolarità, i valori di Shapley stimati convergono ai valori della popolazione e che la Regola B recupera coerentemente l'insieme attivo reale quando $N \times T \to \infty$ .

Risultati Empirici e di Simulazione

Simulazioni Monte Carlo:
- Simulazioni su cinque dimensioni campionarie ( $N \times T$ da 50 a 4000) con 6 covariate (3 attive, 3 di rumore) dimostrano che la Regola B recupera l'insieme attivo reale con precisione e richiamo quasi perfetti (F1 score $\approx$ 1,0) a dimensioni campionarie moderate ( $N \times T \geq 450$ ).
- La Regola A mantiene un alto richiamo ma soffre di un tasso persistente di falsi positivi (precisione $\approx$ 0,79) perché il rumore di campionamento assegna occasionalmente piccoli valori positivi alle covariate di rumore.
- Le simulazioni confermano che la funzione caratteristica penalizzata ( $R^2$ aggiustato) assegna valori negativi alle covariate di rumore in media, permettendo una selezione efficace.
Applicazione Empirica (Regressioni sulla Crescita):
- Applicato a dati panel di 45 paesi (20 sviluppati, 25 in via di sviluppo) dal 2000 al 2023 per spiegare la crescita del PIL.
- Risultati: Il metodo FESV ha selezionato modelli parsimoniosi (3–7 variabili) rispetto alla specifica completa a 10 variabili.
  - Sviluppati: Ha selezionato Apertura Commerciale, FDI, Crescita della Popolazione, Inflazione, Istruzione, Disoccupazione e l'Efficacia del Governo.
  - In via di sviluppo: Ha selezionato FDI, Tasso di Cambio e Crescita della Popolazione.
  - Pooled: Ha selezionato FDI, Crescita della Popolazione, Apertura Commerciale e Debito.
- Performance: I modelli selezionati hanno ottenuto punteggi BIC inferiori rispetto ai modelli completi, pur mantenendo i determinanti primari. L' $R^2$ aggiustato è diminuito solo marginalmente.
- Confronto: Le classificazioni FESV erano strettamente allineate con i modelli di Selezione di Variabili Panel Bayesiana (BPVS) per quanto riguarda le variabili principali (ad esempio, FDI e Crescita della Popolazione erano costantemente i principali predittori). Tuttavia, il FESV ha prodotto modelli più parsimoniosi, mentre il BPVS manteneva tutte le variabili a causa delle elevate probabilità a posteriori di inclusione.

Significatività e Rivendicazioni
Il documento sostiene che il FESV offra uno strumento trasparente, computazionalmente efficiente e teoricamente fondato per la selezione delle covariate nei modelli panel. La sua principale significatività risiede in:

Trasparenza: Converte la "scatola nera" della selezione delle variabili in un'attribuzione verificabile del potere esplicativo, dove il contributo di ogni variabile è esplicitamente calcolato e somma esattamente al fit totale del modello.
Parsimonia senza Contrazione: Raggiunge la parsimonia del modello attraverso una penalità di tipo game-theoretic sui gradi di libertà piuttosto che attraverso la contrazione dei coefficienti, consentendo un'inferenza post-selezione standard.
Robustezza: Il metodo si dimostra consistente con gli approcci bayesiani nell'identificare i driver chiave, ma superiore nel produrre una specifica singola, difendibile e parsimoniosa.

Limitazioni Riconosciute
Gli autori notano che l'enumerazione esatta di $2^p$ coalizioni limita il metodo a un numero moderato di covariate (sebbene esistano approssimazioni di campionamento). L'attuale framework è limitato ai modelli lineari con esiti continui, e il documento non fornisce una teoria formale per l'inferenza post-selezione (ad esempio, intervalli di confidenza validi dopo la selezione), indicando la letteratura esistente come direzione futura.

Sintesi Tecnica: Selezione di Covariate tramite Valore di Shapley a Effetti Fissi in Modelli Panel

Articoli simili