Statistical Hypothesis Testing for Information Value (IV)

Sintesi Tecnica: Test Non Parametrico per il Valore Informativo (IV)

Definizione del Problema
Il Valore Informativo (IV) è una metrica standard nel credit scoring e nella classificazione binaria per la selezione delle caratteristiche (feature selection), spesso utilizzata in congiunzione con il Weight of Evidence (WoE) per valutare il potere predittivo delle variabili. Tuttavia, le attuali pratiche industriali si affidano a soglie empiriche fisse (ad esempio, IV > 0,1) per determinare la rilevanza delle feature. Gli autori criticano queste soglie definendole "numeri magici" privi di giustificazione teorica. Essi sostengono che le soglie fisse non tengano conto delle caratteristiche specifiche dei dati, in particolare dello sbilanciamento delle classi, portando a una selezione delle feature inaffidabile. Il documento identifica una lacuna nella letteratura: non esiste un test di ipotesi statistica formale per l'IV, né esistono garanzie asintotiche per il suo comportamento sotto diverse condizioni di dati.

Metodologia
Gli autori propongono un quadro statistico formale stabilendo una connessione tra l'IV e la divergenza di Jeffreys, una misura simmetrica della divergenza tra due distribuzioni di probabilità.

1. Formulazione Teorica:

   • Sia $X$ un predittore e $Y$ un target binario. Le distribuzioni di $X$ dato $Y=1$ ($p$) e $Y=0$ ($q$) sono definite su $r$ bin.
   • L'IV è matematicamente equivalente allo stimatore della divergenza di Jeffreys $J(\hat{p}, \hat{q}) = \sum (\hat{p}_j - \hat{q}_j) \ln(\hat{p}_j / \hat{q}_j)$.
   • Il test di ipotesi è formulato come $H_0: p = q$ (assenza di potere predittivo) rispetto a $H_A: p \neq q$ (presenza di potere predittivo).

2. Proprietà Asintotiche:

   • Gli autori dimostrano la Legge Forte dei Grandi Numeri (consistenza quasi certa) per lo stimatore IV.
   • Derivano il Teorema del Limite Centrale (normalità asintotica) per lo stimatore. Nello specifico, man mano che le dimensioni del campione $n$ (classe positiva) e $m$ (classe negativa) tendono all'infinito, lo statistico del test standardizzato converge a una distribuzione normale standard $N(0,1)$.
   • I termini di varianza $V_1(p,q)$ e $V_2(p,q)$ sono derivati per tenere conto della variabilità in entrambe le classi.

3. Il Test della Divergenza J (J-Divergence Test):

   • Basandosi sulla normalità asintotica, viene costruito un test di ipotesi non parametrico. Lo statistico del test è normalizzato utilizzando le varianze stimate derivate dalle frequenze empiriche.
   • Le decisioni vengono prese sulla base di p-value e valori critici della distribuzione normale standard, eliminando la necessità di soglie fisse arbitrarie.

Contributi Chiave

• Quadro Statistico Formale: Questo è il primo lavoro a presentare un test di ipotesi statistica formale per il Valore Informativo, andando oltre le regole euristiche.
• Natura Non Parametrica: Il test non assume forme specifiche per le distribuzioni empiriche sottostanti, rendendolo robusto e indipendente dal modello (model-agnostic).
• Robustezza allo Sbilanciamento: La derivazione teorica e i risultati delle simulazioni dimostrano che il test mantiene validità e potenza anche in presenza di un severo sbilanciamento delle classi, uno scenario in cui i tradizionali approcci basati su soglie IV spesso falliscono (producendo elevati tassi di errore di Tipo I).
• Implementazione Open-Source: Gli autori forniscono una libreria Python (statistical-iv) per facilitare la riproducibilità e l'adozione.

Risultati Sperimentali
Il documento valida la metodologia attraverso studi di simulazione e un'applicazione nel mondo reale:

1. Studi di Simulazione:

   • Sensibilità allo Sbilanciamento: In scenari con alto sbilanciamento delle classi (ad esempio, tasso di sbilanciamento < 0,01), il criterio tradizionale (IV > 0,1) mostra tassi di errore di Tipo I gonfiati (falsi positivi). Al contrario, il test della divergenza J mantiene prestazioni robuste attraverso vari livelli di sbilanciamento.
   • Sensibilità ai Parametri: Il test opera in modo ottimale con livelli di significatività $\alpha \in [0,001\%, 0,1\%]$ e conteggi di bin $r \in [2, 14]$.
   • Potenza: La funzione di potenza empirica del test della divergenza J supera costantemente il criterio della soglia fissa, particolarmente quando la vera divergenza è piccola.

2. Caso di Studio sulla Rilevazione delle Frodi:

   • Utilizzando un dataset Kaggle di frodi e-commerce (altamente sbilanciato, tasso di frode ~0,3%), gli autori hanno confrontato tre strategie di selezione delle feature: nessuna selezione, IV > 0,1 e il test della divergenza J.
   • Selezione delle Feature: Il test della divergenza J ha selezionato 262 feature, rispetto alle 220 del criterio IV > 0,1. Notevolmente, ha identificato 42 feature aggiuntive che il metodo tradizionale aveva rifiutato.
   • Performance del Modello: Utilizzando il test della divergenza J per addestrare un classificatore LightGBM, è stata ottenuta la precisione più elevata (0,88491) rispetto al metodo IV > 0,1 (0,87141) e alla baseline non filtrata (0,85496).
   • Efficienza: Il metodo proposto ha ridotto il set di feature di oltre 100 rispetto alla baseline non filtrata pur migliorando la precisione del 3%, suggerendo riduzioni significative nei costi di ingegneria e manutenzione.

Significatività e Rivendicazioni
Il documento sostiene che il test della divergenza J fornisca un'alternativa rigorosa e teoricamente fondata ai "numeri magici" attualmente utilizzati nell'industria. La sua primaria significatività risiede nella capacità di gestire lo sbilanciamento delle classi senza gonfiare i tassi di falsi positivi, un requisito critico in domini come la rilevazione delle frodi e il credit scoring.

Gli autori posizionano il test come un metodo basato su filtro (filter-based method) adatto alla fase di pre-modellazione. Essi dichiarano esplicitamente che non è inteso per sostituire i metodi di selezione basati sul modello (come Lasso o l'importanza basata sugli alberi), ma per integrarli offrendo un passaggio di filtraggio statisticamente giustificato. Il metodo è descritto come "indipendente dal modello", computazionalmente efficiente (amabile alla parallelizzazione) e interpretabile tramite p-value.

Limitazioni Riconosciute
Gli autori notano che il test richiede che le feature siano categoriche o discretizzate in bin, e la sua affidabilità dipende dalla qualità di tale discretizzazione. Inoltre, il test si basa su dimensioni campionarie sufficienti per bin per soddisfare le assunzioni asintotiche; le prestazioni possono degradare in dataset con dimensioni campionarie molto basse o estrema scarsità di dati. Infine, l'attuale formulazione è limitata alla classificazione binaria, lasciando le estensioni multinomiali ai lavori futuri.