Gradient Boosted Risk Scores

Sintesi Tecnica: Gradient Boosted Risk Scores (GBRS)

Definizione del Problema
I punteggi di rischio (risk scores) sono una classe di modelli di apprendimento automatico interpretabili ampiamente utilizzati in medicina, assicurazione e gestione del rischio. A differenza dei complessi algoritmi "black-box", i punteggi di rischio sono progettati per essere calcolati manualmente dagli esseri umani, assegnando punti ai campioni di dati sulla base di un set limitato di criteri. Gli attuali metodi per la generazione di questi punteggi si basano tipicamente su regressioni lineari, logistiche o di Cox. Tali approcci affrontano due limitazioni primarie:

1. Vincoli del Modello: Sono vincolati dalle assunzioni dei modelli di regressione sottostanti, che potrebbero non essere valide nella pratica.
2. Perdita di Informazioni: Per creare punteggi basati su punti interpretabili, i coefficienti di regressione continui devono essere discretizzati (binning) come passaggio di post-elaborazione. Questo processo di discretizzazione introduce una perdita di informazioni e riduce l'accuratezza predittiva.
   Sebbene framework come AutoScore tentino di automatizzare questo processo, essi si affidano ancora alla conversione di variabili continue in variabili categoriche prima della regressione, mantenendo il problema della perdita di informazioni. Inoltre, i metodi esistenti basati su regole (ad esempio, RuleFit) o modelli additivi (ad esempio, Explainable Boosting Machines) spesso generano regole da alberi profondi o richiedono la valutazione computazionale di funzioni di forma, mancando della trasparenza diretta di un semplice modello di somma di punti.

Metodologia
Gli autori propongono i Gradient Boosted Risk Scores (GBRS), un metodo che modella direttamente i punteggi di rischio come un insieme di regole decisionali additive utilizzando una procedura di gradient boosting.

• Architettura Core: GBRS costruisce un modello additivo $F(x_i) = \beta_0 + \sum_{k=1}^K s_k(x_{jk})$, dove ogni termine $s_k$ è una funzione di scoring univariata e a tratti costanti applicata a una singola covariata.
• Base Learners: A differenza del classico gradient boosting che utilizza alberi di profondità variabile, GBRS restringe tutti i base learner a decision stumps (split a soglia singola).
• Ottimizzazione: L'algoritmo aggrega sequenzialmente questi stump per minimizzare una funzione di perdita specifica per il compito (errore quadratico per la regressione, log-likelihood per la classificazione binaria e perdita di ranking a coppie per l'analisi di sopravvivenza) senza post-elaborazione.
  • Per gli esiti binari, i valori delle foglie sono calcolati tramite un passo di Newton corrispondente a un aggiornamento di regressione logistica a due foglie.
  • Per l'analisi della sopravvivenza, il metodo ottimizza una perdita di ranking a coppie su coppie di eventi comparabili.
• Aggregazione: Poiché i decision stump mancano di dipendenze gerarchiche, condizioni di split identiche possono essere selezionate in più iterazioni di boosting. GBRS le aggrega sommando i loro coefficienti, producendo un insieme compatto e sparso di regole basate su soglie.
• Interpretabilità: L'output finale è una tabella di punteggio trasparente. I punti rappresentano contributi additivi su scale specifiche: scala di identità per esiti continui, log-odds per esiti binari e log-rischio (o log-hazard) per esiti relativi al tempo di evento.
• Implementazione: Gli autori forniscono un'implementazione efficiente in C++ con binding per Python e R. Il metodo utilizza un set minimo di iperparametri (numero di iterazioni, learning rate e numero di soglie) e non richiede l'ottimizzazione di coefficienti di regolarizzazione, poiché la restrizione sul numero di bin funge da regolarizzatore naturale.

Contributi Chiave

1. Primo Approccio di Gradient-Boosting per Punteggi Basati su Punti: Per quanto ne sappiano gli autori, GBRS è il primo metodo di gradient-boosting esplicitamente progettato per produrre punteggi di rischio umani e computabili tramite punti.
2. Modellazione Diretta: A differenza di AutoScore, GBRS non richiede la conversione di variabili continue in variabili categoriche prima della regressione; apprende direttamente la funzione di scoring.
3. Compattezza e Trasparenza: Il metodo produce modelli significativamente più compatti rispetto alle alternative basate sulla regressione, mantenendo al contempo le prestazioni predittive.
4. Rilascio del Software: Gli autori rilasciano una libreria C++ con binding Python e R, consentendo la generazione di punteggi con un codice minimo.

Risultati
Il metodo è stato valutato su 12 dataset tabulari che spaziano tra compiti di regressione, classificazione binaria e tempo-all'evento (sopravvivenza), inclusi dati provenienti dal UK Biobank.

• Prestazioni Predittive: GBRS ha ottenuto prestazioni competitive rispetto a XGBoost (un metodo black-box allo stato dell'arte) e alla regressione tradizionale. Sebbene XGBoost abbia generalmente performato meglio sugli obiettivi continui, GBRS ha ottenuto risultati simili nei compiti binari e di tempo-all'evento. In diversi casi di classificazione binaria e in un caso di sopravvivenza, GBRS ha performato statisticamente meglio di AutoScore.
• Compattezza del Modello: GBRS ha prodotto punteggi sostanzialmente più compatti. In media, ha richiesto il 60% in meno di regole per i compiti di classificazione e il 16% in meno di regole per i compiti di tempo-all'evento rispetto ad AutoScore, a parità di numero di soglie iniziali.
• Interpretabilità: Lo studio ha dimostrato che i coefficienti di GBRS possono essere interpretati direttamente. Ad esempio, in un modello di rischio per lo scompenso cardiaco, il punteggio indicava che il fumo aumentava l'hazard ratio di un fattore di $\approx 3$ ($e^{1.1}$), e una LVEF < 50% aumentava il rischio di oltre sei volte. Queste relazioni sono state catturate tramite soglie rigide piuttosto che tramite interpolazione lineare, allineandosi ai marcatori clinici.

Significatività e Rivendicazioni
L'articolo sostiene che GBRS offra un favorevole compromesso tra accuratezza predittiva e trasparenza. È particolarmente adatto per domini ad alto rischio (ad esempio, il processo decisionale clinico) dove gli output del modello devono essere verificabili e comprensibili dagli esseri umani.

• Trasparenza vs Flessibilità: Gli autori riconoscono che GBRS non può modellare interazioni tra variabili e potrebbe avere prestazioni inferiori su dataset con relazioni approssimativamente lineari dove la discretizzazione grossolana è deleteria. Tuttavia, sostengono che queste siano scelte di design deliberate che danno priorità alla stabilità e all'interpretabilità rispetto alla massima flessibilità predittiva.
• Utilità Pratica: La capacità di esprimere le predizioni come punteggi compatti basati su punti consente ai decisori di stimare visivamente l'impatto di variabili di input variabili e stratificare i pazienti senza dipendere da strumenti computazionali complessi.
• Limitazioni: Gli autori osservano che i punteggi di rischio non dovrebbero essere estrapolati molto oltre la distribuzione di addestramento e che la selezione delle variabili è critica a causa dell'impossibilità di modellare le interazioni.

In sintesi, GBRS fornisce un metodo per generare punteggi di rischio interpretabili e computabili dall'uomo che catturano relazioni non lineari senza la perdita di informazioni associata alla tradizionale discretizzazione basata sulla regressione, offrendo un'alternativa pratica ai modelli black-box in contesti in cui la trasparenza è fondamentale.