Automated Residual Plot Assessment With the R Package autovi and the Shiny Application autovi.web

Sintesi Tecnica: Valutazione Automatica dei Grafici dei Residui con autovi

Problema
La valutazione visiva dei grafici dei residui è un approccio standard per la diagnosi dei modelli lineari, tuttavia presenta limitazioni significative. La valutazione manuale non scala bene e spesso porta a decisioni inconsistenti tra diversi analisti. Sebbene il "protocollo di lineup" — che prevede l'inserimento di un grafico osservato tra grafici nulli — riduca la soggettività, esso richiede uno sforzo umano considerevole, rendendolo impraticabile per applicazioni su larga scala. I pacchetti software esistenti (ad esempio, lmtest, DHARMa, ggResidpanel) forniscono test convenzionali e diagnostica grafica, ma il ricorso all'interpretazione soggettiva di tali grafici può portare a problemi come la sovra-interpretazione di pattern casuali come violazioni del modello. Esiste la necessità di un metodo automatizzato e scalabile per valutare i grafici dei residui che mantenga il rigore dell'inferenza visiva senza l'onere del lavoro manuale.

Metodologia
Il documento introduce un framework che automatizza la valutazione dei grafici dei residui utilizzando la computer vision e i test statistici. Il nucleo di questa metodologia coinvolge i seguenti componenti:

1. Forza del Segnale Visivo (VSS - Visual Signal Strength): Viene definito un metrico continuo per quantificare la chiarezza dei pattern visivi in un grafico diagnostico che potrebbero indicare violazioni del modello. Teoricamente, la VSS stima la distanza tra la distribuzione dei residui di un modello stimato e una distribuzione di riferimento (attesa sotto una corretta specificazione del modello). Questa distanza si basa sulla divergenza di Kullback-Leibler (KL). Poiché la vera distribuzione dei residui è sconosciuta nella pratica, la VSS è approssimata da un modello di computer vision addestrato su dati sintetici.
2. Modello di Computer Vision: Una rete neurale convoluzionale (CNN) viene addestrata su un ampio dataset di modelli di regressione sintetici. Questi modelli simulano specifiche violazioni delle assunzioni della regressione lineare classica, inclusa la non-linearità (tramite trasformazioni con polinomi di Hermite), l'eteroschedasticità (varianza dell'errore dipendente dai predittori) e la non-normalità (distribuzioni discrete, uniformi e log-normali). Il modello riceve in input l'immagine del grafico dei residui e variabili ausiliarie (ad esempio, il numero di osservazioni) e restituisce una VSS predetta.
3. Protocollo di Test Statistico:
   • Residui Nulli: Generati sotto l'ipotesi nulla che il modello sia correttamente specificato (tipicamente campionando da una distribuzione normale con media zero e varianza dell'errore stimata).
   • Residui Bootstrappati: Generati ri-stimando il modello su campioni bootstrap per stimare la variazione nella VSS dovuta alla variabilità di campionamento.
   • Test di Ipotesi: La valutazione automatizzata calcola la proporzione di grafici nulli la cui VSS è uguale o superiore a quella del grafico dei residui osservato. Questa proporzione funge da $p$-value per un test di ipotesi monodirezionale.
4. Implementazione Software:
   • Pacchetto R (autovi): Costruito sul sistema di programmazione orientata agli oggetti bandicoot, il pacchetto integra R e Python tramite il pacchetto reticulate. Utilizza ggplot2 per la generazione dei grafici, cassowaryr per le scagnostics (diagnostica dei diagrammi a dispersione), pillow per l'elaborazione delle immagini e TensorFlow per la CNN pre-addestrata. L'infrastruttura è modulare, consentendo agli utenti di sovrascrivere passaggi specifici (ad esempio, l'estrazione dei dati o la simulazione dei residui) per estendere lo strumento ad altre classi di modelli come i Modelli Lineari Generalizzati (GLM).
   • Applicazione Shiny (autovi.web): Un'interfaccia web che consente di eseguire le valutazioni senza l'installazione locale di dipendenze R o Python. Utilizza TensorFlow.js per eseguire il modello di computer vision direttamente nel browser, spostando il carico computazionale sul lato client.

Contributi Chiave

• Automazione dell'Inferenza Visiva: Il documento presenta la prima implementazione automatizzata del protocollo di lineup per i grafici dei residui, sostituendo il confronto visivo manuale con un test statistico basato sulla computer vision.
• Metrico Quantitativo (VSS): Introduce un metrico continuo e interpretabile (VSS) che quantifica la forza dei pattern visivi, colmando il divario tra la valutazione visiva soggettiva e il test statistico obiettivo.
• Framework Modulare: Il pacchetto autovi è progettato con un'architettura modulare che supporta l'estensione oltre la semplice regressione lineare. Gli autori dimostrano questo aspetto creando un controllore personalizzato per la regressione di Poisson, mostrando come gli utenti possano sovrascrivere moduli specifici (ad esempio, la simulazione dei residui nulli) per adattarli a diverse classi di modelli.
• Accessibilità: Fornendo sia un pacchetto R che un'applicazione Shiny basata su browser, gli autori abbassano la barriera all'ingresso per la diagnostica automatizzata, rendendo l'inferenza visiva avanzata accessibile agli utenti privi di competenze di programmazione o di configurazioni ambientali complesse.

Risultati ed Esempi Illustrativi
Il documento dimostra l'efficacia dello strumento attraverso diversi esempi:

• Falsi Positivi: In un caso simulato in cui l'apparente eteroschedasticità era causata dalla asimmetria (skewness) delle variabili predittrici piuttosto che da una reale violazione del modello, lo strumento automatizzato ha assegnato correttamente una VSS bassa (1.53) e un $p$-value non significativo (0.25), laddove un essere umano avrebbe potuto interpretare erroneamente il pattern.
• Rilevamento della Non-linearità: Utilizzando il dataset mtcars, lo strumento ha rilevato una sottile struttura non lineare (VSS = 3.57, $p < 0.05$) che è stata confermata da un test Ramsey RESET.
• Pattern Complessi: In un dataset "surreale" con struttura incorporata, lo strumento ha identificato una forte violazione (VSS = 5.87, $p < 0.05$) che i test standard di non-linearità (RESET) avevano mancato, sebbene altri test (Breusch-Pagan, Shapiro-Wilk) avessero rilevato problemi correlati.
• Estensione ai GLM: Un esempio di regressione di Poisson con un termine quadratico omesso ha prodotto un pattern a forma di U nel lineup. Il controllore personalizzato ha identificato con successo questo pattern con una VSS di 4.875 e un $p$-value di 0.0099, dimostrando l'adattabilità del framework.

Significatività e Rivendicazioni
Gli autori affermano che autovi e autovi.web colmano un vuoto critico nel software statistico automatizzando un compito che storicamente ha fatto affidamento su un'interpretazione umana inconsistente. La significatività di questo lavoro risiede in:

• Efficienza e Coerenza: Automatizzare la valutazione migliora l'efficienza del processo diagnostico e promuove la coerenza tra diversi utenti e studi.
• Scalabilità: L'approccio supera i vincoli di lavoro del protocollo di lineup, rendendo l'inferenza visiva fattibile per applicazioni su larga scala.
• Accessibilità: L'interfaccia web rimuove le barriere tecniche (installazione, dipendenze), permettendo a un pubblico più ampio, inclusi coloro che non hanno esperienza di programmazione, di utilizzare strumenti diagnostici avanzati.
• Fondamento per il Lavoro Futuro: Il framework modulare stabilisce una base per estendere l'assistenza automatizzata ad altri grafici diagnostici e modelli statistici, potenzialmente rivoluzionando il modo in cui le visualizzazioni sono utilizzate nell'inferenza statistica.

Il documento conclude che questi strumenti permettono ai ricercatori di concentrarsi maggiormente sull'interpretazione dei risultati e sul perfezionamento dei modelli piuttosto che sulla gestione delle complessità della valutazione manuale dei grafici, mantenendo al contempo il rigore dell'inferenza visiva.