📊 statistics

Automated Residual Plot Assessment With the R Package autovi and the Shiny Application autovi.web

Dit artikel introduceert het R-pakket `autovi` en de bijbehorende Shiny-applicatie `autovi.web`, die een computer vision-model gebruiken om de beoordeling van residuplots te automatiseren door de visuele signaalsterkte te voorspellen, waarmee de beperkingen van handmatige visuele diagnose wat betreft schaalbaarheid en consistentie in lineaire modellering worden aangepakt.

Oorspronkelijke auteurs: Weihao Li, Dianne Cook, Emi Tanaka, Susan VanderPlas, Klaus Ackermann

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weihao Li, Dianne Cook, Emi Tanaka, Susan VanderPlas, Klaus Ackermann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Menselijke Oog"-bottleneck

Stel je voor dat je een detective bent die een misdaad probeert op te lossen. Je hebt een verdachte (een statistisch model) en een stapel bewijsmateriaal (data). Om te zien of je verdachte schuldig is, kijk je naar de "residuen" — de overgebleven aanwijzingen die de verdachte niet kon verklaren.

In de statistiek kijken analisten meestal naar deze aanwijzingen door een plaatje te tekenen (een residu-plot) en hun ogen te gebruiken om te zien of er iets "vreemds" uitziet.

Het probleem: Mensen zijn hier slecht in. We worden moe, we zien patronen die er niet zijn (zoals een gezicht zien in een wolk), of we missen patronen die er wel degelijk zijn. Het is alsoal proberen een specifieke naald in een hooiberg te vinden door er urenlang naar te turen met samengeknepen ogen.
De oude oplossing: Soms gebruiken statistici een "line-up" protocol. Ze laten je de echte afbeelding zien, gemengd met 19 nepplaatjes. Als je de echte kunt herkennen, betekent dit dat er een probleem is. Maar dit is traag en leunt nog steeds op het menselijk oog.

De Oplossing: Een Robotdetective

De auteurs van dit artikel hebben een nieuwe tool gebouwd genaamd autovi (Automated Visual Inference). Zie dit als een robotdetective die nooit moe wordt en beschikt over een bovennatuurlijk gezichtsvermogen.

In plaats van een mens te vragen om naar een grafiek te turen, gebruikt deze tool Computer Vision (dezelfde technologie die zelfrijdende auto's laat "zien" wat de weg is) om naar de residu-plots te kijken.

Hoe de robot "ziet"

Training: De robot werd getraind op duizenden nepscenario's. Er werden afbeeldingen aan de robot getoond van "perfecte" modellen (waarbij de aanwijzingen willekeurig verspreid zijn) en "kapotte" modellen (waarbij de aanwijzingen een duidelijk patroon vormen, zoals een curve of een trechter).
De Score (VSS): Wanneer je de robot een nieuwe afbeelding geeft, zegt hij niet alleen "ja" of "nee". Hij geeft een score die Visual Signal Strength (VSS) wordt genoemd.
- Lage score: "Ik zie niets verdachts. De aanwijzingen zien er willekeurig uit. Je model is waarschijnlijk in orde."
- Hoge score: "Ik zie een duidelijk patroon! De aanwijzingen staan op een manier opgesteld die niet zou moeten. Je model mist iets."

De Twee Tools: De Gereedschapskist en de Web App

Het artikel introduceert twee manieren om de robot te gebruiken:

1. Het R-pakket (autovi): De Professionele Gereedschapskist
Dit is voor mensen die comfortabel zijn met coderen (specifiek in R).

Hoe het werkt: Je voert je data in het pakket. Het genereert automatisch de plots, haalt ze door de robot en geeft je een rapport.
Het rapport: Het vertelt je de VSS-score en een "p-waarde" (een waarschijnlijkheidsgetal). Als het getal laag is, betekent dit dat de robot er zeer zeker van is dat je model een probleem heeft.
Visualisaties: Het kan je een "line-up" laten zien (de echte plot gemengd met nepplot) zodat je het werk van de robot kunt controleren, of een dichtheidsgrafiek die laat zien hoe jouw data zich verhoudt tot de "perfecte" willekeurige data.

2. De Web App (autovi.web): De Gebruiksvriendelijke Kiosk
Niet iedereen kan coderen. Hiervoor hebben de auteurs een website gebouwd.

Geen installatie: Je hoeft geen complexe software te installeren of verschillende programmeertalen te beheren. Je opent gewoon een browser.
De magie: De website voert het zware computer vision-werk direct in je browser uit (met behulp van een technologie genaamd TensorFlow.js). Het is alsof je een supercomputer in je webbrowser hebt die geen verbinding met een serverpark nodig heeft.
Gebruiksgemak: Je uploadt je data (of gebruikt hun voorbeelden), klikt op een knop en de website laat je direct de beoordeling van de robot zien, de line-up van de plots, en zelfs een "heatmap" die precies laat zien waar in het plaatje de robot het probleem zag.

Een Praktijkvoorbeeld uit het Artikel

De auteurs testten hun tool in drie scenario's:

Het Vals Alarm: Een plot zag er rommelig uit (als een trechter), wat meestal wijst op een kapot model. Maar de robot zei: "Eigenlijk is dit prima. Het ziet er alleen rommelig uit omdat je minder datapunten aan één kant hebt." De robot behoedde de analist voor paniek.
De Verborgen Curve: Een plot zag er grotendeels oké uit, maar er zat een piepkleine curve verborgen in de ruis. Een standaard computertest miste het, maar de robot zag het onmiddellijk.
Het Obvious Patroon: Een plot had een vreemde vorm verborgen (geïnspireerd door een citaat van een beroemde statisticus). De robot gaf het een zeer hoge "gevaarsscore" en identificeerde het probleem correct.

De Kern van het Verhaal

Dit artikel presenteert een nieuwe manier om te controleren of je statistische modellen correct werken.

Vóór: Je moest naar grafieken turen en hopen dat je niets miste.
Nu: Je hebt een robot die de grafiek scant, deze vergelijkt met duizenden "perfecte" voorbeelden, en je een duidelijke score en een waarschijnlijkheid geeft dat er iets mis is.

Het maakt het proces sneller, consistenter (de robot wordt niet moe) en toegankelijk voor mensen die geen expert zijn in programmeren, dankzij de gratis web app.

Technische Samenvatting: Geautomatiseerde Beoordeling van Residuele Plots met `autovi`

Probleemstelling
Visuele beoordeling van residuele plots is een standaardmethode voor het diagnosticeren van lineaire modellen, maar kampt met aanzienlijke beperkingen. Handmatige evaluatie schaalt slecht en leidt vaak tot inconsistente beslissingen tussen verschillende analisten. Hoewel het "lineup protocol"—waarbij een geobserveerde plot wordt ingebed tussen null-plots—de subjectiviteit vermindert, vereist dit aanzienlijke menselijke inspanning, wat het onpraktisch maakt voor grootschalige toepassingen. Bestaande softwarepakketten (bijv. lmtest, DHARMa, ggResidpanel) bieden conventionele tests en grafische diagnostiek, maar de afhankelijkheid van subjectieve interpretatie van deze plots kan leiden tot problemen zoals het overinterpreteren van willekeurige patronen als modelovertredingen. Er is behoefte aan een geautomatiseerde, schaalbare methode voor het beoordelen van residuele plots die de strengheid van visuele inferentie behoudt zonder de last van handmatige arbeid.

Methodologie
Het artikel introduceert een raamwerk dat de beoordeling van residuele plots automatiseert met behulp van computer vision en statistische toetsing. De kern van deze methodologie bestaat uit de volgende componenten:

Visual Signal Strength (VSS): Een continue metriek wordt gedefinieerd om de duidelijkheid van visuele patronen in een diagnostische plot te kwantificeren die kunnen wijzen op modelovertredingen. Theoretisch schat VSS de afstand tussen de residuele verdeling van een gefit model en een referentieverdeling (verwacht onder correcte modelspecificatie). Deze afstand is gebaseerd op de Kullback-Leibler (KL) divergentie. Omdat de ware residuele verdeling in de praktijk onbekend is, wordt de VSS benaderd door een computer vision-model dat getraind is op synthetische data.
Computer Vision Model: Een convolutioneel neuraal netwerk (CNN) wordt getraind op een grote dataset van synthetische regressiemodellen. Deze modellen simuleren specifieiek schendingen van klassieke lineaire regressie-aannames, inclusen non-lineariteit (via Hermite-polynoomtransformaties), heteroscedasticiteit (foutvariantie afhankelijk van predictoren), en non-normaliteit (discrete, uniforme en lognormale verdelingen). Het model neemt een residuele plot-afbeelding en hulpvariabelen (bijv. aantal observaties) als input en geeft een voorspelde VSS als output.
Statistisch Toetsprotocol:
- Null Residuals: Gegenereerd onder de nulhypothese dat het model correct gespecificeerd is (meestal door te samplen uit een normale verdeling met een gemiddelde van nul en de geschatte foutvariantie).
- Bootstrapped Residuals: Gegenereerd door het model opnieuw te fitten op bootstrap-steekproeven om de variatie in VSS te schatten als gevolg van steekproefvariabiliteit.
- Hypothese Toetsing: De geautomatiseerde beoordeling berekent het aandeel null-plots waarvan de VSS gelijk is aan of hoger is dan die van de geobserveerde residuele plot. Dit aandeel dient als een $p$ -waarde voor een eenzijdige hypothesetoets.
Software Implementatie:
- R Pakket (autovi): Gebouwd op het bandicoot objectgeoriënteerde programmeersysteem, integreert het pakket R en Python via het reticulate pakket. Het gebruikt ggplot2 voor plotgeneratie, cassowaryr voor scagnostics (scatter plot diagnostiek), pillow voor beeldverwerking, en TensorFlow voor het vooraf getrainde CNN. De infrastructuur is modulair, waardoor gebruikers specifieke stappen (bijv. data-extractie, residu-simulatie) kunnen overschrijven om het hulpmiddel uit te breiden naar andere modelklassen zoals Generalized Linear Models (GLM's).
- Shiny Applicatie (autovi.web): Een webinterface waarmee gebruikers beoordelingen kunnen uitvoeren zonder lokale installatie van R of Python-dependencies. Het maakt gebruik van TensorFlow.js om het computer vision-model direct in de browser uit te voeren, waardoor de computationele belasting naar de client wordt verschoven.

Belangrijkste Bijdragen

Automatisering van Visuele Inferentie: Het artikel presenteert de eerste geautomatiseerde implementatie van het lineup protocol voor residuele plots, waarbij handmatige visuele vergelijking wordt vervangen door een computer vision-gebaseerde statistische toets.
Kwantitatieve Metriek (VSS): Het introduceert een continue, interpreteerbare metriek (VSS) die de kracht van visuele patronen kwantificeert, waardoor de kloof tussen subjectieve visuele beoordeling en objectieve statistische toetsing wordt overbrugd.
Modulair Raamwerk: Het autovi pakket is ontworpen met een modulaire architectuur die ondersteuning biedt voor uitbreiding buiten eenvoudige lineaire regressie. De auteurs demonstreren dit door een aangepaste checker voor Poisson-regressie te maken, waarbij zij laten zien hoe gebruikers specifieke modules (bijv. null-residu simulatie) kunnen overschrijven om aan te sluiten bij verschillende modelklassen.
Toegankelijkheid: Door zowel een R-pakket als een browser-gebaseerde Shiny-applicatie aan te bieden, verlagen de auteurs de drempel voor geautomatiseerde diagnostiek, waardoor geavanceerde visuele inferentie toegankelijk wordt voor gebruikers zonder programmeerkennis of complexe omgeving-setup.

Resultaten en Illustratieve Voorbeelden
Het artikel demonstreert de effectiviteit van het hulpmiddel via verschillende voorbeelden:

Vals Positieven: In een gesimuleerde casus waarbij schijnbare heteroscedasticiteit werd veroorzaakt door scheefheid (skewness) in de predictor-variabelen in plaats van een echte modelovertreding, kende het geautomatiseerde hulpmiddel correct een lage VSS (1.53) en een niet-significante $p$ -waarde (0.25) toe, terwijl een mens het patroon verkeerd zou kunnen interpreteren.
Detectie van Non-lineariteit: Met behulp van de mtcars dataset detecteerde het hulpmiddel een subtiele non-lineaire structuur (VSS = 3.57, $p < 0.05$ ) die werd bevestigd door een Ramsey RESET-test.
Complexe Patronen: In een "surreële" dataset met ingebedde structuur identificeerde het hulpmiddel een sterke overtreding (VSS = 5.87, $p < 0.05$ ) die standaard non-lineariteitstests (RESET) miste, hoewel andere tests (Breusch-Pagan, Shapiro-Wilk) gerelateerde problemen detecteerden.
Extensie naar GLM's: Een Poisson-regressie voorbeeld met een weggelaten kwadratische term resulteerde in een U-vormig patroon in de lineup. De aangepaste checker identificeerde dit succesvol met een VSS van 4.875 en een $p$ -waarde van 0.0099, wat de aanpasbaarheid van het raamwerk aantoont.

Betekenis en Claims
De auteurs beweren dat autovi en autovi.web een kritiek gat in statistische software opvullen door een taak te automatiseren die historisch gezien vertrouwde op inconsistente menselijke interpretatie. De betekenis van dit werk ligt in:

Efficiëntie en Consistentie: Het automatiseren van de beoordeling verbetert de efficiëntie van het diagnostisch proces en bevordert consistentie tussen verschillende gebruikers en studies.
Schaalbaarheid: De aanpak overwint de arbeidsbeperkingen van het lineup protocol, waardoor visuele inferentie haalbaar wordt voor grootschalige toepassingen.
Toegankelijkheid: De webinterface verwijdert technische barrières (installatie, dependencies), waardoor een breder publiek, inclusief degenen zonder programmeerervaring, toegang krijgt tot geavanceerde diagnostische tools.
Fundament voor Toekomstig Werk: Het modulaire raamwerk legt een fundament voor het uitbreiden van geautomatiseerde beoordeling naar andere diagnostische plots en statistische modellen, wat de manier waarop visuele displays worden gebruikt in statistische inferentie potentieel kan revolutioneren.

Het artikel concludeert dat deze tools onderzoekers in staat stellen zich meer te concentreren op het interpreteren van resultaten en het verfijnen van modellen, in plaats van te worstelen met de complexiteit van handmatige plotbeoordeling, terwijl de strengheid van visuele inferentie behouden blijft.