📊 statistics

Automated Residual Plot Assessment With the R Package autovi and the Shiny Application autovi.web

Dieses Paper stellt das R-Paket `autovi` und dessen Shiny-Applikation `autovi.web` vor, welche ein Computer-Vision-Modell nutzen, um die Bewertung von Residuenplots durch die Vorhersage der visuellen Signalstärke zu automatisieren und damit die Einschränkungen hinsichtlich Skalierbarkeit und Konsistenz der manuellen visuellen Diagnose in der linearen Modellierung zu adressieren.

Ursprüngliche Autoren: Weihao Li, Dianne Cook, Emi Tanaka, Susan VanderPlas, Klaus Ackermann

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weihao Li, Dianne Cook, Emi Tanaka, Susan VanderPlas, Klaus Ackermann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „menschliche Auge“-Engpass

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären. Sie haben einen Verdächtigen (ein statistisches Modell) und einen Haufen Beweise (Daten). Um zu sehen, ob Ihr Verdächtiger schuldig ist, untersuchen Sie die „Residuen“ – die übrig gebliebenen Hinweise, die der Verdächtige nicht erklären konnte.

In der Statistik schauen Analysten bei diesen Hinweisen normalerweise durch das Zeichnen eines Bildes (eines Residuenplots) und nutzen ihre Augen, um zu sehen, ob etwas „merkwürdig“ aussieht.

Das Problem: Menschen sind schlecht darin. Wir werden müde, wir sehen Muster, die gar nicht da sind (wie ein Gesicht in einer Wolke), oder wir übersehen Muster, die tatsächlich existieren. Es ist, als würde man versuchen, eine bestimmte Nadel im Heuhaufen zu finden, indem man stundenlang darauf starrt und die Augen zusammenkneift.
Die alte Lösung: Manchmal verwenden Statistiker ein „Lineup“-Protokoll (eine Gegenüberstellung). Man zeigt Ihnen das echte Bild gemischt mit 19 gefälschten Bildern. Wenn Sie das echte Bild erkennen können, bedeutet das, dass ein Problem vorliegt. Aber das ist langsam und verlässt sich immer noch auf das menschliche Auge.

Die Lösung: Ein Roboter-Detektiv

Die Autoren dieser Arbeit haben ein neues Werkzeug namens autovi (Automated Visual Inference) entwickelt. Betrachten Sie es als einen Roboter-Detektiv, der niemals müde wird und über eine übermenschliche Sehkraft verfügt.

Anstatt einen Menschen zu bitten, auf eine Grafik zu starren, nutzt dieses Tool Computer Vision (dieselbe Technologie, die es selbstfahrenden Autos ermöglicht, die Straße zu „sehen“), um die Residuenplots zu untersuchen.

Wie der Roboter „sieht“

Training: Der Robot wurde an tausenden von fiktiven Szenarien trainiert. Ihm wurden Bilder von „perfekten“ Modellen gezeigt (bei denen die Hinweise zufällig verteilt sind) und von „defekten“ Modellen (bei denen die Hinweise ein klares Muster bilden, wie eine Kurve oder einen Trichter).
Der Score (VSS): Wenn Sie dem Roboter ein neues Bild geben, sagt er nicht einfach nur „Ja“ oder „Nein“. Er vergibt einen Wert namens Visual Signal Strength (VSS).
- Niedriger Score: „Ich sehe nichts Verdächtiges. Die Hinweise sehen zufällig aus. Ihr Modell ist wahrscheinlich in Ordnung.“
- Hoher Score: „Ich sehe ein klares Muster! Die Hinweise sind so angeordnet, wie sie es nicht sollten. Ihrem Modell fehlt etwas.“

Die zwei Werkzeuge: Der Werkzeugkasten und die Web-App

Die Arbeit stellt zwei Möglichkeiten vor, den Roboter zu nutzen:

1. Das R-Paket (autovi): Der professionelle Werkzeugkasten
Dies ist für Personen gedacht, die mit Programmierung (speziell in R) vertraut sind.

Funktionsweise: Sie speisen Ihre Daten in das Paket ein. Es erstellt automatisch die Plots, lässt sie durch den Roboter laufen und erstellt einen Bericht.
Der Bericht: Er teilt Ihnen den VSS-Score und einen „p-Wert“ (eine Wahrscheinlichkeitszahl) mit. Wenn die Zahl niedrig ist, bedeutet dies, dass der Roboter sehr sicher ist, dass Ihr Modell ein Problem hat.
Visualisierung: Es kann Ihnen ein „Lineup“ zeigen (den echten Plot gemischt mit gefälschten), damit Sie die Arbeit des Roboters überprüfen können, oder ein Dichtediagramm, das zeigt, wie Ihre Daten im Vergleich zu den „perfekten“ Zufallsdaten abschneiden.

2. Die Web-App (autovi.web): Der benutzerfreundliche Kiosk
Nicht jeder kann programmieren. Dafür haben die Autoren eine Website gebaut.

Keine Installation: Sie müssen keine komplexen Programme installieren oder verschiedene Programmiersprachen verwalten. Sie öffnen einfach einen Browser.
Die Magie: Die Website führt die schwere Computer-Vision-Arbeit direkt in Ihrem Browser aus (mittels einer Technologie namens TensorFlow.js). Es ist, als hätte man einen Supercomputer in seinem Webbrowser, der keinen Serverfarmen angeschlossen sein muss.
Einfachheit: Sie laden Ihre Daten hoch (oder nutzen deren Beispiele), klicken auf einen Button und die Website zeigt Ihnen sofort die Bewertung des Roboters, das Lineup der Plots und sogar eine „Heatmap“, die genau zeigt, wo im Bild der Roboter das Problem gesehen hat.

Ein Praxisbeispiel aus der Arbeit

Die Autoren testeten ihr Tool in drei Szenarien:

Der Fehlalarm: Ein Plot sah unordentlich aus (wie ein Trichter), was normalerweise auf ein defektes Modell hindeutet. Aber der Roboter sagte: „Eigentlich ist das in Ordnung. Es sieht nur so unordentlich aus, weil Sie auf einer Seite weniger Datenpunkte haben.“ Der Roboter bewahrte den Analysten vor Panik.
Die verborgene Kurve: Ein Plot sah weitgehend okay aus, aber es war eine winzige Kurve im Rauschen versteckt. Ein Standard-Computertest übersah sie, aber der Roboter entdeckte sie sofort.
Das offensichtliche Muster: Ein Plot hatte eine seltsame Form, die darin verborgen war (inspiriert von einem Zitat eines berühmten Statistikers). Der Roboter gab ihm einen sehr hohen „Gefahren“-Score und identifizierte das Problem korrekt.

Das Fazit

Diese Arbeit präsentiert eine neue Art zu prüfen, ob Ihre statistischen Modelle korrekt arbeiten.

Vorher: Mussten Sie auf Grafiken starren und hoffen, dass Sie nichts übersehen.
Jetzt: Haben Sie einen Roboter, der die Grafik scannt, sie mit tausenden von „perfekten“ Beispielen vergleicht und Ihnen einen klaren Score sowie eine Wahrscheinlichkeit gibt, dass etwas nicht stimmt.

Es macht den Prozess schneller, konsistenter (der Roboter wird nicht müde) und zugänglicher für Menschen, die keine Experten in der Programmierung sind, dank der kostenlosen Web-App.

Technisches Resümee: Automatisierte Bewertung von Residuenplots mit `autovi`

Problemstellung
Die visuelle Beurteilung von Residuenplots ist ein Standardverfahren zur Diagnose linearer Modelle, leidet jedoch unter erheblichen Einschränkungen. Die manuelle Auswertung skaliert schlecht und führt oft zu inkonsistenten Entscheidungen bei verschiedenen Analysten. Während das „Lineup-Protokoll“ – das Einbetten eines beobachteten Plots unter Null-Plots – die Subjektivität verringert, erfordert es einen erheblichen manuellen Aufwand, was für groß angelegte Anwendungen unpraktisch ist. Bestehende Softwarepakete (z. B. lmtest, DHARQA, ggResidpanel) bieten konventionelle Tests und grafische Diagnostik, doch die Abhängigkeit von der subjektiven Interpretation dieser Plots kann zu Problemen führen, wie etwa der Überinterpretation zufälliger Muster als Modellverletzungen. Es besteht ein Bedarf an einer automatisierten, skalierbaren Methode zur Bewertung von Residuenplots, die die Stringenz der visuellen Inferenz ohne den Aufwand manueller Arbeit beibehält.

Methodik
Das Paper stellt ein Framework vor, das die Bewertung von Residuenplots mittels Computer Vision und statistischer Tests automatisiert. Der Kern dieser Methodik umfasst die folgenden Komponenten:

Visual Signal Strength (VSS): Es wird eine kontinuierliche Metrik definiert, um die Klarheit visueller Muster in einem Diagnoseplot zu quantifizieren, die auf Modellverletzungen hindeuten könnten. Theoretisch schätzt die VSS den Abstand zwischen der Residuenverteilung eines angepassten Modells und einer Referenzverteilung (erwartet unter korrekter Modellspezifikation). Dieser Abstand basiert auf der Kullback-Leibler-Divergenz. Da die wahre Residuenverteilung in der Praxis unbekannt ist, wird die VSS durch ein Computer-Vision-Modell approximiert, das auf synthetischen Daten trainiert wurde.
Computer-Vision-Modell: Ein faltendes neuronales Netzwerk (CNN) wird auf einem großen Datensatz synthetischer Regressionsmodelle trainiert. Diese Modelle simulieren spezifische Verletzungen klassischer linearer Regressionsannahmen, einschließlich Nichtlinearität (via Hermite-Polynom-Transformationen), Heteroskedastizität (Fehlervarianz abhängig von Prädiktoren) und Nicht-Normalität (diskrete, uniforme und lognormale Verteilungen). Das Modell nimmt ein Residuenplot-Bild und Hilfsvariablen (z. B. Anzahl der Beobachtungen) als Input entgegen und gibt eine vorhergesagte VSS aus.
Statistisches Testprotokoll:
- Null-Residuen: Generiert unter der Nullhypothese, dass das Modell korrekt spezifiziert ist (typischerweise durch Stichprobenziehung aus einer Normalverteilung mit Mittelwert Null und geschätzter Fehlervarianz).
- Gebootstrapte Residuen: Generiert durch das erneute Anpassen des Modells an Bootstrap-Stichproben, um die Variation in der VSS aufgrund von Stichprobenvariabilität abzuschätzen.
- Hypothesentest: Die automatisierte Bewertung berechnet den Anteil der Null-Plots, deren VSS der des beobachteten Residuenplots entspricht oder diesen übersteigt. Dieser Anteil dient als $p$ -Wert für einen einseitigen Hypothesentest.
Software-Implementierung:
- R-Paket (autovi): Basierend auf dem bandicoot objektorientierten Programmiersystem integriert das Paket R und Python über das reticulate-Paket. Es nutzt ggplot2 zur Plot-Generierung, cassowaryr für Scagnostics (Streudiagramm-Diagnostik), pillow für die Bildverarbeitung und TensorFlow für das vortrainierte CNN. Die Infrastruktur ist modular aufgebaut, sodass Nutzer spezifische Schritte (z. B. Datenextraktion, Residuen-Simulation) überschreiben können, um das Tool auf andere Modellklassen wie Generalisierte Lineare Modelle (GLMs) zu erweitern.
- Shiny-Applikation (autovi.web): Eine Web-Schnittstelle, die es ermöglicht, Bewertungen durchzuführen, ohne lokale Installationen von R- oder Python-Abhängigkeiten zu benötigen. Sie nutzt TensorFlow.js, um das Computer-Vision-Modell direkt im Browser auszuführen, wodurch die Rechenlast auf den Client verlagert wird.

Wesentliche Beiträge

Automatisierung der visuellen Inferenz: Das Paper präsentiert die erste automatisierte Implementierung des Lineup-Protokolls für Residuenplots, die den manuellen visuellen Vergleich durch einen Computer-Vision-basierten statistischen Test ersetzt.
Quantitative Metrik (VSS): Es führt eine kontinuierliche, interpretierbare Metrik (VSS) ein, welche die Stärke visueller Muster quantifiziert und somit die Lücke zwischen subjektiver visueller Beurteilung und objektiver statistischer Prüfung schließt.
Modulares Framework: Das autovi-Paket ist mit einer modularen Architektur konzipiert, die eine Erweiterung über die einfache lineare Regression hinaus unterstützt. Die Autoren demonstrieren dies durch die Erstellung eines benutzerdefinierten Checkers für die Poisson-Regression, womit sie zeigen, wie Nutzer spezifische Module (z. B. die Simulation von Null-Residuen) anpassen können, um das Tool an unterschiedliche Modellklassen anzupassen.
Zugänglichkeit: Durch die Bereitstellung sowohl eines R-Pakets als auch einer browserbasierten Shiny-Applikation senken die Autoren die Eintrittsbarriere für automatisierte Diagnostik und machen fortgeschrittene visuelle Inferenz für Nutzer ohne Programmierkenntnisse oder komplexe Umgebungskonfigurationen zugänglich.

Ergebnisse und illustrative Beispiele
Das Paper demonstriert die Wirksamkeit des Tools anhand mehrerer Beispiele:

Falsch-Positive: In einem simulierten Fall, in dem scheinbare Heteroskedastizität durch die Schiefe der Prädiktorvariablen und nicht durch eine echte Modellverletzung verursacht wurde, ordnete das automatisierte Tool korrekt eine niedrige VSS (1,53) und einen nicht signifikanten $p$ -Wert (0,25) zu, während ein Mensch das Muster missinterpretiert haben könnte.
Detektion von Nichtlinearität: Unter Verwendung des mtcars-Datensatzes detektierte das Tool eine subtile nichtlineare Struktur (VSS = 3,57, $p < 0,05$ ), die durch einen Ramsey-RESET-Test bestätigt wurde.
Komplexe Muster: In einem „surrealen“ Datensatz mit eingebetteter Struktur identifizierte das Tool eine starke Verletzung (VSS = 5,87, $p < 0,05$ ), die von Standard-Nichtlinearitätstests (RESET) übersehen wurde, obwohl andere Tests (Breusch-Pagan, Shapiro-Wilk) verwandte Probleme detektierten.
Erweiterung auf GLMs: Ein Beispiel einer Poisson-Regression mit einem ausgelassenen quadratischen Term führte zu einem U-förmigen Muster im Lineup. Der benutzerdefinierte Checker identifizierte dies erfolgreich mit einer VSS von 4,875 und einem $p$ -Wert von 0,0099, was die Anpassungsfähigkeit des Frameworks demonstriert.

Bedeutung und Ansprüche
Die Autoren behaupten, dass autovi und autovi.web eine kritische Lücke in der Statistik-Software schließen, indem sie eine Aufgabe automatisieren, die historisch auf inkonsistenter menschlicher Interpretation beruhte. Die Bedeutung dieser Arbeit liegt in:

Effizienz und Konsistenz: Die Automatisierung der Beurteilung verbessert die Effizienz des Diagnoseprozesses und fördert die Konsistenz über verschiedene Nutzer und Studien hinweg.
Skalierbarkeit: Der Ansatz überwindet die Arbeitsbeschränkungen des Lineup-Protokolls und macht visuelle Inferenz für groß angelegte Anwendungen praktikabel.
Zugänglichkeit: Die Web-Schnittstelle entfernt technische Barrieren (Installation, Abhängigkeiten) und ermöglicht einem breiteren Publikum, einschließlich jener ohne Programmiererfahrung, den Zugang zu fortgeschrittenen Diagnosetools.
Fundament für zukünftige Arbeit: Das modulare Framework schafft eine Basis für die Erweiterung der automatisierten Bewertung auf andere Diagnoseplots und statistische Modelle, was die Art und Weise, wie visuelle Darstellungen in der statistischen Inferenz genutzt werden, potenziell revolutionieren könnte.

Das Paper kommt zu dem Schluss, dass diese Tools es Forschern ermöglichen, sich mehr auf die Interpretation von Ergebnissen und die Verfeinerung von Modellen zu konzentrieren, anstatt sich mit den Komplexitäten der manuellen Plot-Beurteilung auseinanderzusetzen, während gleichzeitig die Stringenz der visuellen Inferenz gewahrt bleibt.