Confidence intervals for the random forest generalization error

In der Welt der modernen Datenwissenschaft werden Computer oft gebeten, Vorhersagen über die Zukunft zu treffen, die auf Mustern basieren, die in der Vergangenheit gefunden wurden. Ob es nun darum geht, den Preis eines Hauses zu prognostizieren, eine medizinische Diagnose zu stellen oder zu erraten, ob ein Kunde einen Dienst nicht mehr nutzen wird – diese Systeme verlassen sich auf komplexe Modelle, die mit großen Datensätzen trainiert wurden. Eine zentrale Herausforderung für jeden, der diese Werkzeuge nutzt, besteht darin, zu wissen, wie viel Vertrauen man einer Vorhersage schenken kann. Nur weil ein Modell bei den Daten, mit denen es trainiert wurde, gut abschneidet, ist dies keine Garantie dafür, dass es auch in neuen, ungesehenen Situationen gut funktionieren wird. Um diese Zuverlässigkeit zu messen, teilen Wissenschaftler ihre Daten traditionell in zwei Stapel auf: einen, um das Modell zu lehren, und einen anderen, um es zu testen. Dies funktioniert zwar, ist aber ein langsamer und teurer Prozess, der erfordert, die Daten zur Hälfte zu spalten und das Modell oft neu zu trainieren, um ein klares Bild seiner Genauigkeit zu erhalten.

Ein spezieller Typ von Modell, bekannt als Random Forest (Zufallswald), bietet seit langem eine clevere Abkürzung, um zu schätzen, wie gut es abschneiden wird. Stellen Sie sich einen Wald vor, in dem jeder Baum ein Entscheidungsträger ist, der auf einer leicht unterschiedlichen Version der Daten trainiert wurde. Aufgrund der Art und Weise, wie diese Bäume gezüchtet werden, ignoriert jeder einzelne Baum einen kleinen, zufälligen Teil der Trainingsdaten. Das bedeutet, dass es für jedes Stück Information im Datensatz eine Gruppe von Bäumen gibt, die dieses während des Trainings nie gesehen hat. Diese Bäume können dann gebeten werden, genau dieses spezifische Stück Information vorherzusagen, was einen eingebauten Test der Genauigkeit ermöglicht, ohne jemals die Daten aufteilen oder eine neue Simulation durchführen zu müssen. Diese Methode, bekannt als Out-of-Bag-Schätzung, ist seit Jahrzehnten ein Standardwerkzeug, das einen schnellen, fast kostenlosen Weg bietet, um eine einzige Zahl darzustellen, die den wahrscheinlichen Fehler des Modells repräsentiert. Lange Zeit lieferte diese Methode jedoch nur eine Punktwahlschätzung, wodurch den Anwendern ein klares Verständnis des Bereichs der Unsicherheit um diese Zahl fehlte.

In einem Ende 2021 veröffentlichten Paper schlug der Forscher Paulo C. Marques F. vom Insper Institute of Education and Research in Brasilien einen Weg vor, um aus dieser einzelnen Zahl einen vollständigen Konfidenzbereich zu machen. Das Ziel war es, die bereits vorhandenen Nebenprodukte des Trainingsprozesses eines Random Forest zu nutzen, um ein Konfidenzintervall zu konstruieren – einen statistischen Bereich, der angibt, in welchem Bereich die wahre Fehlerrate wahrscheinlich liegen wird – ohne die hohen Rechenkosten durch das Aufteilen von Daten oder das erneute Trainieren von Modellen. Der Ansatz des Forschers behandelt die Trainingsdaten zusammen mit der Aufzeichnung darüber, welche Bäume welche Datenpunkte ignoriert haben und was diese Bäume vorhergesagt haben, als ein vollständiges Paket. Durch das wiederholte Resampling dieses Pakets mit einer spezifischen statistischen Technik namens Bootstrapping generiert die Methode eine Verteilung möglicher Fehlerraten. Dies ermöglicht die Konstruktion eines Konfidenzintervalls, das die Unsicherheit der Modellleistung widerspiegelt, und das alles unter Verwendung derselben Daten, die auch das Modell trainiert haben.

Das Paper zeigt, dass diese Methode nicht nur recheneffizient, sondern auch statistisch fundiert ist. Durch umfangreiche Computersimulationen sowohl bei Regressionsaufgaben, bei denen das Ziel die Vorhersage einer kontinuierlichen Zahl ist, als auch bei Klassifikationsaufgaben, bei denen das Ziel die Sortierung von Elementen in Kategorien ist, testete der Forscher, wie oft diese neuen Konfidenzintervalle tatsächlich die wahre Fehlerrate erfassten. In einem Regressionsbeispiel, das eine komplexe mathematische Funktion mit zehn Eingabevariablen beinhaltete, und einem Klassifikationsbeispiel mit zwanzig Variablen, zeigten die Simulationen, dass die Intervalle genau wie beabsichtigt funktionierten. Wenn der Forscher nach einem Konfidenzniveau von 95 Prozent fragte, fiel der wahre Fehler in etwa 95 Prozent der Fälle über tausende simulierte Versuche hinweg innerhalb des berechneten Bereichs. Darüber hinaus schrumpfte die Breite dieser Intervalle in einer vorhersehbaren Rate, wenn die Menge der Trainingsdaten zunahm, was bestätigte, dass die Methode mit größeren Datensätzen präziser wird.

Um zu beweisen, dass die Methode bei realen Problemen funktioniert, wandte die Studie die Technik auf vier unterschiedliche Datensätze an. Der erste war eine klassische Sammlung von Daten zur Kraftstoffeffizienz von Autos, bei der das Modell die Meilen pro Gallone basierend auf Fahrzeugmerkmalen vorhersagen musste. Der zweite beinhaltete einen massiven Datensatz von E-Mails, um legitime Nachrichten von Spam zu unterscheiden. Der dritte war ein detaillierter Datensatz über Hausverkäufe in Ames, Iowa, der zur Vorhersage von Verkaufspreisen verwendet wurde, und der vierte verfolgte das Kundenverhalten eines Telekommunikationsunternehmens, um diejenigen zu identifizieren, die wahrscheinlich ihren Dienst kündigen werden. Für jeden Datensatz berechnete der Forscher Konfidenzintervalle auf verschiedenen Sicherheitsstufen. Für die Hausdaten beispielsweise lag das 95-Prozent-Konfidenzintervall für den Vorhersagefehler etwa zwischen fünfundzwanzigtausend und achtundzwanzigtausend Dollar. Für die Spam-Erkennung lag das Intervall für die Fehlerrate in einem engen Bereich zwischen etwa 4,1 Prozent und 5,4 Prozent. Diese Ergebnisse zeigten, dass die Methode aussagekräftige, interpretierbare Grenzen für Fehler bei vielfältigen, praktischen Anwendungen liefern kann.

Ein bedeutender Vorteil dieses Ansatzes ist seine Geschwindigkeit und Einfachheit. Da er auf den Daten basiert, die bereits während des initialen Trainings des Random Forest generiert wurden, vermeidet er den mühsamen Prozess des wiederholten Aufteilens von Daten und des erneuten Trainierens von Modellen. Der Forscher testete die Laufzeit des Verfahrens auf einem Standard-Laptop und stellte fest, dass selbst für den größten Datensatz mit über viertausend E-Mails der gesamte Prozess der Generierung der Konfidenzintervalle nur etwas mehr als eine Sekunde dauerte. Diese Effizienz macht die Methode für den alltäglichen Gebrauch zugänglich und ermöglicht es Datenwissenschaftlern, die Zuverlässigkeit ihrer Modelle mit minimalem zusätzlichem Aufwand zu quantifizieren. Die Arbeit hebt auch eine einzigartige Eigenschaft der Methode hervor: Da sie auf der Verteilung der Fehler selbst basiert, kann sie die Ergebnisse leicht in die natürlichen Einheiten des Problems übertragen, wie etwa Dollar für Hauspreise oder Meilen pro Gallone für Autos, wodurch die Unsicherheit für Nicht-Experten leicht verständlich wird.

Das Paper schließt mit dem Hinweis, dass der Code zur Durchführung dieser Berechnungen frei als Open-Source-Bibliothek verfügbar ist, was es anderen ermöglicht, die Technik sofort anzuwenden. Indem er die verborgenen Nebenprodukte eines Standard-Trainingsprozesses in ein robustes Maß für Unsicherheit verwandelt, bietet diese Arbeit einen direkten Weg zum Verständnis der Grenzen der Generalisierung eines Modells. Sie bestätigt, dass mit den richtigen statistischen Werkzeugen die Konfidenzintervalle für die Leistung eines Random Forest direkt aus den Trainingsdaten abgeleitet werden können, was einen zuverlässigen, kostengünstigen Weg bietet, um zu beurteilen, wie gut ein prädiktives Modell in der realen Welt bestehen wird.