📊 statistics

Optimal Hold-Out Size in Cross-Validation

Dieses Paper schlägt ein fundiertes, nutzenbasiertes Framework für die Auswahl der optimalen Größe des Hold-out-Datensatzes in der Kreuzvalidierung vor, indem es die Trainingsstichprobengröße explizit gegen die Evaluationsunsicherheit abwägt und dadurch willkürliche Konventionen durch kontextspezifische Entscheidungen ersetzt, welche die Zuverlässigkeit der Modellauswahl und der nachgelagerten wissenschaftlichen Inferenz verbessern.

Ursprüngliche Autoren: Kenichiro McAlinn, Kōsaku Takanashi

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kenichiro McAlinn, Kōsaku Takanashi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Goldlöckchen-Dilemma“ beim Testen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues Suppenrezept zu perfektionieren. Sie haben einen Topf voller Zutaten (Ihre Daten). Um zu wissen, ob die Suppe gut schmeckt, müssen Sie sie probieren. Aber hier ist der Haken: Sie können die Suppe nicht probieren, bevor Sie fertig gekocht haben, aber Sie können auch nicht perfekt kochen, wenn Sie ständig unterbrechen, um zu probieren.

In der Datenwissenschaft nennt man das Kreuzvalidierung (Cross-Validation). Sie teilen Ihre Daten in zwei Stapel auf:

Der Trainings-Stapel: Wird verwendet, um das Modell (den Koch) zu lehren, wie man die Suppe zubereitet.
Der Test-Stapel (Hold-out): Wird verwendet, um die Suppe zu probieren und zu sehen, ob sie wirklich gut ist.

Die Autoren argumentieren, dass Wissenschaftler jahrelang geraten haben, wie groß diese Stapel sein sollten. Meistens wählen sie einfach eine Standardregel, wie zum Beispiel „80 % für das Training, 20 % für den Test“ (oder die Aufteilung in 5 oder 10 Blöcke). Die Autoren sagen, das sei so, als würde ein Koch blind raten, wie viel Suppe er für die Verkostung aufheben soll, ohne zu wissen, ob er zuerst genug Zutaten hat, um eine gute Charge zu kochen.

Der Kompromiss: Kochen vs. Probieren

Die Arbeit identifiziert ein Tauziehen zwischen zwei konkurrierenden Bedürfnissen:

Mehr Training benötigen (Kleiner Test-Stapel): Wenn Sie dem Koch fast alle Zutaten zum Üben geben (einen winzigen Test-Stapel), wird er das Rezept sehr gut lernen. Die Suppe wird wahrscheinlich hervorragend schmecken. Aber, weil Sie nur einen winzigen Löffel zum Probieren haben, sind Sie sich nicht sicher, ob dieser eine Löffel repräsentativ für den ganzen Topf ist. Es könnte ein glücklicher Löffel oder ein schlechter sein. Ihre „Gewissheit“ ist gering.
Mehr Testen benötigen (Großer Test-Stapel): Wenn Sie eine große Schüssel Suppe zum Probieren aufsparen, können Sie sehr sicher sein, wie die Suppe schmeckt. Ihre „Gewissheit“ ist hoch. Aber der Koch hatte weniger Zutaten zum Kochen, daher könnte die Suppe selbst unterwürzig oder schlecht gemacht sein. Das Modell ist weniger genau.

Das Ziel der Arbeit: Den „Goldlöckchen-Punkt“ finden – die perfekte Größe für den Test-Stapel, die eine gut gekochte Suppe mit einem zuverlässigen Geschmackstest ausbalanciert.

Die geheime Zutat: „Irreduzibles Rauschen“ ( $\sigma^2$ )

Die Autoren entdeckten, dass die Antwort von etwas abhängt, das man Irreduzibles Rauschen nennt.

Denken Sie an dies als das „Chaos“ oder die „Zufälligkeit“ in Ihren Zutaten.

Geringes Rauschen: Stellen Sie sich vor, Sie backen einen Kuchen in einem perfekten Labor, in dem Temperatur und Luftfeuchtigkeit kontrolliert werden. Die Zutaten verhalten sich genau wie erwartet. Das „Rauschen“ ist niedrig.
Hohes Rauschen: Stellen Sie sich vor, Sie versuchen, das Wetter oder menschliches Verhalten vorherzusagen. Es gibt so viel Zufälligkeit, dass selbst ein perfektes Modell nicht zu 100 % sicher sein kann. Das „Rauschen“ ist hoch.

Die Arbeit behauptet, dass die Frage, wie sehr Sie Ihren Testergebnissen vertrauen können, davon abhängt, wie verrauscht Ihre Daten sind.

Wenn Ihre Daten sauber und vorhersehbar sind (geringes Rauschen), können Sie es sich leisten, dem Modell mehr Daten zum Lernen zu geben (den Test-Stapel kleiner zu machen), da die Ergebnisse stabil sind.
Wenn Ihre Daten unordentlich und chaotisch sind (hohes Rauschen), benötigen Sie einen größeren Test-Stapel, um sicher zu sein, dass das Modell nicht nur rät, selbst wenn das bedeutet, dass das Modell weniger Übung hatte.

Die Lösung: Ein „Regler“ statt eines Regelbuchs

Anstatt zu sagen: „Verwende immer 5-fache Kreuzvalidierung“, schlagen die Autoren eine neue Methode vor, bei der der Forscher wie ein Radiotechniker agiert.

Das Rauschen schätzen: Sie müssen entscheiden (oder schätzen), wie verrauscht Ihre Daten sind. Dies ist Ihr „Regler“.
Die Mathematik anwenden: Die Arbeit liefert eine Formel, die Ihr Rausch-Niveau nimmt und Ihnen die optimale Größe für Ihren Test-Stapel sagt.
Das Ergebnis: Sie erhalten eine Karte. Sie könnte sagen: „Wenn Ihre Daten sehr verrauscht sind, verwenden Sie eine 2-fache Aufteilung. Wenn sie sauber sind, eine 20-fache Aufteilung.“

Reale Beispiele aus der Arbeit

Die Autoren testeten dies an echten Daten, um zu beweisen, dass die „Einheitsgröße für alle“-Regel falsch ist.

Das Abalone-Beispiel (Meeresschnecke): Sie versuchten, das Alter von Meeresschnecken vorherzusagen.
- Für ein einfaches Modell (Lineare Regression) änderte sich die beste Testgröße stark, je nachdem, wie verrauscht sie die Daten annahmen.
- Für ein komplexes Modell (Random Forest) war die beste Testgröße wieder anders.
- Die Lektion: Die Verwendung derselben Testgröße für beide Modelle war irreführend. Das komplexe Modell brauchte mehr Übung (kleinerer Test-Stapel), während das einfache Modell mehr Gewissheit brauchte (größerer Test-Stapel).
Das Krebsmutation-Beispiel: Sie untersuchten genetische Daten, um Muster in Krebs zu finden.
- Als sie die Testgröße (den „K“-Wert) änderten, änderte sich die Liste der „wichtigen“ Krebsgene.
- Die Lektion: Eine winzige Änderung in der Art und Weise, wie Sie die Daten aufteilen, kann die wissenschaftliche Schlussfolgerung darüber verändern, welche Gene die Krankheit verursachen.

Warum das für jeden wichtig ist

Die Arbeit kommt zu dem Schluss, dass es keine einzige „beste“ Zahl für die Aufteilung von Daten gibt.

Für Wissenschaftler: Hören Sie auf, blind die „5-fache“ oder „10-fache“ Kreuzvalidierung zu verwenden. Sie müssen fragen: „Wie verrauscht sind meine Daten?“ und „Wie komplex ist mein Modell?“
Das Fazit: Die Entscheidung, wie Sie Ihre Daten aufteilen, ist eine wissenschaftliche Entscheidung, nicht nur eine Computereinstellung. Indem man die Annahme über das „Rauschen“ explizit macht, können Forscher vermeiden, falsche Schlussfolgerungen zu ziehen.

Kurz gesagt: Die Arbeit gibt Wissenschaftlern ein neues Werkzeug an die Hand, um aufzuhören zu raten und statしも die perfekte Balance zwischen dem Lehren eines Modells und dem Testen desselben zu berechnen, um sicherzustellen, dass ihre wissenschaftlichen Entdeckungen tatsächlich real sind und nicht nur ein Zufallsprodukt der Art und Weise, wie sie ihre Daten geschnitten haben.

Technisches Resümee: Optimale Größe des Hold-Out-Sets in der Kreuzvalidierung

Problemstellung

Die Kreuzvalidierung (CV) ist ein Standardverfahren zur Modellauswahl und Parameteroptimierung, doch die Wahl der Hold-Out-Größe (oder äquivalenterweise der Anzahl der Folds $K$ ) wird typischerweise durch Konventionen (z. B. $K=5, 10$ oder ein 80/20-Split) bestimmt, statt durch ein fundiertes Kriterium. Dieses Paper identifiziert einen grundlegenden Tradeoff, der im CV-Verfahren inhärent ist: Eine Erhöhung der Trainingsstichprobengröße ( $n$ ) verbessert die Modellgenauigkeit (Reduzierung des prädiktiven Bias), während eine Verringerung der Teststichprobengröße ( $m$ ) die Varianz (Unsicherheit) der Leistungsabschätzung erhöht.

In vielen modernen Kontexten – insbesondere bei flexiblen Modellen, hochdimensionalen Daten oder flachen Performance-Kurven – können geringfügige Änderungen in $K$ zu unterschiedlichen ausgewählten Modellen und divergierenden wissenschaftlichen Schlussfolgerungen führen, selbst wenn die geschätzten Verluste nahezu identisch sind. Das Kernproblem besteht darin, dass die Evaluationsunsicherheit in der $K$ -Fold-CV nicht universell aus beobachteten Daten ohne zusätzliche Annahmen abschätzbar ist (Bengio und Grandvalet, 2004), was Forscher ohne eine allgemeine, endliche, datensatzspezifische Regel zurücklässt, um Genauigkeit gegen Evaluationssicherheit abzuwägen.

Methodik

Die Autoren formalisieren die Auswahl der Hold-Out-Größe als ein Entscheidungsproblem, das auf reine prädiktive Leistung abzielt (Leistung bereinigt um den irreduziblen Rauschanteil) anstatt auf den rohen empirischen Verlust. Die Methodik gliedert sich in vier Hauptschritte:

1. Theoretische Charakterisierung der Unsicherheit

Das Paper leitet Ausdrücke für die Varianz des unverzerrten Schätzers des reinen Verlusts in endlichen Stichproben her.

Symmetrische Fehler: Unter der Annahme, dass die Fehler $\epsilon_i$ symmetrisch verteilt sind (z. B. Gauß-Verteilung), leiten die Autoren einen exakten Ausdruck für die Varianz des Verlusts ab.
Asymmetrische Fehler: Für allgemeine Fälle (z. B. Gamma-Verteilungen, binäre Ergebnisse) leiten sie eine konservative obere Schranke ab.
Zentrale Erkenntnis: Es wird gezeigt, dass die Varianz des Verlusts eine Funktion des Modell-Bias, des irreduziblen Fehlers ( $\sigma^2$ ) und der Hold-Out-Größe ( $m$ ) ist. Speziell skaliert die Varianz mit $1/m$ und dem quadrierten Modell-Bias. Die Autoren merken an, dass $K$ -Fold-CV korrelierte Verluste mittelt, die Varianz eines einzelnen Folds jedoch als gültige, konservative obere Schranke für die vollständige $K$ -Fold-Schätzung dient.

2. Mean-Variance Utility Framework

Um den optimalen Tradeoff zu bestimmen, nutzen die Autoren ein erwartungsnutzentheoretisches Framework nach von Neumann-Morgenstern. Sie definieren eine Nutzenfunktion, die sowohl den erwarteten Verlust als auch die Varianz dieses Verlusts bestraft:
$\text{Utility}(n, m) = - \left( E[\hat{L}_k] + \text{Var}[\hat{L}_k] \right)$
Diese Formulierung behandelt den Parameter des irreduziblen Rauschens $\sigma^2$ als einen steuerbaren „Regler“, der die Toleranz des Analysten gegenüber der Evaluationsunsicherheit widerspiegelt.

3. Schätzstrategie

Die vorgeschlagene Strategie zur Bestimmung des optimalen $m$ (und damit $K$ ) umfasst:

Schätzung der Verlustkurve: Schätzung des empirischen Vorhersageverlusts an drei Ankerpunkten: Leave-One-Out-CV ( $m \approx 1$ ), Leave-Most-Out-CV ( $m \approx N/2$ ) und einem Zwischenpunkt (z. B. 5-Fold), um eine Verlustkurve $E\hat{L}(m)$ als Funktion der Testset-Größe zu interpolieren.
Berechnung der Varianzkurve: Unter Verwendung der abgeleiteten theoretischen Schranken wird die Varianzkurve $V\hat{L}(m)$ als Funktion des geschätzten Verlusts und des angenommenen $\sigma^2$ berechnet.
Optimierung: Die optimale Hold-Out-Größe ist der Wert von $m$ , der die Summe aus dem geschätzten Verlust und seiner Varianzschranke minimiert (den Nutzen maximiert).

4. Die Pareto-Frontier

Durch Variation des angenommenen irreduziblen Rauschens $\sigma^2$ konstruieren die Autoren eine Pareto-Frontier. Diese Karte illustriert das optimale $K$ für verschiedene Rauschregime und ermöglicht es Forschern, zu visualisieren, wie sich der optimale Split basierend auf ihren Annahmen über die Datenqualität verändert.

Zentrale Ergebnisse

Empirische Analysen über mehrere Domänen hinweg (Biologie, Werkstofftechnik, Sozialwissenschaften) und Modelle (lineare Regression, Random Forests) liefern die folgenden Erkenntnisse:

Kontextabhängigkeit: Das optimale $K$ ist nicht universell; es variiert signifikant basierend auf dem spezifischen Datensatz, der Modellklasse und dem angenommenen Niveau des irreduziblen Rauschens.
Modellkomplexität: Komplexe Modelle (z. B. Random Forests) erfordern im Allgemeinen größere Trainingssets (kleineres $K$ ), um den Bias zu reduzen, während einfachere Modelle (z. B. lineare Regression) größere Testsets (größeres $K$ ) tolerieren können, um die Evaluationsvarianz zu reduzieren.
Versagen von Konventionen: Konventionelle Entscheidungen (z. B. $K=5$ ) sind oft suboptimal. In mehreren Experimenten war $K=5$ nie die optimale Wahl für komplexe Modelle, und für einfache Modelle war es nur unter spezifischen Rauschannahmen optimal.
Reverse Engineering von $\sigma^2$ : Das Framework ermöglicht es Forschern, das implizite Rauschniveau zu „rückwärts zu entwickeln“, das durch einen konventionellen Split vorausgesetzt wird. Die Autoren fanden heraus, dass Standard-Splits oft Rauschniveaus implizieren, die inkonsistent mit der beobachteten Modellleistung sind (z. B. implizieren sie ein $\sigma^2$ , das zu hoch ist, um den beobachteten niedrigen Fehler zu rechtfertigen), was darauf hindeutet, dass konventionelle $K$ -Wahlen für spezifische Probleme ungeeignet sein können.
Wissenschaftliche Auswirkungen: In einer hochdimensionalen Genomik-Anwendung (TCGA-Mutationssignatur-Attribution) änderte die Wahl von $K$ den Satz der „verlässlich präsenten“ Mutationssignaturen. Regime mit hoher Unsicherheit (die ein kleines $K$ bevorzugen) schlossen Signaturen aus, die unter Regime mit niedriger Unsicherheit (die ein größeres $K$ bevorzugen) detektiert wurden, was zeigt, dass $K$ als Hebel für Sparsamkeit (Sparsity) und nachgeschaltete wissenschaftliche Inferenz fungiert.

Bedeutung und Ansprüche

Das Paper beansprucht, die „Einheitslösung“ der Kreuzvalidierung durch ein kontextspezifisches, annahmenexplizites Framework zu ersetzen. Seine primären Beiträge sind:

Expliziter Tradeoff: Es macht den impliziten Tradeoff zwischen Trainingsgenauigkeit und Evaluationssicherheit explizit und bietet eine transparente, nutzenbasierte Regel für die Auswahl von $K$ .
Endliche-Stichproben-Theorie: Es liefert exakte Varianzausdrücke für endliche Stichproben (unter Symmetrie) sowie allgemeine obere Schranken und adresset damit eine Lücke, in der bisherige Theorien nur asymptotische Beschreibungen oder spezifische Fallanleitungen boten.
Diagnosewerkzeug: Durch die Behandlung von $\sigma^2$ als Parameter ermöglicht das Framework eine Sensitivitätsanalyse. Forscher können robuste Bereiche von $K$ identifizieren, in denen Schlussfolgerungen über verschiedene Rauschannahmen hinweg Bestand haben, oder erkennen, wenn ein konventioneller Split ein unrealistisches Rauschen impliziert.
Wissenschaftliche Stringenz: Die Autoren argumentieren, dass da die CV oft Teil der Inferenzkette ist (welche Variablen oder Mechanismen „gestützt“ werden), die Wahl von $K$ eine wissenschaftliche Entscheidung sein muss, die mit dem Domänenwissen über die Datenqualität übereinstimmt, anstatt eine Standard-Recheneinstellung zu sein.

Das Paper kommt zu dem Schluss, dass, obwohl exakte optimale $K$ -Werte universell schwer festzulegen sind, das Framework zeigt, dass optimale Splits selten mit extremen Konventionen (wie LOOCV oder 2-Fold) übereinstimmen und selten feste Werte wie 5 oder 10 über alle Kontexte hinweg einnehmen. Stattdessen sollten Forscher reasonable Bereiche für die Hold-Out-Größe identifizieren, die auf ihre spezifischen Daten und Modellcharakteristika zugeschnitten sind.