Technische Samenvatting: Optimale Hold-out Grootte in Cross-validatie

Probleemstelling

Cross-validatie (CV) is een standaardprocedure voor modelselectie en parametertuning, maar de keuze van de grootte van de hold-out (of equivalent de het aantal folds $K$) wordt doorgaans bepaald door conventie (bijv. $K=5, 10$, of een 80/20 split) in plaats van door een principieel criterium. Dit artikel identificeert een fundamentele afweging die inherent is aan de CV-procedure: het vergroten van de trainingssteekproefomvang ($n$) verbetert de nauwkeurigheid van het model (vermindert de predictieve bias), terwijl het verkleinen van de teststeekproefomvang ($m$) de variantie (onzekerheid) van de prestatieschatting vergroot.

In veel moderne contexten—met name bij flexibele modellen, hoogdimensionele data of vlakke prestatiecurven—kunnen kleine veranderingen in $K$ leiden tot verschillende geselecteerde modellen en uiteenlopende wetenschappelijke conclusies, zelfs wanneer de geschatte verliezen nagenoeg identiek zijn. Het kernprobleంలో is dat de evaluatie-onzekerheid in $K$-fold CV niet universeel schatbaar is vanuit geobserveerde data zonder aanvullende aannames (Bengio en Grandvalet, 2004), waardoor onderzoekers zonder een algemene, eindige-steekproef-specifieke regel achterblijven om nauwkeurigheid tegenover evaluatiezekerheid af te wegen.

Methodologie

De auteurs formaliseren de selectie van de hold-out grootte als een besluitvormingsprobleem gericht op pure predictieve prestaties (prestaties minus de irreducibele ruis) in plaats van de ruwe empirische loss. De methodologie verloopt via vier hoofdstappen:

1. Theoretische Karakterisering van Onzekerheid

Het artikel leidt uitdrukkingen voor de variantie van de unbiased estimator van de pure loss af voor eindige steekproeven.

• Symmetrische Fouten: Onder de aanname dat fouten $\epsilon_i$ symmetrisch verdeeld zijn (bijv. Gaussisch), leiden de auteurs een exacte uitdrukking af voor de variantie van de loss.
• Asymmetrische Fouten: Voor algemene gevallen (bijv. Gamma-verdelingen, binaire uitkomsten) leiden zij een conservatieve bovengrens af.
• Kerninzicht: De variantie van de loss wordt aangetoond een functie te zijn van de modelbias, de irreducibele fout ($\sigma^2$) en de hold-out grootte ($m$). Specifiek schaalt de variantie met $1/m$ en de gekwadrateerde modelbias. De auteurs merken op dat hoewel $K$-fold CV gecorreleerde losses middelt, de variantie van een enkele fold dient als een geldige, conservatieve bovengrens voor de volledige $K$-fold schatting.

2. Mean-Variance Utility Framework

Om de optimale afweging te bepalen, hanteren de auteurs een von Neumann-Morgenstern verwachte nutskader. Zij definiëren een nutfunctie die zowel de verwachte loss als de variantie van die loss bestraft:
$$\text{Utility}(n, m) = - \left( E[\hat{L}_k] + \text{Var}[\hat{L}_k] \right)$$
Deze formulering behandelt de irreducibele ruisparameter $\sigma^2$ als een instelbare "knop" die de tolerantie van de analist voor evaluatie-onzekerheid reflecteert.

3. Schattingsstrategie

De voorgestelde strategie om de optimale $m$ (en daarmee $K$) te vinden, omvat:

1. Loss Curve Estimatie: Het schatten van de empirische predictieve loss op drie ankerpunten: Leave-One-Out CV ($m \approx 1$), Leave-Most-Out CV ($m \approx N/2$), en een tussenliggend punt (bijv. 5-fold). Deze punten worden gebruikt om een loss-curve $E\hat{L}(m)$ te interpoleren als een functie van de testsetgrootte.
2. Variance Curve Berekening: Gebruikmakend van de afgeleide theoretische grenzen, wordt de variantie-curve $V\hat{L}(m)$ berekend als een functie van de geschatte loss en de aangenomen $\sigma^2$.
3. Optimalisatie: De optimale hold-out grootte is de waarde van $m$ die de som van de geschatte loss en de variantie-bovengrens minimaliseert (het maximaliseren van het nut).

4. De Pareto Frontier

Door de aangenomen irreducibele ruis $\sigma^2$ te variëren, construeren de auteurs een Pareto-front. Deze kaart illustreert de optimale $K$ voor verschillende ruisregimes, waardoor onderzoekers kunnen visualiseren hoe de optimale split verandert op basis van hun aannames over de datakwaliteit.

Belangrijkste Resultaten

Empirische analyses over meerdere domeinen (biologie, materiaalkunde, sociale wetenschappen) en modellen (lineaire regressie, random forests) leveren de volgende bevindingen op:

• Contextafhankelijkheid: De optimale $K$ is niet universeel; deze varieert aanzienlijk op basis van de specifieke dataset, de modelklasse en het aangenomen niveau van irreducibele ruis.
• Modelcomplexiteit: Complexe modellen (bijv. Random Forests) vereisen over het algemeen grotere trainingssets (kleinere $K$) om bias te verminderen, terwijl eenvoudigere modellen (bijv. Lineaire Regressie) grotere testsets (grotere $K$) kunnen tolereren om de evaluatie-variantie te verminderen.
• Falen van Conventies: Conventionele keuzes (bijv. $K=5$) zijn vaak suboptimal. In verschillende experimenten was $K=5$ nooit de optimale keuze voor complexe modellen, en voor eenvoudige modellen was het alleen optimaal onder specifieke ruisaannames.
• Reverse Engineering van $\sigma^2$: Het framework maakt het mogelijk om het impliciete ruisniveau te "reverse engineeren" dat door een conventionele split wordt aangenomen. De auteurs vonden dat standaard splits vaak ruisniveaus impliceren die inconsistent zijn met de geobserveerde modelprestaties (bijv. impliceren dat $\sigma^2$ te hoog is voor de data om de geobserveerde lage fout te ondersteunen), wat suggereert dat conventionele $K$-keuzes ongepast kunnen zijn voor specifieke problemen.
• Wetenschappelijke Impact: In een hoogdimensionele genomics-toepassing (TCGA mutational signature attribution) veranderde de keuze van $K$ de set van "betrouwbaar aanwezige" mutatie-signatures. Regimes met hoge onzekerheid (die een kleine $K$ bevoordelen) sloten signatures uit die werden gedetecteerd onder regimes met lage onzekerheid (die een grotere $K$ bevoordelen), wat aantoont dat $K$ fungeert als een hendel op sparsity en downstream wetenschappelijke inferentie.

Betekenis en Claims

Het artikel claimt de "one-size-fits-all" conventie van cross-validatie te vervangen door een context-specifiek, aanname-expliciet framework. De primaire bijdragen zijn:

1. Expliciete Afweging: Het maakt de impliciete afweging tussen trainingsnauwkeurigheid en evaluatiezekerheid expliciet, en biedt een transparante, op nut gebaseerde regel voor het selecteren van $K$.
2. Eindige-Steekproef Theorie: Het biedt exacte variantie-uitdrukkingen voor eindige steekproeven (onder symmetrie) en algemene bovengrenzen, waarmee een gat wordt gedicht waar eerdere theorie slechts asymptotische beschrijvingen of specifieke casus-begeleiding bood.
3. Diagnostisch Instrument: Door $\sigma^2$ als een parameter te behandelen, maakt het framework sensitiviteitsanalyse mogelijk. Onderzoekers kunnen robuuste bereiken van $K$ identificeren waar conclusies standhouden over verschillende ruisaannames heen, of detecteren wanneer een conventionele split een onrealistisch ruisniveau impliceert.
4. Wetenschappelijke Rigor: De auteurs betogen dat aangezien CV vaak deel uitmaakt van de inferentiële pijplijn (het bepalen welke variabelen of mechanismen worden "ondersteund"), de keuze van $K$ een wetenschappelijke beslissing moet zijn die is afgestemd op domeinkennis over datakwaliteit, in plaats van een standaard computationele instelling.

Het artikel concludeert dat hoewel exacte optimale $K$-waarden moeilijk universeel vast te stellen zijn, het framework aantoont dat optimale splits zelden overeenkomen met extreme conventies (zo zoals LOOCV of 2-fold) en zelden vaststaan op standaardwaarden zoals 5 of 10 in alle contexten. In plaats daarvan zouden onderzoekers redelijke bereiken van hold-out groottes moeten identificeren die zijn afgestemd op hun specifieke data en modelkenmerken.