Random Forests as Statistical Procedures: Design, Variance, and Dependence

Dit artikel ontwikkelt een theoretisch kader voor random forests dat de totale voorspellingsonzekerheid in interpreteerbare componenten ontdekt, waardoor procedure-gealigneerde synthetische resampling (PASR) kan worden gebruikt om nauwkeurige voorspellingsintervallen en betrouwbaarheidsintervallen te construeren die rekening houden met de onvermijdelijke covariantie tussen bomen.

De kern

Random Forests: Waarom een menigte niet altijd slimmer is dan één persoon (en hoe we dat oplossen)

Stel je voor dat je een groep vrienden vraagt om de prijs van een huis te schatten. Als je dit aan één persoon vraagt, kan die het mis hebben. Maar als je het aan 100 vrienden vraagt en hun antwoorden middelt, krijg je waarschijnlijk een veel nauwkeuriger schatting. Dit is het idee achter Random Forests (Willekeurige Bossen), een populaire techniek in kunstmatige intelligentie.

Maar er zit een addertje onder het gras, en dit artikel legt uit wat dat is en hoe we het oplossen.

1. Het probleem: De "Zwakke Link" in de menigte

In de wereld van data-wetenschap wordt vaak gedacht: "Hoe meer bomen (of vrienden) in het bos, hoe beter." Als je genoeg bomen hebt, zou de voorspelling perfect moeten zijn, toch?

De auteur van dit artikel, Nathaniel O'Connell, zegt: "Nee, niet helemaal."

Zelfs als je oneindig veel bomen hebt, blijft er een zekere onzekerheid over. Waarom? Omdat de bomen niet echt onafhankelijk van elkaar denken. Ze kijken allemaal naar dezelfde data.

Stel je voor dat je 100 vrienden vraagt om een huis te taxeren, maar je geeft ze allemaal exact dezelfde foto van de tuin en exact dezelfde lijst met kamers.

• Methode A (Observatiehergebruik): Als er een fout in de foto zit (bijvoorbeeld een vlek die lijkt op een muurschildering), zullen alle vrienden die fout zien en dezelfde fout maken. Ze "hergebruiken" dezelfde fout.
• Methode B (Patroonherkenning): Zelfs als je elke vriend een andere foto geeft, zullen ze allemaal naar dezelfde grote boom in de tuin kijken en zeggen: "O, dat is een eik." Ze vinden allemaal hetzelfde patroon. Ze denken op dezelfde manier, omdat de regels van de natuur (de data) hetzelfde zijn.

Dit noemen de auteurs de "Vloer van de Covariantie" (Covariance Floor). Het is een onzichtbare bodem onder je voorspelling. Je kunt de onzekerheid niet wegwerken door simpelweg meer bomen toe te voegen, omdat ze allemaal aan dezelfde "bodem" vastzitten.

2. De oplossing: Een nieuwe manier om te meten

Vroeger dachten wetenschappers: "Laten we gewoon de variatie tussen de bomen meten." Maar dat werkt niet goed als je al een kant-en-klare "bos" hebt die je wilt gebruiken. Je weet niet hoe onzeker die specifieke voorspelling is.

De auteur introduceert een slimme truc genaamd PASR (Procedure-Aligned Synthetic Resampling).

De analogie van de "Proefkeuken":
Stel je hebt een chef-kok (het bos) die een gerecht heeft bedacht. Je wilt weten hoe consistent die kok is.

• De oude manier: Je vraagt de kok om het gerecht 100 keer te maken en kijkt hoe veel ze varieert.
• De PASR-methode: De chef maakt het gerecht een keer. Dan nemen wij de receptuur die de chef heeft gebruikt (de data en de regels) en laten we een robot (de synthetische data) het gerecht 100 keer opnieuw maken, alsof de chef het opnieuw zou doen.

Door te kijken hoe de robot varieert op basis van hetzelfde recept, kunnen we precies meten hoe onzeker de oorspronkelijke chef was. Dit geeft ons een eerlijk beeld van de onzekerheid, zelfs als we maar één keer hebben gekookt.

3. Wat levert dit op?

Met deze nieuwe methode kunnen we nu twee dingen doen die voorheen bijna onmogelijk waren:

1. Voor continue getallen (zoals huizenprijzen): We kunnen nu zeggen: "De prijs is €300.000, en we zijn er 95% zeker van dat het tussen €290.000 en €310.000 ligt." En het mooie is: deze schatting is veilig conservatief. Als we het niet weten, zeggen we liever dat het breder is dan dat we het te smal maken.
2. Voor ja/nee vragen (zoals "Zal het morgen regenen?"): Dit is het echte doorbraakmoment. Voorheen hadden we geen goede manier om de onzekerheid van een kansvoorspelling (bijv. "80% kans op regen") te meten. Met PASR kunnen we nu eindelijk zeggen: "De kans is 80%, en de marge van fout is X." Dit is de eerste keer dat dit theoretisch onderbouwd kan worden voor een kant-en-klaar model.

Samenvatting in één zin

Dit artikel laat zien dat een "Willekeurig Bos" van bomen niet onfeilbaar is omdat de bomen vaak op dezelfde manier denken; met een slimme nieuwe meetmethode (PASR) kunnen we nu eindelijk precies zien hoe onzeker die voorspelling echt is, zodat we niet blindelings op de computer kunnen vertrouwen.

Kortom: We hebben een nieuwe meetlat gevonden om de twijfel in de machine te meten, zodat we weten wanneer we de voorspelling kunnen vertrouwen en wanneer we beter even dubbelchecken.

Technische samenvatting

Titel: Random Forests als Statistische Procedures: Ontwerp, Variantie en Afhankelijkheid

1. Het Probleem

Sinds hun introductie door Breiman (2001) worden Random Forests (RF) voornamelijk beschouwd als algoritmen of grote-steekproef benaderingen, in plaats van als statistische procedures met een strikt eindsteekproef-theoretisch fundament. Bestaande theorieën focussen voornamelijk op steekproefvariantie (hoe de voorspelling verandert bij herhaald trekken van trainingsdata uit de populatie).

Er is echter een cruciaal gat in de huidige literatuur:

• Procedurele variantie: Er ontbreekt een analyse van de variabiliteit die wordt geïntroduceerd door het randomisatieproces van het algoritme zelf op een vast dataset.
• Covariantievloer (Covariance Floor): Bestaande methoden voor variantieschatting (zoals de Infinitesimal Jackknife of U-statistieken) kunnen de totale onzekerheid van een ingezette (deployed) voorspelling niet kwantificeren. Ze negeren een structurele component van variantie die zelfs blijft bestaan bij oneindige aggregatie van bomen.
• Klassificatie: Voor classificatie (voorspelde kansen) bestaat er geen methode om puntsgewijze betrouwbaarheidsintervallen te geven voor de geschatte voorwaardelijke waarschijnlijkheid $\hat{p}(x)$ van een ingezette forest.

2. Methodologie en Theoretisch Kader

De auteur presenteert een eindsteekproef, ontwerp-gebaseerde theorie waarbij de covariaten $X$ als vast worden beschouwd en de variabiliteit wordt geanalyseerd onder de gezamenlijke randomisatie van de uitkomsten $Y|X$ en het boom-generatie mechanisme $\theta$.

A. Variatie Decompositie
De totale variantie van een Random Forest voorspeller $\hat{f}_B(x)$ wordt ontbonden in twee componenten:

1. Monte Carlo variantie: Vermindert met het aantal bomen $B$ ($\propto 1/B$).
2. Structuurafhankelijkheid (Covariantievloer): Een component die niet verdwijnt bij oneindige aggregatie ($B \to \infty$).

De exacte variantie-identiteit luidt:
$$\text{Var}(\hat{f}_B(x) | X) = \frac{1}{B}\sigma^2_T(x) + \frac{B-1}{B}C_T(x)$$
Waarbij $C_T(x)$ de covariantievloer is.

B. Mechanismen van Afhankelijkheid
De paper identificeert twee mechanismen die deze covariantievloer veroorzaken:

1. Observatie-hergebruik (Observation Reuse): Dezelfde trainingsuitkomsten krijgen gewicht in meerdere bomen.
2. Partitie-uitlijning (Partition Alignment): Zelfs als bomen op disjuncte datasets worden getraind (geen overlap), kunnen ze door de onderliggende signaalstructuur tot vergelijkbare splitsingen komen. Hierdoor worden uitkomsten uit dezelfde subpopulatie van de covariatenruimte gemiddeld, wat leidt tot correlatie in de voorspellingen zonder dat er gedeelde observaties zijn.

C. Procedure-gealigneerde Synthetische Resampling (PASR)
Om de covariantievloer $C_T(x)$ te schatten, introduceert de auteur PASR:

• Principe: Genereer synthetische uitkomstvectoren $Y^{(r)}$ uit het gefitte model van de forest (in plaats van de ware populatie).
• Proces:
  1. Fit een forest op de originele data.
  2. Genereer $R$ synthetische datasets $Y^{(r)}$ gebaseerd op de geschatte voorwaardelijke verdeling $\hat{P}_n(Y|X)$.
  3. Voor elke synthetische dataset, fit twee onafhankelijke forests (met verschillende randomisatie-zaden).
  4. Bereken de covariantie tussen de voorspellingen van deze twee forests over de $R$ replicaties.
• Voordeel: Omdat de twee forests onafhankelijk zijn gegeven de synthetische data, heffen de Monte Carlo-fouten elkaar op in de kruisproducten, waardoor een onbevooroordeelde schatting van de vloer wordt verkregen.

3. Belangrijkste Bijdragen

1. Theoretische Decompositie: Bewijs dat de variantie van een Random Forest bestaat uit een afnemend Monte Carlo-gedeelte en een structurele "vloer" die onvermijdelijk is door het ontwerp van het algoritme.
2. Strict Positiviteit: Bewijs dat de covariantievloer strikt positief is zolang er enige kans is dat een observatie in meerdere bomen wordt gebruikt, of dat er uitlijning plaatsvindt.
3. PASR Schatter: Een nieuwe, praktische methode om deze vloer te schatten zonder asymptotische aannames of herhaling van steekproeven uit de populatie.
4. Onzekerheidskwantificatie voor Classificatie: Voor het eerst worden puntsgewijze betrouwbaarheidsintervallen geboden voor voorspelde kansen ($\hat{p}(x)$) van een ingezette classificatie-forest.
5. Ontwerp-variantie Trade-off: Inzicht in hoe hyperparameters (zoals het aantal kandidaat-splitsingen $q$ en steekproefgrootte $p_{obs}$) de resolutie en de afhankelijkheid beïnvloeden.

4. Resultaten

De methode is geëvalueerd via uitgebreide simulaties (36 scenario's) met variaties in steekproefgrootte ($n$), dimensionaliteit ($p$), en uitkomsttypes (continu en binair).

• Schattingseigenschappen:

  • Continue uitkomsten: De PASR-schatting is conservatief (neigt tot over-schatting van de variantie). Dit komt door de "nuisance gap" (fouten in het schatten van de voorwaardelijke variantie), wat resulteert in veiligere (breedere) intervallen.
  • Binaire uitkomsten: De schatter is asymptotisch onbevooroordeeld ($O(n^{-2})$ bias). De methode levert zeer nauwkeurige schattingen van de covariantievloer voor kansen.
  • Hoogdimensionaliteit: Zelfs in stress-tests waar $n=p=200$ (en de nuisance-schatting moeilijk is), degradeert de methode "gracefully" (geleidelijk) en behoudt de conservatieve aard voor continue uitkomsten.

• Interval Dekking:

  • Voorspellingsintervallen (continu) en betrouwbaarheidsintervallen (binair) die gebaseerd zijn op de PASR-variantie decompositie, bereiken nominale dekking (bijv. ~95%).
  • Vergelijking met Infinitesimal Jackknife (IJ): Bestaande methoden (IJ) onderschatten de variantie aanzienlijk omdat ze de covariantievloer negeren.
    • Voor continue uitkomsten: IJ dekt ~90% (onderdekking).
    • Voor binaire uitkomsten: IJ dekt slechts ~78% (ernstige onderdekking), omdat de vloer een groot deel van de totale variantie uitmaakt voor kansen.

5. Significatie en Conclusie

Dit artikel verschuift het perspectief op Random Forests van puur algoritmisch naar een fundamenteel statistisch procedure. De belangrijkste implicaties zijn:

• Totale Onzekerheid: Practici kunnen nu de totale onzekerheid van een voorspelling kwantificeren, inclusief de onzekerheid die inherent is aan het trainingsproces van de forest zelf, niet alleen de steekproeffout.
• Betrouwbare Classificatie: Het biedt de eerste theoretisch onderbouwde manier om betrouwbaarheidsintervallen te berekenen voor voorspelde kansen, wat essentieel is voor risicobewust decision-making.
• Ontwerp-Optimalisatie: Het inzicht in de "resolutie-afhankelijkheid" trade-off helpt bij het kiezen van hyperparameters. Meer randomisatie (bijv. minder kandidaat-splitsingen) vermindert de afhankelijkheid (verlaagt de vloer) maar kan de resolutie verminderen.
• Generaliseerbaarheid: De theorie is niet beperkt tot standaard Random Forests, maar is van toepassing op elke boom-ensemble met een uitwisselbaar boom-generatie mechanisme (zoals Honest Forests, Survival Forests), maar niet op Boosting (waar bomen sequentieel afhankelijk zijn).

Kortom, de paper levert een robuust theoretisch en praktisch kader om de onzekerheid van Random Forests nauwkeurig te meten en te interpreteren, wat een lang gekoesterde beperking in de toepassing van deze methoden oplost.