Robust Random Forests for Genomic Prediction: Challenges and Remedies

Deze studie toont aan dat het toepassen van robuuste Random Forests, met name via rangschikkingstransformaties, de voorspellingsprestaties in de genomische selectie aanzienlijk verbetert bij verontreinigde data, terwijl voor schone data de standaardmethode de voorkeur behoudt.

De kern

Titel: Hoe je een slimme voorspeller beschermt tegen "verpestende" data

Stel je voor dat je een zeer slimme, maar soms wat naïeve voorspeller hebt. Laten we hem Rob de Bos noemen (een verwijzing naar Random Forests, of 'Willekeurige Bossen'). Rob is een meester in het voorspellen van dingen, zoals hoe groot een koe zal worden of hoeveel graan een tarweplant zal opleveren. Hij kijkt naar duizenden kleine aanwijzingen (DNA) in de data om zijn voorspellingen te doen.

Maar Rob heeft een zwak punt: hij is erg gevoelig voor rotte appels.

Het Probleem: De Rotte Appels in de Mand

In de echte wereld is data nooit perfect. Soms zijn er meetfouten, soms is een dier ziek door een onbekende ziekte, en soms is er gewoon een menselijke vergissing bij het invullen van een formulier. In de statistiek noemen we dit verontreiniging (contamination).

Stel je voor dat je Rob een mand vol appels geeft om te leren hoe zwaar ze zijn.

• Normaal: De appels wegen tussen de 100 en 200 gram.
• Verontreinigd: Iemand heeft per ongeluk een bakstenen appel van 5 kilo in de mand gegooid, of een appel die door een vreemde ziekte slechts 10 gram weegt.

Omdat Rob zo'n goede leerling is, probeert hij die baksteen en die lichte appel ook mee te nemen in zijn berekening. Hierdoor raakt hij in de war. Hij denkt dat appels soms zomaar 5 kilo kunnen wegen, en zijn voorspellingen voor de rest van de appels worden daardoor onnauwkeurig. Hij wordt "geblindeerd" door die uitschieters.

De Oplossing: Een Nieuwe Aanpak

De onderzoekers in dit paper hebben gezocht naar manieren om Rob te beschermen tegen die rotte appels, zonder zijn intelligentie te verliezen. Ze hebben verschillende methoden getest, alsof ze verschillende soorten handschoenen of brillen voor Rob uitproberen.

Hier zijn de drie belangrijkste strategieën die ze hebben gevonden:

1. De "Ranking"-Bril (De ranglijst-methode)

In plaats van te kijken naar het exacte gewicht van een appel (bijv. 150 gram), zegt deze methode tegen Rob: "Kijk niet naar de cijfers, maar kijk alleen naar de volgorde."

• Voorbeeld: "Deze appel is zwaarder dan die ene, en die weer zwaarder dan de volgende."
• Waarom het werkt: Als er een baksteen in de mand ligt, maakt dat niet uit voor de volgorde van de normale appels. De baksteen staat gewoon bovenaan de lijst, maar de appels eronder blijven in dezelfde volgorde staan. Rob kan dan rustig zijn werk doen zonder door de baksteen verward te worden.
• Resultaat: Dit was een van de beste methoden. Het is simpel, werkt altijd goed en is heel betrouwbaar.

2. De "Gewicht"-Bril (De afwegings-methode)

Hierbij krijgt Rob een bril waardoor hij bepaalde appels minder zwaar vindt. Als een appel er heel raar uitziet (een uitschieter), krijgt hij een laag gewicht in de berekening.

• Voorbeeld: "Die baksteen? Die telt maar voor 10% mee."
• Waarom het werkt: Het helpt als de baksteen niet te dominant wordt.
• Het gevaar: Soms werkt dit niet goed. Als je de baksteen te veel afweegt, maar de normale appels ook een beetje, dan verandert de volgorde van de appels onterecht. Het is een gevaarlijk spelletje: als je de weegschaal niet perfect instelt, kun je de goede appels juist verkeerd beoordelen.

3. De "Transformatie"-Bril (Het omvormen)

Soms veranderen ze de appels zelf voordat Rob ze ziet. Ze knijpen de grote appels een beetje samen en rekken de kleine uit, zodat ze allemaal meer op elkaar lijken.

• Resultaat: Dit werkt ook heel goed, maar het is iets complexer dan de ranglijst-methode.

Wat leerden ze uiteindelijk?

De onderzoekers hebben dit getest op simpele computersimulaties en op echte data van koeien, kippen, maïs en muizen. Hier zijn de belangrijkste lessen, vertaald naar alledaags taal:

1. Geen "één oplossing voor alles": Als de data schoon en perfect is (geen bakstenen in de mand), is de standaard Rob de beste. Hij is dan het snelst en het nauwkeurigst. Je hoeft hem niet te beschermen als er geen gevaar is.
2. Wanneer is bescherming nodig? Als je vermoedt dat er fouten in de data zitten (bijvoorbeeld omdat een dier ziek was, of omdat iemand een getal verkeerd heeft ingetypt), dan moet je Rob een van die speciale brillen opzetten.
3. De beste keuze: De ranglijst-methode (de "Ranking"-bril) is de veiligste en meest betrouwbare optie. Hij werkt bijna altijd goed, maakt weinig fouten en is makkelijk toe te passen.
4. Voorzichtigheid met gewichten: De methode waarbij je appels "lichter" maakt (gewicht-methode) kan geweldig werken, maar alleen als je heel precies weet hoe je dat doet. Als je het verkeerd doet, kun je de voorspellingen juist verslechteren.

De Conclusie voor Boeren en Wetenschappers

Stel je voor dat je een boer bent die wil weten welke koeien de beste melk geven.

• Als je zeker weet dat je meetapparatuur perfect is en je data schoon is: Gebruik de standaard Rob.
• Maar als je denkt: "Hm, die ene koe gaf plotseling heel veel melk, misschien is dat een meetfout?" of "Er zijn veel onbekende factoren in het veld": Dan is het slim om Rob een ranglijst-bril op te zetten.

Zo voorkom je dat je door één rare meetfout je hele selectie van de beste dieren verkeerd beoordeelt. Het is als het hebben van een back-upplan: je hoopt dat je het niet nodig hebt, maar als er een storm opkomt, wil je die paraplu zeker hebben.

Kortom: Rob de Bos is een geweldige voorspeller, maar hij moet soms worden beschermd tegen de rotte appels in de data. De beste manier om dat te doen, is door te kijken naar de volgorde van de appels in plaats van hun exacte gewicht.

Technische samenvatting

Probleemstelling

Genomische selectie (GS) en voorspelling (GP) zijn cruciaal in de plant- en dierveredeling, waarbij machine learning-methode zoals Random Forests (RF) worden ingezet om complexe kwantitatieve eigenschappen te voorspellen op basis van duizenden genetische markers (SNP's). Hoewel RF flexibel is, is het kwetsbaar voor data-contaminatie. Dit omvat opnamefouten, extreme uitschieters, en onopgemerkte biologische of omgevingsinvloeden die leiden tot afwijkingen van de normale verdeling.

In hoge dimensies kunnen dergelijke contaminaties de prestaties van standaard RF-modellen ernstig ondermijnen door:

1. Bias in voorspellingen: De gemiddelde-waarde (mean) die centraal staat bij het splitsen van knopen en het aggregeren van boomvoorspellingen, is zeer gevoelig voor uitschieters.
2. Instabiliteit: Bootstrap-steekproeven kunnen oververtegenwoordiging van vervuilde waarden bevatten, wat leidt tot vertekende bomen.
3. Verlies van voorspellende nauwkeurigheid: Zowel de rangorde (cruciaal voor selectie) als de absolute voorspellingsfouten (cruciaal voor schatting van fenotypen) kunnen verslechteren.

Het artikel stelt dat er een gebrek is aan robuuste varianten van ML-methoden specifiek ontworpen voor genomische voorspelling in deze context.

Methodologie

De auteurs evalueren en ontwikkelen een raamwerk om Random Forests robuuster te maken tegen contaminatie. Ze gebruiken een combinatie van gesimuleerde data (een populatie van rundvee voor de QTLMAS-workshop 2012) en vier realistische datasets (maïs, soja, tarwe en muizen).

1. Simulatie-ontwerp:

• Contaminatiemodellen: Er wordt gebruik gemaakt van het $\epsilon$-contaminatiekader van Huber. Een klein percentage ($\epsilon = 2\%, 5\%, 10\%$) van de observaties wordt vervangen door waarden uit een vervuilende verdeling $G$.
• Contaminatietypes:
  • Shift: Verschuiving van het gemiddelde (bijv. ziekte of stress).
  • Variance-inflated: Verhoogde variantie (bijv. heterogene omstandigheden).
  • Variance-deflated (centraal en staart): Waarden geconcentreerd rond het gemiddelde of op één extreme waarde (bijv. meetfouten of rounding).

2. Robustificatiestrategieën:
De auteurs testen zes preprocessing-benaderingen en vier algoritmische benaderingen, evenals hybride combinaties:

• Preprocessing (Data-transformatie):
  • Rank-transformatie (RF-k): Vervanging van waarden door hun rangorde, gevolgd door lineaire interpolatie bij terugtransformatie.
  • Winsorization: Vervanging van extreme waarden door percentielen.
  • Box-Cox & Yeo-Johnson transformaties: Om de verdeling normaler te maken, inclusief robuuste varianten die het centrum normaliseren.
  • Rouwweging (Robust weighting): Down-weighten van uitschieters op basis van M-schatting (Huber-verlies).
• Algoritmische aanpassingen:
  • Robust bootstrapping: Steekproeven met gewichten om vervuilde observaties minder vaak te selecteren.
  • Robust splitting: Gebruik van Absolute Deviation (MAE) in plaats van Mean Squared Error (MSE) voor het kiezen van splitsen.
  • Robust aggregatie: Gebruik van de mediaan of kwantielen in plaats van het gemiddelde voor het samenvoegen van boomvoorspellingen.
• Hybride strategieën: Combinatie van de beste preprocessing-methode met de beste algoritmische methode (bijv. Rank + Mediaan).

3. Evaluatie:
Een sequentiële screeningstrategie wordt toegepast. Methoden die onder een bepaalde drempel van voorspellende nauwkeurigheid (PA $\ge$ 0.6) zakken, worden verworpen. De beste methoden worden vervolgens getest op "breakdown points" (tot 25% contaminatie) en gevalideerd op de realistische datasets.

Belangrijkste Bijdragen

1. Systematische Evaluatie: Een uitgebreide vergelijking van diverse robustificatiestrategieën specifiek voor genomische voorspelling, waarbij zowel simulatie als real-world data wordt gebruikt.
2. Identificatie van de "Winnaar": De studie concludeert dat data-transformatie (preprocessing) de meest effectieve strategie is, en dat deze superieur is aan puur algoritmische aanpassingen.
3. Hybride Aanpak: De ontwikkeling van hybride modellen (vooral Rank-transformatie + Mediaan-aggregatie en Gewichten + Mediaan-aggregatie) die een uitstekend compromis bieden tussen efficiëntie op schone data en robuustheid bij vervuiling.
4. Praktische Richtlijnen: Een raamwerk voor veredelaars om te beslissen wanneer robuuste methoden nodig zijn (bij twijfel over datakwaliteit) versus wanneer standaard RF voldoende is.

Resultaten

• Impact van Contaminatie: Standaard RF presteert sterk onder schone omstandigheden, maar degradeert drastisch bij contaminatie. Vooral variance-inflated contaminatie leidt tot een verlies van voorspellende nauwkeurigheid (PA) tot wel 62%, en shift-contaminatie leidt tot grote fouten in de absolute voorspelling.
• Prestatie van Robuste Methoden:
  • Preprocessing (Rank & Gewichten): Deze methoden behouden de rangorde (PA) het beste onder contaminatie. Rank-transformatie (RF-k) en Robuuste Weging (RF-w) behielden zelfs bij hoge contaminatieniveaus een PA boven de 0.7.
  • Algoritmisch: Mediaan-aggregatie (RF-m) verlaagt de absolute fouten (PE) goed, maar behoudt de rangorde iets minder goed dan preprocessing.
  • Hybride: De hybride modellen (bijv. RF-w-m) tonen de beste algehele stabiliteit. Ze verliezen nauwelijks prestatie op schone data (kleine efficiëntiekost) maar zijn extreem robuust bij vervuiling, waarbij ze de degradatie van standaard RF bijna volledig neutraliseren.
• Real Data Validatie: Op echte datasets (planten en dieren) presteerde standaard RF vaak het beste of vergelijkbaar met de robuuste varianten. Dit komt doordat in real-world data de testset dezelfde "ruis" bevat als de trainingsset; een model dat de ruwe verdeling exact volgt, presteert hier goed op de testset. Echter, bij eigenschappen met duidelijke afwijkingen (zoals maïs-oorhoogte) of waar de onderliggende biologische signalen hersteld moeten worden, tonen robuuste methoden (vooral RF-k) hun meerwaarde.
• Selectie van Elite Genotypen: Voor het selecteren van de beste individuen (top 5-10%) zijn de robuuste methoden (vooral rank-gebaseerd) zeer betrouwbaar en leveren ze een vergelijkbare selectie op als standaard RF, zelfs bij vervuiling.

Betekenis en Conclusie

Het artikel concludeert dat robuustheid niet universeel noodzakelijk is, maar wel cruciaal wanneer er sprake is van significante data-contaminatie die de link tussen de waargenomen respons en het voorspellingsdoel (de onderliggende genetische waarde) vervormt.

• Aanbeveling: Standaard Random Forest moet de standaard blijven voor schone data. Echter, wanneer contaminatie waarschijnlijk is (bijv. door meetfouten, fenotypische corruptie of train-deploy mismatch), moeten robuuste varianten naast de standaard RF worden gefit.
• Beste Praktijk: De Rank-transformatie (RF-k) wordt aanbevolen als de meest betrouwbare eerste optie voor robuuste voorspelling. Gewichtsgebaseerde methoden (RF-w) moeten met voorzichtigheid worden gebruikt en alleen wanneer de weging de rangorde van de data behoudt.
• Toekomst: De voorgestelde raamwerk is generiek en toepasbaar op andere machine learning-methoden, wat een belangrijke stap is voor het verbeteren van de betrouwbaarheid van genomische selectie in de praktijk.