Occam's bias undermines inferences from phylogenetic linear models

Deze studie waarschuwt dat 'Occam's bias' in fylogenetische lineaire modellen tot misleidende conclusies kan leiden en pleit daarom voor het gebruik van multi-respons modellen die alle causale relaties tussen voorspellers expliciet meenemen.

De kern

Titel: Waarom "Minder is Meer" in de biologie soms juist "Minder waar" betekent

Stel je voor dat je een detective bent die probeert uit te zoeken waarom bepaalde dieren uitsterven. Je hebt een lijst met verdachten: hoe groot ze zijn, hoeveel jongen ze krijgen en hoe groot hun leefgebied is. Je wilt weten welke van deze drie de schuldige is.

In de wetenschap gebruiken onderzoekers vaak een simpele manier om dit te berekenen: ze kijken naar één ding tegelijk (bijvoorbeeld: "Hoe groot is het dier?") en proberen te voorspellen of het dier in gevaar is. Ze noemen dit een enkelvoudig model. Ze denken dan: "Als ik nog een verdachte toevoeg aan mijn lijst (bijvoorbeeld 'hoeveel jongen ze krijgen'), wordt mijn analyse alleen maar beter en nauwkeuriger."

Maar, volgens dit nieuwe onderzoek, is dat een valstrik. De auteurs noemen dit "Occam's Bias" (een knipoog naar de filosofische regel "Occam's Razor", die zegt dat de eenvoudigste verklaring vaak de juiste is). Hier is het probleem: in de biologie is de werkelijkheid zelden simpel.

De Analogie van de Drie Vrienden

Stel je drie vrienden voor: Lars (Grootte), Femke (Aantal jongen) en Gijs (Leefgebied).

• Lars en Femke zijn goede vrienden; als Lars groot is, is Femke vaak ook groot (of juist klein, afhankelijk van de soort).
• Femke en Gijs zijn ook goede vrienden.
• Maar Lars en Gijs kennen elkaar nauwelijks; ze hebben geen directe band.

Nu komt de detective (de onderzoeker) en vraagt: "Wie is de oorzaak van het probleem?"

De foutieve aanpak (Het Enkelvoudige Model):
De detective kijkt alleen naar Lars en Femke. Hij ziet dat Lars en Femke veel met elkaar te maken hebben. Maar omdat hij Femke niet in zijn analyse heeft meegenomen als een 'vriend' van Lars, denkt hij dat Lars de enige schuldige is. Of nog erger: als hij Femke wel toevoegt, maar niet begrijpt dat Femke ook een vriend is van Gijs, kan het lijken alsof Lars geen invloed heeft, terwijl hij dat wel heeft.

In de statistiek noemen ze dit Occam's Bias. Het gebeurt als je te veel variabelen toevoegt zonder te begrijpen hoe die variabelen onderling met elkaar verbonden zijn. Door te proberen alles te "controleren" (door meer variabelen toe te voegen), verdraai je de werkelijke oorzaak. Het is alsof je probeert het geluid van één instrument in een orkest te horen, maar je luistert naar het hele orkest zonder te weten dat de fluitist en de trompettist precies hetzelfde spelen. Je denkt dan dat de trompettist harder speelt dan hij eigenlijk doet, of juist stil is.

Wat hebben ze ontdekt?

De onderzoekers keken naar bijna 14.000 soorten dieren (amfibieën, reptielen, vogels en zoogdieren) om te zien welke eigenschappen leiden tot uitsterven.

1. Het oude verhaal (Enkelvoudige modellen): Als je alleen kijkt naar de grootte van het dier, krijg je vaak vreemde resultaten. Bijvoorbeeld: "Grote dieren sterven sneller uit." Maar als je dan ook kijkt naar hoeveel jongen ze krijgen, verdwijnt dat effect plotseling of draait het zelfs om!
2. Het nieuwe verhaal (Meervoudige modellen): De onderzoekers gebruikten een slimmere methode (een meervoudig model). Ze keken naar alle variabelen tegelijk en hielden rekening met hoe ze met elkaar verbonden zijn.
   • Het resultaat: Het bleek dat de grootte van het dier wél belangrijk is, maar op een heel specifieke manier. Bij koudbloedige dieren (zoals hagedissen) is een grote lichaamsgrootte juist gevaarlijk. Bij warmbloedige dieren (zoals vogels en zoogdieren) is een grote lichaamsgrootte juist een voordeel.
   • De oude methoden hadden dit onderscheid gemist omdat ze de "vrienden" van de variabelen (de onderlinge relaties) niet goed hadden begrepen.

Waarom is dit belangrijk voor jou?

Dit onderzoek zegt eigenlijk: "Stop met denken dat meer variabelen toevoegen automatisch een beter antwoord geeft."

In de wetenschap (en in het dagelijks leven) denken we vaak: "Als ik meer informatie heb, moet ik het beter weten." Maar dit papier laat zien dat als je die informatie niet in de juiste context plaatst (door te kijken naar hoe de stukken van de puzzel met elkaar verbonden zijn), je juist een verkeerd beeld krijgt.

• De les: Als je een complex probleem probeert op te lossen (zoals waarom dieren uitsterven), moet je niet alleen kijken naar de oorzaak en het gevolg. Je moet ook kijken naar de "achterdochter" die de oorzaak beïnvloedt.
• De oplossing: Gebruik modellen die alle paden tegelijk bekijken, in plaats van ze één voor één te testen.

Samenvattend in één zin:

Het is alsof je probeert te begrijpen waarom een auto stopt door alleen naar de rempedaal te kijken, terwijl je vergeet dat de bestuurder ook op de koppeling trapt; als je dat laatste niet meetelt, denk je dat de rempedaal niet werkt, terwijl hij dat wel doet.

De onderzoekers roepen de wetenschappelijke wereld op om te stoppen met het gebruik van die simpele, eenzijdige modellen en te gaan werken met complexe modellen die de volledige waarheid van de natuur weergeven.

Technische samenvatting

Probleemstelling: Occam's Bias in Phylogenetische Modellen

De auteurs introduceren een nieuw statistisch concept genaamd 'Occam's bias'. Dit is een statistische vertekening die optreedt wanneer phylogenetische lineaire modellen (PLM) minder oorzaak-gevolgverbindingen bevatten dan de onderliggende biologische theorie voorspelt.

Traditioneel worden phylogenetische analyses uitgevoerd met Single-Response (SR) modellen (meervoudige lineaire regressie), waarbij één responsvariabele wordt gerelateerd aan meerdere voorspellers, zonder expliciet de relaties tussen die voorspellers te modelleren.

• Het kernprobleem: In biologische systemen zijn voorspellers (bijv. levensgeschiedeniskenmerken zoals lichaamsgrootte, vruchtbaarheid en verspreidingsgebied) vaak onderling correlated door complexe feedbacklussen en gedeelde evolutionaire oorzaken.
• De consequentie: Wanneer deze onderlinge relaties worden genegeerd in SR-modellen, worden ze "impliciet" verwerkt via de partiële correlatiemechanismen. Dit leidt tot vertekende regressiecoëfficiënten, waardoor significante relaties kunnen worden gevonden waar geen enkele is (Type I-fouten), of echte relaties kunnen worden gemaskeerd (Type II-fouten).
• De paradox: Het toevoegen van meer covariaten (voorspellers) om het model te "controleren", verergert dit probleem kwadratisch. Terwijl het aantal voorspellers lineair toeneemt, groeit het aantal niet-gemodelleerde indirecte paden kwadratisch ($y = (x^2-x)/2$).

Methodologie

De studie combineert theoretische simulaties met een empirische case study om de impact van Occam's bias te kwantificeren.

1. Data

• Dataset: Een nieuwe database van 13.949 soorten tetrapoden (amfibieën, hagedissen, zoogdieren en vogels).
• Variabelen:
  • Respons: Extinctierisico (binair: bedreigd vs. niet-bedreigd, gebaseerd op IUCN-lijsten).
  • Voorspellers (Levensgeschiedenis): Lichaamsmassa, vruchtbaarheid (eier- of jongenaantallen) en geografisch verspreidingsgebied.
• Fylogenie: Gebruik van consensusbomen (supertrees) voor elke groep, gegenereerd via bestaande databases (bijv. Jetz & Pyron, Phylacine, Birdtree).

2. Statistische Benadering
De auteurs vergelijkt twee modelstructuren binnen een Bayesiaanse phylogenetische gegeneraliseerde lineaire gemengde modellering (MCMCglmm):

• Single-Response (SR) Modellen: Regressie van extinctierisico op verschillende combinaties van levensgeschiedenisvariabelen. Hier worden relaties tussen voorspellers niet expliciet gemodelleerd.
• Multiple-Response (MR) Modellen: Een "volledig verzadigd" model waarbij alle variabelen (extinctierisico én de drie levensgeschiedeniskenmerken) simultaan als responsvariabelen worden gemodelleerd. Dit gebruikt een ongestructureerde variantie-covariantiematrix om zowel phylogenetische als residuale covariantie tussen alle variabeleparen expliciet te schatten.

3. Simulaties

• Er werden gesimuleerde datasets gegenereerd met drie eigenschappen (Trait 1, 2, 3) waarbij de correlatie tussen Trait 1 en 2 nul was, maar Trait 3 gecorreleerd was met beide.
• De auteurs deriveerden een "Occam's bias ongelijkheid" om de numerieke voorwaarden te definiëren waaronder SR-modellen valse significantie produceren:
  $$|r_{13} \cdot r_{23}| > t_{kritisch} \cdot \frac{1}{\sqrt{n - k - 1}} \cdot \sqrt{(1 - r_{13}^2)(1 - r_{23}^2)}$$
  Waarbij $r_{13}$ en $r_{23}$ de correlaties zijn tussen de voorspellers en $n$ de steekproefgrootte.

Belangrijkste Bijdragen

1. Conceptuele Innovatie: De definitie en formalisering van "Occam's bias" als een specifiek probleem in phylogenetische regressie, veroorzaakt door het negeren van onderlinge voorspeller-relaties.
2. Wiskundige Onderbouwing: Het afleiden van een ongelijkheid die voorspelt wanneer en waarom SR-modellen falen, zelfs bij correlaties die onder de drempel van multicollineariteit (r < 0,7) liggen.
3. Methodologische Advocatie: Een sterk pleidooi voor de overstap van SR-modellen naar Multiple-Response (MR) modellen in de evolutionaire biologie om causale paden correct te scheiden.

Resultaten

1. Simulatie-resultaten:

• Toename van Fouten: De kans op valse significantie (Type I-fouten) neemt toe naarmate de steekproefgrootte ($n$) toeneemt en de onderlinge correlaties tussen voorspellers sterker worden.
• Grootte van de Bias: Bij grote datasets (bijv. $n=5000$) zijn zelfs zeer zwakke correlaties tussen voorspellers voldoende om valse significante relaties te creëren in SR-modellen.
• Richtingverandering: De bias kan niet alleen de significantie beïnvloeden, maar ook de richting van de coëfficiënt omkeren (van positief naar negatief en vice versa), afhankelijk van de tekens van de onderlinge correlaties.
• MR-modellen: In tegenstelling tot SR-modellen vertoonden MR-modellen geen systematische bias; valse significantie was willekeurig en gerelateerd aan meervoudig toetsen.

2. Empirische Case Study (Extinctierisico):

• SR vs. MR: SR-modellen leverden tegenstrijdige en vaak biologisch onlogische resultaten op. Bijvoorbeeld: in SR-modellen bleek vruchtbaarheid geen significante invloed te hebben op extinctierisico, en de relatie tussen lichaamsgrootte en risico varieerde onvoorspelbaar tussen groepen.
• MR-resultaten: Het MR-model, dat de onderlinge relaties tussen lichaamsgrootte, vruchtbaarheid en verspreidingsgebied expliciet modelleerde, leverde resultaten op die consistent waren met evolutionaire theorie:
  • Ectothermen: Grotere lichaamsgrootte verhoogt het extinctierisico.
  • Endothermen: Grotere lichaamsgrootte verlaagt het extinctierisico.
  • Algemeen: Een afname in vruchtbaarheid en verspreidingsgebied verhoogt het extinctierisico.
• Modelvergelijking: Curieus genoeg hadden de SR-modellen met de "beste" voorspellende prestaties (lage DIC-waarden) de minst biologisch relevante inferenties, wat aantoont dat modelselectiecriteria op basis van voorspelling niet noodzakelijk geldig zijn voor causale inferentie.

Significantie en Conclusie

De studie concludeert dat Occam's bias een fundamentele bedreiging vormt voor de betrouwbaarheid van inferenties in de evolutionaire ecologie en fylogenetische vergelijkende methoden.

• Kritische Implicatie: Veel bestaande studies die SR-modellen gebruiken om complexe evolutionaire hypotheses te testen, zijn waarschijnlijk vertekend. De toevoeging van covariaten om "controle" te bieden, kan in feite de inferentie verergeren.
• Aanbeveling: De auteurs dringen aan op een herwaardering van de huidige standaardpraktijk. In plaats van SR-modellen, moeten Multiple-Response (MR) modellen (of andere structuren die alle causale paden expliciet modelleren) worden gebruikt.
• Toekomstperspectief: Dit vereist verdere ontwikkeling van Bayesiaanse MR-methoden in phylogenetische contexten, maar biedt de enige weg naar biologisch interpreteerbare en statistisch robuuste resultaten die de complexiteit van evolutionaire processen eerlijk weergeven.

Kortom, het artikel waarschuwt dat "simpelheid" (Occam's razor) in de vorm van het negeren van onderlinge voorspeller-relaties in phylogenetische regressie leidt tot een "bias" die de wetenschappelijke waarheid verdraait, en pleit voor complexere, maar meer accurate, modelstructuren.