🧬 biology

An Entropy-based Coefficient of Determination with Adjustment of Optimization Bias

Dit artikel introduceert een op entropie gebaseerde determinatiecoëfficiënt ( $R^2$ ) die gebruikmaakt van Entropische Variantie om een schaalonafhankelijke, distributie-agnostische maatstaf voor modelpassing te bieden, wat een robuust alternatief vormt voor klassieke metrieken die lijden onder inflatie van steekproefomvang en afhankelijkheid van coördinatenschaal, terwijl het de foutontdekkingspercentages bij variabeleselectie aanzienlijk vermindert.

Oorspronkelijke auteurs: Longhai Li

Gepubliceerd 2026-08-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Longhai Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt een heel lastig hulpmiddel: een vergrootglas dat steeds groter wordt naarmate je meer aanwijzingen vindt. In de wereld van de statistiek is dit hulpmiddel de "steekproefomvang". Meestal is meer data een goed ding—het helpt ons de waarheid duidelijker te zien. Maar in de wereld van wetenschappelijk onderzoek heeft dit vergrootglas een foutje. Als je naar een enorme berg data kijkt, kan zelfs het kleinste, betekenisloze stofje eruitzien als een gigantisch, gloeiend buitenaards artefact. Dit is de "crisis van de statistische significantie". Wetenschappers vinden dingen die "statistisch significant" zijn (wat betekent dat ze zeker geen willekeurige ruis zijn), maar die in het echte leven zo minuscuul zijn dat ze er totaal niet toe doen. Het is alsof je te horen krijgt dat je een prijs hebt gewonnen, om er vervolgens achter te komen dat de prijs een enkel korreltje zand is.

Om dit op te lossen, proberen onderzoekers meestal de "grootte" van het effect te meten, en niet alleen het bestaan ervan. Ze willen weten: "Is deze aanwijzing echt nuttig, of is het slechts een klein stipje?" Het bekendste hulpmiddel hiervoor wordt $R^2$ (R-kwadraat genoemd. Denk aan $R^2$ als een scorekaart die je vertelt hoeveel van het mysterie je model heeft opgelost. Als je score 100% is, heb je de zaak gekraakt. Als het 0% is, ben je aan het gokken. Maar hier is het probleem: de oude scorekaarten waren gebouwd voor eenvoudige, rechte puzzels. Wanneer wetenschappers ze gingen gebruiken voor complexe, gebogen of vreemd gevormde data (zoals de patronen van bacteriën in onze darmen), gingen de scorekaarten kapot. Ze gaven scores die negatief waren, of scores die veranderden simpelweg omdat je besloot de zaken in andere eenheden te meten (zoals het overschakelen van inches naar centimeters). Het was als een liniaal die een andere lengte aangeeft afhankelijk van of je hem met je linker- of rechterhand vasthoudt.

Dit artikel introduceert een gloednieuwe, superintelligente scorekaart genaamd de Entropy-based Coefficient of Determination (of EV- $R^2$ ). De auteur, Longhai Li, realiseerde zich dat in plaats van de "spreiding" van data te meten zoals een traditionele liniaal dat doet, we de "volume" van de informatie zelf moeten meten. Stel je voor dat je data een gaswolk is. Oude methoden probeerden de wolk te meten door naar de gemiddelde hoogte te kijken. Deze nieuwe methode meet de werkelijke ruimte die de wolk inneemt. Als je model goed is, perst het die wolk samen tot een kleine, dichte bal. Als je model slecht is, blijft de wolk groot en pluizig. Deze nieuwe scorekaart, die de auteur $R^2_{SV}$ en $R^2_{SVP}$ noemt, is speciaal omdat het niet geeft om de eenheden die je gebruikt, en het heeft een ingebouwde "leugendetector" die voorkomt dat je enthousiast wordt over valse aanwijzingen.

Het artikel stelt vast dat deze nieuwe methode een gamechanger is voor het selecteren van de juiste variabelen in een model. In een reeks computersimulaties heeft de auteur deze nieuwe scorekaart getest tegen de oude manieren van doen. Wanneer ze de oude methoden gebruikten op een enorme dataset met veel ruis, faalde de "leugendetector" en bleef het model nutteloze variabelen toevoegen, denkende dat ze belangrijk waren. De foutontdekkingsgraad (het percentage keren dat het model een valse aanwijzing koos) was een enorme 80%. Maar toen ze de nieuwe EV- $R^2$ scorekaart gebruikten, daalde die rate naar slechts 6%, terwijl ze nog steeds de echte, belangrijke aanwijzingen behielden. Het is alsof je overstapt van een detective die elk glimmend voorwerp oppakt naar een die alleen de voorwerpen oppakt die daadwerkelijk de zaak oplossen.

Het artikel paste dit ook toe op een echt wereldmysterie: de ziekte van Parkinson en de bacteriën die in onze darmen leven. Wanneer de onderzoekers de oude "interne" methode gebruikten (waarbij ze dezelfde data gebruikten om de aanwijzingen te vinden en ze vervolgens te controleren), vonden ze ongeveer 20 bacteriële aanwijzingen en beweerden ze dat het model 81% van het mysterie verklaarde. Het klonk geweldig, maar het was waarschijnlijk een fata morgana veroorzaakt doordat de data zichzelf voor de gek hield. Echter, wanneer ze de nieuwe methode gebruikten met een strikte "data-splitting" regel (waarbij ze één set data gebruikten om aanwijzingen te vinden en een volledig andere set om ze te controleren), kromp het model in tot slechts 4 cruciale bacteriële aanwijzingen. De nieuwe scorekaart toonde een realistischere verklaring van 34%. Dit suggereert dat de oude methode extreem overmoedig was, terwijl de nieuwe methode een veel eerlijker, meer geworteld antwoord gaf.

De auteur is zeer zeker over de wiskunde achter deze nieuwe scorekaart. Ze hebben niet gewoon gegokt; ze hebben bewezen dat deze nieuwe manier van meten een specifiek, voorspelbaar patroon volgt (een F-verdeling) waardoor ze exacte waarschijnlijkheden en betrouwbaarheidsintervallen kunnen berekenen. Ze hebben aangetoond dat deze nieuwe methode perfect werkt voor eenvoudige lineaire modellen (waarbij de klassieke resultaten worden hersteld), maar ook de kapotte scorekaarten voor complexe, niet-lineaire modellen repareert. Ze hebben ook gedemonstreerd dat, in tegen tegenstelling tot de oude methoden, deze nieuwe scorekaart hetzelfde blijft, zelfs als je de manier waarop je de data meet verandert (zoals het overschakelen van Celsius naar Fahrenheit), wat een enorme zaak is voor het waarborgen dat wetenschappers appels met appels vergelijken.

Kortom, dit artikel biedt een nieuwe, eerlijkere manier om te meten hoe goed een model de wereld verklaart. Het voorkomt dat we worden gefopt door enorme datasets die minuscule dingen groot laten lijken, en het helpt ons de echte, betekenisvolle patronen te vinden in complexe data zoals ons microbioom. Het is niet alleen een nieuwe formule; het is een nieuwe manier van denken over wat het betekent om een statistisch mysterie te "oplossen", zodat we zeker weten dat wanneer we zeggen dat we een doorbraak hebben gevonden, we dat ook echt menen.

Technische Samenvatting: Een entropie-gebaseerde determinatiecoëfficiënt met aanpassing van optimalisatiebias

Probleemstelling
Het artikel behandelt de "crisis van statistische significantie" in toegepast onderzoek, waarbij klassieke likelihood-ratio-testen (LRT) en informatiecriteria zoals $\Delta$ AIC meeschalen met de steekproefomvang, waardoor verwaarloosbare verbeteringen in grote datasets routinematig als zeer significant worden aangemerkt. Hoewel causale estimanden zoals het Average Treatment Effect (ATE) proberen de praktische grootte te kwantificeren, zijn zij afhankelijk van de verwachtingsoperator ( $\mathbb{E}$ ), wat hen koppelt aan de oorspronkelijke coördinaatschaal van de data en hen kwetsbaar maakt voor niet-lineaire transformaties.

Bestaande pseudo- $R^2$ -metrieken slagen er niet adequaat in deze problemen op te lossen:

Variantie-gebaseerde maten (bijv. Efron's $R^2$ , Gelman's $R^2$ ) negeren verbeteringen in hogere-orde distributies (bijv. heteroscedasticiteit, zware staarten) en missen invariantie onder monotone transformaties.
Entropie-gebaseerde maten (bijv. McFadden's $R^2$ , Cox & Snell's $R^2$ ) stuiten op geometrische paradoxen in continue domeinen. Differentiele entropie is onder onbegrensd, wat leidt tot metrieken die de $[0, 1]$ -grenzen kunnen schenden of een gebrek aan schaalinvariantie vertonen omdat lineaire ratio's van cross-entropie gevoelig zijn voor additieve constanten die worden geïntroduceerd door veranderingen in eenheden.
Optimalisatiebias: Standaard schatters lijden vaak aan trainingsoptimisme (overfitting), en bestaande kaders missen een rigoureuze inferentiële machinerie voor eindige steekproeven (bijv. $p$ -waarden, betrouwbaarheidsintervallen) die geen onhandelbare Fisher-informatiematrices vereist.

Methodologie
De auteur stelt een kader voor gebaseerd op Entropische Variantie (EV), gedefinieerd als de dubbel geëxponentieerde cross-entropie ( $v = \exp(2h)$ ). Zij stellen dat EV, in plaats van entropie zelf, de rigoureuze generalisatie biedt van de Ordinary Least Squares (OLS) residuvariantie voor reguliere parametrische families.

Populatie-definities:
- Entropische Variantie ( $\nu^*$ ): Gedefinieerd als het geometrisch gemiddelde van individuele EVs over de populatie.
- Populatie Effectgrootte ( $\rho^2_V$ ): De proportionele reductie in EV tussen een beperkt model ( $\mathcal{M}_0$ ) en een vollediger model ( $\mathcal{M}_1$ ): $\rho^2_V = 1 - \nu^*_1 / \nu^*_0$ .
- Standaardisatie ( $\rho^2_{SV}$ ): Voor discrete uitkomsten wordt een correctiefactor toegepast om ervoor te zorgen dat de metriek het bereik $[0, 1]$ beslaat, zelfs wanneer het nulmodel een lage entropie heeft.
Geometrische Interpretatie:
- Het artikel stelt vast dat $\rho^2_V$ de proportionele reductie vertegenwoordigt in het kwadraat van het effectieve aantal toestanden (voor discrete data) of het kwadraat van het geometrisch gemiddelde van kernelvolumes (voor continue data).
- Cruciaal is dat $\rho^2_V$ strikt invariant is onder strikt monotone transformaties van de afhankelijke variabele, een eigenschap die noch bij variantie-gebaseerde, noch bij standaard entropie-gebaseerde metrieken aanwezig is.
Schatters en Bias-correctie:
- $R^2_V$ : Een empirische schatter die corrigeert voor optimalisme in de eindige steekproeftraining door een vrijheidsgraden-straf ( $n-p$ ) toe te passen op de empirische EV, analoog aan de onbevooroordeelde variantieschatter in OLS.
- $R^2_{SVP}$ : Een out-of-sample predictieve schatter die een kwadratische complexiteitstraf toepast om zowel training-deflatie als predictieve inflatie te compenseren.
Inferentieel Kader:
- De auteur leidt de distributie af van de empirische Entropische Variantie Signaal-Ruisverhouding (EV-SNR).
- Zij stellen vast dat de statistiek $F_V = \frac{n-p_1}{k} \hat{SNR}_V$ asymptotisch de niet-centrale $F$ -verdeling volgt ( $F_{k, n-p_1}(\lambda_V)$ ), waarbij $k$ het verschil is in het aantal parameters.
- Dit maakt de berekening van verfijnde $p$ -waarden en continue betrouwbaarheidsintervallen voor $\rho^2_V$ mogelijk zonder dat complexe afleidingen van de Fisher-informatiematrix nodig zijn.

Belangrijkste Resultaten

Theoretische Unificatie: Het artikel toont aan dat het EV-kader de klassieke OLS-theorie exact herstelt (het herstelt RSS, adjusted $R^2$ en de ANOVA $F$ -test) wanneer het wordt toegepast op Gaussische lineaire modellen.
Simulatiestudies:
- In logistische regressie-simulaties levert de voorgestelde $F_V$ -test substantieel lagere Type I-foutpercentages op vergeleken met traditionele $\chi^2$ - en Mahalanobis-afstand ( $F_{MD}$ ) testen.
- Variabele selectie met behulp van $R^2_{SVP}$ (met een drempelwaarde van $\ge 0,05$ ) reduceert de False Discovery Rate (FDR) drastisch van 80% (onder standaard LASSO-CV) naar 6%, terwijl een hoge recall van ware signalen behouden blijft.
- De schatters vertonen robuuste eigenschappen in eindige steefproeven, waarbij betrouwbaarheidsintervallen nominale dekking bereiken.
Real-world Toepassing (Parkinsonziekte Microbioom):
- Toegepast op een darmmicrobioom-dataset ( $n=328$ ), maakte de methode gebruik van een strikte data-splitting benadering om variabele ordening (LASSO) te scheiden van evaluatie.
- De methode identificeerde een biologisch interpreteerbaar model met slechts vier voorspellers (inclusclusief Roseburia, Lactobacillus, Bacteroidales en een leeftijd-geslacht interactie) dat een realistische out-of-sample $R^2_{SV}$ van 34% behaalde.
- In contrast hiermee produceerde de interne evaluatie (het gebruik van dezelfde data voor selectie en evaluatie) een opgeblazen $R^2_{SV}$ van 81% met ongeveer 20 voorspellers, wat de ernst van de optimalisatiebias illustreert.

Betekenis en Claims
Het artikel claimt de langdurige paradoxen in het definiëren van een universeel toepasbare voorspellende effectgrootte op te lossen door de focus te verschuiven van ruwe entropie naar Entropische Variantie. De primaire bijdragen zijn:

Schaalonafhankelijkheid: Het bieden van een dimensieloze maat voor effectgrootte die invariant is onder monotone transformaties, in tegen tegenstelling tot variatie-gebaseerde of standaard entropie-gebaseerde metrieken.
Inferentiële Rigor: Het vestigen van een verenigde inferentiële machinerie gebaseerd op de $F_V$ -distributie, wat precieze $p$ -waarden en betrouwbaarheidsintervallen voor effectgroottes mogelijk maakt voor algemene reguliere parametrische families zonder complexe analytische afleidingen.
Praktisch Nut: Aantonen dat het evalueren van modellen via de voorspellende effectgrootte ( $R^2_{SVP}$ ) in plaats van statistische significantie of ongepenaliseerde informatiecriteria leidt tot superieure variabele selectie, wat het aantal foutieve ontdekkingen in hoog-dimensionale settings aanzienlijk vermindert.

De auteur positioneert dit werk als een brug tussen abstracte informatietheorie en praktische modelevaluatie, een robuust criterium voor variabele selectie dat geworteld is in praktische voorspellende bruikbaarheid in plaats van louter statistische detecteerbaarheid. Zij merken op dat toekomstig werk nodig is om het kader te generaliseren naar singuliere likelihoods (bijv. Bayesiaanse inferentie, gepenaliseerde regressie met pre-selectie) waar eenvoudige parameter-telling ( $p$ ) mogelijk onvoldoende is.

Technische Samenvatting: Een entropie-gebaseerde determinatiecoëfficiënt met aanpassing van optimalisatiebias

Meer zoals dit