Feature Dimensionality Outweighs Model Complexity in Breast Cancer Subtype Classification Using TCGA-BRCA Gene Expression Data

Technische Samenvatting: Feature-dimensie weegt zwaarder dan modelcomplexiteit bij classificatie van borstkankersubtypen

Probleemstelling
Een accurate classificatie van moleculaire subtypen van borstkanker (Luminaal A, Luminaal B, HER2-verrijkt, Basaal-achtig en Normaal-achtig) is cruciaal voor klinische besluitvorming. Het gebruik van genexpressiedata (specifiek TCGA-BRCA RNA-seq-data) voor deze taak vormt echter een uitdaging van het type "kleine $n$, grote $p$": het dataset bevat 20.518 gen-features maar slechts 981 samples. Deze hoge dimensionaliteit ten opzichte van de steekproefomvang verhoogt het risico op overfitting, met name voor complexe machine learning-modellen. Bovendien vertoont het dataset een significante class-ongelijkheid, waarbij Luminaal A meer dan de helft van de samples uitmaakt en het Normaal-achtige subtype een kleine minderheid vertegenwoordigt. Traditionele evaluatiemetrieken zoals nauwkeurigheid (accuracy) verdoezelen vaak een slechte prestatie op deze minderheidsclassen, wat leidt tot misleidende conclusies over de bruikbaarheid van het model.

Methodologie
De studie evalueert systematisch de interactie tussen modelcomplexiteit en feature-dimensionaliteit aan de hand van drie classificeerders met toenemende complexiteit:

1. Logistische Regressie (LR): Een lineair model met L2-regularisatie.
2. Random Forest (RF): Een ensemble-methode met 500 schatters.
3. Support Vector Machine (SVM): Een niet-lineair model met een RBF-kernel.

Experimenteel Ontwerp:

• Dataset: 981 TCGA-BRCA samples met 20.518 genexpressie-features.
• Feature-selectie: Er werd een op variantie gebaseerde heuristiek toegepast. Genen werden gerangschikt op variantie binnen de trainingsfold, en de top $N$ genen werden geselecteerd, waarbij $N \in \{50, 75, 100, 1000, 20518\}$. Deze selectie werd onafhankelijk uitgevoerd binnen elke cross-validatiefold om datalekken te voorkomen.
• Validatie: Gestratificeerde 5-voudige cross-validatie werd gebruikt om de verdeling van subtypen te behouden.
• Evaluatiemetrieken: Hoewel nauwkeurigheid werd gerapporteerd, werd de Macro F1-score aangewezen als primaire metriek om een gelijke weging van alle subtypen, inclusief minderheidsclassen, te waarborgen. Per-subtype F1-scores werden eveneens geanalyseerd om specifieke faalmodi te identificeren.

Belangrijkste Resultaten

• Modelprestaties: Logistische Regressie behaalde consistent de hoogste Macro F1-scores (variërend van 0,65 tot 0,80), wat de meest gebalanceerde prestatie over alle subtypen aantoont. Random Forest behaalde een vergelijkbare algehele nauwkeurigheid als LR, maar aanzienlijk lagere Macro F1-scores (dalend tot ~0,61–0,70), wat wijst op een bias ten gunste van dominante klassen (Luminaal A) en een slechte prestatie op minderheidsclassen zoals BRCA Normaal (F1 $\approx$ 0,21). SVM vertoonde concurrerende prestaties bij intermediaire feature-groottes (1.000 genen), maar degradeerde aanzienlijk bij volledige dimensionaliteit (20.518 genen).
• Feature-dimensionaliteit: De prestaties voor alle modellen verbeterden naarmate het aantal features toenam van 50 tot 1.000, wat suggereert dat sterk variabele genen het essentiële subtypediscriminerende signaal vangen. Echter, prestatiewinsten plateausen boven de 1.000 genen. Opmerkelijk is dat de SVM-prestaties afnamen bij hogere dimensionaliteit, wat de gevoeligheid bevestigt voor grote feature-ruimtes in situaties met kleine steekproeven.
• Subtype-specifiek gedrag: BRCA Basaal en Luminaal A werden consistent geclassificeerd met hoge F1-scores over alle modellen heen. Daarentegen vertoonden BRCA Normaal en Luminaal B grotere variabiliteit en lagere prestaties. Logistische Regressie behield de meest consistente prestaties over deze moeilijke subtypen.
• Statistische significantie: Paarsgewijze Wilcoxon-tekens-rangtoetsen op Macro F1-scores bereikten geen statistische significantie bij de 0,05-drempel (bijv. LR vs. RF $p = 0,0625$). De auteurs schrijven dit toe aan de beperkte statistische power van 5-voudige cross-validatie met slechts vijf gepaarde observaties, wat suggereert dat de waargenomen trends praktisch betekenisvol zijn in plaats van formeel significant.

Belangrijkste Bijdragen

1. Her-evaluatie van modelcomplexiteit: De studie daagt de aanname uit dat complexe modellen (RF, SVM) inherent beter presteren dan eenvoudigere modellen (LR) in hoogdimensionale biologische data. Het demonstreert dat eenvoudigere, geregulariseerde lineaire modellen een meer gebalanceerde en stabiele classificatie kunnen bieden over ongelijke subtypen.
2. Sensitiviteit van metrieken: Het artikel benadrukt dat nauwkeurigheid een ontoereikende metriek is voor dit domein, omdat het het falen van modellen om minderheidssubtypen te classificeren kan maskeren. Het gebruik van Macro F1 en per-subtype-analyse blijkt essentieel om deze faalmodi bloot te leggen.
3. Impact van feature-selectie: Het werk biedt empirisch bewijs dat op variantie gebaseerde feature-selectie effectief is voor dimensionaliteitsreductie, waarbij 1.000 sterk variabele genen vaak voldoende zijn om het discriminerende signaal te vangen, waardoor de instabiliteit wordt vermeden die gepaard gaat met het gebruik van de volledige genenset.

Betekenis en Claims
Het artikel claimt dat voor de classificatie van borstkankersubtypen met TCGA-BRCA-data, feature-dimensionaliteit en evaluatiestrategie zwaarder wegen dan modelcomplexiteit. Specifiek:

• Eenvoud is robuust: Logistische Regressie met L2-regularisatie, getraind op de top 1.000 op variantie geselecteerde genen, wordt geïdentificeerd als de meest robuuste configuratie, die gebalanceerde prestaties en computerefficiëntie biedt.
• Voorzichtigheid met complexe modellen: Random Forest wordt afgeraden als primaire classificeerder in deze specifieke setting vanwege de neiging om minderheidsclassen te negeren, ondanks een hoge algehele nauwkeurigheid.
• Evaluatie-rigor: De studie benadrukt dat robuuste evaluatiestrategieën, waaronder gestratificeerde cross-validatie en Macro F1-scoring, cruciaal zijn om misleidende conclusies te vermijden, met name bij het omgaan met zeldzame biologische subtypen.

De auteurs handhaven een bescheiden toon, waarbij zij erkennen dat hun bevindingen specifiek zijn voor het TCGA-BRCA-dataset en dat het ontbreken van statistische significantie in paarsgewijze vergelijkingen de mogelijkheid beperkt om definitieve claims te doen over superioriteit, hoewel de praktische trends duidelijk zijn. Zij merken op dat op variantie gebaseerde selectie een heuristiek is en geen garantie biedt voor biologische interpreteerbaarheid, en dat zij geen systematische hyperparameter-tuning hebben uitgevoerd.