Benchmarking GNN Models on Molecular Regression Tasks with CKA-Based Representation Analysis

Deze studie presenteert een systematische benchmarking van vier GNN-architecturen voor moleculaire regressie, waarbij een hiërarchisch fusieframework (GNN+FP) consistent betere prestaties levert dan standalone modellen en waarbij Centered Kernel Alignment (CKA) analyse aantoont dat GNN- en fingerprint-embeddings in sterk onafhankelijke latente ruimtes opereren.

De kern

Stel je voor dat je een chemisch recept moet voorspellen. Bijvoorbeeld: "Hoe goed lost dit nieuwe medicijn op in water?" of "Hoe snel komt dit door de bloed-hersenbarrière?"

Vroeger deden wetenschappers dit met een soort stempelkaart (in het Engels: fingerprints). Ze keken naar de molecule en stempelden er een vast patroon op: "Heeft een koolstofatoom? Ja. Heeft een zuurstof? Ja." Dit was handig, maar het was alsof je een complex schilderij beschrijft door alleen te zeggen: "Er is blauw, er is geel, er is rood." Je mist de details van hoe die kleuren precies met elkaar zijn vermengd.

In deze paper kijken de onderzoekers van het IIT Delhi naar een nieuwere, slimme manier om naar moleculen te kijken: GNN's (Graph Neural Networks).

1. De twee manieren om te kijken

Stel je een molecule voor als een stadskaart:

• De oude methode (Fingerprints): Je telt gewoon hoeveel gebouwen er zijn en welke kleur ze hebben. Je weet niet hoe de straten lopen.
• De nieuwe methode (GNN): Je kijkt naar de straten en kruispunten. Je ziet hoe de gebouwen (atomen) met elkaar verbonden zijn via wegen (bindingen). De computer leert zelf hoe de stad eruitziet, zonder dat iemand haar eerst een lijstje met regels moet geven.

2. Het experiment: De race

De onderzoekers hebben een wedstrijd georganiseerd met vier verschillende soorten "slimme navigatiesystemen" (de GNN-architecturen: GCN, GAT, GIN, GraphSAGE). Ze hebben ze laten racen op vier verschillende banen (datasets met chemische gegevens):

• Hoe goed lost het op? (ESOL)
• Hoe vetminnend is het? (Lipophilicity)
• Hoe lang duurt het om door een buisje te gaan? (Retentie Tijd)
• Hoe goed gaat het door de hersenen? (B3DB)

Het verrassende resultaat:
Op de korte banen (kleine datasets, ongeveer 1000 moleculen) wonnen de oude stempelkaarten (de klassieke methoden) vaak van de nieuwe navigatiesystemen.

• Waarom? Omdat de nieuwe systemen (GNN's) net als een kind zijn dat net begint met leren. Ze hebben heel veel voorbeelden nodig om de complexe stratenpatronen te begrijpen. Met maar 1000 voorbeelden raken ze in de war. De oude stempelkaarten zijn als een ervaren, maar wat stijve, ouderwetse leraar die het antwoord al uit zijn hoofd kent.

3. De oplossing: De "Super-Hybride"

Maar de onderzoekers hadden een briljant idee. Waarom niet beide gebruiken?
Stel je voor dat je een detective bent.

• De stempelkaart is je dossier met de basisfeiten (naam, leeftijd, kleur ogen).
• De GNN is je intuïtie over hoe de verdachte zich gedraagt en wie zijn vrienden zijn.

Ze hebben een hybride model gemaakt: GNN + Fingerprints. Dit is alsof je de detective laat samenwerken met het dossier.
Het resultaat? Deze combinatie won bijna altijd! Ze waren tot 26% beter dan de GNN alleen. Ze konden de sterke punten van beide werelden combineren: de diepe structuurkennis van de GNN én de betrouwbare feiten van de stempelkaart.

4. De "Spiegel" test (CKA Analyse)

De onderzoekers wilden ook weten: Kijken deze twee systemen eigenlijk naar hetzelfde?
Ze gebruikten een meetlat genaamd CKA (Centered Kernel Alignment).

• De bevinding: De GNN en de stempelkaart kijken naar totaal verschillende dingen. Ze vullen elkaar perfect aan. Het is alsof de ene kijkt naar de architectuur van een huis, en de andere naar de kleur van de muren. Ze praten niet tegen elkaar, maar ze vullen elkaar aan.
• Interessant detail: De meeste GNN-systemen keken wel naar elkaar alsof ze tweelingbroers waren (ze zagen er bijna hetzelfde uit). Maar één type (GAT) keek echt anders. Die was de "zwarte schaap" die unieke dingen zag. Daarom werkte de combinatie van GAT + Stempelkaart vaak het allerbest.

Samenvatting in één zin

Hoewel de slimme, nieuwe computersystemen (GNN's) op kleine datasets nog niet helemaal zelfstandig kunnen winnen van de oude, bewezen methoden, worden ze onverslaanbaar als je ze combineert met die oude methoden, omdat ze samen kijken naar de molecule vanuit twee compleet verschillende hoekpunten.

Het is de ultieme bewijskracht: Samenwerking wint van solo-pogingen.

Technische samenvatting

Titel: Benchmarking van GNN-modellen voor moleculaire regressietaken met CKA-gebaseerde representatieanalyse

1. Probleemstelling

In het veld van computatiechemie, drugontdekking en materiaalkunde is het voorspellen van moleculaire eigenschappen cruciaal. Traditionele methoden maken gebruik van vaste lengte moleculaire vingerafdrukken (zoals ECFP4) als feature-vectors voor klassieke machine learning (ML) modellen. Hoewel effectief, hebben deze methoden beperkingen:

• Ze zijn afhankelijk van handmatig ontworpen features (feature engineering).
• Ze worstelen met de complexiteit van grote chemische ruimtes.
• Ze hebben vaak moeite met generalisatie naar data buiten de verdeling (OOD) en bieden beperkte uitlegbaarheid.

Graph Neural Networks (GNN's) beloven een oplossing door moleculen direct als grafen te modelleren (atomen als knopen, bindingen als randen) en hiërarchische topologische features automatisch te leren. Echter, er is weinig onderzoek gedaan naar de effectiviteit van GNN's op kleine datasets (vaak <1000 moleculen in biologische studies) en hoe verschillende GNN-architecturen (GCN, GAT, GIN, GraphSAGE) zich verhouden tot elkaar en tot traditionele vingerafdrukken. De vraag is of deze verschillende architecturen werkelijk verschillende representaties leren of dat ze convergeren naar dezelfde, redundante ruimtes.

2. Methodologie

De auteurs voerden een systematische benchmark uit over vier diverse datasets (ESOL, Lipophilicity, Retention Time, en B3DB) die fysicochemische, biologische en analytische eigenschappen bestrijken.

• Datasets & Preprocessing: De datasets werden geselecteerd en gedownsampled naar 1.000 moleculen per dataset. SMILES-strings werden gestandaardiseerd (tautomerie, neutralisatie) met RDKit.
• Baseline Modellen: Klassieke ML-modellen (Lineaire Regressie, SVM, Random Forest, XGBoost) werden getraind op 1024-bit ECFP4 vingerafdrukken.
• GNN Architecturen: Vier verschillende graph-convolutielagen werden getest: GCN, GAT, GIN en GraphSAGE.
  • Design: De modellen waren bewust beperkt tot één enkele graph-convolutielag met ReLU-activatie, gevolgd door global mean pooling en een regressie-head. Dit om de fundamentele inductieve bias van de aggregators te isoleren zonder de complexiteit van diepe netwerken.
• Hybride Framework (GNN+FP): Een hiërarchisch fusie-model werd geïmplementeerd dat de graf-niveau embedding van de GNN combineert met de ECFP4 vingerafdrukken via concatenatie, gevolgd door een regressie-head.
• CKA-analyse (Centered Kernel Alignment): Om de representatieve gelijkenis te kwantificeren, werd CKA gebruikt. Dit meet de overeenkomst tussen de latent spaces van de GNN-embeddings en de vingerafdrukken, evenals tussen verschillende GNN-architecturen onderling.

3. Belangrijkste Bijdragen

1. Systematische Benchmark: Een uitgebreide vergelijking van vier GNN-architecturen tegen klassieke ML-baselines op vier verschillende moleculaire regressiedatasets.
2. Hybride Fusie Framework: Het voorstellen en valideren van een "GNN+FP" model dat de sterke punten van automatisch leren (GNN) combineert met robuuste structurele motieven (vingerafdrukken).
3. Representatieanalyse met CKA: Een wiskundige analyse die aantoont dat GNN-embeddings en vingerafdrukken grotendeels onafhankelijke latent spaces innemen (complementair), terwijl isotrope GNN-modellen (zoals GCN en GraphSAGE) op kleine datasets convergeren naar bijna identieke representaties.

4. Resultaten

• Prestatie van Modellen:

  • Klassieke ML-modellen (vooral XGBoost en SVM) presteerden over het algemeen beter dan standalone GNN's op de kleine datasets (1000 moleculen). De GNN's hadden een RMSE die 17-27% hoger was dan de ML-baselines. Dit wordt toegeschreven aan het gebrek aan data om complexe chemische hiërarchieën te leren zonder de regularisatie van vingerafdrukken.
  • Hybride Modellen (GNN+FP): Deze modellen presteerden consistent beter dan of gelijk aan de standalone GNN's en vaak beter dan de ML-baselines.
  • Verbetering: De hybride modellen toonden een significante verbetering in RMSE: gemiddeld 22,72% voor ESOL, 26,13% voor Retention Time (RT), en 15,19% voor Lipophilicity. De B3DB dataset toonde een bescheiden maar opmerkelijke verbetering van 7,06%.
  • Beste Architectuur: De GAT + FP combinatie presteerde vaak het best, met name op de ESOL dataset (29,73% verbetering).

• Representatieve Gelijkenis (CKA):

  • GNN vs. Vingerafdruk: De CKA-scores tussen GNN-embeddings en ECFP4 waren laag tot gematigd (gemiddeld 0,29–0,32, met uitzondering van ESOL waar het tot 0,46 liep). Dit bevestigt dat GNN's informatie leren die complementair is aan vingerafdrukken, wat de succesvolle fusie verklaart.
  • GNN vs. GNN:
    • Isotrope modellen (GCN, GraphSAGE, GIN) vertoonden een zeer hoge convergentie (CKA ≥ 0,88, soms tot 0,99), wat suggereert dat ze op kleine datasets bijna dezelfde features leren.
    • GAT (Attention-based) toonde een duidelijk lagere overeenkomst (CKA 0,55–0,80) met de andere modellen, wat aangeeft dat het unieke, relationele features leert die niet door isotrope aggregators worden vastgelegd.

5. Significantie en Conclusie

De studie concludeert dat hoewel standalone GNN's op kleine datasets vaak onderpresteren ten opzichte van geoptimaliseerde ML-modellen op vingerafdrukken, dit geen fundamentele tekortkoming van de architectuur is, maar een gevolg van data-schaarste.

De belangrijkste inzichten zijn:

1. Complementariteit: GNN's en vingerafdrukken leren verschillende aspecten van moleculen. Het combineren van beide (Hybride Framework) levert de beste voorspellende prestaties op.
2. Architectuurkeuze: Op kleine datasets zijn de keuzes tussen isotrope GNN's (GCN, GraphSAGE) minder relevant omdat ze convergeren naar dezelfde representaties. GAT is echter uniek vanwege zijn attention-mechanisme en levert vaak de beste resultaten in een hybride setting.
3. Toekomstperspectief: GNN's zijn schaalbaar en tonen progressieve verbetering met meer data, terwijl ML-modellen op vingerafdrukken vaak een prestatieplafond bereiken. De hybride aanpak biedt momenteel de meest robuuste oplossing voor moleculaire eigendomsvoorspelling in data-beperkte scenario's.