Shortcut learning in geometric knot classification

Probleemstelling

Het classificeren van de topologie van gesloten krommen (knooppunten) is een centraal probleem in de laag-dimensionale topologie, met toepassingen in eiwitvouwing, polymeerfysica en magnetohydrodynamica. De kernvraag is of twee inbeddingen van een gesloten boog equivalent zijn onder "ambient isotopy" (gladde vervorming zonder breken of zelfkruisen). Hoewel machine learning (ML) succesvol lijkt in het oplossen van complexe classificatietaken voor knooppunten, bestaat er een fundamenteel risico: shortcut learning.

ML-modellen kunnen leren om labels te voorspellen op basis van niet-topologische, geometrische kenmerken die in de trainingsdata sterk gecorreleerd zijn met het knooppunttype, in plaats van de onderliggende topologische invarianten te leren. Bestaande studies gebruiken vaak data gegenereerd door Molecular Dynamics (MD) simulaties. De auteurs vermoeden dat deze simulaties, door energetische beperkingen (zoals stijfheid en temperatuur), de ruimte van mogelijke geometrische vormen beperken, waardoor ML-modellen "kortsluitingen" vinden (bijv. het totale volume of de writhe) in plaats van de echte topologie te begrijpen.

Methodologie

De auteurs hanteren een drieledige aanpak om dit probleem te diagnosticeren en op te lossen:

1. Diagnose via "Shortcut Probes":

   • Ze ontwikkelen een diagnostische tool die de wederzijdse informatie (mutual information) berekent tussen diverse geometrische functionals ($\Phi = \{\phi_j\}$) en de knooppuntlabels ($y$).
   • Gebruikte functionals omvatten: som van paarafstanden ($\Sigma^+$), totale ruimtelijke writhe ($\Omega^+$), totale kromming ($\kappa^+$), en het aantal pieken in de paarafstandsmatrix ($\Pi_n$).
   • Een hoge wederzijdse informatie suggereert dat een model een geometrisch kenmerk kan gebruiken om het label te voorspellen zonder de topologie te kennen.

2. Generatie van een Nieuw Dataset (GEOKNOT):

   • Om shortcut learning te minimaliseren, ontwikkelen de auteurs GEOKNOT, een open-source Markov Chain Monte Carlo (MCMC) sampler.
   • In tegenstelling tot MD-simulaties (die energie-minimalisatie gebruiken), gebruikt GEOKNOT het BFACF-algoritme (voor lokale, topologie-bewarende bewegingen) en pivot-moves (voor efficiënte, niet-lokale geometrische herschikkingen).
   • Het algoritme is "biased" om een breed scala aan geometrische eigenschappen (zoals writhe en langafstandsverstrengeling) te exploreren, zelfs in gebieden die door MD-simulaties worden gemeden.
   • De topologie wordt continu geverifieerd via de Alexander-polynoom en Vassiliev-invarianten om zekerheid te garanderen.

3. Evaluatie van ML-modellen:

   • Ze trainen en testen Feed-Forward Neural Networks (FFNN) op drie datasets: MD bij lage temperatuur, MD bij hoge temperatuur, en GEOKNOT.
   • Ze vergelijken prestaties op basis van twee inputrepresentaties: 3D-coördinaten en de "writhe matrix".
   • Ze introduceren een Shortcut Learning Index ($\tau$): de verhouding tussen de nauwkeurigheid van een model getraind op alleen de "shortcut" functionals en de nauwkeurigheid van een model getraind op de volledige data. Een $\tau \approx 1$ duidt op sterke afhankelijkheid van shortcuts.

Belangrijkste Resultaten

• Falen van bestaande modellen op GEOKNOT: Modellen die >99% nauwkeurigheid behalen op MD-gegenereerde data (zowel lage als hoge temperatuur), presteren slecht op de GEOKNOT-dataset (rond 50-70% nauwkeurigheid, wat dicht bij willekeur ligt). Dit bewijst dat de modellen de topologie niet hebben geleerd, maar afhankelijk zijn van de specifieke geometrische verdeling van de MD-data.
• Detectie van Correlaties: De shortcut probes tonen aan dat in MD-datasets geometrische kenmerken zoals totale writhe ($\Omega^+$) en paarafstanden ($\Sigma^+$) extreem sterk gecorreleerd zijn met het knooppunttype (hoge mutual information). In de GEOKNOT-dataset is deze correlatie verwaarloosbaar (nabij nul).
• Dominantie van Writhe: Saliency-analyses tonen aan dat voor MD-data de totale ruimtelijke writhe de belangrijkste voorspeller is. Wanneer de writhe van een verkeerd geclassificeerd "unknot" (01) uit de GEOKNOT-dataset wordt geminimaliseerd (tot een simpele cirkel), schakelt het model van voorspelling (van 31 naar 01) zodra de writhe onder een bepaalde drempel zakt. Dit bevestigt dat het model op een geometrische shortcut reageert, niet op topologie.
• Beperking van Bestaande Architecturen: Bestaande gepubliceerde modellen (Sleiman et al., Braghetto et al., Zhang et al.) falen allemaal op de GEOKNOT-dataset, wat suggereert dat shortcut learning een algemeen probleem is in dit veld.
• Potentieel van Writhe-matrices: Hoewel ML-modellen falen, tonen de auteurs aan dat de writhe-matrix theoretisch voldoende informatie bevat om Vassiliev-invarianten (topologische invarianten) te benaderen via algebraïsche manipulaties (Feynman-diagrammen). De huidige ML-modellen zijn echter niet krachtig genoeg om deze complexe algebraïsche structuren te leren.

Bijdragen

1. Diagnostisch Kader: De paper introduceert een rigoureuze methode (mutual information probes en de $\tau$-index) om shortcut learning in topologische classificatie te detecteren.
2. GEOKNOT Dataset: Een nieuwe, open-source dataset en sampler die geometrisch onbevooroordeelde knooppunten genereert, waardoor het mogelijk wordt om ML-modellen te testen op echte topologisch-invariante vaardigheden.
3. Kritische Evaluatie: Het werk toont aan dat de hoge nauwkeurigheid in eerdere studies een artefact was van de data-generatiemethode (MD) en niet een bewijs van het leren van topologie.
4. Toekomstrichting: Het benadrukt dat ML-modellen moeten worden getraind op data die de volledige geometrische ruimte dekt om echte topologische invarian te leren, en suggereert dat rule-based algebraïsche methoden (zoals Vassiliev-invarianten) mogelijk effectiever zijn dan huidige "black-box" benaderingen voor dit specifieke probleem.

Betekenis

Deze studie is cruciaal voor de betrouwbaarheid van ML-toepassingen in de wiskunde en natuurkunde. Het waarschuwt onderzoekers dat hoge classificatienauwkeurigheid niet gelijkstaat aan begrip van de onderliggende wiskundige structuur. Door het blootleggen van shortcut learning, dwingt het de gemeenschap om betere datasets (zoals GEOKNOT) te gebruiken en robuustere modellen te ontwikkelen die in staat zijn om topologische invarianten te leren in plaats van geometrische artefacten. Dit is essentieel voor toepassingen waar de geometrie variabel is (zoals in biologische systemen of complexe materialen) en waar een model moet generaliseren naar situaties die niet in de trainingsdata voorkomen.