Shortcut learning in geometric knot classification

Titolo: Shortcut learning nella classificazione geometrica dei nodi

1. Il Problema

La classificazione della topologia di curve chiuse (nodi) è un problema fondamentale nella topologia in bassa dimensione, con applicazioni che spaziano dalla biologia (folding proteico, DNA) alla fisica dei polimeri e alla magnetoidrodinamica. Il cuore del problema consiste nel determinare se due incastonamenti (embeddings) di un arco chiuso sono equivalenti sotto isotopia ambientale (deformazioni lisce senza intersezioni).

Negli ultimi anni, l'Intelligenza Artificiale (Machine Learning - ML) è stata applicata con successo apparente a questo compito, raggiungendo accuratezze superiori al 99% nella distinzione tra nodi banali (unknot, $0_1$) e nodi non banali (es. nodo trifoglio, $3_1$). Tuttavia, sorge il dubbio fondamentale: i modelli ML stanno imparando veri invarianti topologici (proprietà che non cambiano sotto deformazione) o stanno sfruttando shortcut learning (apprendimento per scorciatoia)? Quest'ultimo si verifica quando il modello identifica e sfrutta caratteristiche geometriche spurie presenti nel dataset di addestramento che sono fortemente correlate all'etichetta del nodo, ma non sono invarianti topologici.

2. Metodologia

Gli autori hanno sviluppato un approccio sistematico per diagnosticare e quantificare il shortcut learning nella classificazione dei nodi:

• Analisi degli Invarianti Geometrici: Hanno definito un set di "funzionali geometrici" ($\Phi$) calcolabili sulle coordinate 3D dei nodi poligonali, tra cui:
  • Somma delle distanze a coppie ($\Sigma^+$).
  • Somma totale dell'elicità spaziale (writhe, $\Omega^+$).
  • Curvatura totale ($\kappa^+$).
  • Numero di picchi nella matrice delle distanze a coppie ($\Pi_n$).
• Misura della Correlazione (Mutual Information): Hanno calcolato l'informazione reciproca $I(X; Y)$ tra questi funzionali geometrici e le etichette topologiche. Un valore alto indica che la caratteristica geometrica è fortemente correlata al tipo di nodo nel dataset specifico, suggerendo un potenziale "shortcut".
• Generazione di Dataset Contrastanti:
  1. Dataset MD (Molecular Dynamics): Hanno utilizzato simulazioni MD (con LAMMPS) a basse e alte temperature, simili a quelle usate in letteratura precedente. Questi dataset sono vincolati da potenziali energetici che limitano lo spazio delle configurazioni geometriche.
  2. Dataset GEOKNOT: Hanno sviluppato un nuovo algoritmo di campionamento basato su Monte Carlo (BFACF + Pivot moves) chiamato GEOKNOT. Questo strumento permette di campionare embeddings geometrici in modo "non distorto" (o con bias controllati) nello spazio delle fasi geometriche, generando distribuzioni ampie e sovrapposte di proprietà geometriche per diversi tipi di nodi, eliminando le correlazioni spurie tipiche delle simulazioni MD.
• Indice di Shortcut ($\tau$): Hanno definito un indice $\tau = m_a / m$, dove $m_a$ è l'accuratezza di un modello addestrato solo sui funzionali geometrici (i "shortcut") e $m$ è l'accuratezza del modello addestrato sui dati grezzi. Un $\tau \approx 1$ indica che il modello può risolvere il compito basandosi esclusivamente sulle scorciatoie geometriche.
• Test di Invarianza: Hanno sottoposto i modelli a deformazioni continue (isotopia ambientale) mantenendo la topologia fissa, per verificare se le previsioni del modello rimangono stabili.

3. Risultati Chiave

• Fallimento della Generalizzazione: I modelli ML addestrati su dati MD (sia a bassa che ad alta temperatura) raggiungono un'accuratezza >99% su dati MD, ma crollano a livelli vicini al caso casuale (~50-70%) quando testati sul dataset GEOKNOT. Questo dimostra che i modelli non hanno imparato la topologia, ma le specifiche distribuzioni geometriche dei dati MD.
• Rilevamento delle Scorciatoie: L'analisi dell'informazione reciproca mostra che nei dataset MD, caratteristiche come la somma delle distanze a coppie ($\Sigma^+$) e l'elicità totale ($\Omega^+$) sono fortemente correlate al tipo di nodo (valori di MI alti). Al contrario, nel dataset GEOKNOT, queste correlazioni sono quasi nulle (valori di MI vicini a 0).
• Dominanza dell'Elicità (Writhe): L'analisi di saliency rivela che, specialmente a bassa temperatura, il modello si affida quasi esclusivamente all'elicità spaziale totale ($\Omega^+$) per classificare i nodi.
• Mancanza di Invarianza Topologica: Quando si deformano continuamente dei nodi "unknot" complessi (generati da GEOKNOT e classificati erroneamente come $3_1$ dai modelli MD) fino a ridurli a nodi banali semplici, le previsioni del modello cambiano drasticamente in base al valore dell'elicità, confermando che il modello non riconosce l'invarianza topologica sottostante.
• Validazione con Invarianti di Vassiliev: Gli autori dimostrano che la matrice di elicità (writhe matrix) contiene sufficienti informazioni per calcolare approssimazioni degli invarianti di Vassiliev (invarianti topologici veri), ottenendo un'accuratezza del ~98% su GEOKNOT. Tuttavia, le architetture ML standard (Feed-Forward Neural Networks) non riescono a estrarre automaticamente queste strutture algebriche complesse dai dati grezzi.

4. Contributi Principali

1. Dimostrazione del Shortcut Learning: Forniscono prove rigorose che i recenti successi del ML nella classificazione dei nodi sono dovuti a scorciatoie geometriche legate ai metodi di generazione dei dati (MD), non all'apprendimento di invarianti topologici.
2. GEOKNOT: Sviluppo e rilascio di un nuovo pacchetto open-source (GEOKNOT) per il campionamento di nodi poligonali che permette di esplorare lo spazio geometrico in modo controllato e privo dei bias energetici delle simulazioni MD.
3. Metodologia di Diagnosi: Introduzione di un protocollo basato sull'informazione reciproca e sull'indice $\tau$ per diagnosticare la dipendenza da scorciatoie in qualsiasi compito di classificazione topologica.
4. Dataset e Codice: Pubblicazione di dataset e codice per la comunità, mirati a rimuovere le caratteristiche non topologiche e a facilitare lo sviluppo di modelli che imparino la vera topologia.

5. Significato e Implicazioni

Il lavoro non nega la capacità del ML di risolvere problemi complessi, ma mette in guardia contro l'interpretazione errata dei risultati quando i dati di addestramento sono vincolati da leggi fisiche specifiche (come nei polimeri reali).

• Per la Fisica/Biologia: I modelli addestrati su dati MD sono validi come sonde per sistemi fisici reali vincolati energeticamente, ma non sono strumenti generali per la teoria dei nodi.
• Per la Matematica e l'AI: Per insegnare alle reti neurali a "comprendere" la topologia, è necessario utilizzare dataset che coprano uniformemente lo spazio delle configurazioni geometriche (come GEOKNOT), eliminando le correlazioni spurie.
• Futuro: Il lavoro suggerisce che per scoprire nuovi invarianti topologici o comprendere quelli esistenti, i modelli ML dovranno essere addestrati su dati geometricamente unbiased e potrebbero richiedere architetture in grado di apprendere manipolazioni algebriche complesse (simili ai diagrammi di Feynman nella teoria di Chern-Simons) piuttosto che semplici correlazioni statistiche.

In sintesi, il paper segna un punto di svolta critico, spostando il focus dalla semplice "accuratezza" alla "robustezza topologica" e alla qualità del campionamento dei dati nell'applicazione del Machine Learning alla topologia.