SHIELD reduces information leakage in data splits through joint structural optimization

Nella corsa all'uso dell'intelligenza artificiale per la scoperta scientifica, i ricercatori stanno cercando di insegnare ai computer a prevedere le proprietà di materiali, medicinali e reazioni chimiche che non sono mai stati visti prima. L'obiettivo non è solo memorizzare ciò che è già stato misurato, ma apprendere le regole sottostanti affinché il computer possa indovinare correttamente l'ignoto. Per testare se un computer ha veramente appreso queste regole, gli scienziati dividono i loro dati in due gruppi: uno per l'addestramento del computer e uno per il test. Se il gruppo di test contiene elementi troppo simili al gruppo di addestramento, il computer può fare affidamento sul riconoscimento di un modello familiare piuttosto che risolvere il problema. È come uno studente che sostiene un esame in cui le domande sono solo leggere riformulazioni dei compiti a casa; ottiene un punteggio perfetto, ma non ha realmente imparato la materia. Per decenni, il modo standard di dividere i dati è stato quello di mescolarli casualmente, il che spesso lascia queste coppie pericolose e eccessivamente simili su lati opposti del confine, creando un falso senso di sicurezza su quanto bene i modelli funzioneranno nel mondo reale.

Un team di ricercatori della Hamad Bin Khalifa University ha sviluppato un nuovo metodo chiamato SHIELD per risolvere questo problema. Invece di rimescolare casualmente i dati o utilizzare una singola regola per separarli, SHIELD agisce come un organizzatore sofisticato che osserva i dati da tre diverse angolazioni contemporaneamente. Considera come gli elementi siano raggruppati in famiglie, quanto siano vicini tra loro in una complessa rete di caratteristiche e come si confrontino le loro distribuzioni complessive. Il sistema trova quindi un modo per tagliare i dati che rispetti tutte queste relazioni simultaneamente, garantendo che il set di test sia genuinamente diverso dal set di addestramento. I ricercatori hanno testato questo approccio su otto diversi dataset scientifici, che spaziano dallo studio di leghe metalliche utilizzate nella stampa 3D al comportamento di minuscole molecole nella chimica quantistica. Hanno scoperto che SHIELD creava costantemente condizioni di test molto più rigorose e realistiche rispetto ai metodi esistenti, rivelando che molti modelli che apparivano di successo sotto i test casuali fallivano quando affrontavano dati veramente nuovi.

Il cuore del problema risiede in come i dati scientifici siano strutturati. In campi come la biologia o la scienza dei materiali, i punti dati sono raramente indipendenti. Una nuova molecola di farmaco potrebbe essere una leggera variazione di una vecchia, o una lega metallica potrebbe appartenere a una specifica famiglia di materiali che condividono una storia comune. Quando un modello informatico viene addestrato su una versione di una molecola e testato su una versione quasi identica, non ha bisogno di comprendere la chimica; deve solo riconoscere la somiglianza. Questo è noto come fuga di informazioni (information leakage), e porta a previsioni eccessivamente ottimistiche. I ricercatori hanno dimostrato che i metodi standard, che spesso si basano su un semplice clustering o sulla selezione casuale, falliscono frequentemente nel rompere queste connessioni nascoste. Ad esempio, in un dataset riguardante la fusione a letto di polvere laser — un processo utilizzato per costruire parti metalliche strato dopo strato — la divisione casuale dei dati lasciava i set di addestramento e di test così mescolati che il computer poteva facilmente indovinare il risultato basandosi sulla macchina utilizzata o sul tipo di lega, piuttosto che sulla fisica reale del processo.

Per risolvere questo, il framework SHIELD è stato progettato per gestire tre tipi specifici di relazioni che causano la fuga di informazioni. Primo, osserva la contenenza gerarchica, che mantiene i gruppi correlati, come una famiglia di leghe o un insieme di varianti proteiche, insieme nello stesso gruppo in modo che non possano filtrare nell'altro. Secondo, esamina il manifold delle caratteristiche, che è un modo per mappare quanto diversi punti dati siano vicini tra loro in base alle loro proprietà, assicurando che i vicini in questa mappa non vengano separati. Terzo, gestisce la distribuzione, assicurandosi che la diffusione complessiva dei dati nel set di test sia o un match controllato rispetto a uno scenario futuro noto o uno spostamento deliberato per simulare uno scenario completamente sconosciuto. L'innovazione è che SHIELD non applica queste regole una dopo l'altra, il che potrebbe annullare il lavoro del passaggio precedente. Invezione, ottimizza tutte e tre contemporaneamente, trovando un equilibrio in cui i dati vengono divisi in un modo che soddisfi la necessità di separazione senza rompere la naturale struttura della scienza.

Il team ha validato questo metodo attraverso una vasta gamma di discipline scientifiche. Nello studio delle leghe vetriformi, hanno scoperto che, sebbene alcuni metodi esistenti potessero separare i dati efficacemente, spesso rompevano l'equilibrio delle classi, portando a risultati fuorvianti. SHIELD è riuscito a mantenere le classi bilanciate pur creando un ambiente di test difficile. Nel campo della chimica quantistica, dove l'obiettivo è prevedere gli stati energetici di piccole molecole organiche, il nuovo metodo ha separato con successo i set di addestramento e di test in un modo che costringeva i modelli informatici a estrapolare davvero. Quando i ricercatori hanno testato i modelli standard di machine learning su questi nuovi split, i risultati sono stati rivelatori. I modelli che avevano precedentemente mostrato un'alta accuratezza con le divisioni casuali hanno visto le loro prestazioni diminuire significativamente, a volte fallendo completamente. Questo calo non era un segno che i modelli fossero rotti, ma piuttosto che i test precedenti erano stati troppo facili. Questi nuovi split hanno esposto l'incapacità dei modelli di gestire dati che fossero realmente al di fuori della loro esperienza di addestramento.

Una delle scoperte più sorprendenti è arrivata dal dataset di manifattura additiva, che coinvolgeva 1.579 build di parti metalliche realizzate con sei diverse leghe su 45 diversi modelli di stampante. Quando i ricercatori hanno usato SHIELD per isolare intere famiglie di leghe dai dati di addestramento, i modelli informatici hanno faticato immensamente. Un modello di rete neurale, che aveva performato bene con altri split, è crollato, producendo previsioni ampiamente inaccurate. Ciò è accaduto perché il modello non aveva mai visto quel tipo specifico di lega e non poteva fare affidamento sul semplice riconoscimento di pattern. Al contrario, quando i ricercatori hanno isolato un modello di stampante specifico, i modelli hanno performato molto meglio. Questa asimmetria ha fornito un'intuizione cruciale: la famiglia di leghe rappresentava una barriera fisica fondamentale che il modello non poteva superare, mentre l'identità della stampante era una variabile meno significativa. Il framework SHIELD è stato in grado di distinguere tra questi due tipi di sfide, aiutando gli scienziati a capire quali aspetti dei loro dati fossero veramente difficili da prevedere.

I ricercatori hanno anche dimostrato che il loro metodo può gestire dataset massicci utilizzando una tecnica chiamata coarsening (irruvidimento). Per collezioni di dati molto grandi, calcolare le relazioni tra ogni singolo punto è computazionalmente impossibile. SHIELD risolve questo problema raggruppando gli elementi correlati in "super-nodi" più grandi basati sulla loro gerarchia prima di eseguire la divisione. Questo ha ridotto la dimensione del problema di un fattore superiore a 1.600 in uno dei loro test, eppure la qualità della divisione rimaneva rigorosa quanto se avessero elaborato ogni singolo punto dati individualmente. Questa scalabilità significa che il metodo può essere applicato ai più grandi dataset scientifici senza perdere la sua capacità di rilevare forme sottili di fuga di informazioni. Il team ha anche introato un nuovo modo per misurare la difficoltà di una divisione, chiamato Discovery Normalized Squared Error. Questa metrica osserva quanto l'errore cresce passando dai dati di addestramento ai dati di test, fornendo un quadro più chiaro di come un modello si comporterà quando incontrerà l'ignoto.

Lo studio conclude che il modo in cui i dati vengono divisi non è solo un dettaglio tecnico, ma una parte fondamentale della domanda scientifica posta. Se la divisione permette la fuga di informazioni, il benchmark sta misurando la cosa sbagliata. Ottimizzando congiuntamente le relazioni strutturali nei dati, SHIELD fornisce una valutazione più onesta della capacità di un modello di scoprire nuova conoscenza. I ricercatori sottolineano che questo non è una soluzione magica che risolve tutti i problemi, ma uno strumento che costringe gli scienziati a essere più rigorosi su ciò che stanno testando. I risultati suggeriscono che molti modelli attualmente celebrati nella letteratura scientifica potrebbero essere in fase di overfitting sulle peculiarità dei loro dati di addestramento invece di apprendere le leggi della natura. Utilizzando un metodo che rispetta la vera struttura dei dati scientifici, i ricercatori possono costruire modelli che siano veramente pronti per le sfide della scoperta, assicurando che quando un computer prevede un nuovo materiale o un nuovo farmaco, lo faccia sulla base di una reale comprensione piuttosto che di un colpo di fortuna.