Classical baselines outperform released deep-learning ITS classifiers, which collapse on ITS2 where predictions follow the flanking regions
Questo studio dimostra che, sebbene i classificatori basati sul deep learning per le sequenze ITS fungine raggiungano un'elevata accuratezza sui riferimenti a lunghezza intera, essi falliscono drasticamente sulla subregione ITS2 comunemente utilizzata affidandosi alle regioni fiancheggianti piuttosto che al barcode stesso, causando il fatto che i metodi baseline classici superino significativamente i primi in scenari realistici di metabarcoding ambientale.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Nel mondo microscopico dei funghi, gli scienziati si affidano a una specifica sequenza di codice genetico per identificare le specie, proprio come un bibliotecario usa un codice a barre per smistare i libri. Questo codice, noto come spaziatore trascritto interno o ITS, si trova tra altri geni nel DNA fungino e varia abbastanza tra le specie da fungere da identificatore unico. Per decenni, i ricercatori hanno utilizzato questa regione per catalogare la vita fungina invisibile che ci circonda, dai funghi in una foresta alle muffe che crescono in una casa. Tuttavia, la tecnologia moderna ha reso possibile il sequenziamento di solo un piccolo e pratico frammento di questo codice — specificamente una sezione chiamata ITS2 — piuttosto che dell'intero record genetico. Questa scorciatoia è più veloce ed economica, permettendo agli scienziati di elaborare migliaia di campioni contemporaneamente, ma solleva una domanda critica: possono i programmi informatici più avanzati, addestrati sul record genetico completo, riconoscere ancora il fungo quando vedono solo questo minuscolo frammento?
Recentemente, un team di ricercatori si è messo alla prova per testare i limiti dell'intelligenza artificiale in questo campo. Hanno esaminato due potenti classificatori basati sul deep learning, modelli informatici sofisticati che erano stati addestrati su milioni di sequenze fungine per predire i nomi delle specie con alta precisione. Questi modelli erano celebrati per la loro capacità di identificare i funghi con un'accuratezza superiore al 90 percento, ma erano stati addestrati sui record genetici completi e a lunghezza intera. I ricercatori volevano sapere se questi stessi modelli avrebbero funzionato se alimentati con le sequenze brevi e parziali che i rilievi ambientali producono effettivamente. Per scoprirlo, hanno creato un test equo utilizzando migliaia di sequenze fungine, confrontando le prestazioni dell'intelligenza artificiale rispetto ai metodi più vecchi e tradizionali che si basano sul confronto diretto piuttosto che sull'apprendimento complesso.
I risultati hanno rivelato un grave fallimento dell'intelligenza artificiale. Quando i ricercatori hanno fornito ai modelli i record genetici a lunghezza intera, i classificatori basati sul deep learning si sono comportati in modo rispettabile, sebbene fossero ancora leggermente meno accurati dei metodi tradizionali. Tuttavia, nel momento in cui l'input è stato limitato al solo breve frammento ITS2, le prestazioni dell'intelligenza artificiale sono crollate. Su questo breve frammento, i modelli di deep learning sono scesi a un'accurateo di circa il 18-28 percento, un fallimento catastrofico rispetto ai metodi tradizionali, che rimanevano robusti e accurati a quasi il 90 percento. I modelli di intelligenza artificiale, che erano stati lodati come il futuro dell'identificazione fungina, hanno essenzialmente smesso di funzionare di fronte ai dati che avrebbero più probabilmente incontrato nel mondo reale.
I ricercatori hanno poi indagato sul perché ciò fosse accaduto, sospettando che i modelli non stessero effettivamente leggendo il codice a barre che dovevano identificare. Hanno condotto un esperimento ingegnoso in cui hanno preso il breve frammento ITS2 di un fungo e lo hanno circondato con le regioni genetiche fiancheggianti di un tipo di fungo completamente diverso. Se i modelli avessero realmente letto il codice a barre ITS2, avrebbero dovuto identificare il fungo originale. Invece, i modelli hanno identificato prevalentemente il fungo donatore, quello le cui regioni genetiche circostanti erano state attaccate. In un caso, il modello ha identificato correttamente la famiglia del donatore per quasi il 64 percento delle query, mentre identificava il fungo effettivo in meno dell'1 percento dei casi. Ciò ha dimostrato che i modelli non stavano guardando il codice a barre stesso, ma stavano invece facendo affidamento sul contesto genetico circostante, che era completamente assente nei brevi campioni ambientali.
Questa scoperta spiega perché i modelli siano falliti così drasticamente. L'intelligenza artificiale aveva imparato a riconoscere i funghi guardando l'intero record genetico, inclusi i segmenti prima e dopo il codice a barre. Quando presentati con il solo frammento corto, i modelli erano di fatto ciechi, incapaci di trovare le caratteristiche che erano stati addestrati a riconoscere. Peggio ancora, i modelli non ammettevano la propria confusione. I loro punteggi di confidenza avevano perso la capacità di distinguere tra funghi familiari e nuovi, il che significa che l'output non forniva alcun avviso che la predizione fosse probabilmente errata. Nel caso di un modello, esso è rimasto eccessivamente sicuro di sé, fornendo ai ricercatori un falso senso di sicurezza nonostante fosse per lo più errato. Lo studio conclude che l'alta accuratezza riportata di questi strumenti di deep learning è un'illusione creata testandoli su dati che non corrispondono alle condizioni del mondo reale dei rilievi ambientali. Affinché questi strumenti siano utili, devono essere riaddestrati o riprogettati per comprendere che i brevi frammenti che ricevono sono fondamentalmente diversi dai record completi su cui sono stati costruiti, o in caso contrario, gli scienziati devono affidarsi ai metodi più semplici e affidabili che hanno resistito alla prova del tempo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.