Classical baselines outperform released deep-learning ITS classifiers, which collapse on ITS2 where predictions follow the flanking regions
Deze studie으로 toont aan dat hoewel deep-learning classificaties voor schimmel-ITS-sequenties een hoge nauwkeurigheid bereiken op volledige referentien, ze dramatisch falen op de veelgebruikte ITS2-subregio door te vertrouwen op flankerende regio's in plaats van op de barcode zelf, waardoor klassieke baseline-methoden de deep-learning methoden aanzienlijk overtreffen in realistische scenario's van omgevingsmetabarcoding.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de microscopische wereld van schimmels vertrouwen wetenschappers op een specifieke reeks genetische code om soorten te identificeren, vergelijkbaar met hoe een bibliothecaris een barcode gebruikt om boeken te sorteren. Deze code, bekend als de interne getranscribeerde spacer of ITS, bevindt zich tussen andere genen in het DNA van de schimmel en varieert genoeg tussen soorten om als een unieke identificatie te dienen. Decennialang hebben onderzoekers deze regio gebruikt om het onzichtbare schimmelleven dat ons omringt te catalogiseren, van de paddenstoelen in een bos tot de schimmels die in een huis groeien. Moderne technologie heeft het echter mogelijk gemaakt om slechts een klein, handig fragment van deze code te sequensen—specifiek een sectie genaamd ITS2—in plaats van de volledige genetische verslaglegging. Deze kortere route is sneller en goedkoper, waardoor wetenschappers duizenden monsters tegelijk kunnen verwerken, maar het roept een cruciale vraag op: kunnen de meest geavanceerde computerprogramma's, getraind op de volledige genetische verslaglegging, de schimmel nog steeds herkennen wanneer ze alleen dit kleine fragment zien?
Onlangs heeft een team onderzoekers de grenzen van kunstmatige intelligentie in dit vakgebied willen testen. Ze onderzochten twee krachtige deep-learning classificatiesystemen, geavanceerde computermodellen die waren getraind op miljoenen schimmelsequenties om soortnamen met hoge nauwkeurigheid te voorspellen. Deze modellen werden geprezen om hun vermogen om schimmels met meer dan 90 procent nauwkeurigheid te identificeren, maar ze waren getraind op de volledige, volledige genetische verslagen. De onderzoekers wilden weten of deze zelfde modellen zouden werken wanneer ze werden gevoed met de korte, gedeeltelijke sequenties die omgevingssurveys daadwerkelijk produceren. Om dit te ontdekken, creëerden ze een eerlijke test waarbij ze duizenden schimmelsequenties gebruikten en de prestaties van de kunstmatige intelligentie vergeleken met oudere, meer traditionele methoden die vertrouwen op directe vergelijking in plaats van complexe leerprocessen.
De resultaten onthulden een ernstig falen van de kunstmatige intelligentie. Wanneer de onderzoekers de modellen de volledige genetische verslagen voerden, presteerden de deep-learning classificatiesystemen respectabel, hoewel ze nog steeds iets minder nauwkeurig waren dan de traditionele methoden. Echter, op het moment dat de input werd beperkt tot alleen het korte ITS2-fragment, stortte de prestatie van de kunstmatige intelligentie in. Op dit korte fragment daalde de nauwkeurigheid van de deep-learning modellen naar ongeveer 18 tot 28 procent, een catastrofale mislukking vergeleken met de traditionele methoden, die robuust en nauwkeurig bleven op bijna 90 procent. De kunstmatige intelligentie-modellen, die waren geprezen als de toekomst van schimmelidentificatie, stopten in feite met werken wanneer ze werden geconfronteerd met de gegevens die ze in de echte wereld het meest waarschijnlijk zouden tegenkomen.
De onderzoekers onderzochten vervolgens waarom dit gebeurde, uit de veronderstelling dat de modellen niet daadwerkelijk de barcode lazen die ze zouden moeten identificeren. Ze voerden een slim experiment uit waarbij ze het korte ITS2-fragment van één schimmel namen en dit omringden met de flankerende genetische regio's van een volkomen ander type schimmel. Als de modellen echt de ITS2-barcode lazen, zouden ze de oorspronkelijke schimmel moeten hebben geïdentificeerd. In plaats daarvan identificeerden de modellen overweldigend de donorschimmel, de schimmel van wiens omringend genetisch materiaal het was aangehecht. In één geval identificeerde het model de familie van de donor voor bijna 6era 64 procent van de queries, terwijl het de werkelijke schimmel in minder dan 1 procent van de gevallen identificeerde. Dit bewees dat de modellen niet naar de barcode zelf keken, maar in plaats daarvan vertrouwden op de omringende genetische context, die volledig ontbrak in de korte omgevingsmonsters.
Deze ontdekking verklaart waarom de modellen zo dramatisch faalden. De kunstmatige intelligentie had geleerd om schimmels te herkennen door naar de volledige genetische verslaglegging te kijken, inclusief de regio's vóór en na de barcode. Wanneer ze werden gepresenteerd met het korte fragment alleen, waren de modellen effectief blind, niet in staat om de kenmerken te vinden die ze waren gaan herkennen. Erger nog, de modellen gaven hun verwarring niet toe. Hun betrouwbaarheidsscores verloren het vermogen om bekende schimmels van nieuwe te onderscheiden, wat betekende dat de output geen waarschuwing gaf dat de voorspelling waarschijnlijk onjuist was. In het geval van één model bleef het overmoedig, waardoor het onderzoekers een vals gevoel van veiligheid gaf ondanks dat het grotendeels onjuist was. De studie concludeert dat de gerapporteerde hoge nauwkeurigheid van deze deep-learning tools een illusie is, gecreëerd door ze te testen op data die niet overeenkomt met de werkelijke omstandigheden van omgevingssurveys. Om de tools bruikbaar te maken, moeten ze opnieuw worden getraind of opnieuw worden ontworpen om te begrijen dat de korte fragmenten die ze ontvangen fundamenteel verschillend zijn van de volledige verslagen waarop ze zijn gebouwd, of wetenschappers moeten vertrouwen op de eenvoudigere, meer betrouwbare methoden die de tand des tijds hebben doorstaan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.