MolSanity: A Reliability Audit for Feature Attributions on Molecular Graph Neural Networks
MolSanity introduceert een uitgebreid betrouwbaarheidsauditframework voor de feature-attributies van moleculaire grafische neurale netwerken, waarbij wordt aangetoond dat trouw aan het model niet correleert met chemische correctheid of grondwaarheid-lokalisatie, met name onder scaffold-verschuivingen, waardoor wordt aangetoond dat de betrouwbaarheid van verklaringen op casus-gebaseerde wijze moet worden geëvalueerd in plaats van te worden verondersteld op basis van enkel trouwheidsmetrieken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de hooggestoken wereld van medicijnontwikkeling vertrouwen wetenschappers vaak op kunstmatige intelligentie om te voorspellen hoe een nieuwe chemische verbinding zich in het menselijk lichaam zal gedragen. Deze systemen, bekend als graph neural networks, behandelen moleculen als verzamelingen van atomen die verbonden zijn door bindingen, vergelijkbaar met een kaart van steden en wegen. Wanneer de AI een voorspelling doet, zoals het markeren van een verbinding als potentieel giftig, is het standaardpraktijk om het systeem te vragen naar de onderbouwing van de beslissing. De AI reageert door specifieke atomen op het molecuul te benadrukken, waardoor een heatmap ontstaat die suggereert welke delen van de chemische structuur het belangrijkst waren voor de beslissing. Chemici vertrouwen deze kaarten om hun werk te sturen, uitgaande van de veronderstelling dat de gemarkeerde atomen de werkelijke chemische drijfveren van het resultaat zijn.
Een nieuwe studie onthult echter een verontrustende kloof tussen wat deze AI-systemen zeggen te hebben gedaan en wat ze daadwerkelijk hebben gedaan. Het onderzoek introduceert een rigoureuze audit genaamd MolSanity, ontworpen om te testen of deze verklaringen betrouwbaar zijn. De centrale bevinding is dat een verklaring perfect consistent kan zijn met de interne logica van de AI, terwijl deze chemisch gezien volkomen onjuist is. Met andere woorden: het systeem kan eerlijk zijn over zijn eigen denkproces, maar dat proces kan gebaseerd zijn op een misverstand over het molecuul. Dit onderscheid is cruciaal, want als een wetenschapper vertrouwt op een misleidende heatmap, kan hij een veelbelovend medicijn weggooien of, erger nog, een gevaarlijk middel nastreven in de veronderstelling dat de AI de juiste chemische boosdoener heeft geïdentificeerd, terwijl dat niet het geval is.
De onderzoekers zetten zich in om deze kloof te onderzoeken door een breed scala aan bestaande AI-tools te omringen en deze te testen tegen een enorme collectie moleculaire data. Ze hebben niet een nieuwe manier uitgevonden om verklaringen te genereren; in plaats daarvan hebben ze de standaardinstrumenten die gebruikt worden door de wetenschappelijke gemeenschap genomen en deze onderworpen aan een strikte betrouwbaarheidsaudit. Deze audit onderzocht elke mogelijke combinatie van dataset, AI-architectuur, verklaringmethode en datasplit. Ze maten twee verschillende zaken: getrouwheid (faithfulness) en juistheid (correctness). Getrouwheid vraat of de verklaring de interne berekeningen van het model accuraat reflecteert. Als het model zegt: "Ik heb naar dit atoom gekeken", wijst de verklaring dan ook naar dat atoom? Juistheid vraagt of de verklaring de werkelijke chemische eigenschap identificeert die de eigenschap bepaalt. Als het model giftigheid voorspelt, wijst de verklaring dan naar het giftige deel van het molecuul?
De studie vond dat deze twee kwaliteiten niet aan elkaar gekoppeld zijn. Een methode kan zeer getrouw zijn, wat betekent dat deze het gedrag van het model perfect beschrijft, en toch volkomen onjuist zijn door naar de verkeerde chemische kenmerken te wijzen. Sterker nog, over dertig verschillende tests heen, koos een rangschikkingssysteem dat de beste verklaringsmethode selecteerde op basis van louter getrouwheid, in zesentwintig van de dertig gevallen de verkeerde methode. De onderzoekers testten dit onder twee condities: wanneer de AI werd getest op moleculen die lijken op de moleculen waarop het getraind was, en wanneer het werd getest op volledig nieuwe chemische structuren, een scenario dat bekend staat als een 'scaffold shift', wat de echte wereld van medicijnontwikkeling nabootst. Het falen was niet beperkt tot de moeilijke nieuwe gevallen; het gebeurde net zo vaak in de vertrouwde gevallen. In één specifiek geval met een bekende dataset wees de meest getrouwe methode naar atomen die precies het tegenovergestelde waren van de werkelijke giftige groep, terwijl de methode die de giftige groep correct identificeerde, als minder getrouw werd gerangschikt.
Dit gebrek aan verbinding betekent dat er niet één enkele "beste" verklaringmethode is die voor elke situatie werkt. De betrouwbaarheid van een verklaring hangt af van de specifieke combinatie van de dataset, het AI-model en de methode die wordt gebruikt om de verklaring te genereren. De onderzoekers ontdekten dat hoewel de rangschikking van verklaringmethoden relatief stabiel bleef bij verschillende soorten moleculen, de relatie tussen getrouwheid en juistheid enorm varieerde. Op sommige datasets waren de twee positief aan elkaar gekoppeld; op andere waren ze negatief aan elkaar gekoppeld. Deze inconsistentie betekent dat een wetenschapper niet simpelweg de methode kan kiezen die het hoogst scoort op getrouwheid en verwachten dat deze ook juist is. De studie sluit expliciet de mogelijkheid uit dat getrouwheid een betrouwbare graadmeter is voor juistheid, door aan te tonen dat een hoge score op de één geen garantie biedt op een hoge score op de ander.
De audit onderzocht ook hoe deze verklaringen zich gedragen wanneer de AI zelfverzekerd is versus wanneer de AI ernaast zit. De onderzoekers ontdekten dat wanneer de AI een zelfverzekerde maar onjuiste voorspelling doet, de verklaring vaak getrouwer wordt aan de interne logica van het model, terwijl deze tegelijkertijd minder accuraat wordt wat betreft de chemie. Dit creëert een gevaarlijke valstrik: hoe zelfverzekerder de AI is in een foutief antwoord, hoe overtuigender de verklaring kan lijken, ook al leidt de verklaring de wetenschapper de verkeerde kant op. Bovendien toonde de studie aan dat de keuze van de onderliggende AI-architectuur een significante impact heeft op hoe goed een verklaring de ware chemische kenmerken kan lokaliseren, ongeacht de gebruikte verklaringmethode. Dit suggereert dat de betrouwbaarheid van een verklaring een eigenschap is van het gehele systeem, en niet alleen van de tool die wordt gebruikt om de heatmap te genereren.
Uiteindelijk dient dit werk als een noodzakelijke reality check voor het vakgebied van kunstmatige intelligentie in de chemie. Het laat zien dat de huidige praktijk van het blind vertrouwen op AI-verklaringen zonder ze te verifiëren tegen bekende chemische feiten, riskant is. De onderzoekers bieden een kader om deze systemen te auditeren, maar hun primaire conclusie is een negatieve: er is geen universele wet die garandeert dat een getrouwe verklaring ook een juiste verklaring is. Voor de medicinale chemicus die naar een heatmap kijkt, impliceert de studie dat de gemarkeerde atomen niet noodzakelijkerwijs de atomen zijn die er echt toe doen. De enige manier om te weten of een verklaring betrouwbaar is, is door deze te testen tegen de grondwaarheid (ground truth), een luxe die in de echte wereld van medicijnontwikkeling zelden beschikbaar is. Totdat die kloof wordt gedicht, is de meest betrouwbare aanpak om deze verklaringen te behandelen als hypothesen die getest moeten worden, in plaats van als feiten die geaccepteerd moeten worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.