Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
Deze studie onthult dat chemische chain-of-thought-redenering in taalmodellen functioneert als een hallucinatiegevoelig moleculair kladblok waar gefabriceerde structurele claims gebruikelijk zijn maar toch causaal belastend voor het genereren van correcte antwoorden, wat procesmatige supervisie noodzakelijk maakt boven eenvoudige evaluatie van het antwoord.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van kunstmatige intelligentie heeft een nieuwe generatie modellen geleerd om na te denken voordat het spreekt. In plaats van direct naar een antwoord te springen, worden deze systemen getraind om een stapsgewijs redeneerproces uit te schrijven, vergelijkbaar met een student die een wiskundig probleem uitwerkt op een kladblaadje. Deze methode, bekend als chain-of-thought reasoning (keten van gedachten-redeneren), is een standaardmethode geworden om computers te helpen complexe puzzels op te lossen. In het vakgebied van de chemie, waar moleculen de bouwstenen van het leven en medicijnen zijn, is deze vaardigheid bijzonder veelbelovend. Wetenschappers hopen dat als een computer zijn logica kan uitleggen bij het ontwerpen van een nieuw medicijn of het identificeren van een chemische structuur, menselijke experts die logica op fouten kunnen controleren. De aanname was dat als het uiteindelijke antwoord correct is, de gebruikte redenering om daar te komen ook betrouwbaar moet zijn.
Echter, een recente studie daagt deze geruststellende aanname uit. Onderzoekers van instellingen waaronder de National University of Singapore en de Hong Kong Polytechnic University onderzochten of deze AI-modellen werkelijk redeneren door chemische problemen, of dat ze simpelweg dingen verzinnen onderweg. Ze richtten zich op een specif으로 type fout genaamd een hallucinatie, waarbij een model zelfverzekerd een feit beweert dat simpelweg niet waar is. In de context van de chemie zou dit er bijvoorbeeld zo uitzien dat een model beweert dat een molecuul een specifieke chemische groep bevat, zoals een carbonzuur, terwijl die groep in werkelijkheid ontbreekt in de structuur. Omdat chemische structuren precies zijn en gecontroleerd kunnen worden tegen een bekende database, biedt dit vakgebied een zeldzame kans om te testen of de uitleg van een AI overeenkomt met de realiteit. De onderzoekers wilden weten: als een model het juiste antwoord geeft, komt dat dan doordat het de chemie begreep, of heeft het gewoon de juiste vorm geraden terwijl het een nepverhaal verzonnen om het te rechtvaardigen?
Om het antwoord te vinden, analyseerde het team vier verschillende families van redeneermodellen over twaalf verschillende chemische taken, variërend van het beschrijven van moleculen tot het ontwerpen van nieuwe moleculen. Ze bouwden een systeem om de geschreven redeneringen van de modellen te lezen en elke afzonderlijke chemische claim te controleren tegen de werkelijke moleculaire structuren die erbij betrokken waren. Wat ze ontdekten was verbijsterend. Hallucinaties waren wijdverspreid. In veel gevallen produceerden de modellen de perfect correcte moleculaire structuur, maar bevatten ze gefabriceerde chemische details in hun geschreven uitleg. Bijvoorbeeld, bij een taak die het genereren van moleculen uit tekstuele beschrijvingen betrof, waren ongeveer 13 procent van de reacties van een toonaangevend model exact correct in hun uiteindelijke output, terwijl de begeleidende redeneertekst ten minste één verzonnen chemische claim bevatte. De studie vond dat de aanwezigheid van deze leugens bijna geen verband hield met de vraag of het uiteindelijke antwoord goed of fout was. Een model kon volkomen accuraat zijn in zijn resultaat terwijl de redenering vol onwaarheden zat, of het kon fout zijn in het resultaat terwijl de redenering zuiver was.
Deze discrepantie suggereert dat de geschreven redenering niet altijd een getrouwe registratie is van hoe het model tot zijn conclusie kwam. Om te begrijpen waarom dit gebeurt, voerden de onderzoekers een reeks experimenten uit waarbij ze de outputs van de modellen doelbewust aanpasden. Ze namen de geschreven redeneertekst en vervingen de namen van chemische groepen door onjuiste namen. Verrassend genoeg had het veranderen van deze verbale claims zeer weinig effect op het uiteindelijke antwoord dat het model produceerde. Het model leek de eigen geschreven uitleg te negeren wanneer het tijd was om de uiteindelijke structuur te genereren. Echter, wanneer zij de oorspronkelijke input of de interne structurele schetsen die het model opschreef veranderden, veranderde het uiteindelijke antwoord drastisch. Dit onthulde dat de modellen niet vertrouwden op hun eigen proza om het probleem op te lossen. In plaats daarvan gebruikten ze de redeneringsruimte als een soort moleculair kladblok.
De onderzoekers ontdekten dat de modellen fragmenten van chemische structuren opschreven, vaak in een formaat dat SMILES wordt genoemd, wat een manier is om moleculen als tekstreeksen weer te geven. Deze fragmenten fungeerden als tussenliggende aantekeningen die het model gebruikte om het uiteindelijke antwoord op te bouwen. Terwijl de leesbare zinnen die de chemie beschreven vaak onbetrouwbaar waren en vatbaar voor fabricage, droegen deze structurele concepten de werkelijke rekenlast. Verschillende modellen gebruikten dit kladblok op verschillende manieren. Sommigen vertrouwden zwaar op deze tekstgebaseerde structurele fragmenten, terwijl anderen meer leken te focussen op bredere chemische aanwijzingen zoals de vorm van het molecuul of de positie van specifieke onderdelen. De studie toonde aan dat de leesbare uitleg vaak slechts een post-hoc rationalisatie is — een verhaal dat achteraf wordt verteld — terwijl het werkelijke werk plaatsvindt in deze verborgen structurele concepten.
De implicaties van deze bevinding zijn aanzienlijk voor hoe we vertrouwen op en kunstmatige intelligentie gebruiken in de wetenschap. Als een model een correcte kandidaat-medicijn kan produceren terwijl het liegt over de chemische groepen die het heeft gebruikt, is het riskant om enkel op het uiteindelijke antwoord te vertrouwen. Een menselijke chemicus die de uitleg leest, kan misleid worden door de gefabriceerde details, in de veronderstelling dat het model de chemie begreep terwijl dat niet het geval was. De onderzoekers toonden aan dat het mogelijk is om modellen eerlijker te trainen. Door een nieuwe trainingsmethode te creëren die het model alleen beloont wanneer de redenering geen gefabriceerde claims bevat, produceerden zij een versie van het model die veel minder fouten maakte in de uitleg zonder het vermogen te verliezen om de problemen op te lossen. Deze nieuwe aanpak, die zij Chem-R-Faithful noemden, verminderde de snelheid van gefabriceerde claims aanzienlijk terwijl de prestaties op de taken hoog bleven.
Uiteindelijk onthult dit werk dat chain-of-thought reasoning in de chemie noch een perfecte uitleg, noch een nutteloos bijproduct is. Het is een complexe, vatbare voor hallucinaties werkruimte waar het model zijn oplossing ontwerpt. De leesbare tekst is vaak onbetrouwbaar, maar de structurele aantekeningen die binnen die tekst verborgen liggen, zijn cruciaal voor het verkrijgen van het juiste antwoord. Dit betekent dat om AI in de wetenschap echt te vertrouwen, we niet alleen naar het uiteindelijke resultaat of het geschreven verhaal kunnen kijken. We moeten nieuwe manieren ontwikkelen om het proces zelf te verifiëren, door de structurele concepten en de logica achter de schermen te controleren. Naarmate deze instrumenten gebruikelijker worden in de ontdekking van geneesmiddelen en moleculaire vormgeving, zal het essentieel zijn om te begrijpen dat het redeneertraject een werkversie is en geen definitief rapport, om de veiligheid en nauwkeurigheid van de chemicaliën van de toekomst te waarborgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.