Grounded verification of chemical and materials reasoning: detection is the bottleneck

De Magische Truc die Bijna Werkte

Stel je voor dat je praat met een zeer slimme, zeer zelfverzekerde robotvriend. Je stelt hem een vraag en hij antwoordt met een lang, vloeiend verhaal dat perfect klinkt. Maar soms bevat dat verhaal een leugen. In de wereld van de wetenschap, specifiek in de chemie en materiaalkunde, is dit een groot probleem. Als de robot een chemische formule als "C6H12O6" vermeldt terwijl het eigenlijk "C6H12O5" is, kan een wetenschapper een machine bouwen die niet werkt, of een medicijn dat niet veilig is. Dit is niet zomaar een typefout; dit is een "hallucinatie", waarbij de robot feiten verzint die echt lijken te zijn, maar volkomen nep zijn.

Lama tijd probeerden mensen dit op te lossen door de robot te vragen zijn eigen werk te controleren. Het is alsof je een leerling vraagt om zijn eigen toets te nakijken; ze missen vaak hun eigen fouten omdat ze te zelfverzekerd zijn. Anderen probeerden de robot een bibliotheek met boeken (een database) te geven om in te kijken voordat hij antwoord geeft. Maar het bekijken van elk boek voor elke vraag is traag, duur, en soms raakt de robot nog steeds in de war. De grote vraag die onderzoekers wilden beantwoorden was: Hoe vangen we deze leugens zonder alles te vertragen, en kunnen we ze daadwerkelijk oplossen zodra we ze vinden?

De Detective die Alleen de Verdachten Controleert

Dit artikel, van het Kurban Intelligence Lab, introduceert een nieuwe manier om "detective" te spelen met deze slimme robots. In plaats van de robot een hele bibliotheek te laten lezen of zijn huiswerk te laten nakijken, bouwden ze een "getrapte verifieerder" (tiered verifier). Denk aan deze verifieerder als een supersnelle, superstrenge bibliothecaris die alleen specifieke feiten controleert.

Zo werkt de magische truc:

1. De Opzet: De robot probeert een vraag te beantwoorden over een chemische stof (zoals "Wat is de formule voor ampicilline?").
2. De Hapering: De robot schrijft een vloeiend antwoord, maar hij heeft misschien een getal of een formule verzonnen.
3. De Controle: De verifieerder leest niet het hele verhaal. Hij zoekt naar specifie speciale "controleerbare beweringen" (zoals een moleculaire formule of een energienummer). Hij haalt die specifieke bewering eruit en controleert deze tegen een vertrouwde database (zoals een digitale encyclopedie van chemicaliën).
4. De Poort: Als de bewering overeenkomt met de database, zegt de verifieerder: "Alles is in orde!" en laat hij het antwoord doorgaan. Als de bewering onjuist is, slaat de verifieerder een alarm af.
5. De Fix: Wanneer er een alarm afgaat, zegt de verifieerder niet alleen "Je bent fout." Hij fluistert het correcte feit terug naar de robot en zegt: "Probeer het opnieuw, maar gebruik dit feit." De robot herschrijft dan alleen dat specifieke deel van het antwoord.

De Grote Verrassing: De Leugen Vangen is Moeilijker dan het Herstellen

De meest opwindende ontdekking in dit artikel is een beetje een plotwending. De onderzoekers verwachtten dat de robot misschien slecht zou zijn in het herstellen van zijn fouten. Ze dachten: "Misschien ziet de robot het juiste feit wel, maar kan hij het nog steeds niet goed opschrijven."

Maar dat was helemaal niet het probleem. Het artikel vond dat herstellen eigenlijk makkelijk is. Wanneer de verifieerder een fout betrapte en de robot het juiste feit gaf, herstelde de robot het 80% tot 97% van de tijd! Of het nu ging om een moleculaire formule of een kristalstructuur, de robot accepteerde de correctie met plezier.

De echte flessenhals, het ding dat het systeem niet perfect maakte, was detectie. De verifieerder moest de fout in de eerste plaats vinden.

• Voor veelvoorkomende chemicaliën ving de verifieerder bijna alle fouten op.
• Voor zeldzame, vreemde chemicaliën (de "long tail" van de wetenschap) miste de verifieder er veel van.
• In één geval (vormatie-energie) ving de verifieerder slechts 19% van de fouten op, ook al kon hij 80% van de fouten herstellen als hij ze wel had opgemerkt.

Het is als een beveiliger die geweldig is in het stoppen van een dief zodra hij hem ziet, maar de beveiliger is slecht in het spotten van de dief in de menigte in de eerste plaats. Het artikel concludeert dat de grootste uitdaging niet is om de robot eerlijk te leren zijn; het is om het systeem te leren de leugens te opsporen.

Wat Werkt en Wat Niet

De onderzoekers testten dit systeem op vier verschillende "slimme robots" (large language models) en vonden enkele interessante patronen:

• Het "Zeldzame" Probleen: De robots maakten de meeste fouten bij zeldzame, obscure chemicaliën die ze nog niet eerder hadden gezien. Dit is waar de verifieerder het meest nodig was, maar ook waar hij het moeilijkst was in het vinden van de fouten.
• De "Veelvoorkomende" Limiet: Voor zeer bekende, bekende feiten (zoals basis natuurkundige constanten) waren de robots al zo goed dat de verifieerder niet veel hoefde te doen. Sterker nog, voor deze gemakkelijke feiten markeerde de verifieder soms per ongeluk een correct antwoord als fout, waardoor de robot een goed antwoord "brak". Dit liet zien dat je voorzichtig moet zijn met het repareren van dingen die niet kapot zijn.
• Beter dan "Gewoon Vragen": Het team vergeleek hun systeem met een "conversationele oracle" (een robot die gewoon het antwoord opzoekt en het vertelt). Hun "gegate" systeem was veel beter. Waarom? Omdat de conversationele robot vaak alleen over het antwoord praatte zonder het specifieke getal dat de wetenschappers nodig hadden daadwerkelijk op te schrijven. De verifieerder dwong de robot om het exacte feit op te schrijven, wat het controleren makkelijker maakte.
• Kosten Gelden: Het controleren van elk woord in elk antwoord is duur en traag. Hun systeem controleerde alleen de delen die verdacht leken. Dit betekende dat ze 3,2 keer minder database-opvragingen gebruikten dan wanneer alles gecontroleerd zou worden, wat tijd en geld bespaarde terwijl ze toch de meeste fouten vingen.

De Les van de "Scope"

Er was nog een andere slimme truc die ze ontdekten. Soms controleerde de verifieerder de ingrediënten (de chemische formule) en zei: "Dat is correct!" Maar het uiteindelijke antwoord vereiste een berekening gebaseerd op die ingrediënten (zoals "Wat is het gewicht van dit molecuul?"). Als de verifieerder alleen de ingrediënten controleerde en niet de uiteindelijke berekening, kon het uiteindelijke antwoord nog steeds fout zijn.

Toen ze de verifieerder uitbreidden om ook het uiteindelijke berekende antwoord te controleren, en niet alleen de ingrediënten, steeg het succespercentage van 83% naar 90%. Dit leerde hen dat je, om een probleem echt op te lossen, het deel van het antwoord moet controleren dat er daadwerkelijk toe doet voor de gebruiker, en niet alleen de bouwstenen.

De Kernboodschap

Dit artikel laat zien dat we wetenschappelijke AI veel betrouwbaarder kunnen maken, maar dat we ons op het juiste deel van de puzzel moeten richten. We hoeven de robot niet te leren om slimmer te zijn in het herstellen van zijn fouten; daar is hij al best goed in. In plaats daarvan moeten we betere "leugendetectoren" bouwen die de zeldzame, lastige fouten kunnen opsporen voordat ze gebeuren.

De onderzoekers lieten ook zien dat deze methode werkt voor andere zaken, zoals het controleren van de halfwaardetijden van radioactieve atomen, wat bewijst dat het idee niet alleen voor chemie geldt. Ze merkten echter ook voorzichtig op dat voor zaken die de robots al perfect kennen (zoals beroemde natuurkundige constanten), dit systeem niet veel helpt en zelfs een paar nieuwe fouten kan veroorzaken. De magie werkt alleen waar er echte fouten te vinden zijn.

Kortom: De robot is klaar om gecorrigeerd te worden; we moeten alleen beter worden in het betrappen van zijn leugens.