Symposium: Trust via Auditable Records for Communities of AI Scientist Agents

Wetenschap heeft altijd vertrouwd op een simpel, menselijk ritme: een onderzoeker doet een bewering, verzamelt bewijs en schrijft het op zodat anderen het kunnen controleren. Dit systeem werkt omdat het verslag stabiel is; een artikel dat vandaag wordt gepubliceerd, kan over tien jaar nog steeds gelezen en geverifieerd worden door een collega die elke stap terug kan volgen naar de oorspronkelijke gegevens. Maar een nieuw soort wetenschapper betreedt het laboratorium: de kunstmatige intelligentie-agent. Deze programma's kunnen duizenden artikelen lezen, experimenten ontwerpen en gegevens analyseren veel sneller dan een mens. Ze beloven ontdekkingen te versnellen, maar ze dragen ook een uniek risico met zich mee. Omdat ze zo snel en bekwaam zijn, kunnen ze ook fouten maken die moeilijk op te merken zijn, zoals het verzinnen van feiten, het verkeerd interpreteren van bronnen of het subtiel verdraaien van gegevens om aan een gewenst resultaat te voldoen. Wanneer een menselijke onderzoeker een fout maakt, is dat meestal duidelijk. Wanneer een AI-agent een fout maakt, kan de fout begraven liggen in een berg gegenereerde tekst, waardoor het moeilijk is om te weten wat men moet vertrouwen.

De vraag waar de wetenschappelijke gemeenschap voor staat is niet alleen hoe we betere AI kunnen bouwen, maar hoe we een systeem kunnen bouwen waarin we kunnen vertrouwen op wat de AI zegt. Als een machine een hypothese genereert of een dataset analyseert, hoe weten we dan dat de redenering deugt? Hoe weten we dat het niet gewoon een gok was? Het antwoord ligt niet in het veranderen van de AI zelf, maar in het veranderen van de manier waarop het werk wordt vastgelegd. We hebben een manier nodig om het volledige denkproces van de AI vast te leggen, van de eerste gok tot de uiteindelijke conclusie, in een formaat dat permanent, transparant en onmogelijk achteraf te wijzigen is. Dit is de uitdaging die Dexter Pratt, een onderzoeker aan de University of California San Diego, aanpakt met een nieuw raamwerk genaamd Symposium.

Symposium is geen nieuw type AI-agent, noch is het een softwaretool die agenten helpt bij hun werk. Het is in plaats daarvan een digitaal archiefsysteem dat specifiek is ontworpen voor het tijdperk van kunstmatige intelligentie. Stel je een bibliotheek voor waar elk boek, elke notitie en elk snippertje papier in een glazen vitrine staat die niet geopend of gewijzigd kan worden zodra deze is verzegeld. In deze bibliotheek zijn de "boeken" niet alleen eindverslagen, maar het volledige spoor van redeneringen dat tot een conclusie heeft geleid. Het systeem legt elke hypothese vast die een AI-agent overweegt, elk stukje data dat het onderzoekt en elke aanname die het onderweg maakt. Cruciaal is dat het de AI dwingt om exact aan te geven welke stukken informatie het als bewijs gebruikt. Als een agent beweert dat een bepaald medicijn werkt, moet hij verwijzen naar de specifieke datatabel of het experiment dat die bewering ondersteunt, en mag hij geen enkele andere informatie als bewijs gebruiken, tenzij hij expliciet vermeldt dat hij dat doet.

De kern van het idee achter Symposium is dat vertrouwen geen enkele score is of een simpel "ja" of "nee"-oordeel. Het is een beslissing genomen voor een specifiek doel. Een onderzoeker kan besluiten een bevinding van een AI genoeg te vertrouwen om een klein vervolgexperiment uit te voeren, maar niet genoeg om er een belangrijk medisch advies op te baseren. Symposium legt deze nuance vast door te eisen dat elke invoer het doel en de belangen vermeldt. Wanneer een AI een resultaat publiceert, moet het uitleggen waarom het tot die conclusie kwam, welke aannames het moest maken en wat de gevolgen zouden zijn als het onjuist zou zijn. Dit creëert een duidelijk, controleerbaar spoor. Als een toekomstige wetenschapper, of zelfs een andere AI-agent, op dat werk wil voortbouwen, kan hij het verslag inzien en precies zien hoe de oorspronkelijke conclusie tot stand is gekomen. Ze kunnen het bewijs controleren, zien of de aannames standhouden en zelf beslissen of ze het resultaat vertrouwen.

Het systeem werkt door elk stuk onderzoek te behandelen als een permanent record genaamd een "Artifact". Deze Artifacts zijn aan elkaar gekoppeld in een geschiedenis die niet herschreven kan worden. Als een AI een fout maakt of nieuwe informatie vindt die een eerdere conclusie verandert, verwijdert of bewerkt het niet het oude record. In plaats daarvan publiceert het een nieuw record dat de correctie uitlegt, waarbij het oorspronkelijke record intact blijft, zodat de geschiedenis van de fout en de correctie zichtbaar blijft. Deze aanpak weerspiegelt de manier waarop de menselijke wetenschap met correcties omgaat, maar past dit toe op de snelle, hoog-volume output van AI-agenten. Het raamwerk is ontworpen om flexibel te zijn, waardoor verschillende groepen onderzoekers hun eigen instrumenten en methoden kunnen gebruiken terwijl ze zich nog steeds houden aan dezelfde regels voor het vastleggen van hun werk. Het scheidt de geschiedenis van het onderzoek van de agenten die het produceren, waardoor het verslag behouden blijft, zelfs als de technologie achter de agenten verandert.

Prats paper introduceert de regels voor dit systeem en biedt een werkend voorbeeld om te laten zien hoe het in de praktijk functioneert. Het voorbeeld laat zien hoe een AI-agent een wetenschappelijk argument genereert, dit opdeelt in claims, bewijs en aannames, en deze aan elkaar koppelt op een manier die een menselijke lezer kan volgen. Het systeem dwingt de agent om expliciet te zijn over wat het weet en wat het gokt. Het vereist de agent om duidelijk aan te geven welke datapunten als bewijs worden gebruikt en om de redenering achter elke stap uit te leggen. Dit niveau van detail is wat het systeem "controleerbaar" maakt. Het stelt iedereen, mens of machine, in staat om een conclusie terug te leiden naar de bron en te verifiëren of de logica klopt.

Het paper behandelt ook het probleem van "hallucinatie", waarbij AI-agenten feiten of citaten verzinnen. In het Symposium-raamwerk kan een agent niet simpelweg een bron citeren; het moet die bron als bewijs verklaren en uitleggen waarom het relevant is. Als de agent probeert een stukje data te gebruiken dat het niet correct heeft gedeclareerd, wijst het systeem dit af. Dit creëert een barrière tegen het soort subtiele misleiding dat kan optreden wanneer een agent probeert een zwak argument sterk te laten lijken. Het systeem garandeert niet dat de AI altijd gelijk zal hebben, maar het garandeert dat de redenering zichtbaar zal zijn. Als de AI ongelijk heeft, zal de fout duidelijk zijn omdat de keten van bewijsvoering wordt doorbroken of de aannames duidelijk worden gesteld.

Een van de meest significante aspecten van dit werk is de focus op de "lore van het laboratorium". In de traditionele wetenschap houden onderzoekers vaak een verslag bij van hun mislukte experimenten, doodlopende wegen en negatieve resultaten in persoonlijke notebooks die zelden worden gedeeld. Deze verslagen zijn waardevol omdat ze voorkomen dat anderen tijd verspillen aan dezelfde fouten. Symposium moedigt het vastleggen van al het werk aan, niet alleen de succesvolle bevindingen. Door agenten toe te staan hun volledige workflow te publiceren, inclusief de delen die niet werkten, creëert het systeem een gedeeld geheugen voor de wetenschappelijke gemeenschap. Dit is bijzonder belangrijk voor AI, dat in een enkele dag enorme hoeveelheden gegevens en analyses kan genereren. Zonder een systeem om deze informatie vast te leggen en te organiseren, zou veel ervan verloren gaan of vergeten worden.

Het raamwerk is ontworpen om te worden gebruikt door kleine gemeenschappen van onderzoekers die AI-agenten in hun laboratoria inzetten. Het biedt de infrastructuur voor deze gemeenschappen om hun eigen gedeelde verslag op te zetten, waar agenten hun werk kunnen publiceren en voort kunnen bouwen op het werk van anderen. Het systeem is uitbreidbaar, wat betekent dat naarmate er nieuwe soorten AI-tools verschijnen, het raamwerk zich kan aanpassen om deze te bevatten zonder het bestaande verslag te breken. Deze flexibiliteit is cruciaal omdat de technologie snel evolueert en een rigide systeem snel verouderd zou raken.

Het paper beweert niet dat Symposium een perfecte oplossing is of dat het alle problemen van AI in de wetenschap zal oplossen. Het is een voorstel voor een nieuwe manier van het vastleggen van onderzoek, die transparantie en verantwoording prioriteit geeft. De auteur erkent dat het systeem afhankelijk is van de agenten om de regels te volgen, en dat er geen manier is om een agent te dwingen eerlijk te zijn. Echter, door het redeneerproces zichtbaar en permanent te maken, maakt het systeem het voor een agent veel moeilijker om zijn fouten te verbergen. Het verlegt de last van vertrouwen van de agent zelf naar het verslag dat het achterlaat.

Uiteindelijk gaat Symposium over het creëren van een ruimte waar AI en mensen met vertrouwen samen kunnen werken. Het is een raamwerk dat de kracht van AI om ontdekkingen te versnellen erkent, terwijl het respect heeft voor de noodzaak van menselijk toezicht en verificatie. Door een duidelijk, onveranderlijk verslag te bieden van hoe wetenschappelijke conclusies tot stand komen, stelt het de wetenschappelijke gemeenschap in staat om de betrouwbaarheid van door AI gegenereerd werk op basis van geval per geval te beoordelen. Dit is geen wondermiddel, maar een praktische stap naar een toekomst waarin AI een vertrouwde partner kan zijn in het wetenschappelijke proces, in plaats van een zwarte doos die resultaten produceert die we niet kunnen begrijpen. Het werk legt de fundering voor een nieuwe soort wetenschappelijke samenwerking, een die gebouwd is op de solide grond van controleerbaar bewijs en een gedeelde geschiedenis.