Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

In het moderne laboratorium komt een nieuw soort assistent op de dag, een die geen pipet vasthoudt maar in plaats daarvan een gesprek voert. Dit zijn kunstmatige intelligentiesystemen die zijn ontworpen om te fungeren als "co-wetenschappers", autonome agenten die een biologische sequentie kunnen lezen, kunnen beslissen welke digitale tools ze moeten gebruiken en een antwoord op een complexe vraag kunnen samenvoegen. Ze werken door een groot doel op te splitsen in kleinere stappen, hun werk te controleren en hun pad te verfijnen, net zoals een menselijke onderzoeker die van een hypothese naar een conclusie beweegt. Het bouwen van deze systemen brengt echter een moeilijke keuze met zich mee. Eén pad leunt op enorme, flexibele taalmodellen die kunnen redeneren door onzekerheid, maar die duur, traag en soms inconsistent zijn. Het andere pad maakt gebruik van klassieke, geleerde beleidssystemen (policies)—systemen die door middel van trial-and-error zijn getraind om een strikte set regels te volgen. Deze zijn goedkoop, snel en volkomen consistent, maar ze missen het vermogen om hun denken uit te leggen of zich aan te passen aan nieuwe situaties. Terwijl wetenschappers beginnen deze tools in te zetten over verschillende instituten en computernetwerken heen, rijst een kritische vraag: doet de manier waarop deze agenten verbonden zijn of het specifieke brein dat ze gebruiken er meer toe doen dan de strategie die ze volgen?

Een team van onderzoekers bij het Pacific Northwest National Laboratory zette zich in om dit te beantwoorden door deze verschillende benaderingen in een gecontroleerde omgeving te testen. Ze richtten zich op een routinematige maar vitale taak in de biologie: het karakteriseren van eiwitten. Een eiwit is een molecuul dat specifieke taken uitvoert binnen levende cellen, en de functie ervan wordt vaak bepaald door de sequentie van de bouwstenen. De onderzoekers vroegen hun AI-agenten om naar een eiwitsequentie te kijken en de functie ervan te voorspellen door deze door een reeks digitale tools te leiden, zoals databases die sequenties vergelijken of software die 3D-structuren voorspelt. Ze testten de agenten onder twee verschillende netwerkopstellingen: een eenvoudige, single-server opstelling waarbij alle tools dichtbij waren, en een complexere, federatieve opstelling waarbij de tools verspreid waren over verschillende servers, wat de manier nabootst waarop echte wetenschappelijke laboratoria gegevens over landsgrenzen heen delen.

De studie vergeleek twee hoofdtypen agenten. Het eerste type gebruikte een krachtig taalmodel, in essentie een geavanceerde chatbot, om te beslissen welke tool de volgende stap zou zijn. Deze modellen kregen ofwel eenvoudige instructies of gedetailleerde, expert-niveau prompts om hun redenering te sturen. Het tweede type gebruikte een klassieke reinforcement learning-agent, een systeem dat via duizenden oefenrondes is getraind om de meest efficiënte weg naar een correct antwoord te leren zonder natuurlijke taalredenering. De onderzoekers voerden deze experimenten honderden keren uit en maten hoe vaak de agenten het juiste antwoord gaven, hoe lang het duurde, hoeveel het kostte en of de agenten elke keer hetzelfde antwoord gaven wanneer ze met dezelfde vraag werden geconfronteerd.

De resultaten toonden een duidelijke hiërarchie van belang aan. De belangrijkste factor voor succes was niet de netwerkopstelling of de specifieke instructies, maar de onderliggende intelligentie van het model zelf. Wanneer de agenten een top-tier taalmodel gebruikten, bereikten ze een nauwkeurigheidspercentage van ongeveer 92 tot 94 procent. Wanneer ze een kleiner, minder capabel model gebruikten, stortte de nauwkeurigheid in tot tussen de 40 en 50 procent. De manier waarop de tools over het netwerk verbonden waren, had bijna geen effect op de prestaties; of de agenten nu werkten in een enkele kamer of in een gedistribueerd netwerk, hun succespercentages bleven vrijwel identiek. Dit suggereert dat voor dit soort taken de fysieke of digitale afstand tussen tools geen grote barrière vormt voor wetenschappelijke ontdekking.

Misschien wel de meest opvallende bevinding betrof de afweging tussen flexibiliteit en betrouwbaarheid. De krachtige taalmodellen konden resultaten van hoge kwaliteit produceren, maar ze waren duur en inconsistent. Zelfs het beste taalmodel gaf in ongeveer 2 tot 3 procent van de gevallen een ander antwoord voor hetzelfde eiwit, en de kosten om deze modellen te draaien waren aanzienlijk, variërend van ongeveer 63 cent tot 93 cent per eiwit. In contrast hiermee was de klassieke leeragent, die geen vermogen heeft om zijn redenering uit te leggen of zijn strategie aan te passen, in elke enkele test perfect. Het behaalde een nauwkeurigheid van 88 procent, wat bijna gelijk is aan het beste taalmodel, maar deed dit in ongeveer 15 seconden en tegen nul kosten. Het was ook volledig consistent en veranderde nooit van antwoord wanneer het vijf keer dezelfde vraag kreeg.

De onderzoekers ontdekten dat de keuze van strategie volledig afhangt van de aard van het werk. Voor routinetaken waarbij het antwoord kan worden geverifieerd tegen bekende gegevens, zoals het identificeren van een eiwit met een bekende functie, is de goedkope, snelle en perfect consistente klassieke agent de superieure keuze. Het levert nauwkeurigheid die bijna de grenzen van de huidige stand van zaken bereikt, zonder de kosten of het risico op willekeurige fouten. Echter, voor open einde wetenschappelijke ontdekkingen waar het antwoord onbekend is en flexibiliteit vereist is, blijft het dure taalmodel noodzakelijk. De studie suggereert dat de waarde van de gedetailleerde redeneersporen die taalmodellen bieden, meeschaalt met de nieuwheid van de taak; voor het eenvoudige herstel van bekende feiten is de redenering minder waardevol dan de zekerheid van een vaste policy. Uiteindelijk biedt het werk een praktische gids voor wetenschappers die deze systemen bouwen: ga er niet vanuit dat een complexer, flexibeler brein altijd beter is. Voor veel wetenschappelijke workflows is een eenvoudige, geleerde regel niet alleen voldoende, maar ook de meest efficiënte weg voorwaarts.