Perspective independence, more than personas, drives LLM teams - and where they reverse

In de snel evoluerende wereld van kunstmatige intelligentie onderzoeken onderzoekers hoe ze computerprogramma's die taal begrijpen betrouwbaarder kunnen maken, vooral wanneer ze worden gevraagd om moeilijke problemen op te lossen. Een populaire strategie houdt in dat de computer wordt gevraagd te handelen alsof het een team van verschillende experts is, elk met een specifieke taak, zoals een cardioloog of een chirurg, die samenwerken om tot een conclusie te komen. Deze aanpak rust op het idee dat het hebben van een verscheidenheid aan gespecialiseerde stemmen zal leiden tot betere antwoorden dan de computer vragen om een enkel, direct antwoord te geven. Dit vraagstuk is echter onduidelijk gebleven: komt de verbetering door de specifieke titels die deze experts dragen, of simpelweg door het feit dat de computer meerdere onafhankelijke gedachten genereert voordat ze worden gecombineerd. Deze vraag is van groot belang omdat deze systemen steeds vaker worden gebruikt om te assisteren in hoogwaardige velden zoals de geneeskunde, waar het verschil tussen een correcte diagnose en een gemiste diagnose levensveranderend kan zijn.

Een recente studie probeerde deze twee mogelijkheden te ontrafelen door te testen hoe goed verschillende opstellingen presteerden op echte medische casussen. De onderzoekers vergeleken een standaard, enkel verzoek aan een computer met twee complexere methoden. In de ene methode vroegen ze de computer om vijf verschillende expertrollen aan te nemen binnen één enkel gesprek. In de andere methode creëerden ze vijf aparte, geïsoleerde instanties van de computer, waarbij elke instantie als een verschillende specialist optrad, en gebruikten ze vervolgens een zesde instantie om als moderator te fungeren, die naar hen luisterde en hun antwoorden synthetiseerde. Ze testten deze benaderingen op honderden gevallen die betrokken waren bij bezoeken aan de spoedeisende hulp en complexe medische redeneringen, waarbij gebruik werd gemaakt van een systeem dat het oordeel van een clinicus nabootste om de resultaten te beoordelen.

De resultaten onthulden een verrassende splitsing in prestaties afhankelijk van het type probleem dat werd opgelost. Wanneer het team de systemen testte op een brede set medische casussen die bedoeld waren om te controleren hoeveel correcte mogelijkheden de computer kon opsommen, presteerde het team van geïsoleerde agenten beter dan de enkele directe oproep. De geïsoleerde groep vond meer correcte antwoorden in de top drie en top vijf suggesties, waarbij het verschil statistisch significant was. Verdere analyse toonde aan dat dit succes niet kwam doordat de computer deed alsof hij een specialist was. In plaats daarvan kwam de winst voort uit het feit dat de agenten hun gedachten onafhankelijk genereerden en er vervolgens een moderator was die ze combineerde. De specifieke titels of rollen die aan de agenten werden toegewezen, voegden geen extra waarde toe; het voordeel zat puur in de structuur van het hebben van aparte geesten die parallel werkten en daarna samenkwamen.

Echter, het verhaal veranderde volledig toen de onderzoekers deze methoden toepasten op echte scenario's op de spoedeisende hulp. In deze meer chaotische en tijdgevoelige omgeving presteerde de enkele directe oproep beter dan het team van geïsoleerde agenten. De enkele oproep identificeerde het primaire probleem in ongeveer 40 procent van de gevallen, terwijl de teambenadering dit slechts in ongeveer 34 procent van de gevallen deed. In deze specifieke context kantelde het voordeel, en werd het voordeel gedreven door de lijsten met specialistische rollen in plaats van de onafhankelijke generatie van ideeën. De studie suggereert dat er geen enkele beste manier is om deze teams van kunstmatige intelligentie te organiseren. De meest effectieve aanpak hangt volledig af van de specifieke vraag die gesteld wordt en de aard van de beschikbare informatie, wat betekent dat een strategie die werkt voor het ene type medische uitdaging, kan falen voor een ander.