When Debate Hurts: Model-Scale-Dependent Effects of Multi-Agent Deliberation in Psychiatric Diagnosis

In de wereld van de geestelijke gezondheidszorg is het diagnosticeren van een patiënt zelden een eenvoudige kwestie van symptomen afvinken op een lijstje. Zelfs voor hoogopgeleide menselijke psychiaters is het proces doordrenkt van onzekerheid. Studies hebben aangetoond dat wanneer verschillende artsen naar dezelfde beschrijving van een patiënt kijken, ze het vaak oneens zijn over de uiteindelijke diagnose. Soms is de verwarring zo diepgaand dat zelfs een team van de wereld's meest vooraanstaande experts het niet eens kan worden over wat er mis is met een persoon. Vanwege deze reden hebben onderzoekers zich tot kunstmatige intelligentie gewend, in de hoop dat computermodellen een meer consistente manier kunnen bieden om psychische aandoeningen te identificeren. Een populair idee is om meerdere AI-agenten, die fungeren als een panel van specialisten, een casus te laten debatteren voordat ze tot een conclusie komen. De theorie is dat dit heen en weer gaande gesprek fouten zou opvangen en tot betere antwoorden zou leiden, vergelijkbaar met een menselijk team dat samen een complex probleem doorwerkt.

Een nieuwe studie van onderzoekers van het Indian Institute of Technology Kharagpur test dit idee op een zeer praktische manier, met behulp van kleinere, open-source computermodellen die op een standaard persoonlijke computer kunnen draaien in plaats van op enorme, dure servers. Ze zetten een systeem op waarbij drie verschillende AI-"specialisten"—één gericht op symptomen, één op het vergelijken van verschillende mogelijke diagnoses, en één op het beoordelen van gevaar voor de patiënt—twintigvier verschillende synthetische patiëntverhalen bespreken. Deze verhalen waren geschreven om te lijken op echte medische dossiers, variërend van een reeks psychiatrische aandoeningen. De onderzoekers wilden zien of dit debatproces de AI daadwerkelijk hielp om het juiste antwoord te vinden, of dat het de boel juist verslechterde. Ze vergeleken het debatterende team met een enkele AI-agent die simpelweg direct een antwoord geeft zonder met iemand te praten.

De resultaten waren verrassend en gingen in tegen de algemene aanname dat meer discussie altijd tot betere resultaten leidt. Wanneer de onderzoekers het systeem testten op twee verschillende groottes van computermodellen—één met één miljard parameters en een andere met drie miljard—vonden zij dat het debatterende team consequent slechter presteerde dan de enkele agent die gewoon een snel antwoord gaf. Dit was geen toevalstreffer van een enkele test; de onderzoekers hebben het experiment vijf afzonderlijke keren uitgevoerd voor elke opstelling om ervoor te zorgen dat de resultaten echt waren. In elk geval kwam de AI die met zichzelf debatteerde vaker tot een foutieve diagnose dan de AI die dat niet deed. Het verschil was aanzienlijk: bij de kleinere omvang was het debatterende team gemiddeld over de trials correct in 57 procent van de gevallen, terwijl de eenvoudige, niet-debatterende agent in ongeveer 7ages 73 procent van de gevallen correct was. Bij de grotere omvang verbeterde het debatterende team naar ongeveer 69 procent, maar de eenvoudige agent deed het nog steeds beter met een nauwkeurigheid van bijna 88 procent.

De studie keek ook nauwgezet naar waarom dit gebeurde, door het proces te analyseren om te zien welk deel van het systeem de problemen veroorzaakte. De onderzoekers hadden aangenomen dat de laatste stap, waarbij een "rechter"-agent de discussie samenvatte en de definitieve beslissing nam, de hoofdschuldige was voor de slechte prestaties. Hun onderzoek onthulde echter een complexer beeld. De handeling van het debatteren zelf, zelfs voordat een rechter betrokken raakte, verlaagde de nauwkeurigheid al vergeleken met de eenvoudige aanpak. Bovendien veranderde het effect van de rechter afhankelijk van de grootte van het model. Op het kleinere model maakte de rechter de situatie niet veel erger, maar op het grotere model herstelde de rechter slechts gedeeltelijk de verloren nauwkeurigheid, terwijl het effect op de algehele nauwkeurigheid inconsistent bleef over de verschillende schalen. Dit suggereert dat het probleem niet slechts één defect onderdeel van het systeem is, maar een complexe interactie tussen de omvang van de computerhersenen en hoe deze met groepsdiscussie omgaan.

Misschien wel de meest kritieke bevinding betrof de veiligheid. In de geestelijke gezondheidszorg is het missen van een teken dat een patiënt gevaar loopt zichzelf te verwonden een catastrofale fout. De onderzoekers ontdekten dat het effect van het debat op het detecteren van dergelijke gevaren omdraaide afhankelijk van de modelgrootte. Op het kleinere model hielp het debatproces de AI daadwerkelijk om een hoog risico op zelfbeschadiging op te merken dat de eenvoudige agent had gemist. Maar op het grotere model gebeurde het tegenovergestelde: de eenvoudige agent identificeerde het gevaar correct, maar het debatterende team, specifiek de rechter die de discussie samenvatte, praatte zichzelf uit de discussie om het risico te melden. Dit betekent dat een systeem dat ontworpen is om veiliger te zijn door agenten met elkaar te laten discussiëren, juist minder veilig kan worden, afhankelijk van welk specifiek computermodel wordt gebruikt.

De onderzoekers merkten er zorgvuldig bij op dat hun resultaten niet betekenen dat kunstmatige intelligentie de menselijke artsen al heeft overtroffen. Ze vergeleken hun cijfers met gepubliceerde studies van menselijke psychiaters en stelden vast dat hun AI-resultaten in dezelfde orde van grootte lagen als menselijke prestaties bij soortgelijke taken, soms zelfs hoger, maar benadrukten dat de tests niet perfect overeenkwamen. De menselijke studies gebruikten andere patiëntverhalen en andere methoden om het juiste antwoord te bepalen. De auteur betoogt dat de belangrijkste les niet is dat AI beter of slechter is dan mensen, maar dat het populaire idee dat "meer debat beter is" geen universele regel is. In de specifieke context van psychiatrische diagnose met deze lokale computermodellen introduceerde de extra stap van het laten debatteren van agenten fouten die een eenvoudige, directe aanpak vermeed. De studie dient als een herinnering dat het toevoegen van lagen discussie in complexe velden zoals de geneeskunde niet automatisch een beter resultaat garandeert, en dat soms de meest directe weg de meest betrouwbare is.