Agent Role Structure and Operating Characteristics in Large Language Model Clinical Classification: A Comparative Study of Specialist and Deliberative Multi-Agent Protocols

Deze studie toont aan dat bij grote taalmodellen voor klinische classificatie het interne roldecompositie-ontwerp van multi-agent-systemen, zelfs zonder veranderingen in modelparameters, de prestaties en de afweging tussen sensitiviteit en specificiteit systematisch kan beïnvloeden.

De kern

De Kernvraag: Hoe we een AI "instructeren" is net zo belangrijk als de AI zelf

Stel je voor dat je een zeer slimme, maar nog jonge arts hebt (de Large Language Model of LLM) die diagnoses moet stellen. De onderzoekers wilden weten: Is het de slimme arts zelf die de diagnose bepaalt, of is het de manier waarop we hem laten werken?

Vaak denken mensen dat als je een AI beter maakt, je de "hersenen" (de code en training) moet aanpassen. Dit onderzoek laat zien dat je de hersenen niet hoeft te veranderen. Je kunt de uitkomst al volledig veranderen door alleen te veranderen hoe je de taken verdeelt.

De Twee Manieren van Werken

De onderzoekers hebben twee verschillende manieren bedacht om deze slimme arts te laten werken bij het kijken naar patiëntendata (zoals hartziektes en diabetes). Ze gebruikten precies dezelfde "hersenen" (hetzelfde model) voor beide methoden, maar veranderden alleen de organisatie.

1. De "Alleskunner" (Generic Deliberative - GD)

Stel je voor dat je twee gewone artsen hebt. Je geeft ze allebei het volledige dossier van de patiënt.

• Hoe het werkt: Beide artsen lezen alles: de bloeddruk, de leeftijd, de bloedtesten, de familiegeschiedenis... en ze proberen samen een oordeel te vellen.
• De analogie: Het is alsof je twee detectives een hele berg bewijsmateriaal geeft en vraagt: "Wie is de dader?" Ze kijken allebei naar alles tegelijk.

2. De "Specialisten" (Feature-Specialist - FS)

Nu nemen we dezelfde twee artsen, maar we verdelen het werk heel specifiek.

• Hoe het werkt: Arts A mag alleen kijken naar de bloeddruk. Arts B mag alleen kijken naar de cholesterol. Ze mogen niet naar de andere gegevens kijken. Ze geven elk een klein oordeel, en een derde arts (de "rechter") kijkt naar die twee oordelen en het volledige dossier om de finale beslissing te nemen.
• De analogie: Het is alsof je een team van specialisten hebt. De ene kijkt alleen naar de wielen van de auto, de andere alleen naar de motor. Ze geven elk een rapport, en een hoofdingenieur beslist of de auto veilig is.

Wat Vonden Ze? (Het Verrassende Resultaat)

Je zou denken dat de "Alleskunnens" altijd beter zijn, of dat de "Specialisten" altijd beter zijn. Maar dat is niet zo. Het hangt af van welk type ziekte je bekijkt.

Geval 1: Hartziektes (De Cleveland-dataset)

Hier waren de Specialisten beter.

• Wat gebeurde er: De "Alleskunnens" maakten vaker fouten door te denken dat iemand ziek was, terwijl hij het niet was (veel vals-positieven). De Specialisten waren veel nauwkeuriger in het zeggen: "Nee, deze persoon is gezond."
• De vergelijking: Bij hartziektes helpt het om de signalen te splitsen. Als je alles door elkaar haalt, kan de AI zich laten leiden door kleine details die niet belangrijk zijn. Door te focussen op één ding per arts, wordt de diagnose scherp en betrouwbaarder.

Geval 2: Diabetes (De Pima-dataset)

Hier waren de Alleskunnens beter.

• Wat gebeurde er: De Specialisten maakten hier een enorme fout. Ze zeiden bijna iedereen die gezond was, ziek te hebben (ze misten bijna geen enkele zieke, maar zeiden ook dat gezonde mensen ziek waren). De "Alleskunnens" waren hier veel evenwichtiger.
• De vergelijking: Bij diabetes zijn de signalen vaak heel subtiel en hangen ze van alles af. Als je de arts alleen laat kijken naar de suikerwaarde, denkt hij misschien: "Oh, suiker is hoog, dus ziek!" terwijl de rest van het dossier zegt: "Nee, de rest is prima." De "Alleskunnens" konden de subtiele balans tussen alle factoren beter begrijpen.

Waarom is dit belangrijk?

Dit onderzoek is als een ontdekking in de keuken:
Stel je hebt een meesterkok (de AI). Je denkt dat je de kok moet vervangen om betere taarten te bakken. Maar dit onderzoek zegt: "Nee, je hoeft de kok niet te vervangen. Je moet alleen veranderen hoe je de ingrediënten aanlevert."

• Soms wil je dat de kok eerst de suiker proeft, dan de bloem, en dan de eieren (Specialisten).
• Soms wil je dat de kok alles in één keer proeft en het gevoel heeft (Alleskunnens).

De Conclusie voor de Wereld

De belangrijkste les is: Hoe je een AI organiseert, bepaalt welke fouten hij maakt.

In de medische wereld is dit levensbelangrijk:

• Als je een AI gebruikt om kanker te screenen, wil je misschien liever dat hij gezonde mensen per ongeluk ziek noemt (veel vals-positieven), dan dat hij een zieke over het hoofd ziet (vals-negatief). Je kunt dit bereiken door de AI te laten werken als een "Alleskunner" die alles door elkaar haalt.
• Als je een AI gebruikt om onnodige operaties te voorkomen, wil je juist dat hij heel streng is en alleen zegt "ja" als het 100% zeker is. Dan kun je de "Specialisten" gebruiken om de signalen te filteren.

Kortom: Je kunt de "gevoeligheid" van een AI (hoeveel hij ziet) en zijn "specificiteit" (hoe nauwkeurig hij is) volledig aansturen door alleen de rolverdeling in het team te veranderen, zonder de computer zelf te hoeven herschrijven. Dat is een enorme stap voor de toekomst van veilige AI in de zorg.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet voor gestructureerde klinische besluitvorming, blijft de invloed van de interne rollenverdeling binnen multi-agent systemen onvoldoende geïsoleerd. Bestaande vergelijkingen tussen single-agent en multi-agent prompts verwarren vaak de werkstroomstructuur met veranderingen in modelconfiguratie, training of decoding. Het is onduidelijk of specialisatie op prompt-niveau (het toewijzen van specifieke rollen aan agenten) op zichzelf systematisch de classificatiegedrag en de operationele kenmerken (zoals de afweging tussen sensitiviteit en specificiteit) kan beïnvloeden zonder de modelparameters aan te passen.

Methodologie

De auteurs voeren een gecontroleerde architecturale studie uit waarbij de interne rollenverdeling de enige gemanipuleerde variabele is. Alle andere factoren (basismodelgewichten, decoding-instellingen, rekenbudget en adjudicatielogica) worden constant gehouden.

• Datasets: Twee tabulaire klinische benchmarks worden gebruikt:
  1. UCI Cleveland Heart Disease: 303 patiënten, 13 kenmerken (prevalentie ziekte: 45,9%).
  2. Pima Indians Diabetes: 768 patiënten, 8 kenmerken (prevalentie ziekte: 34,9%).
     De data is gesequenced naar gestructureerde tekst voor LLM-input.
• Model: llama3.1:8b, lokaal uitgevoerd met een temperatuur van 0 (deterministisch).
• Protocollen: Twee deterministische Directed Acyclic Graph (DAG) workflows worden vergeleken:
  1. Generic Deliberative (GD): Twee parallelle "generalist" agenten evalueren elk het volledige patiëntdossier onafhankelijk. Een adjudicator combineert deze meningen met het volledige dossier om tot een einddiagnose te komen.
  2. Feature-Specialist (FS): Twee parallelle "specialist" agenten. Elke agent is beperkt tot één specifiek klinisch kenmerk (feature) uit het dossier en levert een gestructureerde beoordeling (signaal, sterkte, rechtvaardiging) voor alleen dat kenmerk. De adjudicator combineert deze deelvragen met het volledige dossier.
• Adjudicatie: In beide gevallen fungeert een derde LLM-call als adjudicator die de output van de upstream-agenten en het volledige dossier verwerkt tot een binair resultaat (disease_present of no_disease).

Belangrijkste Bijdragen

1. Isolatie van Architecturale Variabelen: Het onderzoek isoleert voor het eerst de invloed van interne rollenverdeling als een onafhankelijke architecturale variabele, zonder confounding factoren zoals modeltraining of decoding-parameters.
2. Rolstructuur als Inductieve Bias: De studie toont aan dat interne rollenverdeling fungeert als een gestructureerde inductieve bias die de verdeling van fouten en de operationele kenmerken (sensitiviteit/specificiteit) fundamenteel kan veranderen, zelfs bij identieke modelgewichten.
3. Controlemechanisme: Het biedt bewijs dat prompt-architectuur kan worden gebruikt als een expliciet mechanisme om de afweging tussen sensitiviteit en specificiteit te sturen in veiligheidskritieke systemen.

Resultaten

De resultaten tonen dat het veranderen van de rollenstructuur de prestaties niet uniform verbetert, maar de foutenprofielen systematisch herschikt, afhankelijk van het dataset:

• Cleveland Dataset (Hartziekte):
  • De Feature-Specialist (FS) architectuur presteerde beter in absolute termen (Accuracy: 0.72 vs 0.65 bij GD; Macro-F1: 0.71 vs 0.65).
  • Verschuiving: FS verschuift het operationele punt naar hogere specificiteit (+0.22) en lagere sensitiviteit (-0.13).
  • Effect: Aanzienlijke reductie in vals-positieven (29 vs 66 bij GD), maar meer vals-negatieven. De beperking van agenten tot specifieke kenmerken lijkt te voorkomen dat zwakke signalen samenkomen tot een positieve classificatie.
• Pima Dataset (Diabetes):
  • De Generic Deliberative (GD) architectuur presteerde het sterkst (Accuracy: 0.68; Macro-F1: 0.64).
  • Verschuiving: De Feature-Specialist (FS) architectuur veroorzaakte hier een extreme asymmetrie: zeer hoge recall voor de positieve klasse (0.95) maar zeer lage recall voor de negatieve klasse (0.27).
  • Effect: FS leidde tot een enorme toename in vals-positieven (365 vs 104 bij GD), wat resulteert in een verschuiving naar hoge sensitiviteit en lage specificiteit.

Conclusie van de resultaten: De richting van de verschuiving in de sensitiviteit-specificiteit trade-off is dataset-afhankelijk. Op Cleveland werd specificiteit verhoogd, terwijl op Pima sensitiviteit werd verhoogd ten koste van specificiteit.

Betekenis en Conclusie

Dit onderzoek demonstreert dat de interne organisatie van multi-agent systemen geen oppervlakkig implementatiedetail is, maar een kernontwerpbeslissing die de prestaties van LLM's in klinische settings fundamenteel beïnvloedt.

• Veiligheid en Toepassing: In klinische contexten is de keuze voor een architectuur afhankelijk van de doelstelling. Een screeningstool (waarbij het missen van een ziekte kostbaar is) zou kunnen profiteren van een architectuur die de sensitiviteit maximaliseert (zoals FS op Pima), terwijl een bevestigende test (waarbij vals-positieven onnodige stress en testen veroorzaken) baat heeft bij een architectuur die de specificiteit maximaliseert (zoals FS op Cleveland).
• Toekomstperspectief: De auteurs pleiten ervoor dat prompt-architectuur wordt behandeld als een expliciet mechanisme voor het sturen van de operationele kenmerken van veiligheidskritieke LLM-systemen. Toekomstig werk moet deze effecten valideren op grotere, real-world datasets en onderzoeken hoe de granulariteit van rollen (aantal agenten, type specialisatie) de prestaties verder beïnvloedt.

Kortom, het artikel levert het bewijs dat hoe je een LLM vraagt om te redeneren (via rollenverdeling), net zo belangrijk is als wat je vraagt, en dat dit een krachtig hulpmiddel is om de foutenverdeling in AI-gestuurde medische besluitvorming te beheersen.