MAC: Masked Agent Collaboration Boosts Large Language Model Medical Decision-Making

Technische Samenvatting: Masked Agent Collaboration (MAC) voor Medische Besluitvorming

Probleemstelling
Hoewel Large Language Models (LLM's) en Multi-Agent Systemen (MAS) veelbelovend zijn in de gezondheidszorg, staan huidige MAS-gebaseerde benaderingen voor twee kritieke beperkingen in scenario's voor medische besluitvorming:

1. Gebrek aan Systematische Agentconstructie: Bestaande methoden selecteren collaboratieve agenten vaak uitsluitend op basis van prestatie-indicatoren voor losse modellen (bijvoorbeeld nauwkeurigheid) of diversiteit, en negeren essentiële operationele afwegingen zoals modelgrootte, inferentietijd en doorvoer. Dit leidt tot suboptimale ensemblemodellen die ofwel computergewijs te zwaar zijn voor klinische implementatie, ofwel het nodige diagnostische betrouwbaarheidsniveau missen.
2. Stijve Collaboratiepatronen: Huidige MAS-frameworks hanteren doorgaans statische collaboratiepatronen waarbij alle agenten bijdragen aan elke laag van aggregatie. Deze rigiditeit maakt ze kwetsbaar voor "collaboratiefouten", waarbij overtuigende maar onjuiste output van specifieke agenten desinformatie verspreidt, wat de algehele prestaties verslechtert. In medische contexten, waar schaarste aan data kan leiden tot hallucinaties, ondermijnt deze verspreiding van inconsistente output de bruikbaarheid van het systeem.

Methodologie: Het MAC-framework
De auteurs stellen het Masked Agent Collaboration (MAC)-framework voor, dat een dynamisch, adaptief proces introduceert om medische besluitvorming te verbeteren. Het framework bestaat uit twee primaire mechanismen:

1. Pareto-optimale Agentconstructie:

   • In plaats van willekeurige selectie, analyseert MAC een pool van kandidaat-LLM's met een multi-objectieve optimalisatiebenadering gebaseerd op vier sleutelfactoren: Modelgrootte, Inferentietijd, Diversiteitsscore en Doorvoerverhouding.
   • De Diversiteitsscore wordt berekend door de semantische gelijkenis te meten tussen paarsgewijze output gegenereerd door een enkele LLM op dezelfde query (met behulp van de Levenshtein-afstand op schuifvensters).
   • Het systeem identificeert de Pareto-grens om een cohort agenten te selecteren dat een balans biedt tussen efficiëntie (grootte, tijd, doorvoer) en capaciteit (diversiteit). Dit zorgt ervoor dat het geselecteerde ensemble zowel hoogpresterend als praktisch inzetbaar is in klinische omgevingen met beperkte middelen.

2. Adaptieve Progressieve Propagatie via Cross-Consistency Maximalisatie:

   • In tegenstelling tot statische aggregatie hanteert MAC een iteratief proces per laag waarbij agenten output genereren op basis van de geaggregeerde input van niet-gemaskerde agenten uit de vorige laag.
   • Cross-Consistency (CC) Berekening: Het systeem berekent de paarsgewijze gelijkenis tussen de output van alle actieve agenten.
   • Dynamische Maskering: In elke laag wordt de agent met de laagste minimum paarsgewijze gelijkenis (laagste cross-consistentie) geïdentificeerd en gemaskerd (verwijderd) uit de actieve set. Haar output wordt uitgesloten van de aggregatie in de volgende laag.
   • Dit proces wordt herhaald voor een vooraf bepaald aantal lagen, waarbij inconsistent of abnormaal perspectief progressief wordt weggeknipt. De overgebleven agenten verfijnen hun redenering op basis van het consensus van het "niet-gemaskerde" cohort, wat een zelfaanpassend discussieproces simuleert dat ruis en hallucinaties filtert.

Belangrijkste Bijdragen

• Identificatie van Foutmodi: Het artikel benadrukt dat huidige MAS-frameworks vaak falen in medische scenario's omdat ze mechanismen missen om agent-oververtrouwen en verspreiding van desinformatie aan te pakken, wat leidt tot prestatieverlies ten opzichte van individuele LLM's.
• Pareto-optimale Constructiemechanisme: Een innovatief proces voor het selecteren van collaboratieve agenten dat prestaties strikt afweegt tegen computergrenzen (grootte, tijd, doorvoer), waardoor toepasbaarheid in de praktijk wordt gegarandeerd.
• Cross-Consistency Maximalisatie (CCM): Een iteratieve maskeringstrategie die dynamisch de minst consistente agent in elke laag verwijdert. Dit vermindert prestatieverlies door inconsistente output te filteren tijdens adaptieve progressieve propagatie.
• Empirische Validatie: Uitgebreide experimenten op drie gespecialiseerde medische datasets (NEJMQA, MMLUPH, MedQA) en een dataset voor algemeen redeneren (MMLU-Pro Math).

Resultaten

• Prestatiewinst: Op de NEJMQA-dataset presteerde het MAC-framework (samengesteld uit open-access 14B–32B-modellen) beter dan een multi-agent collaboratiemodel bestaande uit 70B–141B open-access LLM's met 16,55% en overtrof het gesloten bronmodel Claude Haiku 4.5 met 5,29%.
• Efficiëntie: In vergelijking met de MoA-baseline bereikte MAC een 6,11% hogere nauwkeurigheid terwijl het het geheugengebruik met 70.206 MB en de looptijd met 41.855,52 seconden reduceerde, wat superieure schaalbaarheid aantoont.
• Robuustheid: Ablatiestudies bevestigden dat zowel de Pareto-optimale constructie als de cross-consistentie-maskeringstrategieën essentieel zijn; hun combinatie leverde de hoogste verbeteringen op voor de metrieken Nauwkeurigheid, F1, Precisie, Specificiteit en MCC.
• Generaliseerbaarheid: Het framework toonde ook sterke prestaties in open medische scenario's en wiskundige redeneertaken, wat suggereert dat de onderliggende logica van iteratief wegknippen verder gaat dan strikt meerkeuze medische vragen.

Betekenis en Aanspraken
Het artikel stelt dat MAC een zeer efficiënte, inzetbare en klinisch robuuste oplossing biedt voor medische besluitvorming in de praktijk. Door weg te bewegen van statische, middelenintensieve ensemblemodellen naar een dynamisch, consistentie-gedreven wegknipmechanisme, overbrugt MAC effectief de kloof tussen AI-ontwikkeling en klinische implementatie. De auteurs benadrukken dat hun aanpak artsen aanvult in plaats van vervangt, en een hulpmiddel biedt dat fouten kan verminderen en diagnostische paden kan optimaliseren, met name in settings waar ervaren artsen schaars zijn. Het werk onderstreept dat zorgvuldig samengestelde, kleinere open-access modellen, wanneer geleid door een rigoureus collaboratieprotocol, gespecialiseerde medische domeinen kunnen presteren boven massale propriëtaire modellen.