Technische Samenvatting: LLM-gestuurde Evolutie voor Medische Beslissingspipelines

Probleemstelling

Het aanpassen van Large Language Models (LLMs) aan gespecialiseerde klinische workflows is doorgaans afhankelijk van twee kostbare benaderingen: computationeel intensieve fine-tuning die grote geannoteerde datasets en GPU-bronnen vereist, of handmatige prompt- en pipeline-engineering die afhankelijk is van iteratieve menselijke verfijning (human-in-the-loop). Dat laatste is vaak tijdrovend, moeilijk te reproduceren en inconsistent tussen verschillende beoefenaars. Hoewel LLM-gestuurde MAP-Elites optimalisatie als een alternatief tijdens de inferentie naar voren is gekomen voor algemene domeinen, blijft de toepassing ervan op veiligheidgevoelige medische beslissingspipelines beperkt. Bestaande studies richten zich primair op algemene benchmarks of geïsoleerde prompts, in plaats van het optimaliseren van uitvoerbare beslissingsprocedures waarbij prompts, controlelogica, interactiebeleid en output-beperkingen allemaal simultaan kunnen evolueren.

Methodologie

De auteurs stellen het gebruik van LLM-gestuurde MAP-Elites evolutie voor als een framework voor inferentie-tijd om medische beslissingsstrategieën te ontdekken zonder de onderliggende taalkundige modellen te finetunen. De aanpak maakt gebruik van GigaEvo, een open-source framework voor quality-diversity search, waarbij een bevroren LLM fungeert als een mutatieoperator om kandidaat-artefacten (programma's, beleid of prompts) te herschrijven op basis van taakspecifieke fitnessfuncties.

Het framework werd geëvalueerd over drie verschillende klinische redeneeromgevingen:

1. Urgentie Triage: Het optimaliseren van de toewijzing van urgentieniveaus (Spoed, Geen Spoed, Zelfzorg) onder asymmetrische klinische risico's. Kandidaten zijn uitvoerbare Python-modules die de beslissingslogica deconstrueren, retrieval gebruiken en stemmechanismen toepassen. Fitnessfuncties geven prioriteit aan emergency recall en veiligheidsgewogen nauwkeurigheid.
2. Interactieve Consultatie: Het optimaliseren van sequentiële bewijsverwerving in multi-turn dialogen. Kandidaten implementeren onthoudingsbeleid (abstention policies) om te beslissen wanneer ze vervolgvragen moeten stellen versus wanneer ze tot een definitief antwoord moeten komen. Het doel is om de accuracy–cost frontier (nauwkeurigheid van het antwoord vs. tokengebruik) te verbeteren.
3. Medische Beeldclassificatie: Het optimaliseren van prompt-only strategieën voor vaste Vision-Language Models (VLMs). Kandidaten zijn Python-modules die prompts genereren voor bevroren MedGemma-modellen voor het classificeren van pediatrische borstfoto's (PneumoniaMNIST), waarbij strikte JSON-outputvaliditeit wordt afgedwongen.

In alle settings selecteert het evolutieproces hoogpresterende kandidaten over gedragsdimensies (bijv. nauwkeurigheid vs. recall, of nauwkeurigheid vs. kosten) in plaats van te optimaliseren voor één enkel globaal maximum, waardoor diverse soorten oplossingen behouden blijven.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Demonstratie van Effectiviteit: De auteurs tonen aan dat LLM-gestuurde MAP-Elites evolutie in staat is om medische beslissingsstrategieën te genereren en te verfijnen die handmatig ontworpen baselines evenaren of overtreffen in drie verschillende beslissingssettings (triage, consultatie en beeldclassificatie).
2. Uitgebreide Evaluatie: De studie biedt kwantitatieve en kwalitatieve analyses van de winsten, waarbij nauwkeurigheid, veiligheidsrelevante gedrag (bijv. undertriage-percentages), interactiekosten, cross-model transfer en held-out generalisatie worden onderzocht.
3. Mechanistisch Inzicht: De auteurs demonstreren dat de prestatiewinsten voortkomen uit interpreteerbare, programmele mechanismen in plaats van oppervlakkige herformulering van prompts. Dit omvat gekalibreerde triagegrenzen, gerichte bewijsverwerving, selectieve commitment-strategieën en zoekgerichte visuele beslissingsregels.

Belangrijkste Resultaten

Triage (Semigran & MIMIC-ESI)

• Semigran Benchmark: Het best geëvolueerde programma (SG-c1189) verhoogde de nauwkeurigheid van 77,3% naar 87,1% en de emergency recall van 0,60 naar 0,97, waarmee het de best geïnitieerde programma's en andere gepubliceerde LLM-baselines (met uitzondering van menselijke artsen) significant overtrof. Het behield een hoge self-care recall, waardoor de degeneratieve oplossing van het overmatig voorspellen van spoedgevallen werd vermeden.
• MIMIC-ESI Benchmark: Het best geëvolueerde programma (MIMIC-023) behaalde 62,0% exacte nauwkeurigheid en 77,0% range-nauwkeurigheid (inclusclusief veiligere overtriage), wat handmatig ontworpen baselines overtrof en concurreerde met RAG-ondersteunde systemen. Het verminderde ernstige undertriage van 3,6% naar 1,2% ten opzichte van sterke baselines.
• Transfer: Geëvolueerde strategieën werden effectief overgedragen naar ongeziene LLM-backbones (bijv. Qwen, GPT-oss varianten) zonder wijzigingen in de code. Echter, specialisatie op de Semigran-set leidde tot conservatieve overtriage op de onafhankelijke Levine-set, wat de afruil tussen veiligheidsgeoriënteerde specialisatie en robuustheid benadrukt.

Interactieve Consultatie (iMEDQA & iCRAFTMD)

• Geëvolueerde beleidsregels verbeterden de accuracy–cost frontier over meerdere modellen (Llama-3, Qwen-3.5, Gemma-4).
• Op Llama-3-8B verbeterde de geëvolueerde strategie de nauwkeurigheid met +3,1% terwijl het tokengebruik met 89,6% werd verminderd.
• Op Gemma-4-31B bereikte het een enorme reductie in tokengebruik van 92,6% met slechts een marginale daling in nauwkeurigheid (75,6% vs. 76,4% baseline).
• Deze winsten werden overgedragen naar de held-out iCRAFTMD dataset, wat bevestigt dat de strategieën de kwaliteit van de besluitvorming verbeteren zonder simpelweg de interactielengte te vergroten.

PneumoniaMNIST (Beeldclassificatie)

• Prompt-only evolutie verbeterde bevroren MedGemma-modellen over alle geteste resoluties (28x28 tot 224x224).
• Voor MedGemma-27B bij 224x224 bereikte de geëvolueerde prompt 84,46% nauwkeurigheid en 83,88% macro-F1, waarmee het de beste initiële seed overtrof.
• De winsten waren het meest uitgesproken voor kleinere modellen (MedGemma-4B) bij lagere resoluties, waar de geëvolueerde prompts effectief de beslissingsdrempels afstemden voor ambigue visuele inputs.

Betekenis en Claims

Het artikel beweert dat LLM-gestuurde evolutie een veelbelovend, reproduceerbaar instrument is voor het ontdekken van effectieve, inspecteerbare en aanpasbare medische beslissingsstrategieën. In tegenstelling tot fine-tuning werkt deze aanpak tijdens de inferentie, wat het praktisch maakt voor het aanpassen van bevroren modellen onder expliciete metrieken en gestructureerde output-beperkingen.

De auteurs benadrukken dat de verbeteringen voortkomen uit interpreteerbare programmele mechanismen:

• Triage: Het herkalibreren van beslissingsgrenzen om de veiligheid (emergency recall) te prioriteren zonder de specificiteit op te offeren.
• Consultatie: Het toewijzen van het computationele budget aan onzekerheid, het gebruik van utility-gebaseerde vraagselectie, en het toepassen van self-consistency alleen bij gedwongen commitment-stappen.
• Beeldclassificatie: Het transformeren van vaste prompts naar uitvoerbare visuele beslissingsbeleid die specifieke radiologische bevindingen controleren (bijv. air bronchograms, consolidatie) in plaats van te vertrouwen op generieke classificatie.

De auteurs hanteren een bescheiden standpunt en merken op dat deze systemen onderzoeksprototypes zijn en geen vervanging voor prospectieve klinische validatie, robuuste kalibratie of veiligheidsgovernance. Ze erkennen beperkingen, waaronder het risico op overfitting op kleine benchmarks (Semigran), de retrospectieve aard van de MIMIC-ESI data, en de niet-verwaarloosbare zoekkosten die tijdens de inferentie-tijd evolutie worden gemaakt. Ze stellen echter dat deze methode een levensvatbaar alternatief biedt voor het optimaliseren van medische pipelines waar handmatige engineering inconsistent is en fine-tuning onhaalbaar is.