🤖 AI

Hybrid Decision Making via Conformal VLM-generated Guidance

Dit paper introduceert ConfGuide, een nieuwe aanpak voor hybride besluitvorming die conformal risk control gebruikt om beknopte en gerichte richtlijnen te genereren voor menselijke beslissingen, wat de effectiviteit toont in een medische diagnoseopdracht.

Oorspronkelijke auteurs: Debodeep Banerjee, Burcu Sayin, Stefano Teso, Andrea Passerini

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Debodeep Banerjee, Burcu Sayin, Stefano Teso, Andrea Passerini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een arts een röntgenfoto bekijkt van een patiënt. Het is een complexe taak: ze moeten tientallen mogelijke ziektes tegelijk in de gaten houden, van een gebroken rib tot vocht in de longen. Het is als het zoeken naar naalden in een hooiberg, waarbij je geen enkele naald mag missen, maar ook niet mag schreeuwen dat er een naald is als er alleen een halmpje ligt.

Tot nu toe hebben computersystemen vaak geprobeerd om de arts te vervangen of om een simpele lijst te geven met "ja/nee" voor elke ziekte. Maar dat werkt niet altijd goed. Soms is de lijst te lang en onoverzichtelijk, of mist de computer een belangrijke ziekte omdat ze te streng waren.

Deze paper introduceert een nieuwe manier van werken, genaamd CONFGUIDE. Het is geen robot die de beslissing neemt, maar een slimme assistent die de arts helpt. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Slimme Netwerkfilter (Conformal Risk Control)

Stel je voor dat de computer eerst een grote, brede vis pakt om te vissen. In plaats van alleen te kijken naar wat hij zeker denkt te zien, gebruikt hij een speciale "veiligheidsnet"-techniek.

Het probleem: Als je te streng bent, mis je een ziekte (een "false negative"). Dat is in de geneeskunde gevaarlijk. Als je te los bent, krijg je een lijst met honderd mogelijke ziektes, waarvan 95% fout is. Dat is verwarrend.
De oplossing: CONFGUIDE gebruikt een wiskundige regel (Conformal Risk Control) die zegt: "We mogen maximaal 1 op de 100 ziektes missen, maar we mogen niet te veel onnodige waarschuwingen geven."
Het resultaat: De computer maakt een korte, veilige lijst met ziektes die misschien aanwezig zijn. Hij garandeert dat hij geen levensgevaarlijke ziektes over het hoofd ziet.

2. De Tweezijdige Advocaat (De VLM)

Nu heeft de arts een lijst met mogelijke ziektes. Maar wat nu? De computer zegt niet alleen "Hier is een lijst", maar hij doet alsof hij twee advocaten is die voor en tegen pleiten.

De computer (een Vision Language Model, ofwel een "ziende taalcomputer") kijkt naar de foto en de lijst.
Voor elke ziekte op de lijst maakt hij twee korte stukjes tekst:
1. Het "Voor"-argument: "Kijk hier, zie je die witte vlek? Dat lijkt op longontsteking."
2. Het "Tegen"-argument: "Maar wacht, die vlek is misschien gewoon een schaduw van het hart, of een leiding die er overheen loopt."

Dit is als een advocaat die de arts helpt om niet in de val te trappen. De arts ziet niet alleen een vlaggetje, maar krijgt ook de redenen waarom het misschien wel en misschien niet de ziekte is.

3. De Beslissing ligt bij de Mens

In dit systeem is de computer nooit de baas. De computer is de gids.

De arts kijkt naar de foto.
De arts leest de "voor-en-tegen" argumenten van de computer.
De arts neemt de eindbeslissing.

Het doel is om de "cognitieve last" (het mentale gewicht) van de arts te verlichten. In plaats van zelf alles te moeten bedenken, krijgt de arts een gestructureerd overzicht dat helpt om sneller en accurater te zien wat er echt aan de hand is.

Waarom is dit belangrijk?

In het verleden waren AI-systemen vaak als een automatische kassa die probeerde de beslissing te nemen. Soms deed hij het goed, soms deed hij domme fouten.

CONFGUIDE is meer als een ervaren stagiair die naast de chef-kok staat:

Hij pakt alle ingrediënten (ziektes) die zeker of waarschijnlijk in de pan moeten (de veilige lijst).
Hij zegt: "Chef, ik denk dat we peper nodig hebben, maar kijk eens of het misschien zout is dat op peper lijkt."
De chef (de arts) proeft en beslist of het peper of zout is.

De conclusie van het onderzoek:
Toen ze dit systeem testten op echte röntgenfoto's, bleek dat artsen (of in dit geval, gesimuleerde artsen) betere beslissingen namen met deze assistent dan zonder. Ze maakten minder fouten door ziektes te missen, en ze waren minder verward door een te lange lijst met opties.

Kortom: CONFGUIDE is een slimme, veilige gids die de mens helpt om de juiste beslissing te nemen, zonder de controle uit handen te geven.

Titel: Hybride Besluitvorming via Conformale VLM-gegenereerde Gids

Auteurs: Debodeep Banerjee, Burcu Sayin, Stefano Teso, Andrea Passerini (Universiteit van Pisa en Universiteit van Trento)
Context: Voorlopige publicatie (preprint), april 2026.

1. Het Probleem

In hoog-risicodomeinen zoals de gezondheidszorg is volledig geautomatiseerde besluitvorming vaak ongewenst vanwege de kosten van fouten en de noodzaak van contextuele oordeelsvorming. Hybride Besluitvorming (HDM) combineert menselijke expertise met AI. Echter, bestaande HDM-aanpakken hebben twee belangrijke beperkingen:

Verantwoordelijkheidsverdeling: Veel methoden wijzen een beslissing toe aan óf de mens óf de AI, wat directe samenwerking op hetzelfde voorbeeld beperkt.
Overweldigende Informatie: Bestaande "Learning to Guide" (LtG) methoden (zoals SLOG en MEDGELLAN) genereren vaak richtlijnen die informatie over alle mogelijke uitkomsten samenvoegen. Dit maakt de output moeilijk te verteren voor de gebruiker en mist een duidelijke argumentatiestructuur.
Aanpassingskosten: Eerdere LtG-methoden vereisten vaak fijnafstemming (fine-tuning) van modellen, wat computatief duur is.

Het doel is een systeem te creëren dat de mens de uiteindelijke beslissing laat nemen, maar wel succincte, gerichte en veilige richtlijnen biedt zonder dat het model opnieuw getraind hoeft te worden.

2. Methodologie: CONFGUIDE

De auteurs introduceren CONFGUIDE, een pijplijn die geen fine-tuning vereist en bestaat uit drie gekoppelde elementen: een predictor, een assistent (VLM) en de menselijke beslisser.

Stap 1: Conformal Risk Control (CRC)

In plaats van alle mogelijke pathologieën te presenteren, gebruikt het systeem Conformal Risk Control om een voorspellende set te selecteren.

Doel: Een gegarandeerde bovengrens (cap) op de False Negative Rate (FNR) handhaven. In de medische context is het missen van een pathologie (fout-negatief) vaak dodelijker dan een vals alarm.
Mechanisme: Een vooraf getraind model genereert scores voor pathologieën. Een drempelwaarde ( $\lambda$ ) wordt automatisch gekalibreerd op een validatieset zodat de empirische FNR onder een door de gebruiker gespecificeerd risico ( $\alpha$ ) blijft.
Resultaat: Alleen pathologieën die in deze "conformale set" vallen, worden doorgestuurd. Dit filtert onzekerheid uit en garandeert veiligheid.

Stap 2: VLM-gegenereerde Gids (Vision-Language Model)

De geselecteerde set pathologieën en de oorspronkelijke röntgenfoto worden ingevoerd bij een state-of-the-art Vision-Language Model (VLM), specifiek MedGemma 27B.

Taak: Het VLM genereert voor elke gemarkeerde pathologie een gestructureerd argument:
- Voor: Radiografische bewijzen die de aanwezigheid ondersteunen.
- Tegen: Mogelijke alternatieve verklaringen (imitaties), artefacten of afwezige kenmerken die de diagnose tegenspreken.
Prompting: De prompt instrueert het model om eerlijk te zijn, specifieke anatomische locaties te noemen, en asymmetrische output te leveren (als één kant zwak is, moet dat expliciet worden gezegd). Dit minimaliseert "anchoring bias" (de neiging van artsen om blindelings op AI-flags te vertrouwen).

Stap 3: Menselijke Beslissing

De arts ontvangt de afbeelding én de gegenereerde gids (voor- en tegenargumenten) en neemt de definitieve beslissing.

3. Belangrijkste Bijdragen

CONFGUIDE Pijplijn: Een nieuwe, fine-tuning-vrije architectuur voor hybride besluitvorming die conformale risicocontrole combineert met VLM-argumentatie.
Veiligheid en Kwaliteit: Het systeem garandeert een lage False Negative Rate via CRC, terwijl de VLM-gids de interpretatie van de arts verbetert door een gebalanceerde, evidence-based analyse te bieden.
Empirische Validatie: Toepassing op een complexe multi-label medische taak (diagnose van pathologieën op thorax-röntgenfoto's) met simulatie van artsen.

4. Resultaten

De evaluatie vond plaats op het CheXpert-dataset (14 pathologieën). De prestaties werden gemeten aan de hand van Precision (PR), Recall (REC) en F1-score.

Verbetering in Besluitkwaliteit (RQ1):
- CONFGUIDE presteerde aanzienlijk beter dan zowel een standaard drempelwaarde als het gebruik van alleen de CRC-set (zonder gids).
- Met GPT-4o-mini als simulatie-arts: Micro-F1 steeg van 36.05% (alleen CRC) naar 50.76% (CONFGUIDE). Dit is een verbetering van +14.71%.
- De verbetering was consistent over verschillende modellen (Qwen3-vl-8B toonde vergelijkbare trends).
Bijdrage van de Gids (RQ2):
- Vergelijking met CRC++ (waarbij de arts alleen de afbeelding en de CRC-set zag, zonder tekstuele gids) toonde aan dat de gegenereerde argumenten de drijvende kracht achter de verbetering zijn.
- CONFGUIDE overtrof CRC++ in 8 van de 14 pathologieën (bij GPT) en 10 van de 14 (bij Qwen).
Uitdagingen:
- De prestaties waren minder goed voor zeldzame pathologieën (zoals Pneumothorax en Pleural Other), waar de beperkte prevalentie en subtiele radiografische kenmerken het genereren van nauwkeurige gidsen bemoeilijkten.
- Er was een discrepantie tussen Micro-F1 (groot voordeel) en Macro-F1 (klein voordeel), voornamelijk door de onbalans in de dataset (frequent voorkomende ziekten profiteren meer).

5. Betekenis en Toekomstperspectief

Klinische Veiligheid: Door de focus op het beperken van False Negatives via CRC, adresseert CONFGUIDE een cruciaal veiligheidsprobleem in de medische AI: het vermijden van gemiste diagnoses.
Mens-AI Samenwerking: Het systeem verandert de rol van AI van "beslisser" naar "ondersteuner" die specifieke, nuanceerde argumenten levert. Dit helpt artsen om kritisch na te denken in plaats van blind te vertrouwen op automatische flags.
Efficiëntie: Omdat het geen fine-tuning vereist, is het systeem direct toepasbaar op bestaande modellen, wat de implementatie in de praktijk versnelt.
Toekomst: De auteurs plannen grootschalige gebruikersstudies met echte artsen om de resultaten te valideren en te onderzoeken of de gidsen de overeenstemming (inter-observer agreement) tussen verschillende artsen kunnen verbeteren.

Conclusie: CONFGUIDE demonstreert dat het combineren van statistische zekerheid (via Conformal Risk Control) met semantische redenering (via VLM) een veelbelovende weg is om de kwaliteit van menselijke beslissingen in kritieke domeinen te verhogen zonder de menselijke verantwoordelijkheid uit te schakelen.