Few shot chain-of-thought driven reasoning to prompt LLMs for open ended medical question answering
Dit artikel introduceert MEDQA-OPEN, een nieuwe open eind medische dataset met door clinici goedgekeurde redeneringen, en stelt CLINICR voor, een Chain-of-Thought prompting-framework dat bestaande methoden overtreft door klinische diagnostische processen te simuleren en beloningsmodellen voor responsverificatie te integreren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar soms ook wat te letterlijke robot probeert te leren hoe hij zich als een arts moet gedragen. Dit artikel gaat over een nieuwe manier van praten met die robot om het beste medische advies mogelijk te krijgen.
Hier is het verhaal van wat de onderzoekers hebben gedaan, opgedeeld in eenvoudige onderdelen:
1. Het Probleem: De "Multiple Choice"-valstrik
De onderzoekers begonnen met een standaard medische test-dataset (zoals de USMLE-examens die artsen afleggen). Deze tests zijn meerkeuzevragen (MCQ's).
- De Analogie: Stel je een quiz voor waarbij je de juiste optie moet kiezen uit een menu van vier mogelijkheden: A, B, C of D.
- Het Probleem: In het echte leven komt een patiënt een kliniek binnen en zegt: "Ik voel me ziek." De arts heeft niet een menu van vier opties om uit te kiezen. De arts moet zelf uitzoeken wat er aan de hand is. De oude manier om AI te testen op medische vragen was als het vragen aan de AI om een smaak ijsjes te kiezen uit een lijst, in plaats van te vragen een diagnose te stellen voor een buikpijn op basis van symptomen.
2. De Nieuwe Dataset: "MEDQA-OPEN"
Om dit op te lossen, heeft het team een nieuwe dataset gemaakt genaamd MEDQA-OPEN.
- Wat ze deden: Ze namen die meerkeuzevragen en haalden de antwoordopties (A, B, C, D) eraf. Ze maakten er open vragen van.
- Het Doel: Nu, in plaats van een optie te kiezen, moet de AI het antwoord zelf genereren, precies zoals een echte arts dat zou doen. Ze voegden ook een speciaal "redeneringsgedeelte" toe, waarbij de AI moet uitleggen hoe het tot het antwoord kwam, stap voor stap.
3. De Oude Manier vs. De Nieuwe Manier (De "Eliminator" vs. De "Clinician")
De onderzoekers testten twee verschillende manieren van 'prompten' (praten tegen) de AI.
Methode A: De "Eliminator" (MCQ-ELIMINATIVE)
- Hoe het werkt: Deze methode geeft de AI een lijst met opties en zegt: "Kijk naar optie A, is deze juist? Nee? Oké, kijk naar B. Is deze juist? Nee? Oké, kijk naar C..." Het is als een spelletje "Wie ben ik?" waarbij je namen wegstreept totdat er nog één over is.
- De Fout: In een echte kliniek heb je geen lijst met verdachten om weg te strepen. Je moet een diagnose vanaf de grond opbouwen. Het onderzoek toonde aan dat deze methode wel oké werkt voor meerkeuzevragen, maar faalt wanneer de AI vrij moet kunnen nadenken zonder een menu.
Methode B: De "Clinician" (CLINICR)
- Hoe het werkt: Dit is de ster van het papier. Het bootst na hoe een menselijke arts denkt. Het vraagt de AI om het verhaal van de patiënt stukje voor stukje te bekijken.
- Stap 1: "De patiënt heeft koorts." -> AI denkt: "Zou een infectie kunnen zijn."
- Stap 2: "De patiënt heeft ook een uitslag." -> AI denkt: "Oké, misschien is het een specifiek type infectie."
- Stap 3: "De patiënt heeft een laag aantal bloedplaatjes." -> AI denkt: "Dat verkleint de mogelijkheden verder."
- De Analogie: In plaats van namen van een lijst af te strepen, is de Clinician-methode als het bouwen van een huis, steen voor steen. Je begint met de fundering (symptomen) en voegt muren toe (testen) totdat het huis (de diagnose) compleet is.
- Het Resultaat: Het papier laat zien dat CLINICR veel beter is in het beantwoorden van open medische vragen dan de "Eliminator"-methode, vooral voor kleinere AI-modellen. Het dwingt de AI om "zijn werk te laten zien" in plaats van simpelweg te gokken.
4. De "Forward-Backward" Strategie
Soms loopt zelfs de slimste AI vast of geeft hij een vreemd antwoord. De onderzoekers bedachten een vangnet genaamd de Forward-Backward Approach.
- Forward: Eerst vragen ze de AI (met behulp van de Clinician-methode) om een lijst met mogelijke antwoorden te bedenken. Het is als een arts die zegt: "Het zou de griep kunnen zijn, het zou longontsteking kunnen zijn, of het zou een allergie kunnen zijn."
- Backward: Daarna nemen ze die mogelijkheden en vragen ze een tweede AI (of een "Verifier") om de beste optie te kiezen.
- De Analogie: Denk hierbij aan een detective. Eerst maakt de detective een lijst op van alle mogelijke verdachten (Forward). Daarna bekijkt een senior detective die lijst en kiest de persoon die het meest waarschijnlijk schuldig is (Backward).
5. Het "Reward Model" (De Slimme Scheidsrechter)
In plaats van de AI alleen te vragen om het beste antwoord uit een lijst te kiezen (zoals bij de Backward-stap), hebben ze een speciale "Scheidsrechter"-AI getraind.
- Hoe het werkt: Ze lieten de Scheidsrechter duizenden voorbeelden zien van "Goede Redenering + Correct Antwoord" en "Slechte Redenering + Fout Antwoord".
- De Taak: Wanneer de hoofd-AI een diagnose genereert, controleert de Scheidsrechter dit. Als de redenering solide is, geeft de Scheidsrechter een hoge score. Als de redenering wankel is, wordt er een lage score gegeven.
- Het Resultaat: Het gebruik van deze Scheidsrechter om het beste antwoord te kiezen, werkte net zo goed als de "Forward-Backward"-methode, maar het was een meer geautomatiseerde manier om kwaliteit te waarborgen.
6. De Belangrijkste Conclusie
Het paper concludeert dat:
- Realisme is belangrijk: AI presteert veel beter wanneer het wordt gevraagd om te denken als een echte arts (het stapsgewijs opbouwen van een diagnose) in plaats van als een toetsdeelnemer (het wegstrepen van meerkeuzeopties).
- Redeneren is de sleutel: De AI dwingen om zijn stappen uit te leggen (Chain of Thought) maakt het nauwkeuriger, vooral wanneer er geen vooraf ingestelde opties zijn om op terug te vallen.
- Verificatie helpt: Het gebruiken van een "Scheidsrechter" om het werk van de AI te controleren, zorgt ervoor dat het uiteindelijke antwoord betrouwbaar is.
Kortom: De onderzoekers hebben de AI geleerd om te stoppen met het spelen van "Meerkeuzevragen" en te beginnen met het spelen van "Arts", met behruik van een stapsgewijs denkproces dat het klinische redeneren van mensen nabootst. Dit maakte de AI veel beter in het beantwoorden van open medische vragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.