Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt twee zeer verschillende assistenten. De een is een supersnelle rekenmachine die getallen kan verwerken en kan zeggen: "Er is een kans van 95% dat de butler de dader is", maar hij weigert uit te leggen waarom. Hij geeft je alleen het getal. De andere assistent is een briljante verhalenverteller die een prachtig, gedetailleerd verhaal kan schrijven over de butler, het weer en de kandelaar, maar in hun enthousiasme maken ze soms feiten die nooit hebben plaatsgevonden. In de medische wereld is dit een enorm probleem. Artsen moeten weten waarom een patiënt een risico loopt op hartproblemen, en ze hebben die informatie nodig die 100% waar is, niet verzonnen. Hier komt het vakgebied van "Betrouwbare Kunstmatige Intelligentie" om de hoek kijken. Het is de zoektocht naar het bouwen van computersystemen die niet alleen slim zijn, maar ook eerlijk, uitlegbaar en veilig genoeg om artsen te helpen levens te redden.

Deze paper introduceert een nieuw detective-team genaamd CardioTrust. In plaats van de rekenmachine en de verhalenverteller apart te laten werken, hebben de auteurs een systeem gebouwd waarin ze samenwerken in een strikte, georganiseerde lijn. Eerst kijkt een krachtige rekenmachine (een Random Forest-model) naar de gegevens van de patiënt en voorspelt het risico op hartziekten. Maar hier komt de twist: het stuurt niet alleen een simpel berichtje van "hoog risico" of "laag risico" naar de verhalenverteller. In plaats daarvan stuurt het een specifieke "missiebrief" die de verhalenverteller precies vertelt welke risicofactoren het belangrijkste zijn (zoals een hoog cholesterolgehalte of pijn op de borst) en hoe zeker de rekenmachine is van zijn antwoord. De verhalenverteller (een Large Language Model) gebruikt deze brief vervolgens om een enorme bibliotheek van echte medische regels en studies te doorzoeken om de perfecte bewijslast te vinden. Ten slotte, voordat het verhaal aan een arts wordt getoond, controleert een strikte "Veiligheidsinspecteur" (de Trust Validation-module) het hele pakket. Het vraagt: "Hebben we de juiste bewijzen gevonden? Komt het verhaal overeen met de wiskunde van de rekenmachine? Is het verhaal compleet?" Als het antwoord op een van deze vragen "nee" is, wordt het rapport teruggestuurd voor een menselijke beoordeling.

Het team kwam tot de conclusie dat dit teamwork ongelooflijk goed werkt. Wanneer ze CardioTrust testten op een dataset van 70.000 patiëntendossiers, voorspelde het hartziekten met een nauwkeurigheid van 95,84%, wat aanzienlijk beter was dan andere standaard computermodellen. Maar de echte magie gebeurde bij het onderdeel storytelling. Terwijl een standaard computer-verhalenverteller feiten verzonnen (hallucinaties) in 21,64% van de gevallen, verminderde CardioTrust de door de computer verzonnen feiten tot slechts 2,84%. Het systeem bewees ook dat het verhaal dat het vertelt altijd overeenkomt met de wiskunde erachter, wat ervoor zorgt dat de arts niet alleen een mooi verhaal krijgt, maar een waarheidsgetrouw verhaal dat wordt ondersteund door echte medische richtlijnen. De auteurs suggereren dat deze aanpak een gamechanger kan zijn voor gepersonaliseerde hartzorg, mits het in de toekomst wordt getest op nog meer echte ziekenhuisgegevens.

Het Probleem: De Rekenmachine versus de Verhalenverteller

Om te begrijpen waarom CardioTrust zo'n grote zaak is, moeten we kijken naar de twee hulpmiddelen die artsen al een tijdje gebruiken om hartziekten te voorspellen, en waarom ze beide gebreken hebben.

Ten eerste zijn er Machine Learning Modellen. Denk aan deze als de supersnelle rekenmachines. Ze kijken naar de leeftijd, bloeddruk, cholesterol en andere cijfers van een patiënt, en spugen een risicoscore uit. Ze zijn geweldig in het herkennen van patronen die mensen kunnen missen. Echter, ze zijn vaak "black boxes". Ze geven je een getal, maar vertellen je niet waarom. Als een arts een hoog risicoscore ziet, kan hij niet gemakkelijk zien of dit komt door de leeftijd van de patiënt of door hun rookgewoonte. Zonder die uitleg aarzelen artsen om de machine te vertrouwen.

Ten tweede zijn er Large Language Models (LLM's). Dit zijn de briljante verhalenvertellers. Ze kunnen medische tekstboeken lezen en een gedetailleerd plan voor een patiënt schrijven, waarbij in begrijpelijke taal wordt uitgelegd wat er aan de hand kan zijn. Het probleem? Ze "hallucineren" soms. Dit betekent dat ze een arts met veel zelfvertrouwen kunnen vertellen dat een specifiek medicijn een aandoening geneest, zelfs als dat medicijn niet bestaat of niet wordt aanbevolken. In een ziekenhuis kan een verzonnen feit gevaarlijk zijn.

Lange tijd probeerden onderzoekers dit op te lossen met een meth�sode genaamd RAG (Retrieval Augmented Generation). Dit is alsof je de verhalenverteller een bibliotheekpas geeft. In plaats van dingen uit het geheugen te verzinnen, wordt de verhalenverteller gedwongen om het antwoord in een bibliotheek van vertrouwde medische boeken op te zoeken voordat het verhaal wordt geschreven. Dit helpt, maar de oude manier van doen was een beetje onhandig. De verhalenverteller vroeg de bibliotheek simpelweg: "Vertel me over hartziekten," en kreeg een generiek antwoord terug dat niet paste bij de unieke situatie van de specifieke patiënt.

De Oplossing: Een Team dat met Elkaar Praat

De auteurs van deze paper realiseerden zich dat de rekenmachine en de verhalenverteller met elkaar moesten praten voordat het verhaal werd geschreven. Ze bouwden CardioTrust, een systeem waarbij de wiskunde en de woorden aan elkaar gekoppeld zijn.

Zo werkt het team, stap voor stap:

1. De Rekenmachine (Random Forest): Het systeem begint met het analyseren van de gegevens van de patiënt. Het zegt niet alleen "Hoog Risico". Het berekent de exacte waarschijnlijkheid (zoals 95,84%) en, cruciaal, het identificeert de "schurken" in het verhaal. Het gebruikt een tool genaamd SHAP om precies te bepalen welke factoren de risico's drijven. Is het de leeftijd van de patiënt? Hun pijn op de borst? Hun cholesterol? De rekenmachine maakt een "missiebrief" aan met een lijst van deze specifieke schurken.
2. De Slimme Zoekopdracht (Hybrid RAG): Dit is de eerste grote innovatie. In plaats van de bibliotheek te vragen: "Vertel me over hartziekten," stuurt het systeem de missiebrief. Het zegt tegen de bibliotheek: "We hebben een patiënt met hoge ST-depressie en pijn op de borst; vind ons de specifieke regels voor dat." Dit zorgt ervoor dat de gevonden bewijslast perfect is afgestemd op de specifieke wiskunde van de patiënt.
3. De Verhalenverteller (Llama 3.2): De verhalenverteller neemt de gevonden bewijslast en de missiebrief en schrijft een gepersonaliseerd advies. Omdat de verhalenverteller over de specifieke regels en de specifieke patiëntgegevens beschikt, hoeft hij niet te gokken.
4. De Veiligheidsinspecteur (Trust Validation): Dit is de laatste poortwachter. Voordat het rapport naar de arts gaat, loopt de Veiligheidsinspecteur een checklist af. Het stelt vijf vragen:
   • Is de rekenmachine zelfverzekerd over de wiskunde?
   • Hebben we de juiste bewijslast gevonden?
   • Komt de bewijslast overeen met andere bewijslast?
   • Noemt het verhaal dezelfde "schurken" (risicofactoren) als de rekenmachine heeft gevonden?
   • Is het verhaal compleet (bevat het een diagnose, een plan en advies)?

Als het rapport een voldoende score krijgt (boven de 0,75 op een schaal van 0 tot 1), wordt het naar de arts gestuurd. Als de score te laag is, wordt het gemarkeerd voor een handmatige menselijke beoordeling. Dit zorgt ervoor dat er nooit onjuist of verzonnen advies bij de patiënt terechtkomt.

De Resultaten: Waarheid en Vertrouwen

De auteurs hebben dit systeem getest tegen vele andere methoden, waaronder standaard rekenmachines, zelfstandige verhalenvertellers en oudere versies van het bibliotheek-zoek-systeem. De resultaten waren indrukwekkend.

De Wiskunde: De kernrekenmachine van CardioTrust behaalde een nauwkeurigheid van 95,84% met een precisie van 0,941 en een recall van 0,952. Dit betekent dat het beter in staat was om hartziekten op te sporen dan bijna elk ander model dat ze testten, inclus[ief] XGBoost en Support Vector Machines.

Het Verhaal: De echte winst zat in de kwaliteit van de aanbevelingen.

• Een standaard verhalenverteller (zonder de bibliotheek) verzonen feiten in 21,64% van de gevallen.
• Een standaard bibliotheek-zoek-systeem (zonder de slimme missiebrief) verzonen feiten in 15,31% van de gevallen.
• CardioTrust verzonen feiten in slechts 2,84% van de gevallen.

Bovendien behaalde het systeem een Trust Score van 0,96, wat een maatstaf is voor hoe betrouwbaar het hele pakket is. De auteurs controleerden ook of het verhaal overeenkwam met de wiskunde. Ze vonden dat de "Explanation Agreement" 0,95 was, wat betekent dat het verhaal bijna perfect de redenen reflecteerde die de rekenmachine voor het risico gaf.

De "Wat als"-check: De auteurs hebben ook getest wat er zou gebeuren als ze onderdelen van het systeem zouden verwijderen (een ablatie-studie).

• Zonder de slimme zoekopdracht was het systeem minder betrouwbaar.
• Zonder de Veiligheidsinspecteur schoot het percentage verzonnen feiten omhoog naar 8,21%.
• Zonder de Veiligheidsinspecteur en de slimme zoekopdracht was het percentage verzonnen feiten 24,82%.

Dit bewees dat elk deel van het team noodzakelijk is. Je kunt niet alleen een goede rekenmachine hebben; je hebt de slimme zoekopdracht en de veiligheidsinspecteur nodig om het betrouwbaar te maken.

Waarom dit ertoe doet

De auteurs benadrukken dat dit een veelbelovende stap is, geen afgewerkt product. Ze hebben het systeem getest op bestaande datasets (zoals de Kaggle Cardiovascular Disease Dataset met 70.000 records en de UCI Heart Disease Dataset met 1.025 records). Hoewel de resultaten sterk zijn, is het systeem nog niet getest in een echt ziekenhuis met echte artsen. De auteurs suggereren dat de volgende stap is om te zien hoe het presteert in de rommelige, complexe realiteit van verschillende ziekenhuizen en om echte artsen de rapporten te laten beoordelen.

Echter, de kern van het idee is duidelijk: door de wiskunde en de woorden met elkaar te laten overeenstemmen, en door aan het einde een strikte veiligheidscontrole toe te voegen, kunnen we AI bouwen waar artsen daadwerkelijk op kunnen vertrouwen. CardioTrust is niet alleen een rekenmachine of een verhalenverteller; het is een team dat zijn eigen huiswerk controleert voordat het het inlevert.