Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026

In het dagelijkse ritme van een doktersbezoek wordt een aanzienlijk deel van de tijd vaak niet aan de patiënt besteed, maar aan de computer. Terwijl een arts naar symptomen luistert en vragen stelt, moet hij of zij tegelijkertijd aantekeningen typen in een digitaal dossier, een taak die de aandacht wegtrekt bij de persoon die voor hen staat. Deze documentatielast is een bekende bron van vermoeidheid voor zorgmedewerkers. Om dit op te lossen, hebben onderzoekers lang naar spraakherkenning gekeken, in de hoop gesproken woorden direct in medische dossiers te kunnen omzetten. Een eenvoudige transcriptie van wat er gezegd is, is echter zelden voldoende; het doel is om een gestructureerde samenvatting te maken, een zogenaamde SOAP-note. Dit formaat verdeelt een bezoek in vier afzonderlijke secties: de subjectieve klachten van de patiënt, de objectieve bevindingen van het onderzoek, de beoordeling van de arts en het behandelplan. De uitdaging ligt erin om een computer te leren een gesprek te beluisteren, de medische context te begrijpen en dit specifieke type samenvatting te schrijven zonder menselijke tussenkomst, terwijl subtiele aanwijzingen zoals een hoestje of een pauze behouden blijven die verloren zouden kunnen gaan als de computer eerst elk woord zou moeten opschrijven voordat hij de samenvatting maakt.

Een team van onderzoekers van het Karlsruhe Institute of Technology en Carnegie Mellon University zette zich in om dit probleem aan te pakken tijdens de 2026 BeTraC challenge, een wedstrijd ontworpen om te testen hoe goed machines medische documentatie kunnen automatiseren. Hun aanpak, getiteld "Speech-to-SOAP", richtte zich op het bouwen van een systeem dat een dialoog tussen arts en patiënt kan beluisteren en de uiteindelijke medische notitie in één continue stap kan genereren, waarbij de tussenstap van het eerst schrijven van een volledige transcriptie wordt overgeslagen. Ze maakten gebruik van een krachtig type kunstmatige intelligentie-model, een foundation model, dat al getraind was op enorme hoeveelheden algemene taal- en spraakgegevens. De belangrijkste innovatie van de onderzoekers was niet alleen het gebruik van dit bestaande model, maar het aanleren aan het model hoe het de rommelige, gevarieerde aard van echte medische gesprekken kan verwerken. Ze creëerden een pijplijn die verschillende datasets combineerde, waaronder enkele die volledig synthetisch waren en andere die echte opnames bevatten, om het systeem te trainen. Voor gesprekken waarvoor geen audio-opnames beschikbaar waren, gebruikten ze computergegenereerde spraak om de gaten op te vullen, zodat het model kon leren van een enorme hoeveelheid voorbeelden die in totaal meer dan 1,6 miljoen uur aan audio beslaat.

Om de trainingsdata bruikbaar te maken, moest het team de computer leren hoe een SOAP-note er daadwerkelijk uitziet. Omdat veel van hun bronconversaties niet gepaard gingen met vooraf geschreven samenvattingen, gebruikten ze een andere AI-tool om deze samenvattingen automatisch te generëren. Ze formuleerden specifieke instructies om ervoor te zorgen dat deze gegenereerde notities de juiste structuur volgden en consistent medisch jargon gebruikten, waardoor ze effectief een enorme bibliotheek aan voorbeelden creëerden voor het hoofdmodel om van te studeren. De onderzoekers testten vervolgens verschillende manieren om het model te onderwijzen. Ze experimenteerden met verschillende manieren om instructies aan de computer te geven en ontdekten dat gedetailleerde instructies het beste werkten wanneer deze als een direct commando aan het model werden gegeven in plaats van als een achtergrondregel. Ze onderzochten ook of het zou helpen om de tekstuele transcriptie van het gesprek naast de audio aan het model te tonen. Hun bevindingen suggereerden dat het samen zien van zowel het geluid als de tekst de computer hielp om medische concepten nauwkeuriger te identificeren, zelfs als de uiteindelijke geschreven samenvatting vergelijkbaar was met een samenvatting die enkel uit audio werd gegenereerd.

Het team onderzocht ook of het opsplitsen van de taak in kleinere stappen zou helpen, zoals de computer eerst de transcriptie te laten uitschrijven en vervolgens te laten samenvatten, of de computer te vragen zijn redenering uit te leggen voordat de notitie wordt geschreven. De resultaten toonden aan dat hoewel deze tussenstappen enige voordelen boden, de meest effectieve aanpak voor de algehele kwaliteit van de samenvatting was om het model te trainen om direct van spraak naar de uiteindelijke samenvatting te gaan. Ze ontdekten echter dat Chain-of-Thought (CoT) supervisie specifiek de hoogste score behaalde voor het extraheren van klinisch relevante concepten, wat suggereert dat het expliciet modelleren van tussenliggende redeneerstappen de identificatie van medische details kan verbeteren, zelfs als dit de directe generatie op andere metrieken niet overtrof. Wat betreft de data-opschoning ontdekte het team dat het verwijderen van segmenten waar de computergegenereerde spraak niet overeenkwam met de tekst de prestaties niet verbeterde; sterker nog, de beste resultaten werden behaald met de ongeschoonde dataset die gefilterd was tot een maximale duur van 21 minuten. Ze ontdekten ook dat het beperken van de lengte van de gebruikte gesprekken voor de training tot eenheden van 21 minuten het ideale punt was; langere gesprekken introduceerden te veel ruis om nuttig te zijn.

In de laatste fase van hun werk combineerden de onderzoekers de beste versies van hun getrainde modellen om één robuust systeem te creëren. Dit gecombineerde systeem werd getest tegen een specifieke contrastieve inzending van dezelfde auteurs met behulp van drie verschillende testdatasets: gesprekken die zeer vergelijkbaar waren met het trainingsmateriaal, gesimuleerde rollenspellen en realistische opnames van werkelijke medische bezoeken. Het gecombineerde systeem presteerde consequent beter dan deze contrastieve inzending op alle officiële testsets, met name in de realistische scenario's waar de verschillen tussen de trainingsdata en de testdata het grootst waren. Dit succes suggereert dat het middelen van de kennis uit verschillende verschillend getrainde modellen het systeem aanpasbaarder maakt en minder snel in de war brengt door nieuwe situaties. De studie concludeert dat door diverse databronnen te verenigen en een directe methode van spraak-naar-samenvatting te gebruiken, het mogelijk is om een hulpmiddel te creëren dat de documentatielast voor zorgmedewerkers aanzienlijk vermindert, waardoor zij zich kunnen concentreren op het menselijke aspect van de zorg.