VozConsultAI: A Provider-Agnostic Architecture and a Clinically Grounded Evaluation of Open-Weight Large Language Models for SOAP Note Extraction in Brazilian Portuguese Telehealth

Technische Samenvatting: VozConsultAI

Probleemstelling
Klinische documentatie neemt een aanzienlijk deel van de tijd van zorgverleners in beslag en dient als een gedocumenteerde drijfveer voor burn-out, een uitdaging die wordt verergerd door de snelle expansie van teleconsultaties in grote publieke systemen zoals het Braziliaanse Unificerede Health System (SUS). Momenteel blijft ongeveer 80% van de gegevens in elektronische patiëntendossiers (EPD) bestaan uit ongestructureerde narratieve tekst, wat interoperabiliteit en klinische besluitvormingsondersteuning beperkt. In de Braziliaanse context wordt dit probleem versterkt door een gebrek aan domein-specifieke tools voor het Portugees en strikte regels voor datasoevereiniteit onder de Algemene Wet op de Gegevensbescherming (LGPD). Commerciële ambient scribes zijn voornamelijk gericht op het Engels, zijn propriëtair en vereisen het routeren van gevoelige patiëntgegevens naar de cloud-infrastructuur van derden, wat in strijd is met de juridische vereisten voor dataresidentie en institutionele controle.

Methodologie en Architectuur
Het artikel presenteert VozConsultAI, een end-to-end oplossing die is ontworpen om de audio van teleconsultaties te transcriberen en de tekst automatisch te structureren in SOAP-notities (Subjectief, Objectief, Assessment, Plan) in het Braziliaans-Portugees. Het systeem is gebouwd op drie kernzuilen van methodologie:

1. Provider-Agnostische Microservice-architectuur: Het systeem maakt gebruik van een "Transcription Broker" om de teleconsultatie-applicatie te ontkoppelen van de executie-engine. Belangrijke ontwerpprincipes zijn onder meer:

   • Ontkoppeling: Scheiding van de externe grens (broker), orchestratie (gateway) en uitvoering (workers).
   • Betrouwbaarheid: Implementatie van per-requester FIFO-ordening via consistent hashing, waarbij at-least-once delivery wordt geneutraliseerd door idempotente verwerking, en automatische herstel van verlaten jobs via lease-gebaseerde foutdetectie.
   • Abstractie: Een adapterlaag normaliseert de reacties van heterogene Automatic Speech Recognition (ASR)-providers (bijv. Google, AWS, Azure, OpenAI of zelfgehoste Whisper) naar een canoniek formaat. Dit maakt A/B-testen mogelijk en zorgt ervoor dat gevoelige audio on-premises kan blijven om aan de LGPD-vereisten te voldoen.

2. SOAP-extractiestrategieën: Het project onderzoekt drie strategieën voor het converteren van transcripten naar gestructureerde notities:

   • Prompt Engineering: Gebruik van instructievolgende LLM's met gestructureerde JSON-schema's en strikte beperkingen om hallucinaties te voorkomen.
   • Hybride Classificatie-Generatie: Het segmenteren van transcripten in zinnen, het classificeren van deze zinnen in SOAP-categorieën met behulp van gefinetunede BERT-familie encoders, en vervolgens het consolideren ervan via een generatief model.
   • Fine-Tuned Generatie: Het aanpassen van lokale generatieve modellen op synthetische en echte transcript-naar-SOAP paren met behulp van parameter-efficiënte methoden (LoRA/QLoRA) om aan te sluiten bij de hardwarebeperkingen van de publieke sector.

3. Klinisch Onderbouwd Evaluatieprotocol: Voorbij traditionele n-gram overlap (ROUGE/BLEU) of generieke semantische gelijkenis, stellen de auteurs een veiligheidsgewogen evaluatiekader voor gebaseerd op drie orthogonale dimensies:

   • Semantische en Structurele Correctheid (SSC): Meet of de gegenereerde inhoud semantisch correct is en aan de juiste SOAP-sectie is toegewezen.
   • Informatie Dekking en Volledigheid (ICC): Meet welk deel van de referentie-informatie is gevangen, waarbij tekortkomingen worden bestraft.
   • Klinische Grondingsindex (CGI): Bestraft expliciet hallucinatie door te verifiëren of elke gegenereerde eenheid expliciete tekstuele ondersteuning heeft in het originele transcript.
   • Deze worden geconsolideerd in een Clinical Documentation Quality Index (CDQI), die CGI zwaar weegt (4:3:3 ratio) om de veiligheid te prioriteren.

Experimentele Resultaten
De auteurs hebben de eerste vergelijkende benchmark uitgevoerd van open-weight Large Language Models (LLMs) voor SOAP-extractie in het Braziliaans-Portugees. De studie evalueerde vijf modellen (gpt-oss-120b, Llama 3.3 70B, Mistral Small, Mistral 7B, en DeepSeek V3.2) over 30 synthetische teleconsultatie-transcripten van zes medische specialismen.

• Prestaties: DeepSeek V3.2 behaalde de hoogste geconsolideerde kwaliteit (CDQI: 0,87) en de hoogste klinische gronding (CGI: 0,96). Llama 3.3 70B kwam overeen met de structurele correctheid (SSC) van DeepSeek en een conservatieve CDQI, ondanks het hebben van minder parameters.
• Foutanalyse: De resultaten geven aan dat modelomvang alleen de prestaties niet bepaalt. De primaire differentiators waren Informatie Dekking (ICC) en Gronding (CGI), en niet zinsclassificatie (SSC).
• Foutmodi: De secties Assessment en Plan waren verantwoordelijk voor de meerderheid van de fouten, specifiek hallucinaties (het verzinnen van diagnoses die niet door de clinicus zijn vermeld) en misclassificaties (het registreren van therapeutische hypothesen als besloten interventies). Kleinere modellen (bijv. Mistral 7B) hadden aanzienlijke moeite met informatie dekking (ICC), waarbij ze vaak meerdere klachten samenvoegden tot één enkele samenvatting en klinisch relevante negatieve bevindingen weglieten.

Betekenis en Claims
Het artikel beweert een levensvatbaar pad te bieden voor publieke gezondheidssystemen om geautomatiseerde klinische documentatie te adopteren zonder de datasoevereiniteit in gevaar te brengen of afhankelijk te zijn van propriëtaire, op het Engels gerichte leveranciers.

• Architecturale Bijdrage: De provider-agnostische microservice-architectuur toont aan dat publieke instellingen kunnen schakelen tussen zelfgehoste open-weight modellen en commerciële cloud-engines via configuratie, waardoor datasoevereiniteit verandert van een systeemherontwerp-beperking in een routingbeleid.
• Evaluatiebijdrage: Het voorgestelde evaluatieprotocol adresseert een kritieke kloof in metrieken voor klinische tekstgeneratie door expliciet hallucinatie te bestraffen, een foutmodus die traditionele metrieken vaak missen of zelfs belonen vanwege vocabulaire-overlap.
• Benchmarkbijdrage: Dit werk vestigt de eerste baseline voor open-weight LLM's in het Braziliaans-Portugees, waarbij wordt aangetoond dat modellen bruikbare kwaliteitsniveaus (CDQI tot 0,87) kunnen bereiken op institutionele hardware.
• Praktische Implicatie: Hoewel open-weight modellen veelbelovend zijn, benadrukken de auteurs dat de Assessment- en Plan-secties nog steeds nauwe professionele controle vereisen vanwege het hoge risico op klinische extrapolatie. Het systeem is ontworpen om notities op te stellen ter beoordeling, niet om het klinische oordeel te vervangen.

De auteurs merken beperkingen op, waaronder het gebruik van synthetische data die mogelijk de disfluency en akoestische ruis van echte teleconsultaties niet volledig vangen, en het feit dat de evaluatie de extractiefase isoleerde van upstream ASR-fouten. Toekomstig werk omvat het valideren van het systeem op echte data en de integratie met het e-SUS APS-platform.