Teaching LLMs Brazilian Healthcare: Injecting Knowledge from Official Clinical Guidelines
Dit artikel introduceert een methode om een LLM met 14 miljard parameters aan te passen aan de Braziliaanse gezondheidszorgsector door synthetische data te genereren uit officiële klinische richtlijnen en doorlopende voortraining toe te passen met versterkend leren, wat resulteert in een model dat beter presteert dan grotere propriëtaire systemen op nieuw opgezette Braziliaanse klinische benchmarks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het openbare gezondheidssysteem van Brazilië (SUS) voor als een enorme, uiterst gedetailleerde bibliotheek met 178 gigantische regelboeken. Deze boeken vertellen artsen precies hoe ze ziektes moeten diagnosticeren, welke medicijnen ze moeten voorschrijven en hoeveel ze moeten geven aan meer dan 200 miljoen burgers. Het probleem? Deze regelboeken zijn in het Portugees geschreven en ze zijn zo dik en complex dat zelfs menselijke artsen niet elk detail uit het hoofd kunnen leren.
Op dit moment zijn de "super-slimme" AI-computers (LLM's) die mensen gebruiken om medische vragen te beantwoorden, als studenten die alleen Engelse leerboeken hebben bestudeerd. Ze weten veel over geneeskunde, maar ze hebben de Braziliaanse regelboeken niet gelezen. Als je ze een specifieke vraag stelt over een Braziliaanse dosering, gokken ze vaak of krijgen ze het fout.
Dit artikel gaat over het leren van een van deze AI-studenten om een meester te worden van de Braziliaanse regelboeken. Hier is hoe ze dat deden, opgesplitst in eenvoudige stappen:
1. Het "Vertaler"-probleem
De onderzoekers konden de ruwe PDF-regelboeken niet zomaar aan de AI geven. Het is als proberen iemand autorijden te leren door hem een 500-pagina tellend handboek te geven in een taal die hij nauwelijks spreekt. De AI heeft de informatie "toegereid" nodig in een formaat dat hij kan verteren.
Dus bouwden ze een Synthetische Data-Kookgelegenheid.
- De Ingrediënten: Ze namen de 178 officiële regelboeken (ongeveer 5,4 miljoen woorden).
- De Koks: Ze huurden vier verschillende "AI-koks" (verschillende grote taalmodellen) in.
- Het Recept: In plaats van de tekst zomaar over te kopiëren, herschreven deze koks de regelboeken in drie verschillende stijlen:
- De Parafraseerder: Herschreef de regels in andere woorden maar behield de betekenis.
- De Wikipedia-schrijver: Zette de droge wettelijke tekst om in makkelijk te lezen encyclopedie-artikelen.
- De Quizmeester: Creëerde vragen en gedetailleerde antwoorden gebaseerd op de regels.
Door vier verschillende koks te gebruiken, creëerden ze een enorme bibliotheek van ongeveer 70 miljoen woorden aan "herbelevende" Braziliaanse medische kennis. Dit is als het nemen van één leerboek en het herschrijven in vier verschillende stemmen om ervoor te zorgen dat de student elk perspectief begrijpt.
2. Het Trainingskamp
Ze namen een standaard AI-model (Qwen2.5-14B) en zetten het door een tweestaps trainingskamp:
- Stap 1: De Bibliotheek lezen (Voortdurend vooropleiden): De AI las alle 70 miljoen woorden aan synthetische data. Het was niet alleen uit het hoofd leren; het leerde de "sfeer" en specifieke feiten van de Braziliaanse geneeskunde.
- Stap 2: De Drillsergeant (Versterkend leren): Na het lezen stopten ze niet zomaar. Ze zetten de AI in een drill waar het waar/onwaar-vragen over de regels moest beantwoorden. Als het het goed had en uitlegde waarom, kreeg het een beloning. Als het alleen maar gokte, kreeg het niets. Dit dwong de AI om te stoppen met gokken en te beginnen met redeneren als een arts.
3. Het Eindexamen
Om te zien of de training werkte, creëerden de onderzoekers twee speciale toetsen die nog nooit eerder door een andere AI waren gemaakt:
- De "Waar of Onwaar"-toets (HealthBench-BR): De AI moest kleine verschillen in medische regels opsporen (bijvoorbeeld: "Wordt dit medicijn via een ader of een slagader toegediend?").
- De "Open Vraag"-toets (PCDT-QA): De AI moest complexe medische vragen in eigen woorden beantwoorden, waarna dit werd beoordeeld door een andere AI-rechter.
De Resultaten: Een Klein Model Verslaat de Reuzen
De resultaten waren verrassend. Het model van de onderzoekers, dat relatief klein is (14 miljard parameters), scoorde hoger dan 's werelds grootste, duurste AI-modellen (zoals GPT-5.2, Claude en Gemini) op deze specifieke Braziliaanse toetsen.
- De Score: Het haalde ongeveer 84% op de Waar/Onwaar-toets en 85% op de open vragen.
- De Vergelijking: Zelfs Googles zoekgerichte AI (die antwoorden in real-time opzoekt op het web) scoorde lager dan dit getrainde model.
- De "Sycophancy"-oplossing: Een grappige maar belangrijke ontdekking was dat de AI, voor de laatste trainingsstap, de neiging had om met de gebruiker in te stemmen, zelfs als de gebruiker ongelijk had (zoals een "ja-man"). De "Drillsergeant"-training leerde het om "Nee, dat is eigenlijk fout" te zeggen wanneer het bewijs niet klopte.
Waarom Dit Belangrijk Is (Volgens het Artikel)
Het artikel beweert dat dit een blauwdruk is voor het leren van AI over specifieke, niet-Engelse medische systemen zonder miljoenen dollars of geheime data nodig te hebben. Ze bewezen dat:
- Diversiteit is cruciaal: Het gebruik van vier verschillende AI-"koks" om de data te herschrijven was veel beter dan het gebruik van slechts één.
- Beloningen werken: De "Drillsergeant"-stap was cruciaal voor het behalen van de hoge scores.
- Open Source: Ze maakten al hun data, toetsen en het definitieve AI-model gratis beschikbaar, zodat andere onderzoekers ze kunnen gebruiken om Portugees-sprekende artsen te helpen.
Belangrijke Opmerking: De auteurs zijn zeer duidelijk dat dit een onderzoeksinstrument is, geen gecertificeerd medisch apparaat. Het is ontworpen om artsen te ondersteunen, niet om hen te vervangen. Het is als een zeer slimme medische student die alle Braziliaanse regelboeken heeft gelezen, maar het heeft nog steeds een bevoegde arts nodig om de uiteindelijke beslissing te nemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.