MedInjection-FR: Exploring the Role of Native, Synthetic, and Translated Data in Biomedical Instruction Tuning

Dit artikel introduceert MedInjection-FR, een groot Frans biomedisch instructiedataset dat de effectiviteit van native, synthetische en vertaalde data voor het fine-tunen van taalmodellen onderzoekt en aantoont dat native data de beste prestaties leveren, terwijl een combinatie met vertaalde data een waardevol alternatief biedt voor het overwinnen van schaarste aan native medische instructies.

De kern

Stel je voor dat je een zeer slimme, maar nogal algemene robot wilt leren om arts te spelen in het Frans. Deze robot (een 'Large Language Model') heeft al veel gelezen, maar hij weet niet precies hoe hij medische vragen moet beantwoorden of hoe hij zich moet gedragen als een echte Franse dokter.

Dit artikel, getiteld MedInjection-FR, gaat over een groot experiment om deze robot te trainen. De onderzoekers wilden weten: wat is de beste manier om deze robot medisch Frans te leren?

Ze gebruikten drie verschillende soorten 'lesmateriaal' (data) en keken welke combinatie het beste werkte. Hier is hoe ze dat deden, vertaald naar alledaagse termen:

1. De Drie Soorten Lermaterialen

Stel je voor dat je een student wilt leren koken. Je hebt drie opties:

• De 'Native' Data (De Oude Meesters):
  Dit zijn echte, originele Franse medische teksten en examenvragen. Het is alsof je de student laat werken met echte Franse receptenboeken en lesgeeft door ervaren Franse chefs.

  • Voordeel: Het is authentiek, precies en klinkt als een echte dokter.
  • Nadeel: Er is niet heel veel van beschikbaar (het is schaars).

• De 'Synthetische' Data (De AI-Schrijver):
  Hierbij gebruikten ze een andere, sterke AI om nieuwe vragen en antwoorden te bedenken op basis van bestaande medische dossiers. Het is alsof je een robot schrijft die zelf recepten bedenkt.

  • Voordeel: Je kunt er eindeloos veel van maken.
  • Nadeel: Soms maakt de robot fouten, klinkt het onnatuurlijk of is het niet helemaal medisch correct.

• De 'Vertaalde' Data (De Vertaler):
  Ze namen enorme verzamelingen medische vragen uit het Engels en vertaalden ze naar het Frans. Het is alsof je Engelse receptenboeken laat vertalen door een vertaler.

  • Voordeel: Je hebt direct toegang tot enorme hoeveelheden kennis.
  • Nadeel: Soms klinkt het net niet helemaal 'Frans' (het heeft een 'vertaalaccent') of mist het de lokale nuance.

2. Het Grote Experiment

De onderzoekers trainden hun robot (een model genaamd Qwen-4B) op zeven verschillende manieren:

1. Alleen met de echte Franse teksten.
2. Alleen met de AI-gegenereerde teksten.
3. Alleen met de vertaalde teksten.
4. En verschillende combinaties daarvan (bijvoorbeeld: 50% echte teksten + 50% vertaalde teksten).

Het resultaat was verrassend duidelijk:

• De beste solo-speler: De robot die alleen met de echte, originele Franse teksten leerde, werd de beste. Hij sprak het meest natuurlijk en gaf de meest accurate antwoorden.
• De zwakke speler: De robot die alleen met de AI-gegenereerde teksten leerde, deed het het slechtst. Hij maakte meer fouten en klinkt minder professioneel.
• De vertaler: De robot die alleen met vertaalde teksten leerde, deed het redelijk, maar niet perfect.
• De winnende strategie (De Mix): De echte winnaar was een mix. Als je de echte Franse teksten combineerde met de vertaalde teksten, werd de robot zelfs nog beter dan met alleen de echte teksten!
  • De analogie: Het is alsof je een student laat werken met een paar echte Franse recepten (voor de basis en de smaak), maar je vult het curriculum aan met vertaalde internationale recepten (voor de variatie en de hoeveelheid). De echte recepten houden de kwaliteit hoog, terwijl de vertaalde recepten zorgen dat de student ook andere situaties aankan.

3. De 'Vertel-Verhaal'-Valstrik (Verbosity Bias)

Tijdens het testen merkten ze iets grappigs op. Als ze de robot vroegen om een open vraag te beantwoorden (niet meerkeuze, maar een verhaal), gaf de basis-robot (die nog niet getraind was) soms hele lange, uitgebreide antwoorden.

De 'rechter' (een andere AI die de antwoorden beoordeelde) gaf deze lange antwoorden vaak een hogere score, alsof "langer = beter" was. Maar de onderzoekers ontdekten dat dit een valstrik was: de getrainde robots gaven vaak kortere, maar juistere antwoorden. De 'rechter' werd dus soms verleid door het volume van het verhaal in plaats van de kwaliteit ervan.

Conclusie in Eén Zin

Als je een AI wilt leren om als Franse arts te denken, is echte, menselijk gemaakte data het allerbelangrijkst. Maar als je niet genoeg daarvan hebt, kun je die echte data perfect aanvullen met vertaalde Engelse data om een sterke, veelzijdige medische AI te bouwen.

Het is dus niet nodig om alleen de zeldzame, dure Franse boeken te hebben; een slimme mix van authentiek materiaal en vertaalde kennis werkt wonderlijk goed.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MedInjection-FR: Exploring the Role of Native, Synthetic, and Translated Data in Biomedical Instruction Tuning" in het Nederlands.

Probleemstelling

Instruction tuning (aansturen van instructies) is essentieel om Large Language Models (LLMs) aan te passen aan domeinspecifieke prompts, zoals in de geneeskunde. Echter, voor het Frans bestaat er een ernstig gebrek aan hoogwaardige, native instructiedata. Bestaande datasets zijn vaak Engels-gecentreerd, en het handmatig creëren van medische instructie-responsparen vereist aanzienlijke domeinkennis en is kostbaar.
Dit creëert een dilemma: kunnen alternatieve bronnen, zoals automatisch gegenereerde (synthetische) data of vertaalde datasets, effectief dienen als vervanging of aanvulling op native Franse data, of introduceren ze fouten en stijlproblemen die de prestaties belemmeren?

Methodologie

1. Dataset Constructie: MedInjection-FR
De auteurs introduceren MedInjection-FR, een grote, open-source dataset van 571.436 instructie-responsparen in het Frans, opgebouwd uit drie complementaire bronnen:

• Native Data (77k paren): Afkomstig van gecureerde Franse medische bronnen, waaronder nationale examens (MediQAl), farmacologische vragen (FrenchMedMCQA), Wikipedia-artikelen (FrBMedQA) en medische casestudy's.
• Translated Data (417k paren): Bestaande Engelstalige medische instructiedatasets (zoals MedQA, PubMedQA, MMLU) die met hoge kwaliteit naar het Frans zijn vertaald met behulp van Gemini 2.0 Flash en GPT-4o-mini. De vertaalkwaliteit werd gevalideerd met BLEU en COMET scores die vergelijkbaar waren met de beste systemen van de WMT 2024 challenge.
• Synthetische Data (76k paren): Automatisch gegenereerd door GPT-4o op basis van bestaande Franse klinische casussen (DEFT, DIAMED) en wetenschappelijke abstracts (MORFITT). De gegenereerde data omvat diverse taken zoals samenvattingen, differentiaaldiagnoses en behandelplannen. De kwaliteit werd geverifieerd door meerdere LLM-judges.

2. Experimenteel Ontwerp
Om de impact van de data-oorsprong te meten, werd een gecontroleerd experiment uitgevoerd met het Qwen-4B-Instruct model.

• Configuraties: Zeven verschillende fine-tuning setups werden getraind, variërend van het gebruik van slechts één data-bron (alleen Native, alleen Synthetisch, alleen Vertaald) tot diverse combinaties (bijv. Native + Vertaald, Alle bronnen gecombineerd).
• Controle: Om eerlijke vergelijkingen mogelijk te maken, werden alle configuraties getraind op exact hetzelfde aantal voorbeelden (33.493 paren), waarbij de synthetische en vertaalde sets werden onder- of oversampled om de native grootte te benaderen.
• Training: Gebruikmakend van DoRA (Weight Decomposed Low-Rank Adaptation) voor efficiënte fine-tuning.

3. Evaluatie
De modellen werden getest op medische vraag-antwoordtaken (Meerkeuzevragen en Open-ended vragen):

• Meerkeuze (MCQ/MCQU): Geëvalueerd met Exact Match (EM) en Hamming scores, inclusief tests op positie-bias (willekeurige volgorde van antwoordopties).
• Open-ended (OEQ): Geëvalueerd met traditionele tekst-overlapmetrieken (BLEU, ROUGE) en een LLM-as-a-judge benadering. Voor de laatste werd een meta-evaluatie uitgevoerd waarbij verschillende LLM-judges werden vergeleken met een menselijke medische expert. MedGemma-27B bleek de sterkste correlatie met menselijke beoordelingen te hebben.

Kernresultaten

1. Prestaties per Data Bron

• Native Data: Modellen getraind op alleen native data presteerden het beste, vooral bij strengere evaluaties (constrained decoding). Dit onderstreept het belang van linguïstische en culturele alignering voor medisch redeneren.
• Synthetische Data: Alleenstaande synthetische data leverde de zwakste prestaties op, wat wijst op ruis en feitelijke onnauwkeurigheden in gegenereerde content.
• Vertaalde Data: Alleenstaande vertaalde data toonde beperkte verbetering ten opzichte van het basismodel, maar presteerde slechter dan native data.

2. Synergie en Combinaties

• Combinatie Native + Vertaald: Deze configuratie leverde de hoogste algehele nauwkeurigheid op, zelfs beter dan native data alleen. Dit suggereert dat vertaalde data conceptuele diversiteit toevoegt die het model robuuster maakt.
• Combinatie Native + Synthetisch: Ook deze mix presteerde sterk, wat aangeeft dat synthetische data nuttig kan zijn om taakdiversiteit te vergroten, zolang het wordt verankerd door native data.
• Conclusie: Heterogene supervisie (het mengen van bronnen) compenseert het gebrek aan grote hoeveelheden native data. Native data fungeert als een "anker" dat de kwaliteit waarborgt, terwijl andere bronnen de generalisatie verbeteren.

3. Evaluatie-inzichten

• LLM-as-a-Judge: De LLM-bewerking (specifiek MedGemma-27B) correleerde het sterkst met menselijke expertbeoordelingen (Pearson r = 0,61), veel beter dan traditionele metrieken zoals BLEU of ROUGE.
• Verbosity Bias: Er werd gekeken naar een mogelijke bias waarbij langere antwoorden hoger worden beoordeeld. Hoewel het basismodel veel langere antwoorden produceerde en hogere scores kreeg, bleek er geen consistente monotone relatie tussen lengte en kwaliteit te bestaan over de verschillende fine-tuned modellen. De fine-tuned modellen produceerden over het algemeen beknoptere en meer gerichte antwoorden.

Bijdragen

1. MedInjection-FR: De release van de eerste open, schaalbare Franse biomedische instructiedataset (571k paren) die native, synthetische en vertaalde data integreert.
2. Experimenteel Kader: Een gestructureerde analyse van hoe data-provenance (oorsprong) de prestaties van instructie-tuned modellen beïnvloedt in een low-resource taalcontext.
3. Empirische Inzichten: Het bewijs dat een combinatie van native en vertaalde data een haalbare en effectieve strategie is om de schaarste aan native Franse medische data te overwinnen, zonder in te leveren op kwaliteit.

Significantie

Dit paper is van groot belang voor de ontwikkeling van medische AI in het Frans. Het toont aan dat organisaties niet hoeven te wachten op enorme hoeveelheden handmatig gemaakte data om effectieve medische LLM's te bouwen. Door slimme combinaties van vertaalde bestaande kennis en zorgvuldig gegenereerde synthetische data, ondersteund door een kern van native data, kunnen robuuste modellen worden ontwikkeld. Daarnaast benadrukt het de noodzaak van geavanceerde evaluatiemethoden (zoals LLM-as-a-judge) die beter aansluiten bij medische relevantie dan traditionele tekst-overlapmetrieken.