Performance Evaluation of Open-Source Large Language Models for Assisting Pathology Report Writing in Japanese

De studie toont aan dat open-source grote taalmodellen, met name denkende en medisch gespecialiseerde modellen, nuttig kunnen zijn voor het ondersteunen van het schrijven van pathologierapporten in het Japans, hoewel hun prestaties sterk variëren afhankelijk van de specifieke taak en de menselijke beoordeling.

De kern

Stel je voor dat een patholoog (een arts die ziektes onderzoekt onder de microscoop) een rapport schrijft over een biopsie. Dit is een cruciaal document, maar het is vaak saai, vol met moeilijke medische termen en moet perfect volgens een strak format zijn. Het is alsof je een heel complexe bouwtekening moet invullen, elk foutje moet vinden en het daarna moet uitleggen aan een patiënt of een jonge arts.

Deze studie kijkt of AI (specifiek open-source "grote taalmodellen") deze arts kan helpen. De onderzoekers hebben zeven verschillende AI's getest om te zien welke de beste "assistent" is voor Japanse medische rapporten.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse analogieën:

1. De AI's als een team van verschillende helpers

De onderzoekers hebben zeven verschillende AI-modellen getest. Je kunt ze zien als een groep nieuwe stagiaires met verschillende specialiteiten:

• De "Denkers" (Thinking Models): Dit zijn AI's die eerst even nadenken voordat ze antwoorden. Ze zijn als een slimme ingenieur die eerst de blauwdruk bestudeert voordat hij gaat bouwen.
• De "Medische Specialisten": Deze AI's zijn getraind met extra medische boeken. Ze zijn als een stagiaire die al jaren in het ziekenhuis heeft gewerkt en de medische taal als tweede natuur heeft.
• De "Alles-kunners": De standaard AI's die goed zijn in veel dingen, maar misschien niet zo specifiek op medisch gebied.

2. De drie proeven (De "Bekijk")

De onderzoekers gaven de AI's drie soorten taken:

A. Het invullen van formulieren (De "Bouwtekening")

• De taak: De AI moet ruwe data (cijfers en feiten) omzetten in een strak, officieel medisch rapport.
• Het resultaat: De "Denkers" en de grote modellen waren hier uitstekend in. Ze konden de cijfers perfect omzetten in de juiste zinnen. De "Medische Specialisten" deden het ook goed, maar de standaardmodellen maakten soms foutjes in de logica (bijvoorbeeld: "Is de tumor groot genoeg om als 'stadium 3' te tellen?").
• Analogie: Als je een ingewikkeld wiskundig probleem moet oplossen, wil je iemand die eerst even nadenkt, niet iemand die direct gissen doet.

B. Het opsporen van typefouten (De "Rode pen")

• De taak: De AI moet een bestaand rapport lezen en alle typefouten (zoals verkeerde letters of verkeerde medische termen) vinden en verbeteren.
• Het resultaat: Hier waren de "Medische Specialisten" en de "Denkers" het sterkst. Ze herkenden dat een woord verkeerd gespeld was omdat het medisch onzin was. Een standaard AI dacht soms dat een rare zin gewoon een rare zin was en veranderde hem niet.
• Analogie: Een gewone lezer ziet misschien niet dat "hart" als "hert" is getypt in een medisch verslag, maar een medische expert (of een AI die medisch is getraind) ziet het direct.

C. Het uitleggen aan mensen (De "Vertaler")

• De taak: De AI moet het moeilijke medische rapport herschrijven zodat een beginnende arts of een patiënt het begrijpt.
• Het resultaat: Dit was het lastigst. Wat de ene arts "perfect" vond, vond de andere arts "te simpel" of "verwarrend". Er was geen enkele AI die bij iedereen in de smaak viel.
• Analogie: Het is alsof je een film laat zien aan vijf verschillende mensen. De één vindt het een meesterwerk, de ander vindt het saai. De smaak van de kijker (de arts) is hier belangrijker dan de kwaliteit van de film (de AI).

3. De belangrijkste lessen

• Geen "Super-AI" die alles doet: Er is geen enkele AI die perfect is in alles. Sommige zijn geweldig in rekenen en logica, anderen zijn beter in taal en medische kennis. Je moet de juiste AI kiezen voor de juiste taak.
• Privacy is een groot pluspunt: Omdat deze AI's "open-source" zijn, kun je ze op je eigen computer in het ziekenhuis draaien. Je hoeft de gevoelige patiëntgegevens niet naar een grote Amerikaanse tech-gigant te sturen. Het is alsof je een eigen bibliotheek hebt in plaats van een openbaar park waar iedereen rondloopt.
• Mensen blijven nodig: Omdat de meningen van artsen over de "uitleg" zo verschillen, kan de AI niet zomaar alles overnemen. De AI is een hulpmiddel, maar een mens moet altijd controleren of het klopt en of het past bij de stijl van het ziekenhuis.

Conclusie

Deze studie zegt eigenlijk: "Ja, deze AI's kunnen een arts helpen, maar ze zijn nog geen vervanging."

Ze zijn als een zeer slimme, snelle assistent die de saaie administratie en het opsporen van foutjes voor zijn rekening neemt. Maar omdat elke arts anders denkt en werkt, moet de assistent goed worden ingesteld op de specifieke wensen van het ziekenhuis. Voor Japanse medische rapporten is dit een veelbelovende stap, maar het vraagt nog wel om menselijke controle.

Technische samenvatting

Titel

Prestatie-evaluatie van open-source grote taalmodellen (LLM's) voor ondersteuning bij het schrijven van pathologierapporten in het Japans

1. Het Probleem

Hoewel Large Language Models (LLM's) zoals ChatGPT snel zijn geadopteerd in de medische sector, blijft hun prestatie voor het ondersteunen van het schrijven van pathologierapporten in het Japans onvoldoende onderzocht.

• Beperkingen van commerciële modellen: Modellen zoals ChatGPT, Gemini en Claude bieden sterke prestaties, maar het gebruik ervan met echte patiëntgegevens is vaak problematisch vanwege privacybezorgdheid, governance en de noodzaak van specifieke contractuele afspraken.
• Behoefte aan lokale oplossingen: Een praktisch alternatief is het lokaal draaien van open-source LLM's. Echter, eerdere studies zijn vaak heterogeen in hun evaluatiemethoden en richten zich voornamelijk op Engelse data.
• Specifieke uitdagingen: Pathologierapporten vereisen nauwkeurige formattering, correcte medische terminologie, logica voor stadiëring (bijv. pT-bepaling) en het corrigeren van typfouten in complexe medische teksten.

2. Methodologie

De auteurs hebben zeven open-source LLM's geëvalueerd in een lokale omgeving (Mac Studio M2 Ultra) met behulp van llama.cpp. De evaluatie vond plaats in januari 2026 en omvatte drie hoofdbenchmarks:

Geselecteerde Modellen:

• Algemeen/Specifiek: Gemma 3-27b-it, MedGemma-27b-text-it (medisch gespecialiseerd), SIP-jmed-llm-3-8x13b (medisch gespecialiseerd).
• Qwen-familie: Qwen3-Next-80B-A3B-Instruct en -Thinking (met en zonder "redeneer"-vermogen).
• GPT-oss: gpt-oss-20b en gpt-oss-120b.
• Configuratie: Modellen werden uitgevoerd in gequantiseerde vorm (Q4, Q8 of MXFP4).

De Drie Benchmarks:

• Benchmark A: Gestructureerde rapportage en informatiewinning

  • Taak A1 & A3: Conversie van JSON-gegevens naar institutionele en richtlijn-templates (volgens de 19e editie van de Japanse Borstkankervereniging).
  • Taak A2: Redeneren en berekenen: Het model moest pT-stadium, nucleaire graad en histologische graad afleiden uit ruwe JSON-data (invasiediameter en scores).
  • Taak A4: Omgekeerde conversie: Extractie van JSON-items uit een opgemaakt rapport.
  • Meting: F1-scores, Jaccard-index, en nauwkeurigheid van medische classificaties.

• Benchmark B: Typfoutcorrectie

  • Data: 31 echte pathologierapporten (100-400 karakters) met synthetische fouten (verwijdering, invoeging, transpositie, kanji-fouten) injecteerd met een waarschijnlijkheid van 0,1.
  • Meting: Precisie, recall en F1-score, met specifieke aandacht voor "Large Deletions" (LD), waarbij zinnen of zinsdelen onterecht werden verwijderd.

• Benchmark C: Subjectieve evaluatie van verklarende tekst

  • Taak: Generatie van uitleg voor een beginnende arts op basis van complexe immunohistochemische rapporten.
  • Beoordelaars: 5 erkende pathologen en 3 klinici (minimaal 5 jaar ervaring).
  • Schaal: 1 tot 5 (waarbij 3-5 als bruikbaar werd beschouwd).
  • Statistiek: Intraclass Correlation Coefficients (ICC) om de onderlinge betrouwbaarheid te meten.

3. Belangrijkste Resultaten

A. Gestructureerde rapportage (Benchmark A)

• Format conversie (A1/A3/A4): De meeste modellen presteerden uitstekend bij het omzetten van JSON naar tekst en vice versa, met bijna perfecte overlap (F1 > 0,99).
• Redeneren (A2): Hier was er een duidelijk onderscheid.
  • Modellen zonder "Thinking"-vermogen (zoals standaard Qwen en Gemma) presteerden slecht bij het afleiden van pT en gradaties (nauwkeurigheid vaak rond de kanskans).
  • Thinking-modellen (Qwen3-Next-Thinking) en gpt-oss-modellen behaalden bijna perfecte nauwkeurigheid (100% in veel gevallen) voor medische redeneringen.
  • Conclusie: Deliberate reasoning (bedachtzaam redeneren) is cruciaal voor complexe medische afleidingen.

B. Typfoutcorrectie (Benchmark B)

• Qwen3-Next-Instruct bood de beste balans tussen precisie en recall (Macro F1: 0,697).
• MedGemma (MG-27b) en Qwen-Thinking presteerden ook competitief.
• SIP-jmed corrigeerde soms specifieke medische fouten die anderen misten, maar had de hoogste rate aan "Large Deletions" (verlies van zinsdelen).
• gpt-oss-20b presteerde het slechtst in deze taak.

C. Subjectieve evaluatie (Benchmark C)

• Variabiliteit: De voorkeuren varieerden sterk tussen de beoordelaars. Ongeveer 25-33% van de scores was 4 of 5 (bruikbaar).
• Onderlinge betrouwbaarheid: De ICC-waarden waren laag op individueel niveau (bijv. 0,138 voor pathologen), wat aangeeft dat experts sterk verschillende meningen hebben over wat een "goede" uitleg is.
• Modellen: MedGemma-27b kreeg hoge scores van pathologen, terwijl Qwen3-Next-Thinking beter scoorde bij pathologen dan bij klinici. Er was geen enkele "winnaar" die door alle groepen werd geprefereerd.

4. Belangrijkste Bijdragen

1. Eerste Japans-specifieke benchmark: Dit is een van de eerste uitgebreide evaluaties van open-source LLM's specifiek voor Japanse pathologierapporten.
2. Differentiatie van taken: Het onderzoek toont aan dat er geen "one-size-fits-all" model is.
   • Voor deterministische taken (formatconversie) zijn traditionele scripts sneller en betrouwbaarder.
   • Voor redenerende taken (stadiëring) zijn "Thinking"-modellen essentieel.
   • Voor uitleg en correctie zijn medisch gespecialiseerde modellen (zoals MedGemma) vaak superieur.
3. Privacy en Lokale Deploy: Het bewijst dat open-source modellen lokaal kunnen worden ingezet voor klinisch relevante taken, wat privacy- en governance-risico's van cloud-API's omzeilt.

5. Betekenis en Conclusie

De studie concludeert dat open-source LLM's beperkt maar betekenisvol nut hebben voor het ondersteunen van het schrijven van Japanse pathologierapporten.

• Toepassing: Ze zijn vooral waardevol voor het genereren van uitleg voor niet-specialisten, het corrigeren van typfouten en het omzetten van gestructureerde data naar richtlijnen.
• Implementatie: Praktische implementatie vereist zorgvuldige taakselectie (welk model voor welke taak) en lokale validatie.
• Menselijke factor: Omdat de voorkeuren van artsen sterk variëren, moeten toekomstige systemen mogelijk worden gepersonaliseerd of aangepast aan institutionele voorkeuren in plaats van te streven naar één universele standaard.
• Hardware: Hoewel open-source modellen privacy bieden, vereisen ze aanzienlijke hardware-resources (bijv. 196 GB RAM voor de geteste modellen), hoewel voortgang in quantisatie en MoE-architecturen dit in de toekomst kan verbeteren.

Kortom, open-source LLM's zijn geen vervanging voor pathologen, maar kunnen waardevolle assistenten zijn in specifieke, goed gedefinieerde klinische scenario's.