Effects of Cross-lingual Evidence in Multilingual Medical Question Answering

Probleemstelling

Grote Taalmodellen (LLM's) tonen veelbelovende resultaten in medische vraag-antwoordtaken (QA), maar kampen met fundamentele beperkingen zoals hallucinaties, gebrek aan feitelijke nauwkeurigheid en beperkte contextlengte. Hoewel Retrieval-Augmented Generation (RAG) vaak wordt gebruikt om deze problemen op te lossen door externe kennis toe te voegen, is het grootste deel van het bestaande onderzoek beperkt tot het Engels.

De auteurs identificeren twee kritieke gaten in de huidige literatuur:

1. Taal-ongelijkheid: Prestaties dalen aanzienlijk voor niet-Engelse talen (zoals Frans, Spaans, Italiaans), zelfs bij gebruik van RAG.
2. Resource-dispariteit: Er is een groot gebrek aan zorgvuldig samengestelde medische kennisbronnen (zoals PubMed, medische handboeken) in talen met weinig digitale aanwezigheid (low-resource talen).
3. Aannames over RAG: Er heerst de veronderstelling dat het toevoegen van externe bewijsvoering altijd de prestaties verbetert, ongeacht het model of de taal.

Het paper onderzoekt of deze aanname standhoudt in een multilinguale context en welke strategieën optimaal zijn voor zowel high-resource (Engels, Spaans, Frans, Italiaans) als low-resource talen (Baskisch, Kazachs).

Methodologie

De auteurs hebben een uitgebreid experimenteel kader opgezet om verschillende strategieën voor externe kennisintegratie te evalueren.

• Dataset: Ze gebruikten de CasiMedicos-dataset (van het MedExpQA-benchmark), oorspronkelijk in het Spaans, en vertaalde deze naar Engels, Frans, Italiaans, Baskisch en Kazachs. De dataset bestaat uit meerkeuzevragen gebaseerd op klinische casussen.
• Modellen: Er werd getest met een scala aan LLM's variërend in grootte van 8B tot 72B parameters (o.a. Llama 3, Qwen 2.5/3, Gemma 3 en MedGemma).
• Externe Bewijsbronnen: Drie soorten bronnen werden geëvalueerd:
  1. Gecureerde medische bronnen: PubMed, Wikipedia, StatPearls (voornamelijk in het Engels).
  2. Web-search: Documenten opgehaald via Google Search (Serper API) en Cohere API.
  3. Parametrische kennis: Antwoorden gegenereerd door de LLM zelf zonder externe zoekopdracht.
• Retrieval-Strategieën: Drie instellingen werden getest:
  • Monolinguïstisch: Zoeken in dezelfde taal als de vraag.
  • Engels-gecentreerd: Alleen zoeken in het Engels.
  • Cross-linguaal: Een mix van documenten in het Engels en de doeltaal (50/50).

Belangrijkste Resultaten

De resultaten bieden verrassende inzichten die de huidige aannames uitdagen:

1. Modelgrootte en Externe Kennis:

   • Kleinere modellen (<30B parameters): Profiteren aanzienlijk van externe bewijsvoering. Web-search in het Engels leverde een verbetering van gemiddeld 8,2% ten opzichte van de baseline.
   • Grotere modellen (≥70B parameters): Tonen vaak een daling in prestaties (gemiddeld -2,4%) wanneer externe context wordt toegevoegd. Dit suggereert dat deze modellen voldoende medische kennis al hebben geïnternaliseerd tijdens het pre-training, en dat externe informatie juist "ruis" introduceert of conflicten veroorzaakt met hun interne kennis.

2. Taal en Retrieval-strategie:

   • High-resource talen: Voor talen als Engels, Spaans, Frans en Italiaans is het zoeken in het Engels de meest effectieve strategie. Dit komt door de overvloed aan medische content in het Engels op het web en de Engelse-bias in de training van LLM's.
   • Low-resource talen (Baskisch, Kazachs): Monolinguïstisch zoeken in de doeltaal werkt slecht vanwege het gebrek aan data. De beste strategie is cross-linguale retrieval (een combinatie van Engels en de doeltaal). Dit sluit de prestatiekloof met high-resource talen bijna volledig aan.

3. Kwaliteit van Bronnen:

   • Web vs. Curerende Bronnen: Web-search levert over het algemeen betere resultaten op dan traditionele medische repositories (zoals PubMed). In de web-resultaten voor Engels kwam minder dan 20% van de documenten van bekende bronnen zoals PubMed; de rest kwam van diverse medische websites. Voor andere talen daalde dit percentage voor PubMed/Wikipedia naar minder dan 0,03%, wat een ernstig gebrek aan gestructureerde medische content in deze talen aantoont.

4. Aantal Documenten:

   • Voor de meeste modellen is het ophalen van 10 documenten de optimale hoeveelheid. Meer documenten leiden tot marginale winst of zelfs prestatiedaling door "vervuiling" van de context.

Belangrijkste Bijdragen

1. Systematische Analyse: Een empirisch onderzoek naar de interactie tussen modelgrootte, taal en externe kennisbronnen in medische QA.
2. Ontmaskering van Aannames: Het paper weerlegt het idee dat externe kennis altijd helpt. Het toont aan dat het effect afhankelijk is van de modelgrootte (kleine modellen profiteren, grote modellen kunnen erachteruit gaan) en de taal (Engels-dominantie).
3. Strategische Richtlijnen:
   • Gebruik Engelse web-search voor high-resource talen.
   • Gebruik cross-linguale retrieval (Engels + Doeltaal) voor low-resource talen.
   • Wees voorzichtig met het toevoegen van context aan zeer grote modellen (≥70B), omdat dit hun prestaties kan verstoren.
4. Openbare Resources: De auteurs hebben de code, datasets en prompts openbaar gemaakt om herhaalbaarheid en verder onderzoek te faciliteren.

Significantie

Deze studie is cruciaal voor de ontwikkeling van betrouwbare medische AI-systemen wereldwijd. Het benadrukt dat er geen "one-size-fits-all" oplossing bestaat voor RAG in de medische sector. Voor lage-resource talen is het essentieel om de beperkingen van lokale databases te compenseren door slimme cross-linguale strategieën toe te passen. Daarnaast waarschuwt het onderzoek ontwikkelaars dat het simpelweg "meer context" toevoegen aan de grootste LLM's niet altijd leidt tot betere resultaten, en dat modelgrootte een bepalende factor is in hoe externe kennis moet worden verwerkt. Dit heeft directe implicaties voor de implementatie van AI in de gezondheidszorg in niet-Engelstalige landen.