MetaDent: Labeling Clinical Images for Vision-Language Models in Dentistry

Titel: MetaDent: Het Labelen van Klinische Afbeeldingen voor Vision-Language Modellen in de Tandheelkunde

Bron: Journal of Dental Research (2026)
Auteurs: M.-X. Li, W.-H. Deng, et al. (Wuhan Universiteit, Universiteit van Hongkong, Purdue Universiteit)

---

1. Het Probleem

Hoewel Vision-Language Models (VLMs) grote vooruitgang hebben geboekt in de medische beeldanalyse, blijft hun toepassing op intraorale fotografie (fotografie van de mondholte) onderontwikkeld. De auteurs identificeren twee hoofdproblemen:

1. Gebrek aan fijnmazige, gestructureerde datasets: Bestaande datasets zijn vaak beperkt tot specifieke categorieën (bijv. alleen cariës) of gebaseerd op vage tekstbeschrijvingen. Tandheelkundige diagnose vereist echter nuance, hiërarchische interpretaties en het onderscheiden van complexe klinische contexten die niet in een gesloten set van labels passen.
2. Schaarste aan publieke benchmarks: Er is een gebrek aan diverse, goed geannoteerde datasets voor het evalueren van VLMs in de tandheelkunde. Bestaande datasets missen diversiteit in bronnen en de mogelijkheid om verschillende downstream-taken (zoals vragen beantwoorden, classificatie en beschrijvingen genereren) te ondersteunen.

Resultaten tonen aan dat zelfs de meest geavanceerde VLMs moeite hebben met het begrijpen van intraorale scènes, wat leidt tot onnauwkeurige diagnoses en inconsistente beschrijvingen.

2. Methodologie

De auteurs introduceren MetaDent, een uitgebreid framework dat bestaat uit een groot dataset, een semigestructureerd annotatiesysteem en een benchmark-suite.

A. Dataverzameling (Meta Dataset)

De dataset omvat in totaal 60.669 tandheelkundige afbeeldingen uit drie bronnen:

• DS1 (In-house): 4.373 klinische foto's van de Universiteit van Wuhan.
• DS2 (Publiek): 9.390 afbeeldingen uit de "Teeth or Dental image dataset".
• DS3 (Web-gescraapt): 46.906 afbeeldingen gefilterd uit het COYO-700M corpus. Hiervoor werd een fijngefineerde ViT-L/16-classificator gebruikt om tandheelkundige afbeeldingen te selecteren en een image hasher voor het verwijderen van duplicaten.

B. Semigestructureerde Annotatie (Meta-labeling)

In plaats van alleen categorische labels te gebruiken, werd een semigestructureerde aanpak ontwikkeld voor een subset van 2.588 afbeeldingen:

• Twee tandartsen met klinische ervaring hebben de afbeeldingen geannoteerd.
• Annotatieformaat: Elke afbeelding krijgt een overkoepelende beschrijving (samenvatting van de scène en perspectief) en een lijst met afzonderlijke afwijkingen in vrije tekst (natuurlijke taal), inclusief diagnostische interpretaties waar van toepassing.
• Kwaliteitscontrole: Er werd een hoge inter-rater betrouwbaarheid bereikt (Cohen's κ = 0.83). Onzekere gevallen werden gemarkeerd.
• Vertaling: De oorspronkelijke Chinese annotaties werden vertaald naar het Engels met behulp van Large Language Models (LLMs).

C. Generatie van Standaard Benchmarks

Met behulp van LLMs (GPT-OSS-120B) werden de semigestructureerde meta-labels omgezet in drie gestandaardiseerde taken:

1. Visual Question Answering (VQA): Generatie van ongeveer 15.000 vraag-antwoordparen (meerkeuze en waar/onwaar) gebaseerd op de afwijkingen en logische afleidingen van normale structuren.
2. Multilabel Classificatie: Een dataset met 18 klassen (bijv. cariës, tandvleesontsteking, malocclusie) gebaseerd op visuele verschijning.
3. Image Captioning: Het genereren van vrije tekstbeschrijvingen als referentie voor het evalueren van modeloutput.

D. Evaluatie

De prestaties van vijf state-of-the-art VLMs (waaronder GPT-4o, Gemini-2.5-flash, Qwen3-VL, Ovis2, Baichuan-Omni) werden geëvalueerd op:

• VQA: Nauwkeurigheid (Accuracy).
• Classificatie: Precision, Recall, F1-score en Exact Match (alle labels correct).
• Captioning: Semantische gelijkenis (BERTScore) en klinische consistentie (extractie van afwijkingen uit de gegenereerde tekst).

3. Belangrijkste Bijdragen

1. MetaDent Dataset: De grootste en meest diverse openbare dataset voor intraorale fotografie tot nu toe, met een unieke combinatie van klinische en web-gebaseerde bronnen.
2. Semigestructureerd Annotatiekader: Een innovatieve methode die hiërarchische complexiteit vastlegt via vrije tekst en samenvattingen, in plaats van beperkte categorische labels. Dit maakt de data schaalbaar en task-agnostisch.
3. Uitgebreide Benchmark Suite: Een reeks evaluatietaken (VQA, classificatie, captioning) die de prestaties van VLMs in de tandheelkunde kwantitatief meet.
4. Open Science: De dataset, annotaties en tools zijn publiek beschikbaar gesteld om reproduceerbaar onderzoek te bevorderen.

4. Resultaten

De evaluatie toont aan dat zelfs de meest geavanceerde VLMs significant tekortschieten in de fijnmazige interpretatie van intraorale beelden:

• VQA Prestaties: De modellen bereikten slechts matige nauwkeurigheid (onder de 70%).
  • Gemini-2.5-flash presteerde het beste (64,1% bij meerkeuze, 67,9% bij waar/onwaar), gevolgd door GPT-4o.
  • Open-source modellen presteerden iets slechter.
• Classificatie: De prestaties waren uitdagend voor alle modellen.
  • De beste F1-score (GPT-4o) was slechts 0,437.
  • De Exact Match score (waar alle 18 labels correct zijn) was extreem laag (<25% voor de beste modellen), wat aangeeft dat modellen zelden alle bevindingen tegelijkertijd correct identificeren.
• Image Captioning: De gegenereerde beschrijvingen waren vaak onbetrouwbaar voor klinische interpretatie.
  • De semantische gelijkenis (BERTScore) was laag (rond de 0,20).
  • De klinische consistentie (het correct identificeren van afwijkingen) was zeer beperkt (F1-score rond de 13%), wat betekent dat de meeste belangrijke bevindingen werden gemist of verkeerd geïnterpreteerd.
• Domeinverschuiving: Modellen presteerden slechter op de DS2-subset (publieke dataset), wat wijst op een domeinverschuiving veroorzaakt door verschillen in beeldtoon en demografie.

5. Betekenis en Conclusie

Het onderzoek benadrukt een grote kloof tussen de huidige capaciteiten van algemene Vision-Language Models en de specifieke eisen van de tandheelkunde.

• Klinische Toepasbaarheid: Huidige VLMs zijn nog niet betrouwbaar genoeg voor directe inzet in de kliniek zonder verdere verfijning en domeinspecifiek trainen.
• Toekomstige Richting: Er is een dringende behoefte aan domein-aangepaste training en geavanceerdere evaluatieprotocollen.
• Impact: MetaDent biedt een cruciale roadmap en infrastructuur voor AI-onderzoekers en tandartsen om samen te werken aan de ontwikkeling van robuuste, multimodale AI-systemen die uiteindelijk kunnen bijdragen aan betere diagnose, patiënteducatie en mondzorg op populatieniveau.

De auteurs concluderen dat het sluiten van deze kloof multidisciplinaire samenwerking vereist om multimodale AI in de mondzorg praktisch bruikbaar te maken.