Prompt-Based Caption Generation for Single-Tooth Dental Images Using Vision-Language Models

Dit artikel presenteert een methode om met Vision-Language Models en gestuurde prompts betekenisvolle bijschriften voor afbeeldingen van individuele tanden te genereren, waarmee een hiaat in bestaande datasets wordt gedicht die vaak beperkt zijn tot het volledige gebit of specifieke aandoeningen.

De kern

Stel je voor dat je een tandarts bent. Normaal gesproken kijk je naar een foto van de hele mond en noteer je: "Ah, die kies linksboven heeft een gaatje." Maar wat als je een slimme computer wilt die dat ook kan doen, maar dan voor één enkele tand op een foto? En wat als die computer niet alleen kan zeggen "gaatje", maar ook een mooi verhaal kan schrijven over hoe die tand eruitziet?

Dit is precies waar deze wetenschappelijke paper over gaat. De onderzoekers van Marshall University en West Virginia State University hebben een manier bedacht om computers te leren hoe ze foto's van losse tanden moeten beschrijven, zonder dat iemand handmatig elke foto heeft moeten uitleggen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alles-in-één" Foto is Verwarrend

Vroeger hadden computers die tanden konden zien, maar ze waren als een zwakke zoektocht. Ze konden alleen heel specifieke dingen doen, zoals "vind de holte" of "telt de tanden". Ze konden niet vertellen: "Kijk eens, dit is een hoektand, hij heeft een lichte verkleuring en de tandvleesrand ziet er een beetje rood uit."

Bovendien waren de bestaande foto's vaak van de hele mond. Dat is als proberen een specifieke boom in een bos te beschrijven terwijl je alleen een foto van het hele bos hebt. Je ziet de boom, maar je mist de details van de schors of de bladeren. En de beschrijvingen die erbij stonden, waren vaak saai en onvolledig, zoals alleen zeggen: "Er is een gaatje," zonder te vertellen waar of hoe groot.

2. De Oplossing: De "Slimme Vertaler" met een Specifieke Instructie

De onderzoekers wilden een database maken van foto's van losse tanden met een uitgebreide beschrijving erbij. Maar ze hadden geen duizenden tandartsen om die beschrijvingen te schrijven.

Dus gebruikten ze een Vision-Language Model (VLM). Denk hierbij aan een ontzettend slimme, visuele vertaler.

• De Instructie (Prompt): Ze gaven de computer niet zomaar de opdracht "beschrijf dit". Ze gaven de computer een specifiek recept (een 'prompt').
• Het Recept: "Kijk goed naar deze foto. Vertel me: Wat voor tand is het? Welk kantje zie je (boven, zijkant, of kauwvlak)? En zie je iets raars, zoals een gaatje of verkleuring?"

3. De Twee-Stappen Dans

Ze deden dit in twee rondes, alsof je een schilderij eerst snel schetst en dan verfijnt:

1. De Schets: De computer kreeg de foto en gaf een eerste, ruwe beschrijving.
2. De Verfijning: De onderzoekers keken naar die eerste beschrijvingen en zagen: "O, de computer denkt dat dit een snijtand is, terwijl het een hoektand is." Dus gaven ze de computer een beter recept: "Let extra goed op de vorm! En vergeet niet de tandvleesrand te beschrijven."

Hierdoor werd de tweede beschrijving veel nauwkeuriger en klinkt het meer als wat een echte tandarts zou zeggen.

4. Wat Vonden Ze? (De Resultaten)

Het systeem werkte verrassend goed, maar had ook zijn beperkingen:

• Sterke punten: De computer kon heel goed zeggen welk type tand het was en of er grote problemen waren, zoals een groot gaatje of een gebroken stukje. Het was alsof de computer een goede detective was voor duidelijke aanwijzingen.
• Zwakke punten: De computer had moeite met subtiele dingen. Bijvoorbeeld: "Is het tandvlees een beetje ontstoken?" of "Is dit een babytand of een volwassen tand?" Dit is als proberen te zien of een bloem net begint te verwelken; dat is heel lastig te zien op een foto. Ook verwarde de computer soms een hoektand met een snijtand als de tand half uit beeld was.

5. Waarom is dit belangrijk?

Stel je voor dat je een bibliotheek bouwt. Tot nu toe hadden we alleen boeken over "de hele mond". Nu hebben we duizenden boeken over "één specifieke tand", elk met een gedetailleerd verhaal erbij.

Dit is de eerste stap om in de toekomst een super-tandarts-computer te bouwen. Een computer die niet alleen een gaatje ziet, maar de hele gezondheid van die ene tand begrijpt, net als een menselijke expert.

Kort samengevat:
De onderzoekers hebben een slimme computer getraind om foto's van losse tanden te "lezen" en er een verhaal van te maken, door de computer slimme vragen te stellen. Het is niet perfect (soms verwart hij tanden), maar het is een enorme stap vooruit om computers te laten helpen bij het begrijpen van tandheelkunde, zonder dat we duizenden mensen nodig hebben om alles handmatig te beschrijven.

Technische samenvatting

Probleemstelling

Hoewel deep learning aanzienlijke vooruitgang heeft geboekt in de tandheelkunde (bijv. voor tandsegmentatie, detectie en cariësdetectie), ontbreekt het aan gespecialiseerde modellen die een holistisch begrip van tandheelkundige diagnostiek hebben. Bestaande Vision-Language Models (VLM's) zoals CLIP of MedCLIP zijn getraind op natuurlijke beelden of röntgenfoto's en missen de specifieke kennis van het tandheelkundige domein.

De belangrijkste beperkingen in de huidige literatuur zijn:

1. Gebrek aan datasets: Er zijn zeer weinig datasets van tandheelkundige afbeeldingen met bijbehorende bijschriften (captions).
2. Onduidelijke focus: Bestaande datasets met bijschriften beschrijven vaak de volledige kaak (full-mouth) op basis van voorste beelden, waardoor achterste tanden (molaren) onzichtbaar blijven.
3. Beperkte scope: De bijschriften richten zich vaak op één specifieke ziekte (zoals gingivitis) in plaats van een holistische beoordeling van individuele tanden.
4. Klinische relevantie: Tandziekten worden klinisch per individuele tand beoordeeld, niet per kaak. Er bestaat geen dataset met bijschriften voor enkele tanden (single-tooth) die de anatomie, het oppervlak en de conditie beschrijven.

Methodologie

De auteurs presenteren een framework om gestructureerde, klinisch afgestemde bijschriften te genereren voor afbeeldingen van individuele tanden, zonder dat er voorafgaande handmatige annotaties nodig zijn. Het proces omvat de volgende stappen:

1. Dataverzameling en Preprocessing:

• Bronnen: Afbeeldingen zijn verzameld uit vier openbare datasets (Mendeley en Roboflow), waaronder datasets met gingivitis, kinderstanden en diverse gezichtspunten (occlusaal, anterieur, buccaal).
• Filtering: Beelden met slechte kwaliteit (vervaging, slechte belichting, artefacten) werden verwijderd.
• Extractie: Een tand-detectie-algoritme werd gebruikt om afbeeldingen met meerdere tanden te splitsen in afbeeldingen van individuele tanden.
• Cropping: Voor buccale en anterieuze weergaven werden de randen met 60 pixels uitgebreid om het tandvlees (gingiva) mee te nemen, wat context biedt voor de conditie.
• Anonymisatie: Om "label leakage" te voorkomen (waarbij de VLM informatie leest uit bestandsnamen), werden alle bestandsnamen vervangen door generieke namen (bijv. img_0001.jpg).

2. Twee-staps Prompt Engineering Strategie:
Er werd gebruikgemaakt van het Vision-Language Model GPT-4o in een iteratief proces:

• Stap 1 (Basis Prompt): De VLM genereerde korte en lange bijschriften. Uit deze output bleek dat het model moeite had met het onderscheiden van tandtypes (bijv. hoektanden vs. snijtanden) en oppervlakken.
• Stap 2 (Verfijnde Prompt): Op basis van de foutenanalyse in stap 1 werd de prompt aangepast. Deze nieuwe prompt gaf expliciete instructies om specifieke labels te extraheren: tandtype, oppervlak (bijv. occlusaal, buccaal) en ziekteconditie (bijv. cariës, verkleuring) voordat de bijschriften werden gegenereerd. De VLM beoordeelde ook de beeldkwaliteit om onbruikbare beelden te filteren.

3. Evaluatie:
De gegenereerde bijschriften werden geëvalueerd via:

• Automatische evaluatie: Vergelijking van de door de VLM voorspelde tand- en oppervlaktelabels met expertlabels.
• Manuele evaluatie: Experts beoordeelden een steekproef van de bijschriften op de nauwkeurigheid van de beschrijving van ziektecondities.

Belangrijkste Bijdragen

1. Framework voor Annotatie: Een nieuw framework dat bijschriften genereert voor tandafbeeldingen zonder vooraf bestaande annotaties, gebruikmakend van een tweestaps-promptengineeringstrategie.
2. Gecurateerde Dataset: Het samenstellen en verwerken van een diverse collectie RGB-intraorale afbeeldingen, waarbij hoogwaardige weergaven van individuele tanden over verschillende oppervlakken en condities zijn geëxtraheerd.
3. Verbetering door Prompting: Het aantonen dat gestructureerde prompts de kwaliteit van bijschriften aanzienlijk verbeteren door de VLM te leiden naar het opnemen van klinisch relevante details.
4. Evaluatie: Een uitgebreide evaluatie van de nauwkeurigheid van de gegenereerde bijschriften, zowel automatisch als handmatig.

Resultaten

• Aantal beelden: Na filtering en kwaliteitscontrole bleven er 1.520 hoogwaardige afbeeldingen van individuele tanden over.
• Nauwkeurigheid:
  • De VLM presteerde goed in het identificeren van tandoppervlakken (bijv. 96,38% nauwkeurigheid voor Dataset 6).
  • De nauwkeurigheid bij het bepalen van het tandtype varieerde sterk per dataset (van 8,92% tot 75%), maar verbeterde aanzienlijk wanneer het type werd afgeleid uit de gegenereerde bijschriften in plaats van direct te labelen (bijv. van 21,16% naar 74,88% in Dataset 2).
  • Ziekteherkenning (zoals cariës en verkleuring) was over het algemeen hoog (vaak >90%), maar het model had moeite met subtiele aandoeningen zoals vroege gingivitis.
• Foutenanalyse:
  • Het model verwarde soms hoektanden met snijtanden (door de driehoekige vorm in voorste weergaven) en kiezen met premolaren.
  • Het herkennen van gingivitis bleek moeilijk vanwege de subtiele visuele veranderingen en onvoldoende zichtbaarheid van het tandvlees, ondanks de extra padding.
  • Melktanden (deciduous teeth) leidden tot hogere misclassificaties door hun unieke vorm.

Betekenis en Conclusie

Dit werk toont aan dat het mogelijk is om gestructureerde, klinisch zinvolle datasets te creëren voor tandheelkundige afbeeldingen met behulp van bestaande VLM's en slimme promptengineering, zonder de kosten en tijd van handmatige annotatie.

Hoewel GPT-4o redelijk succesvol was, benadrukt het paper dat er behoefte blijft aan een gespecialiseerd, fijnafstelbaar (fine-tunable) Vision-Language Model voor de tandheelkunde. Huidige beperkingen (zoals het niet kunnen aanpassen van GPT-4o en het ontbreken van linguale weergaven in de datasets) wijzen de weg naar toekomstig onderzoek. De gegenereerde dataset vormt een cruciale basis voor het trainen van toekomstige modellen die een holistisch begrip hebben van tanddiagnostiek en kunnen worden ingezet voor geautomatiseerde klinische ondersteuning.