OPGAgent: An Agent for Auditable Dental Panoramic X-ray Interpretation

Dit paper introduceert OPGAgent, een auditable multi-tool agent die gespecialiseerde modules en een consensusmechanisme combineert om tandheelkundige panoramische röntgenfoto's nauwkeuriger te interpreteren dan bestaande Vision Language Models, ondersteund door een nieuw gestructureerd evaluatiekader genaamd OPG-Bench.

De kern

OPGAgent: De Slimme Tandarts-Assistent die Geen Fouten Maakt

Stel je voor dat een tandheelkundige röntgenfoto (een OPG) een enorme, complexe stad is. Op deze foto zie je honderden huizen (tanden), straten (kaakbeenderen) en soms verborgen kelders (sinussen) of beschadigde funderingen (kiesafzettingen).

Vroeger hadden we twee soorten "inspecteurs" om deze stad te bekijken:

1. De Specialisten: Dit waren slimme robots die alleen naar één ding keken, bijvoorbeeld "waar zitten de gaten in de tanden?". Ze waren heel goed in dat ene ding, maar ze zagen niets anders. Je moest ze één voor één aansturen, wat veel tijd kostte.
2. De Algemene Chatbots (VLMs): Dit waren slimme robots die alles konden zien en in gewone taal konden praten. Ze konden een verslag schrijven, maar ze waren vaak slordig. Ze zagen soms dingen die er niet waren (hallucinaties) of misten kleine details omdat ze te veel probeerden te "gissen" in plaats van precies te meten.

De Oplossing: OPGAgent
De auteurs van dit paper hebben een nieuwe oplossing bedacht: OPGAgent. Dit is geen enkele robot, maar een slimme teamleider die een heel team van specialisten aanstuurt.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Teamleider (De Agent)

Stel je voor dat OPGAgent een ervaren bouwinspecteur is. Hij kijkt niet zelf naar elke steen, maar hij roept de juiste vakmensen op op het juiste moment. Hij gebruikt een slimme strategie:

• Stap 1: De Grote Foto. Eerst kijkt hij naar de hele stad om te zien hoeveel huizen er zijn en waar de hoofdwegen lopen.
• Stap 2: De Buurten. Dan deelt hij de stad in vier kwartieren in en laat hij per buurt een specialist kijken naar grote problemen (zoals een instortende muur).
• Stap 3: De Details. Als er ergens iets verdachts is, zoomt hij in op dat specifieke huisje en laat hij een micro-specialist kijken of er een barstje in het raam zit.

2. De Toolbox (Het Gereedschapskistje)

De teamleider heeft een kist vol met speciale gereedschappen die hij kan gebruiken:

• De Meetlat: Om precies te weten waar elke tand zit (geen gissen, maar meten).
• De Detectie-Robot: Om specifieke ziektes te vinden, zoals gaatjes of ontstekingen.
• De Rekenmachine: Om te berekenen of een wortel te dicht bij een zenuwbaan zit.
• De Expert-panel: Hij vraagt advies aan verschillende slimme AI's (zoals DentalGPT of GPT) om hun mening te horen.

3. De Consensus (Het Meerderheidsbesluit)

Dit is het belangrijkste deel. Soms zeggen de verschillende experts het niet met elkaar eens.

• Voorbeeld: Expert A zegt: "Er is een gat in tand 36." Expert B zegt: "Nee, dat is tand 37."
• In plaats van te gokken, roept de teamleider de Consensus Subagent op. Deze kijkt naar de harde feiten van de meetlat (de coördinaten). Als de meetlat zegt dat het gat bij tand 36 zit, dan wint Expert A.
• Alleen als meerdere experts het eens zijn (of als de harde meetdata het bevestigt), wordt het probleem in het verslag gezet. Dit voorkomt dat de AI "fantaseert" over ziektes die er niet zijn.

4. Het Nieuwe Verslag (OPG-Bench)

Tot nu toe werden AI's getest met vragen als: "Zie je hier een gat?" (Ja/Nee). Dit is als een quiz. Als de AI het antwoord niet weet, raadt hij.
De auteurs hebben een nieuw systeem bedacht: OPG-Bench.
In plaats van een quiz, eisen ze een gestructureerd verslag, net zoals een echte tandarts schrijft:

• Locatie: Tand 36.
• Veld: Kariose laesie (gaatje).
• Waarde: Ernstig.

Dit zorgt ervoor dat de AI niet alleen het juiste antwoord moet raden, maar ook precies moet weten waar het zit en wat het is. Het is alsof je niet vraagt "Is er een auto?", maar eist: "Geef me het kenteken, het merk en de schade van elke auto op de parkeerplaats."

Waarom is dit geweldig?

In tests bleek dat OPGAgent veel beter was dan de beste AI's die nu bestaan.

• Minder fouten: Hij ziet minder dingen die er niet zijn (hallucinaties).
• Meer zekerheid: Hij mist minder echte problemen.
• Verantwoordelijk: Omdat elke stap wordt vastgelegd en gecontroleerd door een team, kun je precies zien waarom de AI tot een conclusie kwam.

Kortom: OPGAgent is niet één slimme robot die alles probeert te doen. Het is een slimme manager die een team van specialisten aanstuurt, hun meningen laat afwegen, en alleen een verslag schrijft als iedereen het eens is en de meetlat het bevestigt. Dit maakt het de eerste AI die echt betrouwbaar genoeg is voor de tandartsenpraktijk.

Technische samenvatting

Probleemstelling

Orthopantomogrammen (OPG's) zijn de standaard panoramische röntgenfoto's in de tandheelkunde, essentieel voor screening, diagnose en behandelplanning. Hoewel er diep leermodellen bestaan voor specifieke taken (zoals cariësdetectie of kaakbotverlies), zijn deze vaak geïsoleerd en kunnen ze niet met elkaar communiceren, wat leidt tot inefficiënte werkstromen voor klinici.

Visuele Taalmodellen (VLMs) zoals DentalGPT en LLaVA-Med proberen dit op te lossen door diverse visuele taken te behandelen als een tekstgeneratieprobleem. Echter, deze modellen presteren op individuele taken vaak slechter dan gespecialiseerde modellen, omdat ze lokale ruimtelijke aanwijzingen missen. Daarnaast hebben bestaande AI-agenten en benchmarks twee grote tekortkomingen:

1. Gebrek aan domeinspecifieke kennis: Algemene medische agenten begrijpen geen tandheelkundige notaties (zoals FDI) of dynamische Region of Interest (ROI) cropping.
2. Onvoldoende evaluatie: Bestaande VQA-benchmarks (Visual Question Answering) meten alleen precisie op gestelde vragen. Ze kunnen geen "hallucinaties" (verzonnen bevindingen) detecteren in niet-gevraagde gebieden en missen de volledigheid van een klinisch rapport, waarbij tandartsen een gestructureerd, holistisch overzicht genereren in plaats van geïsoleerde vragen te beantwoorden.

Methodologie: OPGAgent

OPGAgent is een multi-tool agent-systeem dat gespecialiseerde perceptiemodules combineert met een consensusmechanisme om auditieve OPG-interpretatie mogelijk te maken. Het systeem werkt volgens het ReAct-paradigma en bestaat uit drie kerncomponenten:

1. Hiërarchische Bewijsverzameling (Hierarchical Evidence Gathering)

De analyse wordt opgedeeld in drie fasen om van globaal naar lokaal te schalen:

• Fase 1 (Globale Analyse): Het agent vraagt VLM-experts om een eerste lezing van het volledige beeld. Tegelijkertijd worden detectietools ingeroepen om een anatomische basislijn te leggen (totaal aantal tanden, ontbrekende tanden, FDI-notatie). Dit creëert een gestructureerd coördinatensysteem.
• Fase 2 (Kwadrant-niveau Screening): Op basis van de globale context worden dynamische crops van de vier kwadranten gegenereerd om grove pathologieën (zoals kaakbotverlies of grote laesies) te scannen.
• Fase 3 (Tand-niveau Screening): Voor gedetailleerde pathologieën (bijv. cariës, impactie) worden dynamische ROIs (Regions of Interest) gemaakt met hoge resolutie. Als Fase 2 een probleem signaleert waar Fase 1 geen tand detecteerde (bijv. een wortelrest), wordt een onafhankelijke anatomische detectie gebruikt om vals-negatieven te corrigeren.

2. Gespecialiseerde Toolbox (Specialized Toolbox)

De agent heeft toegang tot een toolbox met vier categorieën tools:

• Ruimtelijke Tools: Leveren maskers en bounding boxes voor tanden en kwadranten (gebaseerd op YOLO).
• Detectie Tools: Detecteren specifieke pathologieën (cariës, peri-apicale laesies) en koppelen deze aan tanden.
• Utility Tools: Beheren FDI-nummering, ROI-extractie en ruimtelijke redenering (bijv. berekenen van de afstand tussen een wortel en de onderkaakzenuw).
• Expert Zoos: Roepen meerdere VLM-experts (zoals GPT-5.2, Gemini, DentalGPT) aan voor meningen over het volledige beeld of specifieke ROIs.

3. Consensus Subagent

Om hallucinaties te minimaliseren, aggregeert deze subagent de resultaten van de detectietools en expert-zienswijzen:

• Bewijsaggregatie: Een bevinding wordt bevestigd als ≥3 bronnen overeenkomen of ≥2 bronnen dezelfde bevinding rapporteren.
• Conflictoplossing: Als er onenigheid is over attributen (bijv. tandnummer), worden harde anatomische constraints van de detectietools gebruikt om de VLM-output te corrigeren. Bijvoorbeeld: als VLMs het juiste implantaat zien maar het verkeerde tandnummer toekennen, corrigeert de agent dit op basis van de FDI-coördinatenkaart.

Evaluatie: OPG-Bench

Om de prestaties realistisch te testen, stellen de auteurs OPG-Bench voor. Dit is een nieuw evaluatieprotocol dat afwijkt van traditionele VQA:

• Gestructureerd Rapport: In plaats van vragen en antwoorden, wordt het output geëvalueerd als een reeks van (Locatie, Veld, Waarde)-tripels, afgeleid van echte klinische rapporten.
• Audit: Het protocol evalueert zowel de detectie van pathologieën als de ernst van hallucinaties (verzonnen bevindingen).
• Hiërarchische Metriek: De evaluatie is stapsgewijs: eerst detectie van pathologie, dan lokalisatie, en tot slot classificatie van de ernst.

Resultaten

OPGAgent werd getest op OPG-Bench (1.009 OPG's) en het publieke MMOral-OPG benchmark.

• Prestaties op OPG-Bench: OPGAgent behaalde een Exact Match F1-score van 42,3% en een totale score van 49,7%, wat aanzienlijk hoger is dan state-of-the-art VLMs (zoals Gemini-3-Flash en DentalGPT).
  • Het systeem behoudt een hoge precisie (43,1%) met slechts 4,89 vals-positieven per geval, terwijl modellen als Gemini-3-Flash veel meer hallucinaties vertonen (10,58 vals-positieven).
  • Gespecialiseerde modellen zoals OralGPT-Omni hebben weinig vals-positieven maar missen veel bevindingen (lage recall). OPGAgent balanceert sensitiviteit en betrouwbaarheid optimaal.
• Prestaties op VQA Benchmarks: OPGAgent leidt ook op de MMOral-OPG benchmark met 62,53% nauwkeurigheid, wat aantoont dat de multi-tool aanpak beter presteert dan modellen die alleen op tekstgeneratie zijn getraind.
• Ablatie Studies: De studie toont aan dat elke component essentieel is. Zonder externe tools daalt de F1-score naar 27,78%. De toevoeging van ruimtelijke tools is cruciaal om de recall te herstellen, en detectietools zorgen voor de uiteindelijke piekprestatie.

Bijdrage en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. OPGAgent: Het eerste agent-systeem dat specifiek is ontworpen voor OPG-interpretatie, met een hiërarchische aanpak, een gespecialiseerde toolbox en een consensusmechanisme voor auditieve resultaten.
2. OPPG-Bench: Een nieuw evaluatieprotocol dat gebaseerd is op gestructureerde klinische rapporten in plaats van geïsoleerde vragen, waardoor hallucinaties en volledigheid beter kunnen worden gemeten.
3. State-of-the-art Performance: Het bewijzen dat een agent-systeem dat gespecialiseerde modellen orchestreert, superieur is aan zowel algemene medische VLMs als bestaande tandheelkundige modellen, zowel in nauwkeurigheid als in klinische bruikbaarheid.

Conclusie: OPGAgent biedt een robuust kader voor het automatiseren van tandheelkundige diagnostiek dat niet alleen nauwkeuriger is, maar ook "auditabel" (traceerbaar) dankzij het gebruik van consensus en anatomische constraints, wat een belangrijke stap is naar de integratie van AI in de dagelijkse klinische praktijk.