A dataset of medication images with instance segmentation masks for preventing adverse drug events

Dit paper introduceert MEDISEG, een dataset met instance-segmentatiemaskers voor 32 pillentypes in 8262 afbeeldingen die realistische omstandigheden zoals overlapping en occlusie simuleert en waarmee AI-modellen effectief getraind kunnen worden om medicatiefouten te voorkomen.

De kern

🍬 De Grote Pijltjesjacht: Waarom we een nieuwe 'foto-boek' voor medicijnen nodig hebben

Stel je voor dat je een enorme lade vol pillen hebt. Sommige liggen los, andere liggen in een doosje met vakjes (een zogenaamde dosette-box), en sommige liggen zelfs bovenop elkaar. Nu moet je een robot bouwen die precies kan zeggen: "Dat is een blauwe pil voor de drukte, en dat is een witte pil voor de maag."

Het probleem? De robots die we tot nu toe hebben getraind, zijn als kinderen die alleen maar hebben geoefend met losse, perfect op een witte achtergrond gelegde snoepjes. In het echte leven is het echter een rommeltje: slecht licht, schaduwen, en pillen die elkaar verstoppen. Als die robot dan een echte lade ziet, raakt hij in paniek en maakt hij fouten. Dat is gevaarlijk, want een fout bij medicijnen kan ernstig zijn.

De auteurs van dit artikel hebben daarom een nieuw hulpmiddel bedacht: MEDISEG.

1. Het Probleem: De "Perfecte" Foto's bestaan niet

Vroeger hadden we al datasets (verzamelingen foto's) voor pilherkenning. Maar die waren als een fotoboek van een modelstudio:

• Alles staat perfect in het midden.
• Het licht is altijd ideaal.
• Er ligt nooit iets over elkaar heen.

In de echte wereld (bijvoorbeeld bij een oudere persoon thuis) liggen pillen vaak in een doosje met vakjes, overlappen ze elkaar, en is het licht misschien schemerig. De oude datasets leerden de robots niet hoe ze met die "rommel" om moesten gaan.

2. De Oplossing: MEDISEG (De "Realiteit" in een Dataset)

De onderzoekers hebben een nieuwe dataset gemaakt die zich gedraagt als een echte, chaotische lade medicijnen.

• De inhoud: Ze hebben 8.262 foto's gemaakt van pillen in verschillende situaties.
• De variatie: Van één enkele pil tot 13 pillen die in elkaar geschoven liggen in een doosje.
• De "X-ray" (Segmentatie): Dit is het belangrijkste. Bij oude datasets kregen de robots alleen een vierkantje om de pil (een bounding box). Bij MEDISEG krijgen ze een precies masker dat de vorm van de pil volgt, zelfs als hij half bedekt is door een andere pil.

De Analogie:
Stel je voor dat je een kind leert een hond te tekenen.

• Oude datasets: Je laat het kind alleen foto's zien van honden die perfect in het midden staan, met een witte achtergrond.
• MEDISEG: Je neemt het kind mee naar de hondenshow, waar honden rennen, liggen, en elkaar overlappen. Je wijst met je vinger precies de vorm van de hond aan, zelfs als zijn pootje door een andere hond wordt bedekt. Zo leert het kind echt wat een hond is, niet alleen hoe hij eruitziet op een pasfoto.

3. Twee Versies van de Dataset

Ze hebben twee niveaus gemaakt, net als een trainingsprogramma:

1. De "Beginners" versie (3-Pills): Drie soorten pillen die erg op elkaar lijken (zelfde vorm, maar andere kleur; ofzelfde kleur, maar andere vorm). Dit is als een test om te zien of de robot echt goed kijkt en niet alleen giswerk doet.
2. De "Meester" versie (32-Pills): 32 verschillende pillen, allemaal met hun eigen vorm, kleur en grootte, vaak in grote groepen. Dit is de echte uitdaging.

4. Wat hebben ze ontdekt? (De Testresultaten)

Ze hebben twee slimme AI-modellen (YOLOv8 en YOLOv9) getraind met deze nieuwe dataset.

• Het resultaat: De modellen werden extreem goed in het herkennen van pillen, zelfs als ze overlapten. Ze haalden een score van bijna 100% op de simpele versie en heel hoog op de moeilijke versie.
• De "Kleine Hulp" test (Few-shot learning): Dit is misschien wel het coolste deel. Stel, er komt morgen een nieuwe pil op de markt waar de AI nog nooit van heeft gehoord. Ze gaven de AI maar één foto van die nieuwe pil om te leren.
  • AI getraind op de oude, "perfecte" datasets: "Ik snap het niet, dit lijkt op iets anders."
  • AI getraind op MEDISEG: "Ah, ik heb al gezien hoe pillen in doosjes liggen en elkaar verstoppen. Ik herken deze nieuwe pil wel, zelfs als hij half bedekt is!"

De Metafoor:
Het is alsof je een detective traint.

• Als je hem alleen leert op foto's van verdachten die perfect poseren, faalt hij als de verdachte zich verbergt achter een paal.
• Als je hem traint op foto's van mensen in een drukke menigte (MEDISEG), kan hij zelfs een nieuwe verdachte herkennen die zich probeert te verstoppen, omdat hij begrijpt hoe mensen in de werkelijkheid bewegen en elkaar verbergen.

5. Waarom is dit belangrijk?

Deze dataset is een groot cadeau voor de gezondheidszorg.

• Veiligheid: Het helpt robots (en apps) om medicijnen foutloos te herkennen, wat levens kan redden door vergissingen te voorkomen.
• Toekomst: Het maakt het makkelijker om AI-systemen te bouwen die snel kunnen leren van nieuwe medicijnen zonder dat we duizenden foto's hoeven te maken.

Kort samengevat:
De onderzoekers hebben een "reality-check" gemaakt voor AI. In plaats van te oefenen met een schoon, geordend laboratorium, hebben ze de AI de echte, rommelige wereld van medicijnen laten zien. Hierdoor worden de robots slimmer, veiliger en beter in staat om ons te helpen bij het nemen van de juiste medicijnen, zelfs als het een beetje chaotisch is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A dataset of medication images with instance segmentation masks for preventing adverse drug events" in het Nederlands.

Probleemstelling

Medicatiefouten en ongewenste geneesmiddelgebeurtenissen (ADEs) vormen een ernstig risico voor de patiëntveiligheid, vaak veroorzaakt door moeilijkheden bij het betrouwbaar identificeren van geneesmiddelen in realistische omgevingen. Hoewel AI-gedreven pillherkenningsmodellen een veelbelovende oplossing bieden, wordt de ontwikkeling ervan gehinderd door het gebrek aan uitgebreide datasets. Bestaande datasets (zoals NIH Pillbox en CURE) hebben belangrijke beperkingen:

• Ze bevatten voornamelijk geïsoleerde pillen onder gecontroleerde omstandigheden (optimale belichting, geen obstakels).
• Ze missen vaak gedetailleerde instance segmentation (instantiesegmentation) labels, wat essentieel is voor het onderscheiden van overlappende objecten.
• Ze weerspiegelen niet de complexiteit van de echte wereld, zoals pillen in rommelige dosette-bakjes, variabele belichting, reflecties en gedeeltelijke occlusie (verduistering).

De toenemende medicatiebelasting bij ouderen (polyfarmacie) verhoogt het risico op verwarring en fouten, wat de noodzaak onderstreept voor AI-systemen die getraind zijn op realistische, multi-pil scenario's.

Methodologie

De auteurs hebben de MEDISEG-dataset ontwikkeld om deze lacunes op te vullen. De creatie van het dataset omvatte de volgende stappen:

1. Data-acquisitie:

   • Beelden zijn gemaakt met een iPhone 12 Pro Max.
   • Kunstmatige belichting werd gevarieerd in intensiteit en hoek om schaduwen, reflecties en highlights te simuleren.
   • Pillen werden geplaatst in standaard 4x7 dosette-bakjes om natuurlijke overlappingen en obstakels (wandjes van de bakjes) te creëren.

2. Preprocessing:

   • Afbeeldingen van de bakjes werden geknipt om individuele vakjes te isoleren.
   • Beelden werden gepadded en hergroot naar een uniforme resolutie van 640x640 pixels.

3. Annotatie:

   • Handmatige annotatie uitgevoerd met COCO Annotator.
   • Elke afbeelding is voorzien van instance segmentation masks die de randen van pillen nauwkeurig afbakenen, zelfs bij overlapping of occlusie.
   • Strikte richtlijnen voor inter-annotatie en dubbele controle door twee reviewers garandeerden hoge kwaliteit.

4. Dataset Samenstelling:

   • MEDISEG (3-Pills): Een subdataset met 3 pillentypes (waarvan twee qua vorm en twee qua kleur zeer op elkaar lijken) om fijne onderscheidende kenmerken te testen. Bevat 8.262 afbeeldingen in totaal (verspreid over beide subsets).
   • MEDISEG (32-Pills): Een uitgebreide versie met 32 verschillende pillentypes, variërend in vorm, kleur en grootte, inclusief visueel verwarrende gevallen (bijv. kleine witte tabletten).
   • De dataset bevat afbeeldingen van één pil tot wel 13 pillen per frame, met diverse oriëntaties en achtergronden.

5. Evaluatieprotocollen:

   • Supervised Learning: Training van YOLOv8 en YOLOv9 op de volledige dataset (70% train, 20% val, 10% test).
   • Few-Shot Learning: Gebruik van het FsDet-framework (Faster R-CNN met ResNet backbone) om te testen hoe goed modellen zich aanpassen aan nieuwe pillentypes met slechts 1, 5 of 10 gelabelde voorbeelden. Hierbij werd een vergelijking gemaakt tussen een model getraind op MEDISEG versus een model getraind op de CURE-dataset.

Belangrijkste Bijdragen

• MEDISEG Dataset: De eerste publiek beschikbare dataset die specifiek is ontworpen voor instance segmentation van medicatie in realistische, multi-pil scenario's (dosette-bakjes, occlusie, variabele belichting).
• Uitgebreide Annotatie: In tegenstelling tot bestaande datasets, biedt MEDISEG volledige polygonale masks voor elke individuele pil, wat cruciaal is voor het hanteren van overlappende objecten.
• Benchmark voor Realistische Omstandigheden: De dataset introduceert een nieuwe standaard voor het testen van robuustheid tegen visuele complexiteit (occlusie, reflecties, achtergrondruis).
• Validatie van Transfer Learning: Het paper demonstreert dat training op realistische multi-object data de prestaties verbetert bij het herkennen van nieuwe, ongeziene pillentypes, zelfs met zeer beperkte data (few-shot).

Resultaten

De prestaties werden gemeten met metrics zoals Precision, Recall, F1-score, mAP@50 en mAP@50-95.

1. Supervised Learning (YOLOv8 & YOLOv9):

   • Op de 3-Pills subset werden hoge prestaties behaald: 99,5% mAP@50.
   • Op de complexere 32-Pills subset werd 80,1% mAP@50 bereikt.
   • YOLOv9 overtrof YOLOv8 op de mAP@50-95-metric, wat wijst op superieure lokale precisie, vooral bij uitdagende scenario's met overlappingen.

2. Few-Shot Generalisatie:

   • Modellen die op de MEDISEG-basisclasses waren getraind, presteerden aanzienlijk beter dan die getraind op de CURE-dataset bij het herkennen van nieuwe pillentypes in overlappende scènes.
   • Op de "overlap-only" testset (alleen afbeeldingen met overlappingen) behaalde het MEDISEG-model in de 1-shot setting een voorgrond-classificatie-accuraatheid van 0,406, vergeleken met 0,131 voor het CURE-model.
   • Dit patroon bleef bestaan bij 5-shot (0,625 vs 0,372) en 10-shot (0,740 vs 0,558).
   • De resultaten tonen aan dat blootstelling aan realistische multi-object interacties tijdens de basis-training leidt tot beter overdraagbare representaties, vooral bij occlusie.

Betekenis en Impact

• Patiëntveiligheid: MEDISEG biedt de grondslag voor het ontwikkelen van AI-systemen die medicatiefouten kunnen voorkomen door pillen correct te identificeren in complexe, realistische situaties (zoals thuiszorg of verpleeghuizen).
• Technologische Vooruitgang: De dataset dwingt computer-visionmodellen om verder te kijken dan eenvoudige objectdetectie en zich te richten op fijne-granulair onderscheid en robuuste lokalisatie in rommelige omgevingen.
• Toekomstige Toepassingen: De dataset is een waardevol hulpmiddel voor het testen van semi-supervised learning, continue learning en domeinadaptatie in de gezondheidszorg.
• Open Access: De dataset is publiek beschikbaar via Figshare onder een CC BY 4.0-licentie, inclusief metadata over de geneesmiddelen (registratienummers, ingrediënten, etc.), wat onderzoek naar correlaties tussen visuele kenmerken en farmacologische eigenschappen mogelijk maakt.

Kortom, MEDISEG vult een kritieke kloof in de literatuur door een dataset te bieden die de complexiteit van de echte wereld nabootst, waardoor het mogelijk wordt om AI-modellen te bouwen die daadwerkelijk inzetbaar zijn voor het verbeteren van de medicatieveiligheid.