Colony Grounded SAM2: Zero-shot detection and segmentation of bacterial colonies using foundation models

Probleemstelling

In de microbiologie is het detecteren en classificeren van bacteriële kolonies op agarplaten essentieel voor medische diagnostiek, risicobeoordeling en voedselveiligheid. Handmatige kwantificatie is echter complex, tijdrovend en vatbaar voor menselijke fouten, wat de noodzaak voor automatisering vergroot. Hoewel kunstmatige intelligentie (AI) veelbelovende resultaten heeft geleverd, zijn bestaande modellen afhankelijk van specifieke, handmatig gelabelde datasets. Het verzamelen en labelen van deze data is zeer arbeids- en resource-intensief, wat de toepassing van AI in nieuwe of variabele settings beperkt.

Methodologie

De auteurs stellen Colony Grounded SAM2 voor, een zero-shot inferentiepiplijn die geen verdere training vereist voor nieuwe datasets. De aanpak combineert twee krachtige foundation models die zijn aangepast aan het microbiologische domein:

1. Detectie (Grounding DINO):

   • Het systeem gebruikt Grounding DINO, een open-vocabulary detectiemodel gebaseerd op een vision transformer.
   • Hoewel Grounding DINO oorspronkelijk is getraind op natuurlijke afbeeldingen, presteert het "out-of-the-box" slecht op agarplaten.
   • Om dit op te lossen, is het model fine-ge-tuned op de AGAR-dataset (Annotated Germs for Automated Recognition) voor slechts één epoch. Dit behoudt de robuustheid en zero-shot capaciteit van het model, maar past het aan op het specifieke domein van bacteriekolonies.
   • De detectie levert bounding boxes op met een lage IoU-drempel (0.2) om rekening te houden met soms onnauwkeurige ground-truth labels.

2. Segmentatie (Segment Anything Model 2 - SAM2):

   • De gegenereerde bounding boxes worden direct gebruikt als prompt voor SAM2, een groot vooraf getraind model voor objectsegmentatie.
   • De hypothese is dat SAM2, door de bounding boxes van Grounding DINO, precies weet waar het moet focussen, waardoor verdere domeinadaptatie voor de segmentatiestap niet nodig is.
   • Het model retourneert instance-segmentatiemasks voor elke gedetecteerde kolonie.

3. Data:

   • De evaluatie gebruikt drie open-access datasets: AGAR (farmaceutische kolonies), ADBC (veterinaire bacteriesoorten) en een Hemolyse-segmentatiedataset (bloedagarplaten).

Kernbijdragen

• Zero-shot Pipeline: Een volledig werkend systeem dat bacteriële kolonies kan detecteren en segmenteren in diverse settings zonder dat er nieuwe gelabelde data nodig is voor training.
• Domeinadaptatie van Foundation Models: Het succesvol toepassen en licht aanpassen van grote foundation models (Grounding DINO en SAM2) op het specifieke, visueel complexe domein van microbiologie.
• Open Access: De volledige pipeline, inclusief modelgewichten, is open source beschikbaar gesteld om annotatie- en classificatiewerk in de microbiologie te ondersteunen.
• Pre-annotatie Tool: Het systeem fungeert als een krachtig hulpmiddel voor het automatisch voor-annoteren van datasets, wat de werklast voor menselijke experts vermindert.

Resultaten

De prestaties zijn geëvalueerd op uit-distributie datasets (datasets die niet gebruikt zijn voor training):

• Detectie:

  • Op de ADBC-dataset bereikte het model een mean Average Precision (mAP) van 93,1%.
  • Dit presteert gelijk aan of iets beter dan vijf bestaande baseline-modellen (waaronder Colony-YOLO, YOLOv8, en Faster R-CNN), die mAP-scores varieerden van 76,5% tot 91,1%.
  • Het model toont sterke generalisatie op onbekende kolonietypes en moeilijke situaties (bijv. slecht zichtbare objecten).

• Segmentatie:

  • De algehele Dice-score op de hemolyse-dataset was 0,60.
  • Cruciaal is de Dice@detection score van 0,85. Deze score meet de segmentatiekwaliteit gebaseerd op de reeds gedetecteerde gebieden. Dit toont aan dat SAM2 zeer nauwkeurige masks genereert wanneer de locatie correct is aangegeven.
  • De lagere algehele Dice-score wordt voornamelijk veroorzaakt door fouten in de detectiestap (bijv. gemiste dicht op elkaar liggende kolonies in het centrum van de plaat), niet door slechte segmentatiekwaliteit per se.

Betekenis en Conclusie

Colony Grounded SAM2 bewijst dat foundation models, wanneer ze licht worden aangepast aan een specifiek domein, uitzonderlijk goed kunnen presteren in zero-shot scenario's. Het systeem is robuust tegen variaties in agar-types, bacteriesoorten en beeldkwaliteit.

De belangrijkste implicatie is dat onderzoekers en experts nu AI-gedreven detectie en segmentatie kunnen toepassen op data die voorheen niet haalbaar was zonder intensieve labeling. Dit ondersteunt en verbetert de prestaties van menselijke waarnemers aanzienlijk, vooral in taken zoals pre-annotatie en snelle screening van bacteriële infecties. De beschikbaarheid van de code en modellen bevordert de reproduceerbaarheid en adoptie binnen de microbiologische gemeenschap.