Colony Grounded SAM2: Zero-shot detection and segmentation of bacterial colonies using foundation models

Problemstellung

Die Detektion und Klassifizierung von Bakterienkolonien auf Agarplatten ist ein zentraler Schritt in der Mikrobiologie, der für medizinische Diagnostiken, Risikobewertungen und die Lebensmittelsicherheit unerlässlich ist. Die manuelle Quantifizierung ist jedoch komplex, zeitaufwendig und fehleranfällig, was den Bedarf an Automatisierung durch Künstliche Intelligenz (KI) begründet.

Das Hauptproblem bei der Entwicklung von KI-Modellen für diesen Bereich ist jedoch der Mangel an großen, manuell annotierten Datensätzen. Herkömmliche Deep-Learning-Modelle benötigen spezifisch gelabelte Trainingsdaten, deren Erstellung ressourcenintensiv ist. Dies schränkt die Anwendbarkeit bestehender Modelle auf neue Datensätze oder unterschiedliche Agar-Typen ein, da sie oft nicht robust genug gegenüber Datenverteilungen sind, die von den Trainingsdaten abweichen (Out-of-Distribution).

Methodik: Colony Grounded SAM2

Die Autoren stellen Colony Grounded SAM2 vor, eine Zero-Shot-Inferenz-Pipeline, die Bakterienkolonien in verschiedenen Umgebungen detektiert und segmentiert, ohne dass ein erneutes Training auf dem Ziel-Datensatz erforderlich ist.

Die Architektur basiert auf der Kombination zweier vortrainierter Foundation-Modelle:

1. Detektion (Grounding DINO):

   • Als Detektor wird Grounding DINO verwendet, ein Open-Vocabulary-Modell, das auf dem Vision Transformer DINO aufbaut.
   • Da die Vorverarbeitung von Grounding DINO auf natürlichen Bildern basiert und Agar-Platten-Bilder stark abweichen, wurde das Modell für den mikrobiologischen Bereich angepasst.
   • Fine-Tuning: Das Modell wurde lediglich für ein Epoche auf dem AGAR-Datensatz (18.000 Bilder, 5 Bakterientypen) feinabgestimmt. Dieser minimale Anpassungsschritt soll die inhärente Robustheit und Zero-Shot-Fähigkeit des Modells bewahren, während es an die spezifische Domäne angepasst wird.
   • Die Ausgabe sind Bounding Boxes um die Kolonien.

2. Segmentierung (Segment Anything Model 2 - SAM2):

   • Die von Grounding DINO generierten Bounding Boxes werden als Prompts direkt an SAM2 übergeben.
   • SAM2, ein großes vortrainiertes Segmentierungsmodell, nutzt diese Boxen, um den Fokus zu setzen und Instanz-Segmentierungsmasken für jede erkannte Kolonie zu erstellen.
   • Ein zentraler Hypothesenpunkt der Autoren ist, dass durch die präzise Eingabe der Bounding Boxes keine weitere Domänenanpassung für SAM2 notwendig ist.

Datenbasis:
Die Evaluation erfolgte auf drei offenen Datensätzen:

• AGAR: Pharmazeutische Bakterienkolonien (Trainingsdaten für das Fine-Tuning).
• ADBC: 24 veterinärmedizinisch relevante Bakterienarten auf 4 Agar-Typen (zur Evaluierung der Zero-Shot-Detektion).
• Hemolysis Segmentation: Blutagar-Platten zur Segmentierung von hämolysierenden Kolonien (zur Evaluierung der Segmentierungsgüte).

Wichtige Beiträge

• Zero-Shot Pipeline: Entwicklung eines Systems, das ohne spezifisches Training auf Ziel-Datensätzen funktioniert und somit sofort auf neue Daten angewendet werden kann.
• Domänenanpassung mit minimalem Aufwand: Demonstration, dass ein einziges Fine-Tuning-Epoche ausreicht, um ein generisches Foundation-Modell (Grounding DINO) für den mikrobiologischen Bereich nutzbar zu machen.
• Open Access: Die vollständige Pipeline inklusive Modellgewichten und Code wurde öffentlich zugänglich gemacht (GitHub), um die Annotation und Klassifizierung in der Mikrobiologie zu erleichtern.
• Robustheit: Das System ist in der Lage, mit verschiedenen Agar-Typen, Bakterienarten und Bildqualitäten umzugehen, die im Training nicht explizit vorgekommen sind.

Ergebnisse

Die Leistung wurde auf den Out-of-Distribution-Datensätzen (ADBC und Hemolysis) evaluiert:

1. Detektionsleistung (ADBC-Datensatz):

   • Das Modell erreichte eine mean Average Precision (mAP) von 93,1 %.
   • Dies übertrifft fünf etablierte Baseline-Modelle (einschließlich Colony-YOLO, YOLOv8/v10), die mAP-Werte zwischen 76,5 % und 91,1 % erzielten.
   • Qualitativ zeigte sich, dass das Modell selbst in schwierigen Szenarien (schwer erkennbare Objekte, verschiedene Bakterientypen) präzise Bounding Boxes zieht, oft genauer als die manuellen Ground-Truth-Annotationen, insbesondere bei kleinen Kolonien.

2. Segmentierungsleistung (Hemolysis-Datensatz):

   • Der Gesamte Dice-Score betrug 0,60.
   • Der Dice@detection-Score (Segmentierungsgüte basierend auf den vom Detektor gefundenen Bereichen) lag bei 0,85.
   • Dieser hohe Score zeigt, dass die reine Segmentierungsfähigkeit von SAM2 bei korrekter Eingabe der Bounding Boxes exzellent ist. Die Diskrepanz zum Gesamtscore wird auf Detektionsfehler bei sehr dicht gepackten Kolonien zurückgeführt, die auch für menschliche Experten schwer zu unterscheiden sind.

Bedeutung und Fazit

Colony Grounded SAM2 stellt einen bedeutenden Fortschritt in der automatisierten Mikrobiologie dar. Es adressiert das kritische Problem des Mangels an annotierten Daten, indem es die Kraft von Foundation-Modellen nutzt.

• Praktische Anwendung: Das System eignet sich hervorragend als Pre-Annotation-Tool, das menschliche Experten entlastet, indem es Vorschläge für Annotationen liefert, die nur noch verifiziert werden müssen.
• Generalisierung: Die Fähigkeit, auf völlig neuen Datensätzen ohne Nachtraining zu arbeiten, macht die Technologie skalierbar und kosteneffizient.
• Zukunftsperspektive: Die Arbeit unterstreicht das Potenzial von Zero-Shot-Lösungen in wissenschaftlichen Domänen, wo die Sammlung großer gelabelter Datensätze oft unpraktisch ist, und bietet eine robuste Alternative zu herkömmlichen, datenhungrigen Deep-Learning-Ansätzen.