Smart Operation Theatre: An AI-based System for Surgical Gauze Counting

In Zusammenarbeit mit dem Singapore General Hospital wurde ein auf YOLOv5 basierendes KI-System entwickelt, das Operationssäle in Echtzeit überwacht, um durch präzises Zählen von Gaze-Stücken auf Ein- und Ausgabewannen das Risiko von Gossypiboma zu minimieren und dabei durch ein integriertes Modell sowie manuelle Korrekturmöglichkeiten die Genauigkeit und Verlässlichkeit im klinischen Alltag zu steigern.

Das Wesentliche

Stellen Sie sich vor, Sie sind in einer riesigen, chaotischen Küche, in der ein Meisterkoch ein komplexes Gericht zubereitet. Während des Kochens benutzt er Dutzende von kleinen, weißen Tüchern, um Flecken zu entfernen oder Zutaten zu trocknen. Am Ende des Kochens muss er sicherstellen, dass kein einziges Tuch versehentlich im Topf (oder im Magen des Patienten) zurückgelassen wurde.

Das ist im Grunde das Problem, das dieses Forschungsprojekt von der NTU (Nanyang Technological University) in Singapur lösen möchte. Hier ist die Geschichte in einfachen Worten:

Das Problem: Der unsichtbare Gast

Bei Operationen verwenden Ärzte viele kleine Mulltupfer (Gaze), um Blutungen zu stoppen. Manchmal passiert es aber, dass ein Tupfer aus Versehen im Körper des Patienten bleibt. Das nennt man medizinisch Gossypiboma. Das ist wie ein versteckter Gast, der nach der Party nicht geht und später für riesige Probleme sorgt: Schmerzen, Infektionen und sogar teure Gerichtsverfahren für das Krankenhaus.

Bisher gab es zwei Hauptmethoden, dies zu verhindern:

1. Der menschliche Zähler: Krankenschwestern zählen die Tücher manuell. Das ist wie das Zählen von 100 Münzen in einer vollen Hand – mühsam, stressig und fehleranfällig.
2. Der teure Chip: Man kann Tücher mit RFID-Chips (wie kleine elektronische Ausweise) versehen. Das funktioniert gut, ist aber extrem teuer, wie wenn man für jeden einzelnen Kochlöffel einen Computerchip kaufen müsste.

Die Lösung: Der „Augen"-Roboter

Das Team um Saraf Krish hat eine dritte, clevere Idee entwickelt: Eine künstliche Intelligenz (KI), die wie ein unsichtbarer, unermüdlicher Wachhund über die Tücher wacht.

Stellen Sie sich das System wie folgt vor:

• Die zwei Körbe: Es gibt zwei spezielle Tabletts. Das eine ist der „Eingangskorb" (frische, saubere Tücher) und das andere der „Ausgangskorb" (gebrauchte, blutige Tücher).
• Die Kamera: Eine Kamera filmt diese Tabletts die ganze Zeit.
• Das Gehirn (KI): Ein Computerprogramm (genannt YOLOv5) schaut sich das Video an. Es ist wie ein sehr gut trainierter Schüler, der gelernt hat, jeden einzelnen Tupfer zu erkennen – selbst wenn er blutig ist, überlagert wird oder im Halbdunkel liegt.

Wie es funktioniert (Die Magie dahinter)

Früher musste das System zwei verschiedene Aufgaben erledigen: erst die Menschen (Hände) erkennen und dann die Tücher. Das war wie ein Koch, der erst den Ofen anmachen und dann das Gemüse schneiden muss – langsam und umständlich.

Jetzt ist das System wie ein Superkoch, der beides gleichzeitig kann:

• Es hat über 11.000 Bilder gesehen (davon viele mit Blut und in verschiedenen Lichtverhältnissen), um perfekt zu lernen.
• Es zählt in Echtzeit: Wie viele Tücher sind reingekommen? Wie viele sind rausgekommen?
• Die Ampel: Auf einem Bildschirm sieht das medizinische Personal eine Ampel.
  • 🟢 Grün: Alles okay, du kannst ein Tuch nehmen oder ablegen.
  • 🟡 Gelb: Eine Hand ist im Bild (der Arzt greift zu).
  • 🔴 Rot: Das System zählt gerade schnell nach (das passiert so schnell, dass man es kaum sieht).

Am Ende der Operation muss die Rechnung stimmen: Anzahl der reingekommenen Tücher = Anzahl der rausgekommenen Tücher. Wenn das stimmt, ist der Patient sicher.

Warum ist das genial?

1. Es ist billig: Im Gegensatz zu den teuren RFID-Tüchern kostet dieses System nur die Kamera und den Computer. Die Tücher bleiben normale, günstige Tücher.
2. Es ist schnell: Das System arbeitet so schnell wie ein Blitz (15 Bilder pro Sekunde), viel schneller als ein menschliches Auge zählen kann.
3. Es ist sicher: Es verhindert, dass Menschen müde werden und Fehler machen.

Was fehlt noch?

Die Krankenschwestern haben gesagt: „Das System zählt toll, aber wir müssen die Tücher einzeln auf den Teller legen, damit es sie sieht." Wenn Tücher übereinander gestapelt sind, wird es manchmal schwierig. Das Team arbeitet daran, die KI noch schlauer zu machen, damit sie auch gestapelte Tücher wie ein erfahrener Detektiv erkennt.

Zusammenfassend: Dieses Projekt ist wie ein digitaler Sicherheitsgurt für Operationen. Es nutzt moderne Technik, um sicherzustellen, dass im Körper des Patienten nichts Fremdes zurückbleibt – und das alles zu einem Preis, den sich jedes Krankenhaus leisten kann.

Technische Zusammenfassung

Technische Zusammenfassung: KI-gestütztes System zur Zählung chirurgischer Tücher im Operationssaal

1. Problemstellung
Das zentrale Problem, das in dieser Studie adressiert wird, ist das Risiko des unbeabsichtigten Zurücklassens von medizinischen Tüchern (Gaze) im Körper von Patienten nach Operationen. Dieser Zustand wird als Gossypiboma bezeichnet und kann zu schwerwiegenden Komplikationen wie Abszessen, septischem Schock oder sogar zum Tod führen. Zudem verursacht er massive rechtliche und finanzielle Folgen für Krankenhäuser (durch Klagen und Strafen).

• Aktuelle Limitationen: Die derzeitige Standardmethode ist das manuelle Zählen durch Pflegepersonal, was zeitaufwendig ist, Ressourcen bindet und anfällig für menschliche Fehler ist (Studien zeigen eine hohe Fehlerquote bei manuellen Zählungen).
• Alternative Technologien: RFID-markierte Tücher bieten zwar hohe Genauigkeit, sind jedoch aufgrund der hohen Kosten (ca. 8-mal teurer als Standardtücher plus Scanner-Kosten) für die breite Anwendung in vielen Krankenhäusern nicht wirtschaftlich.

2. Methodik
Das Projekt, entwickelt in Zusammenarbeit mit dem Singapore General Hospital (SGH), stellt ein KI-basiertes System zur Echtzeit-Überwachung und Zählung von chirurgischen Tüchern vor.

• Hardware-Architektur:

  • Ein mobiler Rahmen aus Aluminiumprofilen mit justierbaren Armen, der zwei Kameras und integrierte LED-Beleuchtung hält.
  • Das System nutzt zwei standardisierte, sterilisierbare Tabletts: Ein "In"-Tablett (unbenutzte Tücher) und ein "Out"-Tablett (blutgetränkte, benutzte Tücher).
  • Die Kameras erfassen die Tabletts unter verschiedenen Lichtbedingungen und Winkeln, um reale OP-Szenarien zu simulieren.

• Software & Algorithmen:

  • Modell: Es wird ein YOLOv5 (You Only Look Once) Deep-Learning-Modell verwendet, das für Echtzeit-Objekterkennung optimiert ist.
  • Datenbasis: Das Modell wurde mit einem Datensatz von 11.000 annotierten Bildern trainiert, die in echten OP-Sälen des SGH aufgenommen wurden. Die Bilder umfassen Szenarien mit überlappenden Tüchern, Schatten und unterschiedlicher Beleuchtung.
  • Annotation & Vorverarbeitung: Die Daten wurden mit Roboflow annotiert (Markierung von Tüchern und Händen) und durch Data-Augmentation erweitert, um die Generalisierungsfähigkeit zu erhöhen.
  • Technologiestack:
    • PyTorch: Für das Laden und Ausführen des YOLOv5-Modells.
    • OpenCV: Für Videoaufnahme, Bildverarbeitung und Erstellung der Benutzeroberfläche (UI).
    • CUDA: Zur Beschleunigung der Inferenz auf NVIDIA-GPUs für Echtzeit-Performance.
    • Multithreading: Ermöglicht die gleichzeitige Verarbeitung von zwei Videostreams (für beide Tabletts) ohne Verzögerung.

• Logik der Zählung:
  Das System berechnet den aktuellen Status wie folgt:

  • In Play = Total In (Tücher auf dem Eingangs-Tablett) - Total Out (Tücher auf dem Ausgangs-Tablett).
  • Ziel am Ende der Operation: Total In muss gleich Total Out sein, sodass In Play = 0 ist (keine Tücher im Patienten).

3. Schlüsselbeiträge und Innovationen

• Integriertes Modell: Im Gegensatz zu früheren Iterationen, die zwei separate Modelle (eines für Menschen, eines für Tücher) nutzten, wurde ein einheitliches Modell entwickelt, das sowohl Tücher als auch menschliche Hände gleichzeitig erkennt. Dies reduzierte die Komplexität und erhöhte die Genauigkeit.
• Skalierung des Datensatzes: Der Trainingsdatensatz wurde von 2.800 auf 11.000 Bilder erweitert, was die Robustheit des Modells signifikant steigerte.
• Echtzeit-Feedback & UI: Das System bietet eine visuelle Benutzeroberfläche mit einem "Ampel-System":
  • Grüner Rand: Erlaubt das Hinzufügen oder Entfernen von Tüchern.
  • Gelber Rand: Erkennt eine Hand (Warnung vor manueller Interferenz).
  • Roter Rand: Zeigt an, dass das System die Zählung im Hintergrund aktualisiert (ca. 50 ms).
• Manuelle Korrektur: Basierend auf Feedback von Ärzten wurde die Funktion integriert, manuelle Zählkorrekturen vorzunehmen, um die Zuverlässigkeit in unvorhergesehenen Situationen zu erhöhen.

4. Ergebnisse

• Performance-Steigerung: Durch den Wechsel zum integrierten Modell und den größeren Datensatz stieg die Bildwiederholrate (FPS) von 8 FPS auf 15 FPS.
• Genauigkeit: Das System zeigt eine hohe Präzision bei der Erkennung von Tüchern, auch bei Überlappungen von bis zu 50 %.
• Kosten-Nutzen: Das System bietet eine kosteneffiziente Alternative zu RFID-Lösungen, da es nur Standardtücher und handelsübliche Hardware (Kameras, PC) benötigt.
• Praktische Anwendung: Das System wurde erfolgreich in Testläufen im SGH eingesetzt und ist bereit für weitere klinische Erprobungen.

5. Bedeutung und Ausblick

• Patientensicherheit: Das System hat das Potenzial, die Rate der Gossypiboma-Fälle drastisch zu senken und damit das Risiko von Nachoperationen und medizinischen Fehlern zu minimieren.
• Wirtschaftliche Relevanz: Angesichts der durchschnittlichen Kosten von 1,46 Millionen USD pro Vorfall (durch Rechtsstreitigkeiten) und der jährlichen Kosten von 6,72 Millionen USD für die SingHealth-Gruppe allein, bietet dieses System erhebliche Einsparpotenziale.
• Zukünftige Entwicklungen:
  • Verbesserung der Erkennung von gestapelten Tüchern (aktuell limitiert bei starker Überlappung).
  • Integration neuerer Modelle (z. B. YOLOv9) für noch höhere Geschwindigkeit.
  • Kommerzialisierung und Integration in fest installierte OP-Systeme (ohne externe Laptops).

Fazit:
Dieses Projekt demonstriert erfolgreich den Einsatz von Deep Learning und Computer Vision zur Lösung eines kritischen Problems im Gesundheitswesen. Es verbindet hohe technische Präzision mit praktischer Anwendbarkeit und Kosteneffizienz, um die Patientensicherheit in Operationssälen fundamental zu verbessern.