Benchmarking CNN- and Transformer-Based Models for Surgical Instrument Segmentation in Robotic-Assisted Surgery

Diese Studie vergleicht fünf Deep-Learning-Architekturen (UNet, UNet, DeepLabV3, Attention UNet und SegFormer) auf dem SAR-RARP50-Datensatz und zeigt, dass sowohl faltungsbasierte Modelle als auch der Transformer-basierte SegFormer durch die Kombination aus Cross-Entropy- und Dice-Verlust eine hohe Genauigkeit bei der Segmentierung chirurgischer Instrumente in roboterassistierten Eingriffen erreichen.

Das Wesentliche

Stellen Sie sich vor, ein Roboterchirurg führt eine sehr empfindliche Operation durch, ähnlich wie ein Juwelier, der einen winzigen Diamant in einem dunklen, engen Raum bearbeitet. Damit der Roboter sicher arbeiten kann, muss er genau wissen: „Wo ist mein Werkzeug? Wo ist der Faden? Und wo ist das menschliche Gewebe?"

Diese Aufgabe nennt man Segmentierung. Das bedeutet, dass ein Computerbild in viele kleine Pixel zerlegt wird und jedes Pixel eine Farbe bekommt, um zu sagen: „Das hier ist eine Schere, das hier ein Faden, und das hier ist der Patient."

Das Problem ist: Chirurgische Werkzeuge sind oft klein, werden von anderen Dingen verdeckt (wie wenn jemand die Hand vor die Kamera hält) und bewegen sich sehr schnell.

In diesem Papier hat die Forscherin Sara Ameli einen großen Wettbewerb veranstaltet. Sie hat fünf verschiedene „Künstliche Intelligenzen" (KI-Modelle) gegeneinander antreten lassen, um zu sehen, welche am besten darin ist, diese chirurgischen Werkzeuge auf Videos zu erkennen.

Hier ist die einfache Erklärung des Wettbewerbs:

1. Die Teilnehmer (Die 5 KI-Modelle)

Man kann sich die fünf Modelle wie fünf verschiedene Arten von Detektiven vorstellen, die alle versuchen, die Werkzeuge zu finden:

• UNet (Der Klassiker): Das ist der bewährte, solide Handwerker. Er ist einfach aufgebaut, schnell und macht einen guten Job, besonders wenn man nicht so viele Trainingsdaten hat. Aber manchmal verpasst er feine Details, weil er nur auf das schaut, was direkt vor seiner Nase ist.
• UNet++ (Der Handwerker mit Lupe): Eine verbesserte Version des Klassikers. Er hat mehr Verbindungen zwischen seinen „Augen" (den Schichten des Netzwerks), sodass er Details besser behalten kann. Er ist etwas komplexer, aber präziser bei den Rändern der Werkzeuge.
• DeepLabV3+ (Der Multi-Tasker mit Fernglas): Dieser Detektiv ist besonders gut darin, Dinge in verschiedenen Größen zu erkennen. Er nutzt eine spezielle Technik (Atrous-Convolution), die ihm erlaubt, sowohl auf winzige Fäden als auch auf große Instrumente gleichzeitig zu schauen, ohne den Überblick zu verlieren. Er ist wie jemand, der gleichzeitig durch ein Mikroskop und ein Fernglas schaut.
• Attention UNet (Der fokussierte Detektiv): Dieser Detektiv hat einen „Fokus-Modus". Er ignoriert bewusst den Hintergrund (wie das rote Blut oder das Gewebe), um sich nur auf die wichtigen Teile zu konzentrieren. Das hilft, wenn Werkzeuge teilweise verdeckt sind.
• SegFormer (Der Allwissende mit Globus): Dies ist ein moderner Ansatz, der auf „Transformatoren" basiert (ähnlich wie die KI, die heute Text übersetzt). Statt nur das Bild Stück für Stück zu betrachten, schaut er sich das ganze Bild auf einmal an und versteht den globalen Kontext. Er weiß: „Ah, wenn ich hier ein Instrument sehe, muss dort wahrscheinlich ein anderer Teil sein." Er versteht die Zusammenhänge am besten.

2. Der Wettkampf (Die Ergebnisse)

Die Forscher haben die Modelle mit echten Videos von Prostata-Operationen getestet.

• Der Gewinner: DeepLabV3+ hat den Wettbewerb knapp gewonnen. Warum? Weil er die perfekte Balance zwischen Geschwindigkeit und Genauigkeit bietet. Er konnte selbst die kleinsten, dünnsten Fäden und Klammern (wie Nadeln) extrem gut erkennen, ohne sich zu verlaufen. Er ist wie ein Meisterkoch, der auch die feinsten Kräuter erkennt, während er gleichzeitig den ganzen Topf im Auge behält.
• Der Zweite: SegFormer landete auf Platz zwei. Er war sehr stark im „Verstehen" der Szene und konnte sich gut an neue Situationen anpassen. Aber bei den allerfeinsten Details (wie einem winzigen Faden) war er manchmal etwas zu „glatt" und verlor die scharfen Kanten. Er versteht den Kontext besser, ist aber bei den Details etwas langsamer und rechenintensiver.
• Die anderen: Die UNet-Varianten waren solide und zuverlässig, aber sie konnten nicht ganz an die Feinheit von DeepLabV3+ oder das globale Verständnis von SegFormer herankommen.

3. Was bedeutet das für die Zukunft?

Das Papier zeigt uns zwei wichtige Dinge:

1. Es gibt keinen „einen" perfekten Weg:

   • Wenn Sie einen Roboterchirurgen bauen wollen, der sofort reagieren muss (Echtzeit), ist DeepLabV3+ wahrscheinlich die beste Wahl. Er ist schnell, präzise und braucht nicht so viel Rechenleistung.
   • Wenn Sie eine KI bauen wollen, die komplexe Szenen analysiert oder lernt, wie Operationen ablaufen (Offline-Analyse), könnte SegFormer besser sein, weil er den großen Zusammenhang besser versteht.

2. Die Herausforderungen bleiben:

   • Manchmal gibt es zu wenige Beispiele für bestimmte Werkzeuge (wie eine spezielle Klammer), sodass die KI diese schwer lernt.
   • Die Modelle schauen nur auf einzelne Bilder, nicht auf die Bewegung im Video. In Zukunft wäre es toll, wenn die KI auch die Bewegung verstehen würde, um noch sicherer zu sein.

Fazit in einem Satz

Stellen Sie sich vor, Sie müssen einen kleinen Diamanten in einem staubigen Raum finden: DeepLabV3+ ist wie ein erfahrener Juwelier mit einer sehr guten Lupe, der den Stein sofort findet. SegFormer ist wie ein Detektiv, der den ganzen Raum analysiert und weiß, wo der Stein wahrscheinlich ist, braucht aber etwas länger, um die feinsten Kratzer auf dem Stein zu sehen. Für die schnelle Operation im OP-Saal ist der Juwelier (DeepLabV3+) aktuell der Favorit.

Technische Zusammenfassung

1. Problemstellung

Die präzise Segmentierung chirurgischer Instrumente auf Pixelebene ist eine Grundvoraussetzung für kontextbewusste computergestützte Eingriffe, wie z. B. das Tracking von Werkzeugen, die Analyse von Arbeitsabläufen und autonome Entscheidungsfindung. Dies ist insbesondere bei der roboterassistierten radikalen Prostatektomie (RARP) von entscheidender Bedeutung, wo mehrere bewegliche Instrumente in engen anatomischen Räumen interagieren.

Die Aufgabe ist jedoch aufgrund mehrerer Faktoren extrem herausfordernd:

• Hohe Intra-Klassen-Variabilität: Instrumente sehen je nach Position und Beleuchtung unterschiedlich aus.
• Okklusionen: Instrumente werden häufig durch Gewebe oder andere Werkzeuge verdeckt.
• Feine Strukturen: Es müssen oft sehr kleine oder dünne Strukturen (z. B. Nähte, Klammern) erkannt werden.
• Klassenungleichgewicht: Im Vergleich zum Hintergrund nehmen Instrumente nur einen kleinen Bildanteil ein.

Bisherige Ansätze basierten oft auf handgefertigten Merkmalen oder einfachen CNNs. Das Ziel dieser Studie ist es, den aktuellen Stand der Technik (State-of-the-Art) zwischen klassischen Faltungsnetzwerken (CNNs) und modernen Transformer-Architekturen auf einem realistischen Datensatz zu bewerten.

2. Methodik

Datensatz und Vorverarbeitung:
Die Studie nutzt den SAR-RARP50-Datensatz, der 50 Videos realer RARP-Operationen mit dichten pixelweisen Annotationen enthält. Für das Training wurden 40 Videos verwendet.

• Klassen: 10 semantische Klassen (Hintergrund, verschiedene Werkzeugteile, Klammern/Nadeln, Nähte, etc.).
• Vorverarbeitung: Jeder zehnte Frame wurde zur Reduktion von Redundanz ausgewählt. Alle Bilder und Masken wurden auf 384×384 Pixel skaliert. Frames ohne Instrumente wurden gefiltert.

Vergleichsmodelle:
Fünf verschiedene Deep-Learning-Architekturen wurden evaluiert:

1. UNet: Ein klassisches CNN mit symmetrischem Encoder-Decoder und Skip-Connections. Dient als robuster Baseline.
2. UNet++: Erweitert UNet durch verschachtelte (nested) Skip-Connections, um die semantische Lücke zwischen Encoder und Decoder zu verringern.
3. DeepLabV3+: Ein CNN mit ResNet-34-Backbone, das Atrous Convolution (dilatierte Faltungen) und Atrous Spatial Pyramid Pooling (ASPP) nutzt, um multi-skaligen Kontext zu erfassen.
4. Attention UNet: Integriert Attention-Gates in die Skip-Connections, um irrelevante Hintergrundaktivierungen zu unterdrücken und sich auf relevante Merkmale zu fokussieren.
5. SegFormer: Ein Transformer-basiertes Modell mit einem leichten hierarchischen Vision Transformer (MiT-B0) als Encoder und einem effizienten MLP-Decoder. Es nutzt Self-Attention für globale Kontextabhängigkeiten.

Trainingsstrategie:

• Verlustfunktion: Eine kombinierte Loss-Funktion aus Cross-Entropy (für Klassifizierung) und Dice Loss (für räumliche Überlappung), um das Klassenungleichgewicht und die Erfassung feiner Grenzen zu adressieren.
• Setup: Training über 10 Epochen, Batch-Größe 4, Adam-Optimierer (LR 1e-4) auf einer NVIDIA T4 GPU.

3. Wichtige Beiträge

1. Einheitlicher Benchmark: Der erste umfassende Vergleich von fünf führenden Architekturen (UNet, UNet++, DeepLabV3+, Attn-UNet, SegFormer) speziell für die Segmentierung chirurgischer Instrumente im RARP-Kontext.
2. Optimierte Trainingsstrategie: Implementierung einer hybriden Loss-Funktion (Cross-Entropy + Dice), die speziell auf die Herausforderungen chirurgischer Daten (Klassenungleichgewicht, dünne Strukturen) zugeschnitten ist.
3. Quantitative und qualitative Analyse: Eine detaillierte Gegenüberstellung der Stärken und Schwächen der Modelle, insbesondere im Umgang mit kleinen, überlappenden Instrumenten und Okklusionen unter realistischen Bedingungen.

4. Ergebnisse und Analyse

Die Experimente zeigten folgende Erkenntnisse:

• Leistungsführer: DeepLabV3+ erzielte die höchsten durchschnittlichen Dice-Koeffizienten und schnitt bei fast allen Klassen am besten ab.
  • Grund: Die ASPP-Module und die dilatierten Faltungen ermöglichen eine effektive Aggregation von Multi-Scale-Kontext bei gleichzeitiger Erhaltung der räumlichen Auflösung. Dies ist entscheidend für die präzise Segmentierung sowohl großer Werkzeuge als auch feiner Strukturen wie Nähte (Klasse 8).
• Platz 2: SegFormer erreichte die zweitbeste Gesamtleistung.
  • Stärken: Hervorragende Generalisierungsfähigkeit und Fähigkeit, globale Kontextabhängigkeiten zu modellieren.
  • Schwächen: Bei sehr dünnen oder elongierten Strukturen (z. B. Klammern, Nähte) neigte das Modell zu einer „Überglättung" der Grenzen und lag leicht hinter DeepLabV3+ zurück.
• CNN-Baselines: UNet und Attention UNet lieferten solide Ergebnisse, wobei UNet leicht besser abschnitt als die Attention-Variante. Sie bieten eine effiziente Basis, fehlen jedoch die globale Kontextmodellierung von Transformern und die fortschrittliche Multi-Scale-Repräsentation von DeepLabV3+.
• Rechenleistung: DeepLabV3+ bietet eine höhere Inferenzgeschwindigkeit und geringeren Speicherbedarf als SegFormer. Dies macht DeepLabV3+ für den Einsatz in Echtzeit-Systemen (roboterassistierte Chirurgie) attraktiver, während SegFormer eher für Offline-Analysen geeignet ist.

Zusammenfassung des Trade-offs:
DeepLabV3+ bietet das beste Gleichgewicht zwischen Genauigkeit und Effizienz für chirurgische Szenarien. Transformer-basierte Modelle wie SegFormer bieten komplementäre Stärken im globalen Kontextverständnis, sind jedoch rechenintensiver und bei feinsten Details manchmal weniger präzise.

5. Bedeutung und Ausblick

Diese Studie liefert wichtige praktische Erkenntnisse für die Auswahl von Segmentierungsmodellen in der chirurgischen KI:

• Architekturwahl: Für Anwendungen, bei denen Latenz und die präzise Erfassung feiner Instrumentkanten kritisch sind, scheint DeepLabV3+ die überlegene Wahl zu sein.
• Transformer-Potenzial: Transformer-basierte Ansätze zeigen vielversprechende Generalisierungsfähigkeiten, insbesondere bei seltenen Klassen, und könnten durch Hybridmodelle (CNN + Transformer) weiter optimiert werden.

Limitationen und zukünftige Arbeiten:

• Klassenungleichgewicht: Seltene Werkzeugkategorien bleiben eine Herausforderung.
• Fehlender zeitlicher Kontext: Die Modelle verarbeiten Frames unabhängig. Die Integration von Video-Dynamik (z. B. durch rekurrente Architekturen oder Video-Transformer) könnte die zeitliche Konsistenz der Vorhersagen verbessern.
• Hybrid-Ansätze: Die Kombination von Attention-Mechanismen mit domänenspezifischem Vorwissen wird als vielversprechender Weg für zukünftige Forschung identifiziert.

Insgesamt unterstreicht die Arbeit die Notwendigkeit, nicht nur die reine Genauigkeit, sondern auch die Rechenkosten und die spezifischen Anforderungen chirurgischer Szenarien (Feinstrukturen, Okklusionen) bei der Entwicklung von KI-Systemen für die Robotik zu berücksichtigen.