💻 computer science

Surgical Anatomy Recognition with Context Learning using Foundation Representations

Dieses Paper führt ATLAS-120k ein, einen groß angelegten annotierten Datensatz für minimalinvasive Chirurgie, sowie ATLAS, ein Videosegmentierungsmodell, das Foundation-Repräsentationen und Kontextlernen nutzt, um eine präzise, zeitlich konsistente anatomische Erkennung zu erreichen.

Ursprüngliche Autoren: Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus, Fons van der Sommen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man eine Operation durchführt. Das größte Problem besteht nicht nur darin, dem Roboter beizubringen, wie eine Leber oder eine Gallenblase aussieht; es geht darum, dem Roboter beizubringen, die Geschichte der Operation zu verstehen. In einem echten Operationssaal betrachtet ein Chirurg nicht nur ein statisches Bild; er weiß, welche Prozedur gerade durchgeführt wird, in welcher Phase der Operation er sich befindet, und er erinnert sich an das, was er vor ein paar Sekunden gesehen hat, um das zu verstehen, was er jetzt sieht.

Dieses Paper stellt zwei Dinge vor, die helfen sollen, Computern dieses „chirurgische Geschichtenerzählen“ näherzubringen: eine massive neue Bibliothek von chirurgischen Videos und ein intelligentes neues KI-Modell, das diese lesen kann.

1. Die neue Bibliothek: ATLAS-120k

Betrachten Sie bisherige Datensätze für chirurgische Videos als eine kleine Sammlung von Fotoalben, die jeweils nur eine Art von Operation zeigen (wie zum Beispiel nur Appendektomien) oder nur einige wenige spezifische Szenen. Sie waren zu klein und zu repetitiv, um einem Computer beizubringen, wie er mit der chaotischen, vielfältigen Realität des echten Lebens umgeht.

Die Autoren haben ATLAS-120k erschaffen, was dem Aufbau einer massiven, umfassenden Enzyklopädie der Chirurgie gleicht.

Die Skalierbarkeit: Es enthält über 120.000 annotierte Frames (Einzelbilder), die aus 100 verschiedenen Operationsvideos stammen.
Die Vielfalt: Anstatt nur einer einzigen Art von Operation deckt es 14 verschiedene Eingriffe ab (wie die Entfernung einer Gallenblase, die Korrektur eines Dickdarms oder die Entfernung einer Niere). Es umfasst sowohl die standardmäßige laparoskopische Chirurgie (unter Verwendung langer Instrumente und einer Kamera) als auch die robotergestützte Chirurgie.
Die Qualität: Um sicherzustellen, dass die Labels perfekt waren, nutzte das Team einen „Human-in-the-Loop“-Ansatz. Stellen Sie sich ein Team aus erfahrenen Chirurgen und Assistenten vor, das den ersten Frame eines Videos manuell beschriftet, woraufhin ein intelligenter Computer diese Labels auf die nächsten Frames überträgt. Wenn der Computer einen Fehler machte, korrigierte ein Mensch dies. Anschließend überprüfte ein erfahrener Chirurg die Arbeit. Dies stellte sicher, dass das „Wörterbuch“, von dem die KI lernt, präzise ist.

2. Das neue Gehirn: ATLAS-Modell

Nun, da sie die Bibliothek hatten, brauchten sie ein Gehirn, um diese zu lesen. Die meisten aktuellen KI-Modelle für Videos sind wie Sicherheitskräfte, die lediglich bewegliche Objekte verfolgen (wie eine Kamera, die einer Person folgt, die läuft). Sie sind gut darin zu sagen: „Dieses Objekt hat sich von links nach rechts bewegt“, aber sie sind schlecht darin, Kontext zu verstehen.

In der Chirurgie ist Kontext alles. Ein Stück Gewebe kann in einem Moment wie ein Tumor aussehen und im nächsten wie normales Fett, je nachdem, ob der Chirurg gerade schneidet oder näht.

Die Autoren entwickelten ein Modell namens ATLAS (Anatomy Recognition with Context Learning using Foundation Representations). So funktioniert es, unter Verwendung einer einfachen Analogie:

Das Fundament: Das Modell beginnt mit einem „vortrainierten Gehirn“ (einem Foundation Model), das bereits viel über Bilder weiß, ähnlich wie ein Medizinstudent bereits viele Anatomielehrbücher gelesen hat, bevor er seine Facharztausbildung beginnt.
Die „Was“-Abfragen (Queries): Es verfügt über spezielle „Queries“ (wie Klebezettel), die fragen: „Was ist dieses Objekt?“ und „Wo befindet es sich?“
Die „Geschichts“-Abfragen (Der Geheimtipp): Dies ist die Hauptinnovation des Papers. Das Modell fügt zwei neue Arten von Klebezetteln hinzu:
1. Prozedur-Queries: Diese sagen dem Modell: „Wir entfernen gerade eine Gallenblase.“ Dies hilft dem Modell zu wissen, dass es nach einer Gallenblase suchen sollte und nicht nach einem Herzen.
2. Phasen-Queries: Diese sagen dem Modell: „Wir befinden uns gerade in der ‚Schneide-Phase‘, nicht in der ‚Nähen-Phase‘.“ Dies hilft dem Modell zu verstehen, dass das anatomische Erscheinungsbild in diesem Moment anders sein kann als vor fünf Sekunden.
Das Gedächtnis: Das Modell besitzt zudem ein Kurzzeitgedächtnis. Es leitet Informationen von einem Frame zum nächsten weiter, sodass es sich beispielsweise merkt, wo sich ein Instrument in Frame 1 befand, wenn es in Frame 2 sieht, selbst wenn die Sicht für einen Moment verschwommen ist.

3. Die Ergebnisse

Das Team testete dieses neue Gehirn gegen andere erstklassige KI-Modelle.

Bessere Genauigkeit: ATLAS war allen anderen Modellen überlegen, wenn es darum ging, anatomische Strukturen korrekt zu identifizieren.
Stabilität: Es war wesentlich besser darin, seine Vorhersagen über die Zeit hinweg stabil zu halten (also nicht jede Sekunde zwischen „das ist eine Leber“ und „das ist eine Niere“ hin und her zu springen).
Geschwindigkeit: Trotz seiner Intelligenz läuft es schnell genug, um in Echtzeit zu arbeiten (64 Bilder pro Sekunde), was für die Chirurgie entscheidend ist.

Das Fazit

Das Paper behauptet, dass sie durch die Kombination eines riesigen, vielfältigen Datensatzes (ATLAS-120k) mit einem Modell, das die „Geschichte“ der Operation versteht (ATLAS), ein viel stärkeres Fundament geschaffen haben, damit Computer chirurgische Szenen verstehen können. Sie argumentieren, dass KI, um die Chirurgie sicherer und präziser zu machen, aufhören muss, nur Bilder anzusehen, und statfangen muss, den Kontext, die Art des Eingriffs und den zeitlichen Ablauf zu verstehen.

Hinweis: Das Paper konzentriert sich strikt darauf, diesen Datensatz und dieses Modell zu entwickeln, um das „chirurgische Szenenverständnis“ zu verbessern. Es wird nicht behauptet, dass dieses System derzeit in lebenden Operationen eingesetzt wird, um Patienten zu leiten, sondern dass es die notwendigen Werkzeuge für zukünftige Systeme bereitstellt, um dies zu tun.

Technisches Resümee: Erkennung der chirurgischen Anatomie mittels Kontextlernen unter Verwendung von Foundation-Repräsentationen

Problemstellung

Die präzise Erkennung anatomischer Strukturen ist entscheidend für eine sichere und effektive minimalinvasive Chirurgie (MIS). Der Fortschritt in der chirurgischen Computer Vision für diese spezifische Aufgabe wurde jedoch durch zwei primäre Faktoren behindert:

Datenknappheit: Ein Mangel an groß angelegten, vielfältigen und reich annotierten Datensätzen, die die Variabilität der realen chirurgischen Praxis abbilden. Bestehende Datensätze leiden oft unter geringer prozeduraler Diversität, wenigen Videos und einer unvollständigen Abdeckung anatomischer Klassen, was die Generalisierung von Modellen einschränkt.
Methodische Einschränkungen: Konventionelle Ansätze priorisieren häufig das Objekt-Tracking oder sind auf natürliche Szenen zugeschnitten, wodurch sie es versäumen, die spezifischen kontextuellen Hinweise (z. B. Art des Eingriffs, chirurgische Phase) zu nutzen, auf die sich Chirurgen verlassen, um Anatomie unter begrenzten Sichtwinkeln und ohne taktiles Feedback zu identifizieren.

Methodik

1. Der ATLAS-120k Datensatz

Die Autoren führen ATLAS-120k ein, einen groß angelegten Clip-Level-Semantik-Segmentierungsdatensatz, der darauf abzielt, die Datenbeschränkungen zu adressieren.

Skalierung und Diversität: Er umfasst über 120.000 annotierte Frames aus 100 chirurgischen Videos und deckt 14 verschiedene Prozeduren (einschließlich laparoskopischer und robotergestützter MIS) sowie 42 anatomische Klassen ab.
Annotations-Pipeline: Es wurde ein skalierbarer Workflow angewandt, der Folgendes beinhaltete:
- Expertenbasierte manuelle Labeling der Initialframes durch chirurgische Forschungsassistenten unter Aufsicht von Chirurgen.
- Automatisierte Propagation mittels eines leichtgewichtigen Objekt-Tracking-Modells.
- Iterative Verfeinerung, bei der der Tracker in Intervallen (10k, 25k, 50k Frames) auf den annotierten Daten feinjustiert wurde.
- Manuelle Korrektur von Propagationsfehlern und unabhängige Verifizierung des ersten Frames jedes Clips durch erfahrene Chirurgen.
Standardisierung: Die Videos wurden auf 15 fps heruntergesampelt, mit räumlichen Auflösungen zwischen 480×640 und 1080×1920.

2. Das ATLAS-Modell

Die Autoren schlagen ATLAS vor (Anatomy Recognition with Context Learning using Foundation Representations), ein Video-Semantik-Segmentierungsmodell, das speziell für die chirurgische Anatomie entwickelt wurde. Im Gegensatz zur Standard-Videosegmentierung, die sich stark auf das Tracking konzentriert, integriert ATLAS Foundation-Model-Embeddings mit Kontextlernen.

Architektur: Basierend auf EoMT (einem hochmodernen Bildsegmentierungsmodell unter Verwendung von ViT-Encodern und lernbaren Queries) erweitert ATLAS dies auf Video, indem es neben Standard-Segmentierungs- und Tracking-Queries auch Kontext-Queries einführt.
Input-Repräsentation: Für jeden Frame $t$ $t$ enthält der Transformer-Input $X_t$ $X_{t}$ :
- Visuelle Patch-Tokens ( $P_t$ ).
- Lernbare Segmentierungs-Queries ( $Q_{seg}$ ).
- Propagierte Queries aus dem vorherigen Frame ( $\hat{Q}_{t-1}$ ).
- Kontext-Queries: Lernbare Initial-Queries für die Prozedur ( $Q_{proc}$ ) und die chirurgische Phase ( $Q_{phase}$ ), die im Zeitverlauf verfeinert werden, um globalen und temporalen Kontext zu erfassen.
Kontext-Mechanismen:
- Prozedur-Queries: Kodiert über ein Multi-Layer-Perceptron (MLP), um die Prozedur-Label vorherzusagen, überwacht durch einen Cross-Entropy-Loss. Dies erfasst stabilen, High-Level-Kontext (z. B. Instrumentenpräsenz, Expositionsmuster).
- Phasen-Queries: Kodiert, um feinere temporale Variationen zu erfassen. Ein InfoNCE-Kontrastiv-Loss wird angewendet, um sicherzustellen, dass Embeddings zeitlich benachbarter Frames innerhalb desselben Clips nah beieinander liegen, während Embeddings von unterschiedlichen Clips oder entfernten Zeitstempeln abgestoßen werden.
Temporale Propagation: Queries werden von Frame $t-1$ nach $t$ mittels eines linearen Layers propagiert, was ein Kurzzeitgedächtnis und temporale Konsistenz gewährleistet, ähnlich wie bei VidEoMT, jedoch ergänzt durch die neuen Kontextdimensionen.

Zentrale Beiträge

ATLAS-120k Datensatz: Ein neuer Benchmark-Datensatz, der eine beispiellose prozedurale Diversität (14 Prozeduren) und Skalierung (12{,}2k+ Frames) bietet und die Lücke zwischen Einzelprozedur-Datensätzen und der Komplexität der realen chirurgischen Praxis schließt.
ATLAS Modell: Eine neuartige Architektur, die Foundation-Model-Repräsentationen mit leichtgewichtigem temporalem Reasoning und expliziten Kontext-Queries (Prozedur und Phase) kombiniert. Dieses Design ermöglicht es dem Modell, prozedurales Wissen zu nutzen, um Mehrdeutigkeiten in der anatomischen Erkennung aufzulösen.
Open Resources: Die Modelle, Datensatz-Annotationen und die Annotations-Plattform werden öffentlich zur Verfügung gestellt, um die weitere Forschung zu fördern.

Experimentelle Ergebnisse

Das Modell wurde auf einem Patientenebene-Split (70 Training, 10 Validierung, 20 Test) mit 30 konsolidierten Klassen evaluiert.

Performance: Die ATLAS ViT-L Variante erreichte:
- 0,64 AP (Average Precision)
- 0,49 mDice (Mean Dice coefficient)
- 0,79 mVC24 (Mean Video Consistency über 24 Frames)
- 64 FPS Inferenzgeschwindigkeit auf einer NVIDIA H100, was die Echtzeit-Machbarkeit demonstriert.
Vergleiche: ATLAS übertraf konsistent natürliche Bild-Foundation-Modelle (z. B. DINOv2/3, SAM-Varianten) sowie domänenspezifische medizinische Modelle (z. B. EndoViT, SurgeNet).
Ablationsstudien:
- Pretraining: In-Domain Pretraining (unter Verwendung von DINOv3 auf dem SurgeNet-Datensatz) lieferte einen signifikanten Boost gegenüber den Standardgewichten.
- Komponenten: Das Hinzufügen von temporaler Query-Propagation verbesserte AP und AP50. Die Integration von Kontext-Queries verbesserte die Detektion, die Region-Überlappung und die temporalen Konsistenzmetriken weiter.
- Effizienz: Diese Verbesserungen führten zu einer Steigerung der AP um >20 % im Vergleich zum Baseline-Modell, während die Parameteranzahl um weniger als 1 % stieg.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Kombination aus dem ATLAS-120k Datensatz und dem ATLAS Modell eine praktische Grundlage für ein robustes Verständnis chirurgischer Szenen schafft. Die Autoren stellen fest:

Kontext ist entscheidend: Robuste anatomische Wahrnehmung in der MIS erfordert mehr als nur visuelles Tracking; sie erfordert die Integration von prozeduralem und phasenabhängigem Kontext, was das vorgeschlagene Modell erfolgreich erfasst.
Schließen der Lücke: Die Arbeit zielt darauf ab, die Lücke zwischen Forschungs-Prototypen und klinisch nutzbaren, anatomiebewussten Assistenzsystemen zu schließen.
Echtzeit-Anwendbarkeit: Durch die Demonstration hoher Genauigkeit und temporaler Konsistenz über diverse Prozeduren hinweg in Echtzeit unterstützt das Framework die Entwicklung sichererer und intelligenterer Assistenzsysteme für den Operationssaal.

Die Autoren bewahren einen moderaten Ton bezüglich der absoluten Dice-Scores, erkennen die Herausforderungen des Datensatzes an (hochgradig unbalancierte Klassen, Long-Tail-Verteilung) und positionieren ATLAS-120k als einen anspruchsvollen Benchmark für zukünftige Modelle statt als ein bereits gelöstes Problem.