Technische Zusammenfassung: SurgOnAir

Problemstellung

Aktuelle chirurgische KI-Systeme haben Schwierigkeiten, ein Echtzeit-Verständnis chirurgischer Abläufe zu liefern, das zeitlich fundiert ist. Zwar haben Multimodale Large Language Models (MLLMs) das allgemeine Videoverständnis vorangebracht, doch ihre Abhängigkeit von schweren Backbones und Offline-Verarbeitungsparadigmen (die Zugriff auf die gesamte Videosequenz erfordern) verhindert eine sofortige Reaktion auf sich entwickelnde chirurgische Dynamiken. Im Operationssaal hängen kritische Entscheidungen von subtilen, momentanen Veränderungen in der Instrumentenbewegung und im Gewebestatus ab; selbst geringe Wahrnehmungsverzögerungen können die Sicherheit beeinträchtigen oder die Unterstützung einschränken. Darüber hinaus behandeln bestehende Methoden chirurgische Abläufe häufig als flache Sequenzen und übersehen die inhärente hierarchische Struktur (Phasen $\rightarrow$ Schritte $\rightarrow$ Aktionen), die für die kontextuelle Verankerung und die Reduzierung von Halluzinationen entscheidend ist. Es fehlt an Modellen, die eine Streaming-Videoverarbeitung gleichzeitig mit der Generierung mehrstufiger, hierarchiebewusster Erzählungen ermöglichen.

Methodik

1. Datenerstellung: SurgOnAir-11K

Die Autoren stellen SurgOnAir-11K vor, einen kuratierten hierarchischen Datensatz, der die Lücke zwischen rohem chirurgischem Video und strukturierter Erzählung schließen soll. Die Datenerstellungspipeline umfasst:

• Zeitlich fundierte ASR: Verwendung von WhisperX-large zur Extraktion wortgenauer Transkripte mit präzisen Zeitstempeln, wodurch Triplets von $\langle word, t_{start}, t_{end} \rangle$ entstehen.
• Domänenspezifische Korrektur: Sätze mit geringer Konfidenz (Log-Wahrscheinlichkeit < -0.15) werden unter strengen Einschränkungen mit GPT-4o korrigiert, um die Terminologie zu normalisieren, ohne den Inhalt zu verändern.
• Aktionssensitive Filterung: Sätze werden in ACTION, EXPLANATION und INTERACTION klassifiziert. Nur ACTION-Sätze, die strikt in visuellen Inhalten verankert sind, werden für die Überwachung beibehalten.
• Hierarchischer Aufbau: Der Datensatz ist in eine dreistufige Hierarchie strukturiert: Phase $\rightarrow$ Schritt $\rightarrow$ Wort. Hochrangige prozedurale Schritte werden über LLMs generiert, um nicht-überlappende, zeitlich monotone Partitionen sicherzustellen, die anschließend mit metadatendefinierten Phasen abgeglichen werden.

2. Modellarchitektur: SurgOnAir

SurgOnAir ist ein Streaming-Vision-Language-Modell, das auf dem LiveCC-7B-Base-Backbone aufbaut und für die Echtzeit-Generierung von Frame-zu-Token ohne Zugriff auf zukünftige Daten konzipiert ist.

• Dichte zeitliche Verflechtung: Das Modell übernimmt eine Streaming-Eingabestrategie, bei der visuelle Frames ($\langle F \rangle$) und Text-Token ($\langle W \rangle$) dicht verflochten sind: $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$. Die Schrittweite $k$ ist auf 1 bei einer Bildwiederholrate von 2 FPS eingestellt, um eine feinkörnige Ausrichtung sicherzustellen.
• Hierarchische Zustands-Token: Um eine hierarchiebewusste Erzählung zu erzwingen, nutzt das Modell spezielle Übergangstoken (z. B. <State>Phase=P1, Step=S1</State>). Diese Token werden bedingt nur dann in den Textstrom eingefügt, wenn ein Zustandsübergang stattfindet, und dienen als diskrete Anker für den Arbeitsablauf. Dies ermöglicht es dem Modell, gleichzeitig als kontinuierlicher Erzähler und als strikter Zustandstracker zu fungieren.
• Trainingsstrategie: Das Modell verwendet eine gestufte Konditionierungsstrategie. In den ersten beiden Epochen wird es auf vorherigen ASR-Text konditioniert, um das Training zu stabilisieren. In der letzten Epoche wird der ASR-Kontext entfernt (nur der Videotitel bleibt erhalten), wodurch das Modell gezwungen wird, sich direkt auf visuelle Evidenz zu verlassen.

Hauptbeiträge

1. Pipeline für hierarchische zeitliche Verankerung: Eine neuartige Methode zur Umwandlung roher chirurgischer Videos und ASR-Transkripte in ein mehrstufiges, zeitlich abgestimmtes Video-Sprachkorpus (SurgOnAir-11K) mit expliziter Phasen-, Schritts- und Wort-Überwachung.
2. SurgOnAir-Framework: Ein hierarchisches Streaming-Framework, das multimodale Token für die Echtzeitverarbeitung verflechtet. Es nutzt einzigartig spezialisierte Übergangstoken, um Zustandsänderungen explizit vorherzusagen, und ermöglicht so die Generierung von Erzählungen, die sich der prozeduralen Hierarchie bewusst sind.
3. Echtzeit-Leistung: Die Demonstration eines einzelnen Vision-Language-Modells, das in der Lage ist, Streaming über mehrere Hierarchieebenen des chirurgischen Arbeitsablaufs zu vereinheitlichen, und sowohl Offline- als auch bestehende Streaming-Baselines in der Qualität der Echtzeit-Erzählung übertrifft.

Experimentelle Ergebnisse

Das Modell wurde an einem 80/20-Split des SurgOnAir-11K-Datensatzes evaluiert, wobei eine Paarwahl-Aufgabe von GPT-4o bewertet wurde, die semantische Korrektheit und Verankerung über syntaktische Perfektion priorisierte.

• Vergleich mit Baselines:
  • Offline-Modelle: Offline-Video-LLMs (LLaVA-Video-7B, Qwen2.5-VL-7B) schnitten schlecht ab (Siegquoten von 11,3 % bzw. 6,2 %), was ihre Ungeeignetheit für Echtzeit-Szenarien in der Chirurgie unterstreicht.
  • Streaming-Baselines: Das generische Streaming-Modell LiveCC-7B erreichte eine Siegquote von 16,7 %, übertraf damit Offline-Modelle, konnte jedoch komplexe chirurgische Nuancen nicht erfassen.
  • SurgOnAir-Varianten: Eine flache Erzählvariante, die auf domänenspezifischen Daten trainiert wurde (SurgOnAir-base), erreichte eine Siegquote von 60,4 %. Das vollständige SurgOnAir-Modell, das hierarchische Modellierung integriert, erzielte die höchste Siegquote von 66,1 %.
• Ablationsstudien:
  • Hierarchie: Das Entfernen der hierarchischen Struktur (SurgOnAir-base) senkte die Siegquote gegenüber dem vollständigen Modell auf 39,4 %, was die Notwendigkeit struktureller Führung bestätigt.
  • Zustandsformulierung: Eine Variante, die die Zustandsvorhersage bei jedem Wort-Token erzwingt (SurgOnAir-v1), erreichte 42,5 %, verglichen mit 57,5 % für die vorgeschlagene übergangsbewusste Formulierung, was darauf hindeutet, dass redundante Zustandsgenerierung die Erzählflüssigkeit beeinträchtigt.
  • Phasengenaue Richtigkeit: Wenn das Modell die chirurgische Phase korrekt vorhersagte, sprang die Siegquote gegenüber dem Basismodell auf 65,8 %, was zeigt, dass eine genaue Phasenverankerung die kontextuell abgestimmte Erzählung direkt unterstützt.
• Qualitative Ergebnisse: Das Modell wechselt kohärent über prozedurale Grenzen hinweg (z. B. von „Einführung des Netzes" zu „Fixierung des Netzes") und behält eine mikroskopische zeitliche Ausrichtung bei, indem es Instrumente und Anatomie im Moment der Interaktion genau beschreibt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SurgOnAir das erste Echtzeit-Framework für chirurgische Erzählungen darstellt, das auf hierarchischer Modellierung aufbaut. Seine primäre Bedeutung liegt darin, das Echtzeit-Verständnis chirurgischer Abläufe über die konventionelle Videobeschriftung hinaus voranzutreiben, indem es Beschreibungen liefert, die sowohl zeitlich abgestimmt als auch hierarchiebewusst sind. Die Autoren stellen fest, dass diese Arbeit eine Grundlage für zukünftige chirurgische Automatisierung und intelligente chirurgische Lehrsysteme legt.

Die Arbeit bleibt bezüglich ihrer Grenzen bescheiden und räumt ein, dass der aktuelle Maßstab des Datensatzes begrenzt ist und das Modell noch keine Vorhersage zukünftiger Aktionen durchführt, wobei diese als vielversprechende Richtungen für weitere Untersuchungen notiert werden.