Technische Samenvatting: SurgOnAir

Probleemstelling

Huidige chirurgische AI-systemen worstelen met het bieden van real-time, temporeel verankerd inzicht in chirurgische workflows. Hoewel Multimodale Grootte Taalmodellen (MLLMs) de algemene video-comprehensie hebben verbeterd, verhindert hun afhankelijkheid van zware backbones en offline verwerkingsparadigma's (die toegang vereisen tot het volledige videosequentie) een directe reactie op evoluerende chirurgische dynamiek. In de operatiezaal hangen kritieke beslissingen af van subtiele, moment-tot-moment veranderingen in instrumentbeweging en weefseltoestanden; zelfs lichte perceptuele vertragingen kunnen de veiligheid in gevaar brengen of hulp beperken. Bovendien behandelen bestaande methoden chirurgische workflows vaak als vlakke sequenties, waarbij de inherente hiërarchische structuur (Fasen $\rightarrow$ Stappen $\rightarrow$ Acties) wordt over het hoofd gezien, die cruciaal is voor contextuele verankering en het verminderen van hallucinaties. Er ontbreken modellen die in staat zijn tot streaming videobewerking terwijl ze gelijktijdig multi-level, hiërarchie-bewuste narraties genereren.

Methodologie

1. Data Cureren: SurgOnAir-11K

De auteurs introduceren SurgOnAir-11K, een gecureerd hiërarchisch dataset ontworpen om de kloof te overbruggen tussen ruwe chirurgische video en gestructureerde narratie. De data-cureringspipeline omvat:

• Temporeel Verankerde ASR: Het gebruik van WhisperX-large om woord-gebaseerde transcripties met nauwkeurige tijdstempels te extraheren, waardoor tripletten van $\langle woord, t_{start}, t_{end} \rangle$ worden gecreëerd.
• Domein-bewuste Correctie: Zelfvertrouwen-arme zinnen (log-probabiliteit < -0.15) worden gecorrigeerd met GPT-4o met strikte beperkingen om terminologie te normaliseren zonder de inhoud te wijzigen.
• Actie-bewuste Filtering: Zinnen worden geclassificeerd in ACTIE, VERKLARING en INTERACTIE. Alleen ACTIE-zinnen, die strikt verankerd zijn in visuele inhoud, worden behouden voor supervisie.
• Hiërarchische Constructie: Het dataset is gestructureerd in een drie-niveau hiërarchie: Fase $\rightarrow$ Stap $\rightarrow$ Woord. Hoog-niveau procedurele stappen worden gegenereerd via LLM's om niet-overlappende, temporeel monotone partities te garanderen, die vervolgens worden afgestemd op metadata-gedefinieerde fasen.

2. Modelarchitectuur: SurgOnAir

SurgOnAir is een streaming visueel-taalmodel gebouwd op de LiveCC-7B-Base backbone, ontworpen voor real-time frame-naar-token generatie zonder toekomstige toegang.

• Dichte Temporele Verweving: Het model adopteert een streaming inputstrategie waarbij visuele frames ($\langle F \rangle$) en teksttokens ($\langle W \rangle$) dicht verweven zijn: $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$. De stride $k$ is ingesteld op 1 met een frame-rate van 2 FPS om fijne-granulariteit afstemming te garanderen.
• Hiërarchische Staat-Tokens: Om hiërarchie-bewuste narratie af te dwingen, gebruikt het model speciale overgangstokens (bijv. <State>Fase=P1, Stap=S1</State>). Deze tokens worden conditioneel in de tekststroom ingevoegd alleen wanneer een staatsovergang optreedt, en fungeren als discrete ankers voor de workflow. Dit stelt het model in staat om gelijktijdig te functioneren als een continue verteller en een strikte staat-tracker.
• Trainingsstrategie: Het model hanteert een gefaseerde conditioneringsstrategie. In de eerste twee epocha's wordt het geconditioneerd op vorige ASR-tekst om training te stabiliseren. In de laatste epocha wordt de ASR-context verwijderd (alleen de videotitel behoudend), waardoor het model direct moet vertrouwen op visueel bewijs.

Belangrijkste Bijdragen

1. Hiërarchische Temporele Verankering Pipeline: Een nieuwe methode om ruwe chirurgische video's en ASR-transcripties om te zetten in een multi-level, temporeel afgestemd video-taalcorpus (SurgOnAir-11K) met expliciete Fase-, Stap- en Woord-supervisie.
2. SurgOnAir Framework: Een hiërarchisch streaming framework dat multi-modale tokens verweeft voor real-time verwerking. Het maakt uniek gebruik van gespecialiseerde overgangstokens om staatveranderingen expliciet te voorspellen, waardoor het genereren van narraties mogelijk wordt die bewust zijn van de procedurele hiërarchie.
3. Real-time Prestaties: De demonstratie van een enkel visueel-taalmodel dat streaming over meerdere hiërarchieën van de chirurgische workflow kan verenigen, en dat zowel offline als bestaande streaming baselines overtreft in real-time narratiekwaliteit.

Experimentele Resultaten

Het model werd geëvalueerd op een 80/20-split van het SurgOnAir-11K-dataset met behulp van een paarkeuze-taak beoordeeld door GPT-4o, waarbij semantische correctheid en verankering prioriteit kregen boven syntactische perfectie.

• Vergelijking met Baselines:
  • Offline Modellen: Offline Video-LLM's (LLaVA-Video-7B, Qwen2.5-VL-7B) presteerden slecht (winstpercentages van respectievelijk 11,3% en 6,2%), wat hun ongeschiktheid voor real-time chirurgische scenario's benadrukt.
  • Streaming Baselines: Het generieke streamingmodel LiveCC-7B behaalde een winstpercentage van 16,7%, wat beter was dan offline modellen maar faalde in het vastleggen van complexe chirurgische nuances.
  • SurgOnAir Varianten: Een vlakke-narratieversie getraind op domein-specifieke data (SurgOnAir-base) behaalde een winstpercentage van 60,4%. Het volledige SurgOnAir-model, dat hiërarchische modellering integreert, behaalde het hoogste winstpercentage van 66,1%.
• Ablatiestudies:
  • Hiërarchie: Het verwijderen van de hiërarchische structuur (SurgOnAir-base) liet het winstpercentage dalen tot 39,4% ten opzichte van het volledige model, wat de noodzaak van structurele begeleiding bevestigt.
  • Staat Formulering: Een variant die staatvoorspelling afdwingt bij elk woordtoken (SurgOnAir-v1) behaalde 42,5%, vergeleken met 57,5% voor de voorgestelde overgangsbewuste formulering, wat aangeeft dat redundante staatgeneratie de vloeiendheid van de narratie schaadt.
  • Fase Correctheid: Wanneer het model de chirurgische fase correct voorspelde, sprong het winstpercentage ten opzichte van het basismodel naar 65,8%, wat aantoont dat accurate faseverankering direct contextueel afgestemde narratie ondersteunt.
• Kwalitatieve Resultaten: Het model gaat coherent over tussen procedurele grenzen (bijv. van "Mesh Introductie" naar "Mesh Fixatie") en behoudt micro-niveau temporele afstemming, waarbij instrumenten en anatomie op het moment van interactie nauwkeurig worden beschreven.

Betekenis en Claims

Het artikel claimt dat SurgOnAir het eerste real-time chirurgische narratiefraamwerk is gebouwd op hiërarchische modellering. De primaire betekenis ligt in het vooruitbrengen van real-time chirurgisch begrip voorbij conventionele video-captioning door beschrijvingen te produceren die zowel temporeel afgestemd als hiërarchie-bewust zijn. De auteurs stellen dat dit werk een fundament legt voor toekomstige chirurgische automatisering en intelligente chirurgische leersystemen.

Het artikel blijft bescheiden wat betreft zijn beperkingen, en erkent dat de huidige dataset-schaal beperkt is en dat het model nog geen toekomstige actievoorspelling uitvoert, en noemt deze als veelbelovende richtingen voor verdere verkenning.