Technische Samenvatting: Redenerend Tekst-naar-Video Retrieval voor Operatiekamerclips via Actie-gestuurde Digitale Tweelingen

Probleemstelling

Operatiekamers (OK's) genereren duizenden uren aan videobeelden, maar klinische belanghebbenden (bijv. chirurgische trainees, kwaliteitsbeheerdheden) hebben doorgaans behoefte aan korte, specifieke clips die seconden tot minuten duren. Hoewel clip-niveau tekst-naar-video retrieval een natuurlijke formulering is voor het ontsluiten van deze segmenten, kampen bestaande methoden met twee kritieke beperkingen in de OK-context:

1. Onvermogen om Impliciete Queries te Verwerken: In tegenstelling tot conventionele retrieval waarbij queries expliciet de visuele inhoud beschrijven, zijn OK-queries vaak impliciet en vereisen ze redeneren (bijv. "de stap vlak vóór het klemmen" of "de actie die bloeding veroorzaakte"). Huidige methoden die vertrouwen op globale embeddings kunnen niet redeneren over dergelijke queries.
2. Gebrek aan Fijnmazige Discriminatie: Clips van dezelfde chirurgische procedure lijken visueel vaak identiek, waarbij ze enkel verschillen in specifieke acties en entiteitsinteracties. Bestaande object-gecentreerde digitale twin (DT) benaderingen richten zich op per-frame entiteiten en visuele attributen, en falen in het onderscheiden van opeenvolgende clips die identieke objecten delen maar verschillen in acties en toestandsveranderingen.

Methodologie: OR3

De auteurs stellen OR3 (Operating Room Reasoning Retrieval) voor, een framework ontworpen om impliciete queries te verwerken via temporele actieredenering. De methodologie bestaat uit drie kerncomponenten:

1. Actie-gestuurde Digitale Tweelingen (ActDT's)

In plaats van object-gecentreerde representaties, zet OR3 elke videoclip om in een Actie-gestuurde Digitale Tweeling (ActDT).

• Structuur: Een ActDT is een sequentie van actieprimitieven die geserialiseerd zijn als gestructureerde JSON. Het groepeert gelijktijdige subject-actie-object triplets onder niet-overlappende temporele intervallen.
• Componenten:
  • Intervallen: Gedefinieerd door start- en eindtijdstempels, die de volledige duur van de clip dekken zonder overlap.
  • Triplets: Elke interactie bevat een subject ($s$), een actie ($v$) en een object ($o$).
  • Attributen: Het subject en object bevatten een categorie (uit een OK-specifieke vocabulaire), een attribuut (natuurlijke taal samenvatting van eigenschappen zoals houding of instrumenttoestand) en een locatie (bounding box en diepte).
• Generatie: Vision Foundation Models (Qwen3-VL, SAM-3, DepthAnythingV3) extraheren deze triplets uit RGB-frames en segmentatiemaskers.

2. Verbeelding-gebaseerde Retrieval

OR3 herformuleert de retrieval-taak van cross-modale matching naar intra-modale matching om de semantische kloof tussen abstracte queries en concrete videorepresentaties te overbruggen.

• Hypothetische Generatie: Gegeven een impliciete query $q$ en procedurele metadata $K$, genereert een Large Language Model (LLM) een hypothetische ActDT ($\widehat{\text{ActDT}}_q$). De LLM voorspelt de actieprimitieven die de doelclip zou bevatten, in plaats van de query te herformuleren.
• Intra-Modale Codering: Zowel de hypothetische ActDT als de werkelijke clip ActDT's worden geserialiseerd als JSON-tekst en gecodeerd door een enkele gedeelde tekstencoder ($f_\theta$). Relevantie wordt berekend via cosine similarity.
• Trainingsstrategie: De encoder wordt getraind met een contrastieve doelstelling met twee soorten harde negatieven die specifiek zijn afgestemd op ActDT's:
  • Temporeel Nabije Negatieven: Clips die entiteiten delen maar verschillen in acties.
  • Temporele Permutatie Negatieven: Clips waarbij de volgorde van intervallen is gehusseld, wat de temporele logica verstoort terwijl de actieprimitieven behouden blijven.
  • Field-Dropout Augmentatie: Het willekeurig maskeren van velden in werkelijke ActDT's om de encoder robuust te maken tegen de ontbrekende visuele attributen die aanwezig zijn in hypothetische ActDT's.

3. Op Bewijs Gebaseerde Verfijning

Om het probleem aan te pakken dat LLM's mogelijk specifieke procedurele conventies niet volledig vatten, gebruikt OR3 een iteratieve verfijningslus.

• Proces: Na een initiële ranking worden de top-$K$ kandidaten (met hun werkelijke ActDT's) teruggevoerd naar de LLM samen met de originele query en de initiële hypothetische ActDT.
• Revisie: De LLM identificeert discrepanties tussen de verbeelde en de geobserveerde actieprimitieven en genereert een herziene hypothetische ActDT.
• Iteratie: Dit proces herhaalt zich voor maximaal $T_{ref}$ rondes of totdat de top-gerankte clip ongewijzigd blijft, waardoor het systeem de interpretatie van de query kan aanpassen aan procedure-specifieke patronen.

Benchmark Constructie

De auteurs hebben een nieuwe benchmark geconstrueerd voor OK tekst-naar-video redeneer-retrieval met behulp van de MM-OR dataset:

• Data: 386 clips afgeleid van 17 opnames van robotische knieprocedures, gesegmenteerd volgens chirurgische fasen en stappen.
• Queries: 276 impliciete queries verdeeld over vier redeneercategorieën:
  • Temporeel: (bijv. "de stap vlak vóór het bot zagen")
  • Causaal: (bijv. "de actie die een schending van de steriliteit veroorzaakte")
  • Procedureel: (bijv. "het eerste gebruik van de boor na robotkalibratie")
  • Rol-gebaseerd: (bijv. "wat de verpleegkundige voorbereidde terwijl de chirurg aan het zagen was")
• Split: Training (162 queries), Validatie (48 queries) en Test (66 queries).

Experimentele Resultaten

Geëvalueerd op de benchmark, presteert OR3 significant beter dan bestaande baselines, inclusief embedding-gebaseerde methoden (CLIP4Clip, X-CLIP), video-LLM's (InternVideo2, Qwen3-VL) en de vorige state-of-the-art redeneermethode (ReasonT2V).

• Algemene Prestaties: OR3 bereikt 57,6% R@1 en 77,3% R@5, waarmee het de sterkste baseline (ReasonT2V) met 33,4 procentpunten in R@1 overtreft.
• Categorie-overzicht:
  • Rol-gebaseerd: Hoogste prestatie (67,6% R@1), omdat agent-actie paren natuurlijk aansluiten bij ActDT triplets.
  • Temporeel & Procedureel: Toonden de grootste absolute winst ten opzichte van ReasonT2V (respectievelijk 36,9 en 35,3 punten), wat de effectiviteit van interval-gestructureerde actieprimitieven aantoont.
  • Causaal: Meest uitdagende categorie, maar OR3 behaalde 42,1% R@1 vergeleken met 15,8% voor ReasonT2V.
• Ablatie-studies:
  • Het vervangen van ActDT door object-gecentreerde DT's veroorzaakte de grootste daling (15,2% totaal), wat de noodzaak van actie-gestuurde representatie bevestigt.
  • Het verwijderen van verbeelding-gebaseerde retrieval verminderde R@1 met 12,1%, wat de intra-modale matching benadering valideert.
  • Op bewijs gebaseerde verfijning droeg bij aan een 7,6% algemene winst, met de meest significante impact op causale queries.

Betekenis en Claims

Het artikel claimt dat OR3 fijnmazige discriminatie mogelijk maakt tussen visueel zeer gelijke OK-videoclips door de focus te verschuiven van statische objectattributen naar temporele actieredenering.

Belangrijke bijdragen zijn onder meer:

1. Taakformulering: Introductie van tekst-naar-video redeneer-retrieval voor OK-clips, een taak die discriminatie van bijna identieke visuals via impliciete queries vereist.
2. Methodologische Innovatie: Voorstel van ActDT's om de dynamiek van temporele objectinteracties te coderen en verbeelding-gebaseerde retrieval om de cross-modale semantische kloof te elimineren.
3. Adaptieve Verfijning: Introductie van op bewijs gebaseerde verfijning om de interpretatie van queries aan te passen aan specifieke procedurele conventies.
4. Benchmark: Het leveren van een gecureerde dataset van 276 impliciete queries over 386 clips om toekomstig onderzoek in dit domein te faciliteren.

De auteurs concluderen dat hun aanpak succesvol het gat overbrugt tussen hoe gebruikers zoeken naar OK-clips en hoe bestaande retrieval-methoden opereren, hoewel zij opmerken dat toekomstig werk andere proceduretypes, multi-turn queries en real-time retrieval tijdens live procedures kan verkennen.