TrajPred: Trajectory-Conditioned Joint Embedding Prediction for Surgical Instrument-Tissue Interaction Recognition in Vision-Language Models

Dit paper introduceert TrajPred, een framework dat instrumenttrajectoires en visueel-taalmodellen combineert om de nauwkeurigheid van de herkenning van interacties tussen chirurgische instrumenten en weefsels te verbeteren door tijdsafhankelijke bewegingsinformatie en fijne actie-details beter te benutten.

De kern

🏥 De Robotchirurg die "naar de dans" kijkt

Stel je voor dat je een robotchirurg hebt die heel slim is, maar soms een beetje verward. Hij kan een foto van een operatie zien en zeggen: "Ah, daar is een tang." Maar als je vraagt: "Wat doet die tang precies?", dan kan hij in de war raken. Is hij het weefsel vast te pakken? Is hij het weefsel weg te duwen? Of snijdt hij erin?

Vroeger leerden we robots dit door duizenden foto's te tonen met labels erop. Maar dat werkt niet goed als de robot in een nieuwe situatie komt.

Nieuwe, slimme systemen (zoals Vision-Language Models of VLM's) zijn beter. Ze zijn getraind op miljoenen foto's en teksten, net zoals een kind dat leert door te kijken en te luisteren. Ze kunnen beter "generaliseren" (zaken begrijpen in nieuwe situaties). Maar zelfs deze slimme systemen hebben nog twee grote problemen als het gaat om chirurgie:

1. Ze kijken niet naar de tijd: Ze kijken vaak naar één statische foto. Maar chirurgie is een dans! Een beweging (zoals "snijden" of "trekken") gebeurt pas als je ziet hoe iets beweegt. Een foto van een tang die stil staat, zegt je niet of hij net iets heeft vastgepakt of net loslaat.
2. Ze kijken naar de verkeerde dingen: Als je een robot vraagt wat er gebeurt, kijkt hij vaak naar de hele foto. Hij ziet de tang, maar ook de achtergrond, het licht en de randen van het beeld. Hij verliest de fijne details kwijt. Het is alsof je iemand vraagt wat er op een foto gebeurt, maar die persoon kijkt alleen naar de randen van het kader in plaats van naar de actie in het midden.

💡 De Oplossing: TrajPred

De auteurs van dit paper hebben TrajPred bedacht. Dit is een slimme manier om de robot te helpen beter te kijken. Ze gebruiken twee hoofdtrucs:

1. De "Danspasjes" (Trajectoires)

In plaats van alleen naar de foto te kijken, kijkt TrajPred naar een filmpje. Maar het doet iets speciaals: het tekent een onzichtbare lijn (een traject) achter de chirurgische instrumenten aan.

• De Analogie: Stel je voor dat je een danser op een podium ziet. Als je alleen naar een foto kijkt, zie je een persoon in een pose. Maar als je een lijn tekent die laat zien waar die persoon de afgelopen 5 seconden heeft bewogen, zie je direct of hij aan het dansen is, of dat hij gewoon staat.
• TrajPred "tekent" deze lijnen achter de tangen en scharen aan. Hierdoor begrijpt de robot: "Aha, deze tang is naar links bewogen en heeft toen iets vastgepakt." Het systeem leert de beweging, niet alleen het beeld.

2. De "Voorspeller" in plaats van de "Zoeker"

Oude systemen proberen te zoeken naar overeenkomsten tussen een foto en een woord (bijvoorbeeld: "Is dit een foto van 'snijden'?"). Dit werkt vaak slecht voor fijne details.

TrajPred doet het anders. Het werkt als een voorspeller.

• De Analogie: Stel je voor dat je een raadsel oplost. Een oude methode is: "Kijk naar de foto en zoek het woord dat erbij past." TrajPred doet het zo: "Kijk naar de beweging van de tang (de danspasjes) en voorspel wat voor woord er nu het beste bij past."
• Door de beweging als input te gebruiken, wordt de robot gedwongen om zich te concentreren op de actie zelf, en niet op de achtergrond. Het is alsof je een detective bent die niet naar de hele kamer kijkt, maar alleen naar de voetafdrukken op de vloer om te zien wat er is gebeurd.

3. Het Vertalen van "Chirurgisch" naar "Menselijk"

Chirurgische woorden zijn soms heel kort en technisch, zoals "retract" (terugtrekken). Een computer die getraind is op gewone taal, snapt dit misschien niet goed.

• De Analogie: Het is alsof je een robot vertelt: "Doe 'retract'." De robot is verward. TrajPred vertaalt dit eerst naar een volledige zin: "Het weefsel voorzichtig wegduwen." Hierdoor begrijpt de robot de betekenis veel beter, net zoals een mens dat zou doen.

🏆 Wat is het resultaat?

De auteurs hebben hun systeem getest op een bekende dataset met laparoscopische (buik)operaties.

• Beter kijken: De robot kijkt nu precies naar waar de tang en het weefsel elkaar raken, in plaats van naar de achtergrond.
• Beter begrijpen: De robot kan veel beter zeggen wat er gebeurt, zelfs bij bewegingen die hij nog nooit heeft gezien (bijvoorbeeld een tang die zeldzaam wordt gebruikt).
• Sneller: Het systeem is niet veel langzamer dan de oude systemen, dus het is praktisch inzetbaar.

🚀 Conclusie

TrajPred is als het geven van een nieuwe bril aan een robotchirurg.

• De ene lens laat de robot de beweging zien (de danspasjes), zodat hij begrijpt wat er gebeurt in de tijd.
• De andere lens zorgt dat hij precies kijkt naar de actie en niet naar de achtergrond.
• En een vertaler helpt hem de moeilijke chirurgische termen te begrijpen.

Hierdoor wordt de robot een veel betere assistent die echt begrijpt wat de chirurg doet, wat essentieel is voor de toekomst van veilige en slimme robotchirurgie.

Technische samenvatting

1. Probleemstelling

Het herkennen van interacties tussen chirurgische instrumenten en weefsels (Instrument-Tissue Interaction) is cruciaal voor het ontwikkelen van contextbewuste AI-assistenten in robotische chirurgie. Hoewel Vision-Language Models (VLMs) veelbelovend zijn voor chirurgische perceptie, presteren ze beperkt bij het herkennen van specifieke actie-triplets (instrument, werkwoord, doelwit) vanwege twee hoofdbeperkingen:

1. Beperkt gebruik van temporale informatie: Veel bestaande modellen vertrouwen op enkelvoudige frames of aggregatie van gehele video's, waardoor subtiele bewegingspatronen en dynamische acties (zoals 'dissecteren' versus 'retracteren') niet goed worden gevangen.
2. Onderdrukking van fijnkorrelige details door contrastief leren: Traditionele VLMs gebruiken contrastief leren dat globale beeldkenmerken afstemt op tekst. Dit leidt vaak tot een verlies van ruimtelijke details; de modellen focussen op de achtergrond of het gehele beeld in plaats van op de specifieke interactiezone tussen het instrument en het weefsel.

2. Methodologie: TrajPred

Het auteurs stellen TrajPred voor, een raamwerk dat het traditionele contrastieve leren vervangt door een voorspellend raamwerk voor gezamenlijke embedding (Joint Embedding Prediction), specifiek aangepast voor chirurgische video's. De architectuur bestaat uit de volgende kerncomponenten:

• Voorspellende Structuur (VL-JEPA inspiratie): In plaats van directe afstemming (contrastief leren), gebruikt TrajPred een trainbare 'predictor'-module. Deze module voorspelt de semantische embedding van de tekst, gebaseerd op visuele tokens. Dit helpt bij het vastleggen van fijnkorrelige actie-details die bij contrastief leren vaak verloren gaan.
• Trajecto-geconditioneerde Tokens: Om de beperkingen in temporale informatie aan te pakken, introduceert het model een expliciete trajecto-encoding:
  • Een detector (Fast R-CNN) identificeert instrumenten in elke frame.
  • Er worden twee streams gegenereerd: een uiterlijk-stream (visuele kenmerken binnen de bounding box) en een positie-stream (coördinaten van de bounding box over de tijd).
  • Deze worden samengevoegd tot trajecto-tokens die de beweging van het instrument expliciet coderen.
  • Deze tokens worden aan de visuele tokens toegevoegd en dienen als conditionering voor de predictor.
• Prompt Tuning en Werkwoord-Herformulering:
  • Om de generalisatie te verbeteren en de domain gap te verkleinen, worden chirurgische werkwoorden (bijv. "retract") herschreven naar beschrijvende Engelse zinnen (bijv. "pulling aside").
  • Er wordt CoOp-style prompt tuning toegepast: alleen een kleine set leerbare context-tokens wordt geoptimaliseerd, terwijl de achterliggende tekst-encoder (Gemma) bevroren blijft. Dit behoudt de pre-trained kennis en voorkomt overfitting.

3. Belangrijkste Bijdragen

• Paradigmaverschuiving: Het reformuleren van chirurgische actieherkenning van een classificatie- of contrastief afstemmingsprobleem naar een embedding-predictieprobleem.
• Expliciete Bewegingscodering: Het introduceren van trajecto-tokens die instrumentbewegingen over tijd coderen, waardoor de model beter in staat is om dynamische acties te onderscheiden.
• Verbeterde Generalisatie: Het gebruik van werkwoord-herformulering en prompt tuning om modellen beter te laten presteren op ongeziene werkwoordcombinaties en zeldzame instrument-actie paren.
• Fijnkorrelige Afstemming: Het aantonen dat de voorgestelde methode de visuele embeddings beter laat corresponderen met de relevante interactiezones in het beeld, in plaats van met de achtergrond.

4. Resultaten

De methode is geëvalueerd op het publieke CholecT50 benchmark-dataset (laparoscopische cholecystectomie).

• Prestaties: TrajPred overtreft alle bestaande baselines (inclusief CLIP, SurgVLP, HecVL en VL-JEPA) op alle metrics.
  • Gemiddelde Precisie (AP): Bereikte een score van 14.77 voor triplet-niveau (APIVT), een aanzienlijke verbetering ten opzichte van de vorige staat-van-de-kunst (bijv. VL-JEPA Video: 13.49).
  • Top-K Nauwkeurigheid: Bereikte 65.45% voor Top@(K=|GT|) en 97.02% voor Top@20.
• Generalisatie op Ongeziene Werkwoorden: In een "Unseen-Verb" setting (waar specifieke werkwoorden tijdens training niet voorkwamen) behaalde TrajPred een APIVT van 11.26, wat aanzienlijk hoger is dan concurrenten (bijv. VL-JEPA Video: 9.02).
• Zeldzame Acties: Het model toonde significante verbeteringen bij zeldzame instrument-werkwoord paren (bijv. "grasper-pack" verbeterde van 18.1 naar 32.9 AP).
• Visualisatie: Warmtekaarten van cosine-相似iteit tonen aan dat TrajPred zich concentreert op het instrument en het weefsel, terwijl bestaande modellen vaak op de achtergrond of randen van de endoscoop focussen.

5. Betekenis en Toekomstperspectief

TrajPred bewijst dat het expliciet modelleren van bewegingscues en het overstappen van contrastief leren naar voorspellend leren de betrouwbaarheid van AI in de chirurgie kan vergroten.

• Klinische Impact: Betere herkenning van instrument-tissue interacties is essentieel voor automatische chirurgische assistentie en het leren van vaardigheden door robots.
• Efficiëntie: De toevoeging van trajecto-tokens voegt slechts een verwaarloosbare rekentijd toe (+1.1% latentie) en een minimale toename in modelgrootte, wat het zeer praktisch maakt voor real-time toepassingen.
• Toekomst: Het paper suggereert dat toekomstig werk zich moet richten op adaptieve framesnelheden om variaties in chirurgische snelheden (van snel snijden tot subtiele weefselretractie) beter te kunnen vangen.

Kortom, TrajPred biedt een robuustere en nauwkeurigere aanpak voor chirurgische actieherkenning door de brug te slaan tussen visuele beweging en semantische tekstuele beschrijvingen op een fijnkorrelig niveau.