TemporalDoRA: Temporal PEFT for Robust Surgical Video Question Answering

Deze paper introduceert TemporalDoRA, een parameter-efficiënte fijnafstemmingsmethode die tijdsbewuste Multi-Head Attention in het low-rank bottleneck van een visuele encoder integreert om de robuustheid en prestaties van chirurgische video-VQA-systemen, getest op het nieuwe REAL-Colon-VQA-dataset, aanzienlijk te verbeteren.

De kern

Stel je voor dat je een chirurg bent die een complexe operatie uitvoert. Je kijkt naar een scherm met een endoscoop (een cameraatje in het lichaam) en moet razendsnel beslissingen nemen. Soms zie je een klein, vluchtig detail: een instrument dat even vastzit, of een orgaan dat net even anders beweegt. Als je dat mist, kan het fout gaan.

Nu komt de computerassistent (een kunstmatige intelligentie) om je te helpen. Deze AI moet naar de video kijken en vragen beantwoorden, zoals: "Beweegt de camera nu naar voren of naar achteren?" of "Welk orgaan wordt er nu bewerkt?"

Het probleem is dat deze AI's vaak te veel luisteren naar de woorden van de vraag en te weinig naar de beelden in de video. Als je de vraag net iets anders stelt (bijvoorbeeld: "Gaat de camera vooruit?" in plaats van "Beweegt de camera naar voren?"), raken ze in de war en geven ze een fout antwoord. Ze onthouden eerder de "typische" antwoorden dan dat ze echt naar de video kijken.

Hier komt TemporalDoRA om de hoek kijken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Luie Lezer"

Stel je voor dat de AI een student is die een examen doet. De meeste methoden (zoals LoRA of DoRA) zijn alsof je de student een samenvatting geeft van de video, maar die samenvatting wordt per beeldje apart gemaakt. De student kijkt naar beeld 1, denkt na, kijkt naar beeld 2, denkt na... maar ze praten niet met elkaar.
Als de vraag verandert, raakt de student in paniek omdat hij niet ziet dat beeld 1, 2 en 3 samen een verhaal vertellen. Hij gokt op basis van de vraagstelling in plaats van de feiten.

2. De Oplossing: TemporalDoRA (De "Groepsleerkracht")

De auteurs van dit paper hebben een slimme truc bedacht. Ze noemen het TemporalDoRA. Het werkt als een groepswerk-sessie voor de AI:

• De "Tijds-mixer" (MHA): In plaats van dat de AI elk beeldje apart bekijkt, zetten ze een speciale "magneet" in de hersenen van de AI. Deze magneet zorgt ervoor dat de AI alle beelden van de video met elkaar laat praten voordat hij een antwoord geeft.
  • Analogie: Stel je voor dat je een film kijkt. Normaal zou je elke seconde apart analyseren. Met TemporalDoRA is het alsof je een groep vrienden hebt die samen naar de film kijken. Als iemand zegt: "Kijk, daar is iets raars gebeurd!", kijken de anderen direct terug en zeggen: "Ja, ik zag het ook net!". Zo ontstaat er een compleet verhaal in plaats van losse beelden.
• De "Slimme Aanpassing" (Weight-Decomposed): Normaal gesproken moet je een hele nieuwe schoolboekenreeks (het hele AI-model) herschrijven om hem slimmer te maken. Dat is duur en lastig.
  • TemporalDoRA is als het toevoegen van een kleine, slimme notitieblok aan de bestaande boeken. Ze veranderen alleen de notities (de nieuwe informatie), maar laten de originele, betrouwbare tekst (de basis van de AI) intact. Dit zorgt ervoor dat de AI niet "vergeet" wat hij al wist, maar wel leert om beter naar de tijdlijn te kijken.

3. De Nieuwe Test: REAL-Colon-VQA

Om te bewijzen dat hun methode werkt, hebben ze een nieuwe test ontwikkeld genaamd REAL-Colon-VQA.

• Dit is een verzameling van duizenden vragen over darmkijkoperaties (colonoscopie).
• Het slimme aan deze test is dat ze elke vraag op twee manieren stellen:
  1. De standaardvraag: "Beweegt de camera naar voren?"
  2. De herschreven vraag: "Gaat de endoscoop vooruit?"
• Als de AI alleen maar leert op de woorden, faalt hij bij de tweede vraag. Als hij echt naar de video kijkt, geeft hij bij beide vragen hetzelfde, juiste antwoord.

4. Het Resultaat

De tests tonen aan dat TemporalDoRA veel robuuster is.

• Bij de standaardvragen: Het doet het net zo goed als de beste andere methoden.
• Bij de herschreven vragen: Het wint het duidelijk. Omdat de AI nu echt "naar de video kijkt" en niet alleen naar de vraagtekst, blijft hij kalm en geeft hij het juiste antwoord, zelfs als de vraag anders klinkt.

Samenvatting in één zin

TemporalDoRA is een slimme, goedkope upgrade voor medische AI's die hen leert om beelden in een video als één samenhangend verhaal te zien in plaats van losse plaatjes, waardoor ze veel minder snel in de war raken door andere woordkeuzes in de vragen.

Het is alsof je van een student die alleen maar de vraagtekst uit het hoofd leert, een student maakt die echt naar de film kijkt en samen met zijn klasgenoten het verhaal begrijpt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "TemporalDoRA: Temporal PEFT for Robust Surgical Video Question Answering" in het Nederlands.

Probleemstelling

Chirurgische Video-Vraagbeantwoording (VideoQA) vereist nauwkeurige tijdsgebonden interpretatie (temporal grounding) van endoscopische video's. Bestaande Vision-Language Models (VLMs) vertonen echter een aantal kritieke tekortkomingen in deze context:

1. Tekstcentrische bias: Modellen neigen om antwoorden te genereren op basis van taalkundige priors (hoe vragen vaak worden gesteld) in plaats van visueel bewijs uit de video. Dit leidt tot fouten bij "Out-of-Template" vragen (parafrazeringen van standaardvragen).
2. Gebrek aan tijdsbewustzijn: Standaard Parameter Efficient Fine-Tuning (PEFT) methoden, zoals LoRA en DoRA, passen vooraf getrainde projecties aan zonder expliciete modellering van interacties tussen frames. Hierdoor kunnen ze geen gebruik maken van verspreide tijdsbewijzen (bijv. korte bewegingen van instrumenten of tijdelijke obstructies).
3. Beperkte schaalbaarheid: Volledige fine-tuning is in klinische settings vaak onpraktisch vanwege het gebrek aan grote, gelabelde datasets.

Methodologie: TemporalDoRA

De auteurs introduceren TemporalDoRA, een video-specifieke PEFT-methode die DoRA (Weight-Decomposed Low-Rank Adaptation) uitbreidt met twee complementaire innovaties om tijdsafhankelijkheid te integreren zonder de achterliggende backbone te ontdooien:

1. Temporale Multi-Head Attention (MHA) in het bottleneck:

   • In plaats van dat frames onafhankelijk worden verwerkt, wordt een lichtgewicht MHA-module ingeplaatst binnen de low-rank bottleneck van de visuele encoder.
   • Dit gebeurt na de down-projection ($W_\downarrow$) en voor de up-projection.
   • De MHA (met 4 attention heads) mengt informatie over de tijdsas ($T$), waardoor het model inhoudsafhankelijke aggregatie kan uitvoeren. Frames kunnen zo de meest informatieve momenten benadrukken en redundante of corrupte frames onderdrukken.

2. Selectieve gewichtsdecompositie (Residual-only decomposition):

   • Bij standaard DoRA wordt de decompositie (richting en magnitude) toegepast op het volledige effectieve gewicht ($W_0 + \Delta W$).
   • TemporalDoRA past de decompositie alleen toe op de trainbare low-rank tak ($\Delta W$), terwijl de oorspronkelijke gewichten ($W_0$) bevroren blijven.
   • Dit behoudt de vooraf getrainde richting van de backbone en beperkt de aanpassingscapaciteit tot de low-rank tak, wat overfitting in data-arme chirurgische domeinen voorkomt. De magnitude-schaling gebeurt na de temporale menging, waardoor het model outputkanalen kan herschalen op basis van tijdsgeaggregeerd bewijs.

De formule voor de residual update is:
$$h(X) = XW_0 + \alpha \cdot \text{MHA}(XW_\downarrow) W_\uparrow$$
Waarbij $W_\uparrow$ wordt geleerd via de decompositie van richting ($V$) en magnitude ($m$).

Belangrijkste Bijdragen

1. TemporalDoRA Architectuur: Een nieuwe PEFT-formulering die temporale MHA introduceert in de low-rank bottleneck en selectief alleen de trainbare tak decomposeert. Dit zorgt voor tijdsgebaseerde adaptatie met minimale parameter-overhead (ongeveer 0,22% van de parameters, wat 8,6x minder is dan ST-Adapter).
2. REAL-Colon-VQA Dataset: Een nieuw benchmark-dataset voor colonoscopie VideoQA met 6.424 clip-vraagparen. Het unieke aspect is de aanwezigheid van gepaarde "In-Template" en "Out-of-Template" (parafrazerende) vragen. Dit stelt onderzoekers in staat om de gevoeligheid van modellen voor taalkundige variatie en hun vermogen om antwoorden te baseren op tijdsbewijs te evalueren.
3. Robuustheidsanalyse: Een uitgebreide evaluatie die aantoont dat het mengen van informatie binnen de low-rank adaptatiepad de primaire drijvende kracht is voor verbeterde robuustheid tegen herschrijvingen van vragen.

Resultaten

De methode is geëvalueerd op twee datasets: REAL-Colon-VQA en EndoVis18-VQA, met twee verschillende backbones (Qwen3-VL-2B en InternVL3-1B).

• Verbetering bij Out-of-Template: TemporalDoRA presteert consistent beter dan bestaande methoden (LoRA, DoRA, VeRA, ST-Adapter) bij Out-of-Template vragen.
  • Op REAL-Colon-VQA (Qwen3-VL-2B) steeg de ROUGE-L-score voor Out-of-Template van 0,653 (ST-Adapter) naar 0,731 (TemporalDoRA).
  • Op EndoVis18-VQA bereikte TemporalDoRA de hoogste keyword-accuratie (0,326) voor Out-of-Template, vergeleken met 0,304 voor LoRA.
• Ablatie-studies:
  • Het gebruik van MHA in de bottleneck gaf de beste balans tussen prestaties en generalisatie, superieur aan 3D-convolutie, LSTM en Mamba.
  • De combinatie van temporale MHA en de selectieve decompositie (alleen op de residual) bleek effectiever dan het simpelweg toevoegen van MHA aan bestaande PEFT-methoden.
• Efficiëntie: TemporalDoRA update slechts ~0,22% van de parameters, wat het zeer efficiënt maakt voor klinische toepassingen.

Significantie

Dit werk is significant omdat het een oplossing biedt voor het fundamentele probleem van "shortcut learning" in chirurgische AI, waarbij modellen te veel vertrouwen op tekstuele patronen in plaats van visuele realiteit.

• Klinische relevantie: Door de robuustheid tegen herschrijvingen van vragen te vergroten, wordt het model betrouwbaarder in dynamische chirurgische omgevingen waar vragen niet altijd in een standaardformaat worden gesteld.
• Methodologische doorbraak: Het toont aan dat het integreren van tijdsbewustzijn direct in de PEFT-bottleneck (in plaats van als een aparte adapter of volledige fine-tuning) een krachtige en efficiënte manier is om visuele modellen tijdsafhankelijk te maken.
• Toekomstige richting: Hoewel de MHA binnen de bottleneck enige rekenkosten toevoegt, opent deze aanpak de weg voor efficiëntere temporale operatoren en verdere uitbreiding naar de taalmodellen (LLM) om taalkundige bias verder te reduceren.