🤖 machine learning

Remembering by Reconstructing: Domain Incremental Learning With Test-Time Training on Video Streams

Dit artikel stelt een nieuw framework voor voor domain incremental learning dat opzettelijk gebruikmaakt van catastrofale vergetelheid via gespecialiseerde LoRA-adapters en domeinkennis herstelt via online test-time training op een zelfgesuperviseerde masked autoencoder, waardoor het bijzonder effectief is voor real-world, niet-stationaire videostreams.

Oorspronkelijke auteurs: Jonathan Swinnen, Tinne Tuytelaars

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonathan Swinnen, Tinne Tuytelaars

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die heeft geleerd om perfecte maaltijden te koken voor een specifieke groep mensen. Je kent hun smaak, de ingrediënten die ze lekker vinden en de exacte manier waarop ze hun eten willen kruiden. Dit is je "training".

Stel je nu voor dat je wordt ingehuurd om te koken voor een nieuwe groep mensen met een totaal andere smaak. Als je probeert hun voorkeuren te leren door je hele kookboek volledig te herschrijven, zou je per ongeluk kunnen vergeten hoe je voor de eerste groep moet koken. Dit is een probleem dat bekend staat als "catastrofale vergetelheid" (catastrophic forgetting).

De meeste AI-onderzoekers proberen dit op te lossen door een gigantisch, supercomplex kookboek te maken dat probeert iedereen tegelijk te onthouden, of door een enorme bibliotheek aan oude recepten bij te houden om constant te herhalen.

Dit artikel stelt een andere, flexibelere aanpak voor. In plaats van te proberen alles altijd perfect te onthouden, suggereert de auteur: "Laten we vergeten, maar het makkelijk maken om het weer te onthouden."

Hier is hoe hun methode werkt, uitgelegd aan de hand van eenvoudige analogieën:

1. De "Gespecialiseerde Sous-Chefs" (LoRA Adapters)

In plaats van je hele kookboek te herschrijven, huur je een team van gespecialiseerde sous-chefs in (genoemd LoRA adapters).

Chef A is een expert in de Italiaanse keuken.
Chef B is een expert in de Japanse keuken.
Chef C is een expert in de Mexicaanse keuken.

Wanneer je voor de Italiaanse groep kookt, laat je Chef A de leiding nemen. Wanneer je overschakelt naar de Japanse groep, laat je Chef B de leiding nemen. Omdat elke chef zo gespecialiseerd is, kunnen ze een beetje roestig worden in de andere keukens als ze die een tijdje niet oefenen. Het paper accepteert deze "roestigheid" (vergetelheid) als een natuurlijk en acceptabel fenomeen.

2. De "Proeverij" (De MAE Head)

Hier komt het slimme deel. De keuken heeft een tweede, geheime taak: het reconstrueren van de ingrediënten.
Stel je voor dat, terwijl de hoofdchefs de maaltijd bereiden, een tweede, stille assistent (de Masked Autoencoder of MAE) probeert te raden hoe de rauwe ingrediënten eruit zouden moeten zien op basis van de geur en de context.

Als je Italiaans kookt, wordt de assistent heel goed in het raden van Italiaanse ingrediënten.
Als je overschakelt naar de Japanse keuken, raakt de assistent in de war omdat hij nog steeds aan Italiaanse ingrediënten denkt.

Het paper gebruikt deze verwarring als een signaal. De assistent geeft niet om de uiteindelijke maaltijd; de assistent geeft alleen om het "reconstrueren van de input". Als de reconstructie misgaat, betekent dit dat de huidige chef (de huidige LoRA) de verkeerde is voor dit specifieke moment.

3. De "Live Aanpassing" (Test-Time Training)

Dit is waar de magie gebeurt. Het paper suggereert dat je, in plaats van te proberen de juiste chef te kiezen voordat je begint met koken, de assistent de leiding geeft in realtime.

Terwijl de videostream (de data) binnenkomt, voert het systeem een snelle "proeverij" uit op de reconstructie-taak van de assistent.

Als de assistent moeite heeft, past het systeem de volumeknoppen (wegingscoëfficiënten) van de sous-chefs snel aan.
Het draait het volume omhoog voor de chef die past bij de huidige "smaak" (domein) en draait het volume van de anderen omlaag.

Omdat de data een continue stroom is (zoals een video), weet het systeem dat de volgende paar seconden waarschijnlijk op de huidige seconden zullen lijken. Daarom hoeft het systeem niet de hele keuken opnieuw te trainen; het past alleen de volumeknoppen voor een paar seconden aan totdat de assistent weer tevreden is.

Waarom dit anders is

De Oude Manier: "Ik mag de eerste groep nooit vergeten, dus ik zal hun oude recepten constant blijven herhalen." (Dit is traag en rekenintensief).
De Manier van dit Paper: "Het is oké als ik de eerste groep even vergeet. Zodra ze weer binnenkomen, gebruik ik de geur in de lucht (de reconstructie-taak) om me direct te herinneren wie ze zijn en om terug te schakelen naar hun chef."

De Resultaten

De auteurs hebben dit getest op twee zaken:

Het herkennen van acties in video's: Zoals het verschil zien tussen iemand die danst in een sportschool versus iemand die danst in een park.
Semantische segmentatie: Zoals het identificeren van objecten (auto's, bomen, mensen) in een videostream terwijl je over een campus loopt.

Ze ontdekten dat hun methode erg goed was in het afhandelen van deze veranderingen. Het presteerde beter dan methoden die probeerden alles tegelijk te onthouden, en het was bijna net zo goed als een "magische orakel" dat precies wist welke chef te kiezen vóórdat de video zelfs maar begon.

Het Nadeel

Het paper geeft toe dat dit het beste werkt wanneer de data een continue stroom is (zoals een video). Als de data willekeurig rondspringt (zoals kijken naar een foto, dan een totaal andere foto, en dan weer terug naar de eerste), kan deze methode moeite hebben omdat het ervan afhankelijk is dat het "volgende frame" vergelijkbaar is met het "huidige frame" om die snelle aanpassingen te maken.

Kortom: Probeer niet alles tegelijk in je hoofd te houden. Sta jezelf toe om te vergeten, maar houd een snelle manier achter de hand om direct terug te "snappen" naar de juiste herinnering op het moment dat je het nodig hebt.

Technische Samenvatting: Herinneren door te Reconstrueren

Probleemstelling

Het artikel behandelt Domain Incremental Learning (DIL), een specifieke uitdaging binnen Continual Learning (CL) waarbij modellen zich moeten aanpassen aan een opeenvolging van evoluerende, niet-stationaire datadomeinen zonder toegang tot de domeinidentiteit op het moment van testen. Terwijl standaard DIL-benaderingen streven naar het voorkomen van catastrofaal vergeten (het verlies van prestaties op vorige domeinen wanneer nieuwe domeinen worden geleerd), stelt dit werk dat in realistische streamingscenario's (bijv. video) data sterk temporeel gecorreleerd is en domeinverschuivingen vaak geleidelijk verlopen.

De auteurs dagen de conventionele visie uit dat vergeten strikt vermeden moet worden. In plaats daarvan betogen zij dat voor streamingdata een model dat zwaar specialiseert op het huidige domein (wat tijdelijk vergeten van andere domeinen induceert) voordelig kan zijn, mits het in staat is om snel te herstellen ("herinneren") van vorige domeinen wanneer deze opnieuw verschijnen. Het kernprobleem is hoe men Test-Time Training (TTT) op streamingvideo kan inzetten om dynamisch de juiste domeinspecifieke kennis te selecteren zonder expliciete domeinlabels.

Methodologie

De voorgestelde methode, "Remembering by Reconstructing," maakt gebruik van een dual-head architectuur gecombineerd met Low-Rank Adaptation (LoRA) en Test-Time Training.

1. Modelarchitectuur

Het model bestaat uit een gedeelde backbone encoder $E$ en twee parallelle decoders:

Main Task Head ( $M$ ): Voert de downstream taak uit (bijv. actieherkenning of semantische segmentatie).
Self-Supervised MAE Head ( $D$ ): Een Masked Autoencoder (MAE) tak die getraind is om gemaskeerde inputpatches te reconstrueren. Deze tak dient als een sonde voor domeinadaptatie.

2. Trainingsfase (Offline)

Initialisatie: Het model wordt geïnitialiseerd met een vooraf getrainde MAE-checkpoint. De encoder $E$ en de MAE-decoder $D$ worden samen met de main task head $M$ gefinetuned op een initiële taak $T_0$ .
Domeinspecifieke LoRAs: Voor elk volgend domein $T_i$ worden de basisparameters $\theta_0$ bevroren. Nieuwe, trainbare LoRA-adapters ( $\Delta_i$ ) worden geïnitialiseerd voor alle lineaire lagen in het model.
Specialisatie: Deze LoRAs worden exclusief getraind op de nieuwe domeindata met behulp van een gecombineerde loss van de hoofdtaak en de MAE-reconstructietaken. Dit proces induceert van nature vergeten op andere domeinen naarmate de LoRA specialiseert, wat zowel de hoofdhead als de MAE-head beïnvloedt.

3. Inferentiefase (Online Test-Time Training)

Tijdens de inferentie komt het model een continue datastroom tegen. Het doel is om te bepalen welke LoRA (of combinatie van LoRAs) het beste past bij de huidige input.

Gewogen Combinatie: In plaats van één enkele LoRA te selecteren of ze naïef te mergen, houdt het model een gewogen som van alle $N$ getrainde LoRAs bij:
$\theta_{TT} = \theta_0 + \sum_{k=1}^{N} c_k \Delta_k$
waarbij $c = \{c_1, ..., c_N\}$ leerbare weegcoëfficiënten zijn.
Reconstructie-gestuurde Adaptatie: De coëfficiënten $c$ worden online geoptimaliseerd met behulp van de binnenkomende datastroom:
$c = \arg \min_c \mathcal{L}_{\text{MAE}}(F_{\text{MAE}}(x_{\text{mask}}), x)$
Omdat de MAE-head tijdens de incrementele trainingsfase ook te maken kreeg met vergeten, dwingt het minimaliseren van de reconstructie-loss op het huidige domein het model om dat vergeten te "omkeren", waardoor de gewichten effectief naar de LoRA worden gestuurd die gespecialiseerd is voor het huidige domein.
Softmax Selectie: De geoptimaliseerde coëfficiënten worden door een softmax (met temperatuur $\tau$ ) gehaald voordat ze worden toegepast op de main task head om een zelfverzekerde selectie van de meest relevante LoRA te garanderen.
Efficiëntie: Alleen de kleine set coëfficiënten $c$ wordt bijgewerkt, niet het volledige model. Updates vinden periodiek plaats (bijv. elke $n$ frames) met behulp van een sliding window buffer van recente frames, wat de aanpak computationeel efficiënt maakt voor streaming.

Belangrijkste Bijdragen

Paradigmashift over Vergeten: Het artikel stelt voor om vergeten te omarmen als een mechanisme voor specialisatie, waarbij vertrouwd wordt op TTT om verloren kennis dynamisch te herstellen, in plaats van te proberen het volledig te voorkomen.
Dual-Head TTT voor DIL: Het introduceert een innovatieve toepassing van TTT in een DIL-setting, waarbij de MAE-reconstructie-loss wordt gebruikt als een proxy om het huidige domein te identificeren en de LoRA-gewichten dienovereenkomstig aan te passen.
Streaming Adaptatie: De methode is specifief ontwor면 voor videostreams waarbij opeenvolgende frames gecorreleerd zijn, wat snelle adaptatie aan geleidelijke domeinverschuivingen mogelijk maakt zonder elke frame voor updates te hoeven verwerken.
Nieuwe Benchmark: De auteurs introduceren Domains-Campus, een nieuwe dataset voor semantische segmentatie met egocentrische videostreams met geleidelijke domeinovergangen en ongeziene tussenliggende omgevingen, waarmee het gebrek aan dergelijke benchmarks in de bestaande literatuur wordt geadresseerd.

Experimentele Resultaten

De methode werd geëvalueerd op twee taken:

Video Action Recognition: Gebruikmakend van de NTU RGB+D120 dataset met een domein-incrementale opzet bestaande uit verschillende camerastandpunten en locaties.
Semantische Segmentatie: Gebruikmakend van de nieuwe Domains-Campus dataset en Places365 voor pre-training.

Belangrijkste Bevindingen:

Prestaties: De voorgestelde methode behaalde de hoogste gemiddelde nauwkeurigheid (of Dice-score) van alle baselines, inclus# van Replay, DRIFT en LoRA merging.
Vergeten: Het vertoonde aanzienlijk minder vergeten ( $F$ ) vergeleken met naïeve fine-tuning en concurrerende prestaties met state-of-the-art continual learning methoden.
Presteren boven Joint Training uit: Op de Domains-Campus dataset presteerde de methode beter dan een "Joint Fine-Tuning" baseline (waarbij alle taken gelijktijdig worden getraind). De auteurs schrijven dit toe aan het "expert"-karakter van individuele LoRAs, die een enkele generalistische modellen in hun specifieke domeinen kunnen overtreffen.
Ablatie-studies: De methode bleek robuust tegen variaties in hyperparameters. Het werkte effectief met kleine batchgroottes en update-periodes (bijv. updaten elke 16 frames), en verrassend genoeg zelfs met een window size van 1 (updaten op de huidige frame alleen).

Betekenis en Claims

Het artikel claimt dat de benadering een meer realistisch perspectief biedt op continual learning voor real-world toepassingen. Door te erkennen dat data als een continue stroom arriveert en dat tijdelijk vergeten voordelig kan zijn om de focus op het heden te leggen, maakt de methode gebruik van temporele continuïteit en lokaliteit om snelle adaptatie te bereiken.

De auteurs benadrukken dat hoewel de methode zeer effectief is voor streamingdata, het tijdens de inferentie een computationele overhead introduceert door de TTT-stap. Zij suggereren dat toekomstig werk zich kan richten op het verminderen van het aantal LoRAs (via merging of pruning) of het ontwikkelen van efficiëntere triggers voor wanneer updates noodzakelijk zijn, in plaats van periodieke updates uit te voeren.

Het werk concludeert dat het combineren van domeinspecifieke parameter-efficiënte tuning (LoRA) met online zelfgesuperviseerde adaptatie (TTT) een krachtig kader biedt voor het afhandelen van evoluerende, niet-stationaire datastromen in video-gebaseerde toepassingen.