Continual Video-MLLM Adaptation over Evolving Domains
Dit artikel stelt Distribution-Aware Expert Routing (DAER) voor, een parameterefficiënt framework dat gebruikmaakt van domein-geïsoleerde lichtgewicht experts met intra- en inter-domein routeringsmechanismen om Video-MLLM's in staat te stellen zich aan te passen aan continu evoluerende domeinen, terwijl catastrofale vergetelheid en cross-domein interferentie worden voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot leert om de wereld te begrijpen via video's. Deze robot, een "Video Multimodal Large Language Model" (Video-MLLM), is als een briljante student die al elk boek heeft gelezen en elke film heeft bekeken. Hij weet hoe hij vragen moet beantwoorden over een kat die een laserpointer achterna jaagt of een auto die door een storm rijdt. Maar hier komt de crux: in de echte wereld verschijnen nieuwe soorten video's niet allemaal tegelijk; ze komen één voor één binnen, dag na dag. Misschien zijn het vandaag verkeerscamera's, morgen tekenfilms en de dag daarna natuurkundige experimenten.
Het probleem is dat wanneer je de robot iets nieuws leert, hij vaak vergeet wat hij gisteren heeft geleerd. Dit wordt "catastrofale vergetelheid" genoemd. Het is alsof een student voor een wiskundetoets studeert, slaagt voor de toets, maar onmiddellijk daarna vergeet hoe hij moet lezen omdat hij zo gefocust is op de nieuwe wiskunde. Eerdere pogingen om dit op te lossen hielden in dat men probeerde de robot alles in één grote, gedeelde hersenpan te leren, maar dat zorgde voor te veel verwarring, of men probeerde oude video's op te slaan om de robot later te laten zien, wat veel geheugen in beslag neemt. Wetenschappers wilden een manier vinden om de robot continu nieuwe dingen te leren zonder zijn oude vaardigheden te verliezen of een enorme bibliotheek aan oude video's nodig te hebben.
Ontmoet een nieuw team van onderzoekers die met een slimme oplossing kwamen genaamd DAER (Distribution-Aware Expert Routing). Denk aan de hersenen van de robot als een gigantische, bevroren bibliotheek die nooit verandert. In plaats van de boeken in de bibliotheek te herschrijven, bouwt DAER een reeks kleine, gespecialiseerde "studiegroepen" of "expertteams" die buiten de bibliotheek zitten. Elk team is toegeweijd aan een specifiek type video, zoals een "Verkeersteam", een "Tekenteam" of een "Wetenschapsteam".
Wanneer een nieuwe video arriveert, raadt het systeem niet gewoon welk team gebruikt moet worden. In plaats daarvan gebruikt het een speciaal "detective"-instrument genaamd MMD (Maximum Mean Discrepancy). Stel je dit instrument voor als een geur-snuffelaar die de "vibe" van de video kan ruiken. Als de video ruikt naar een drukke snelweg, stuurt de snuiver het naar het Verkeersteam. Als het ruikt naar een grappige tekenfilm, gaat het naar het Tekenteam. Dit zorgt ervoor dat het Verkeersteam alleen leert over auto's en nooit in de war raakt door tekenfilms, en vice versa. Dit houdt het leerproces zuiver en voorkomt dat de robot zijn herinneringen door elkaar haalt.
Maar wat als de robot niet weet wat de naam van de videocategorie is terwijl hij ernaar kijkt? Geen probleem. Het systeem heeft een tweede detective die de video bekijkt in een speciale "discriminatieve ruimte" (een chique manier om te zeggen dat het naar de unieke vingerafdruk van de video kijkt) om erachter te komen welk expertteam het stokje moet overnemen. Nog beter: als twee soorten video's erg op elkaar lijken (zoals twee verschillende soorten verkeersvideo's), kan het systeem hun studiegroepen voorzichtig samenvoegen om ruimte te besparen, zodat de robot niet te zwaar wordt met te veel teams.
De onderzoekers testten dit idee op een uitdagende opdracht: het leren van de robot tien zeer verschillende soorten video-vragen, variërend van "Hoe is het verkeer?" tot "Waarom is deze goocheltruc grappig?". Ze gebruikten twee krachtige robotbreinen om hun methode te testen. De resultaten waren indrukwekkend. Op een van de sterkste robotbreinen (InternVideo2.5-8B) verhoogde hun methode de gemiddelde nauwkeurigheid van 64,38% naar 67,59%. Nog belangrijker was dat het de robot stopte met het vergeten van oude lessen. Terwijl andere methoden ervoor zorgden dat de robot 1,81% van wat hij wist, verminderde DAER de vergetelheid zelfs tot -0,14%, wat betekent dat de robot alles perfect onthield en zelfs iets beter werd in oude taken.
Het team liet ook zien dat hun methode veel efficiënter is. Terwijl een eerdere topmethode 302,30 miljoen trainbare parameters nodig had en 1,46 seconde nodig had om een video te verwerken, had DAER slechts 139,54 miljoen parameters en 1,33 seconde nodig. Dit betekent dat de robot sneller leert, minder energie verbruikt en niet een enorme computer nodig heeft om te draaien.
Kortom, het artikel suggereert dat door de hoofdbrein bevroren te houden en gebruik te maken van slimme, gespecialiseerde teams die worden aangestuurd door de "geur" van de data, we AI continu kunnen leren in een veranderende wereld zonder de controle te verliezen. De onderzoekers vonden dat deze aanpak beter werkt dan het proberen te delen van een enkele hersenpan of het simpelweg herhalen van oude video's, en biedt een stabiele en efficiënte manier voor video-robots om elke dag slimmer te worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.