Regularizing modality contribution drift in multimodal continual learning
Dit artikel identificeert en kwantificeert "Modality Contribution Drift" (MCD) als een kritiek probleem in multimodale continual learning waarbij de relatieve belangrijkheid van modaliteiten verschuift over taken heen, en stelt een nieuw regularisatiekader voor (CMCDR) met zowel replay-gebaseerde als replay-vrije varianten om de structuren van modaliteitsbijdragen te behouden en vergeten te mitigeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert de wereld te begrijpen. Je laat hem niet alleen plaatjes zien; je geeft hem een volledige zintuiglijke ervaring: een video van een blaffende hond, een opname van een sirene, of een foto van een zonsondergang met een beschrijving. Dit wordt multimodale leerprocessen genoemd. De robot leert deze verschillende "zintuigen" (zoals zicht en geluid) te combineren om slimme beslissingen te nemen. Maar hier komt het lastige deel bij: de wereld verandert voortdurend. Nieuwe soorten honden, nieuwe geluiden, nieuwe vragen verschijnen elke dag. Dit is continueel leren. De robot moet nieuwe dingen blijven leren zonder de oude te vergeten.
Denk aan een student die een reeks examens aflegt. Eerst leert hij dieren te herkennen. Daarna leert hij voertuigen te herkennen. Een slimme student zou niet moeten vergeten hoe hij een kat herkent, alleen omdat hij nu over vrachtwagens studeert. In het verleden probeerden wetenschappers dit op te lossen door ervoor te zorgen dat het "brein" van de robot (de interne representatie) consistent bleef. Ze wilden dat de robot een kat en een vrachtwagen op een manier zag die niet rommelig werd. Maar dit artikel suggereert dat het stabiel houden van de interne kaart van de robot niet genoeg is. Het echte probleem is hoe de robot die kaart gebruikt om een uiteindelijke beslissing te nemen. Vertrouwt hij vooral op wat hij ziet? Of luistert hij meer? Als de robot een nieuwe taak leert die vereist dat hij meer luistert, kan hij per ongeluk beginnen met het negeren van de visuele aanwijzingen waar hij vroeger op vertrouwde. Dit fenomeen noemt het artikel Modality Contribution Drift (verschuiving in de bijdrage van modaliteiten). Het is als een student die, na het leren van een nieuw vak, plotseling antwoorden op oude wiskundevragen probeert te raden op basis van een onderbuikgevoel dat hij voorheen nooit gebruikte, wat tot fouten leidt.
De onderzoekers, Zhen Zhang en haar team van de Southwest Jiaotong University, merkten op dat huidige methoden dit specifieke type vergeten misten. Ze ontdekten dat zelfs wanneer het interne begrip van de robot voor afbeeldingen en geluiden hetzelfde bleef, de manier waarop de robot deze inputs weging om een keuze te maken, aan het verschuiven was. Om dit op te lossen, hebben ze een nieuwe methode uitgevonden genaamd Continual Modality Contribution Drift Regularization (CMCDR).
Beschouw CMCDR als een strikte "beslissingscoach" voor de robot. Wanneer de robot een nieuwe taak leert, controleert deze coach: "Hé, weet je nog hoe je dat oude probleem oploste? Je vertrouwde op een specifieke mix van zintuigen om het goed te doen. Verander dat recept niet alleen omdat je iets nieuws hebt geleerd." De methode werkt op twee manieren. Als de robot een geheugenbank heeft met oude voorbeelden (replay-gebaseerd), test de coach de robot op die oude voorbeelden om er zeker van te zijn dat hij nog steeds de juiste mix van zintuigen gebruikt. Als de robot geen oude voorbeelden heeft (replay-vrij), gebruikt de coach de nieuwe voorbeelden als testbed, waarbij hij de robot vraagt te doen alsof hij de oude problemen oplost en ervoor zorgt dat hij niet afwijkt van zijn oorspronkelijke strategie.
Het team testte deze idee op verschillende uitdagende datasets, waaronder audio-visuele taken zoals het herkennen van geluiden in video's en het beantwoorden van vragen over afbeeldingen. Ze ontdekten dat het simpelweg toevoegen van hun "coach" aan bestaande methoden een enorm verschil maakte. Zo verhoogde het toevoegen van CMCDR aan een standaardmethode genaamd iCaRL de gemiddelde nauwkeurigheid van de robot op een dataset genaamd AVE van 64,20% naar 71,90%, en halveerde het het vergetelheidscijfer (van 25,60% naar 17,40%). Nog interessanter was dat ze lieten zien dat CMCDR werkt naast andere methoden die proberen de interne hersenstructuur van de robot stabiel te houden. Het is also[f] het hebben van een coach die het beslissingsproces corrigeert, terwijl een andere coach de geheugenorganisatie van de hersenen op orde houdt; samen werken ze beter dan elk van hen alleen.
Het artikel suggereert dat deze "drift" een echt en afzonderlijk probleem is dat eerdere methoden niet volledig hebben aangepakt. Ze bewezen via experimenten dat het enkel stabiel houden van de interne kenmerken van de robot (erop zorgen dat hij een kat op dezelfde manier ziet) niet garandeert dat hij dezelfde beslissing neemt (vertrouwen op zicht versus geluid). Door direct de bijdrage van elk zintuig te reguleren, lieten ze zien dat robots nieuwe dingen kunnen leren zonder hun oude beslissingsgewoonten te verliezen. Dit is niet zomaar een kleine aanpassing; het is een nieuw principe voor hoe we machines continu leren, zodat ze niet alleen feiten onthouden, maar ook onthouden hoe ze die dingen in de eerste plaats begrepen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.