Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation

In de wereld van kunstmatige intelligentie zijn computers opmerkelijk goed geworden in het zien. Ze kunnen een kat in een foto identificeren of een stopbord op een straat herkennen met een nauwkeurigheid die die van het menselijk oog evenaart. Deze vaardigheid komt voort uit enorme modellen die getraind zijn op miljarden afbeeldingen, waardoor ze een algemeen begrip van de visuele wereld leren. Deze krachtige systemen zijn echter vaak rigide. Wanneer een ingenieur probeert zo'n model te leren om specifieke objecten in een nieuwe omgeving te herkennen — zeg, het onderscheiden tussen verschillende soorten vissen in een troebele rivier versus een helder aquarium — worstelt het model. De visuele stijl, belichting en achtergrond van de nieuwe omgeving zijn te verschillend van wat het eerder heeft geleerd. Om dit op te lossen, moeten onderzoekers meestal het hele enorme model opnieuw trainen, een proces dat traag en duur is en vaak de algemene kennis die het model al bezat, vernietigt. Een efficiëntereere aanpak is ontstaan, waarbij wetenschappers kleine, gerichte aanpassingen aan het model maken, terwijl de hoofdbrein onaangetast blijft. Dit is als het toevoegen van een kleine, gespecialiseerde lens aan een camera in plaats van het bouwen van een nieuwe camera vanaf nul. Toch kampen zelfs deze kleine aanpassingen met een probleem: een enkele, vaste aanpassing kan vaak niet de enorme variëteit aan verschillende visuele werelden aan die een computer moet kunnen navigeren.

Suraj Yadav, een onderzoeker aan het Indraprastha Institute of Information Technology Delhi, heeft een nieuwe manier voorgesteld om dit puzzelstuk op te lossen. Het doel was om een systeem te creëren dat een bevroren, vooraf getraind visiemodel tegelijkertijd aan veel verschillende domeinen kan aanpassen zonder de kennis te versnipperen of een enorme hoeveelheid extra rekenkracht te vereisen. Eerdere pogingen om dit op te lossen omvatten het gebruik van een "mixture of experts" (een mengeling van experts), een methode waarbij het model over verschillende gespecialiseerde subroutines heeft, oftewel experts, en een aparte controller beslist welke expert gebruikt moet worden voor elke afbeelding. Hoewel effectief, fungeert deze controller als een aparte poortwachter, wat extra complexiteit en parameters toevoegt. Yadav's werk, getiteld Self-Routed Tensor Adapters, verwijdert deze externe poortwachter volledig. In plaats van een aparte controller te vragen om een pad te kiezen, zorgt het nieuwe systeem ervoor dat de afbeelding zelf bepaalt hoe het model zich moet aanpassen, met behulp van een compacte, gedeelde structuur die verschillende leerstijlen on the fly mengt.

De kern van deze nieuwe methode is een slimme heroverweging van hoe het model zijn nieuwe kennis opslaat. Stel je de aanpassingsruimte van het model niet voor als een collectie van afzonderlijke, geïsoleerde experts, maar als een enkele, gedeelde bibliotheek van visuele factoren. In deze bibliotheek houdt het model een kernset van aanpasbare stukken bij die gemengd en gecombineerd kunnen worden. Wanneer een nieuwe afbeelding arriveert, projecteert het systeem deze in een laagdimensionale ruimte en gebruikt die projectie om te berekenen hoeveel van elk stuk uit de bibliotheek gebruikt moet worden. Deze berekening vindt automatisch en direct plaats op basis van de eigen kenmerken van de afbeelding, zonder dat er een apart beslissingsnetwerk nodig is. Het systeem mengt deze stukken vervolgens samen om een aangepaste aanpassing voor die specifieere afbeelding te creëren. Als de afbeelding op een schets lijkt, haalt het systeem meer uit het "schets"-gedeelte van de bibliotheek; als het op een foto lijkt, haalt het meer uit het "foto"-gedeelte. Dit mengen gebeurt vloeiend, waardoor het model gemeenschappelijke kennis kan delen over vergelijkbare domeinen terwijl het nog steeds specialiseert voor unieke domeinen.

Om ervoor te zorgen dat het model leert om deze mengbeslissingen correct uit te voeren, hebben de onderzoekers een trainingsmethode geïntroduceerd die het systeem bij elke stap van zijn verwerking begeleidt. Ze ontdekten dat als het model alleen wordt verteld of het het uiteindelijke antwoord goed heeft, het moeite kan hebben om de routing van informatie in de vroege stadia van de verwerking correct te leren. Daarom voegden ze een secundair trainingssignaal toe dat de routingbeslissingen bij elke laag van het netwerk superviseert, waardoor het model een duidelijker pad krijgt om te leren welke visuele factoren bij welk domein horen. Dit helpt het model om onderscheidende paden voor verschillende soorten afbeeldingen te ontwikkelen, terwijl de algehele structuur compact en efficiënt blijft.

De resultaten van deze aanpak zijn indrukwekkend in hun efficiëntie. Bij tests op vijf verschillende benchmarks met diverse visuele domeinen — variërend van kunststijlen tot realistische foto's en cijferherkenning — behaalde de nieuwe methode een nauwkeurigheid die concurrerend was met, en in sommige gevallen zelfs iets beter dan, bestaande state-of-the-art methoden. De echte doorbraak ligt echter in de kosten. In een setting met vier verschillende domeinen had de nieuwe methode slechts 2,77 miljoen trainbare parameters nodig om haar resultaten te behalen. In vergelijking daarmee had een toonaangevende alternatieve methode die gebruikmaakt van aparte expert-banks 9,52 miljoen parameters nodig voor dezelfde taak. In een setting met zes domeinen werd het gat nog groter, waarbij de nieuwe methode slechts 3,00 miljoen parameters gebruikte vergeleken met de 14,31 miljoen van de concurrent. Dit betekent dat het nieuwe systeem vergelijkbare prestaties levert terwijl het ongeveer drie tot vijf keer minder parameters gebruikt.

De onderzoekers observeerden ook hoe het systeem intern functioneert. Bij het visualiseren van de routingbeslissingen ontdekten ze dat het systeem voor zeer duidelijke domeinen, zoals verschillende kunststijlen, leerde om bijna uitsluitend specifieke paden te activeren, vergelijkbaar met een schakelaar die naar een enkele instelling wordt omgezet. Voor meer gelijkaardige of overlappende domeinen leerde het systeem meerdere paden samen te voegen, waarbij kennis werd gedeeld waar dat zinvol was. Dit gedrag suggereert dat het systeem niet simpelweg aparte regels voor elk domein onthoudt, maar een flexibele, gedeelde representatie leert die de relaties tussen hen begrijpt. De studie suggereert dat universele visuele adaptatie geen enorm leger van afzonderlijke experts of een complexe externe controller vereist. In plaats daarvan kan een compacte, gedeelde structuur die de input toestaat om zijn eigen aanpassing te sturen, een hoge prestatie leveren met een fractie van de computationele kosten, wat een veelbelovend pad biedt voor het maakbaarder en efficiënter maken van grote visiemodellen.