🤖 machine learning

Unlocking Compositional Generalization in Continual Few-Shot Learning

Dit artikel stelt een nieuw continu few-shot learning-framework voor dat representatieleren ontkoppelt van compositieve inferentie door gebruik te maken van de patch-niveau geometrie van zelftoezichtende Vision Transformers om slotrepresentaties te optimaliseren voor een holistische klassenidentiteit tijdens het trainen en deze dynamisch te combineren voor nieuwe concepten tijdens de inferentie, waardoor state-of-the-art generalisatie wordt bereikt terwijl catastrofaal vergeten wordt geminimaliseerd.

Oorspronkelijke auteurs: Phu-Quy Nguyen-Lam, Phu-Hoa Pham, Dao Sy Duy Minh, Chi-Nguyen Tran, Huynh Trung Kiet, Long Tran-Thanh

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Phu-Quy Nguyen-Lam, Phu-Hoa Pham, Dao Sy Duy Minh, Chi-Nguyen Tran, Huynh Trung Kiet, Long Tran-Thanh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Probleem van het "Nooit-Eindigende Examen"

Stel je een student voor die een reeks examens aflegt.

De Uitdaging: Elke week introduceert de leraar een compleet nieuw vak (bijv. Week 1: Vogels, Week 2: Auto's, Week 3: Abstracte Kunst).
De Vangst: De student ziet slechts vijf afbeeldingen van elk nieuw vak.
De Valstrik: De student moet deze nieuwe vakken leren zonder de oude te vergeten, en cruciaal, ze moeten in staat zijn om volledig nieuwe combinaties te herkennen die ze nooit eerder hebben gezien (bijv. als ze "Rode Auto's" en "Blauwe Vogels" hebben geleerd, kunnen ze dan een "Rode Vogel" of een "Blauwe Auto" herkennen zonder ooit zo'n combinatie in de klas te hebben gezien?).

De meeste huidige AI-modellen falen hierin. Ze vergeten óf de oude vakken (catastrofaal vergeten) óf ze blijven steken in het memoriseren van de specifieke vijf afbeeldingen die ze zagen, en falen om de onderdelen te begrijpen waar het object uit bestaat.

Het Kernidee: Bouwen met LEGO Steentjes

De auteurs betogen dat om dit op te lossen, een AI een afbeelding niet moet zien als één grote, wazige vlek. In plaats daarvan moet het de afbeelding opsplitsen in individuele LEGO-steentjes (objecten).

Oude Manier: De AI ziet een "Rode Auto" en memoriseert de hele vorm. Als het een "Blauwe Auto" ziet, raakt het in paniek omdat de kleur niet klopt.
Nieuwe Manier (COMPOSE): De AI leert het "Auto"-steentje en het "Rood"-steentje apart te identificeren. Later, als het een "Blauwe Auto" ziet, herkent het het "Auto"-steentje en het "Blauw"-steentje, zelfs al heeft het die specifieke combinatie nooit eerder gezien.

De Twee Grote Fouten (en Hoe COMPOSE Ze Oplost)

Het artikel identificeert twee specifieke redenen waarom eerdere pogingen tot deze "LEGO-aanpak" faalden, en stelt een tweestapsoplossing voor genaamd COMPOSE.

Fout #1: De "Vuilne Lens" (Vervuiling van Representaties)

Het Probleem: Om de LEGO-steentjes te vinden, gebruikt de AI een vooraf getraind "oog" (een Vision Transformer). Echter, de oude methoden probeerden de afbeelding "op te schonen" met behulp van een complex intern geheugen (een GRU genaamd). De auteurs ontdekten dat dit interne geheugen "vuil" werd van te veel ruis, waardoor de steentjes door elkaar werden gehaald. Het was alsof je probeerde LEGO-steentjes te sorteren door een mistig, bevlekt raam.

De Oplossing: Stop met schoonmaken, begin met lezen.
De auteurs realiseerden zich dat het vooraf getrainde "oog" (specifiek een dat zonder menselijke labels is getraind, een Self-Supervised ViT) de wereld al helder ziet. Het groepeert pixels die tot hetzelfde object behoren op natuurlijke wijze.

De Analogie: In plaats van te proberen de steentjes met een onhandige hand opnieuw te sorteren, maken ze gewoon een directe foto van de steentjes zoals ze natuurlijk op de tafel liggen. Ze slaan de rommelige stap van het interne geheugen volledig over. Dit houdt de "LEGO-steentjes" puur en onderscheiden.

Fout #2: De "Te Voorbereide Student" (De Compositieve Valstrik)

Het Probleem: Bij het trainen van de AI probeerden eerdere methoden het door onderdelen direct op elkaar af te stemmen. "Dit rode vlak moet overeenkomen met het rode vlak in de trainingsset."

Het Resultaat: De AI werd een "papegaai". Het memoriseerde precies waar het rode vlak op een specifieke auto zat. Als het rode vlak iets verschuof, of als de auto een ander model was, raakte de AI in de war. Het leerde specifieke rollen voor zijn onderdelen (bijv. "Sleuf 1 is altijd het wiel", "Sleuf 2 is altijd de deur") in plaats van het algemene concept van "wiel" of "deur" te leren.

De Oplossing: Train Holistisch, Test Compositief.
Dit is de slimste truc van het artikel. Ze splitsen het proces in twee volledig verschillende fasen:

Fase 1 (Training): De "Groepsfoto"-Aanpak.
- De AI krijgt een afbeelding te zien en wordt gevraagd het hele object te identificeren (bijv. "Dit is een Auto").
- Het mag niet kijken naar individuele onderdelen of ze afstemmen op specifieke trainingsvoorbeelden.
- Waarom? Dit dwingt de AI om een algemeen, flexibel begrip te leren van hoe een "Auto" er als geheel uitziet, zonder specifieke onderdelen vast te pinnen aan stijve rollen. Het houdt de "LEGO-steentjes" flexibel.
Fase 2 (Testen): De "PuzzelOplosser"-Aanpak.
- Nu krijgt de AI een nieuwe, vreemde afbeelding te zien (bijv. een "Rode Vogel").
- Het mag de afbeelding wel opsplitsen in onderdelen en ze stuk voor stuk afstemmen op wat het heeft geleerd.
- Waarom? Omdat de onderdelen flexibel zijn getraind (in Fase 1), kan de AI nu succesvol het "Rood"-steentje en het "Vogel"-steentje samenvoegen, zelfs al heeft het ze nooit samen gezien.

De Resultaten: Waarom Het Belangrijk Is

De auteurs testten dit op standaard benchmarks (zoals het herkennen van objecten in synthetische roosters en natuurlijke foto's).

De Claim: COMPOSE behaalde de beste resultaten ooit voor het herkennen van volledig nieuwe concepten (94,14% nauwkeurigheid op de moeilijkste test).
De Efficiëntie: Het deed dit terwijl het bijna geen extra rekenkracht gebruikte. Het hoefde het grote "oog" (de backbone) niet opnieuw te trainen; het voegde alleen een kleine, lichtgewicht "router" toe (ongeveer 0,7% van de totale grootte) om de onderdelen te beheren.
De Vergelijking: Andere methoden die probeerden het hele systeem fijn te tunen, deden uren over en faalden toch in het herkennen van nieuwe combinaties. COMPOSE deed dit in minuten en slaagde.

Samenvatting in Eén Zin

COMPOSE leert een AI om nieuwe dingen te herkennen door eerst te leren het hele plaatje helder te zien zonder vast te komen te zitten in details, en het vervolgens die duidelijke onderdelen als LEGO-steentjes te laten assembleren om puzzels op te lossen die het nog nooit heeft gezien.

Wat het Artikel Niet Claimt

Het claimt niet dat dit werkt voor medische diagnose of klinisch gebruik.
Het claimt niet dat dit alle AI-problemen oplost, alleen dit specifieke type leren (Continual Few-Shot Learning).
Het claimt niet dat de AI "bewust" is of de wereld "begrijpt"; het herkent simpelweg patronen beter dan eerdere methoden.
Het merkt expliciet op dat als het onderliggende "oog" (het vooraf getrainde model) slecht is in het zien van objectvormen, deze methode ook zal worstelen. De kwaliteit van de "LEGO-steentjes" hangt af van de kwaliteit van de "doos" waar ze in zaten.

Technische Samenvatting: Compositional Generalization in Continual Few-Shot Learning ontsluiten

Probleemstelling

Het artikel behandelt de uitdaging van Continual Few-Shot Learning (CFSL), waarbij een model sequentieel nieuwe concepten moet verwerven uit beperkte voorbeelden zonder eerder geleerde kennis te degraderen. Een kritieke bottleneck in dit regime is compositional generalization: het vermogen om nieuwe concepten te herkennen die zijn gevormd door ongezette combinaties van bekende onderdelen (bijvoorbeeld een "groen overhemd" wanneer alleen "rode overhemden" en "groen gras" zijn gezien).

Bestaande benaderingen falen hierin vanwege twee met elkaar verweven structurele gebreken:

Representatievervuiling: Standaard slot-attentionmechanismen vertrouwen vaak op recurrente GRU-toestanden om slotrepresentaties bij te werken. Deze toestanden coderen routeringsdynamiek (hoe concurrerende slots onderdrukt moeten worden) in plaats van puur visuele inhoud, waardoor de semantische geometrie van de backbone wordt aangetast.
De Compositional Trap: Training met matchingdoelen op part-niveau (bijvoorbeeld Chamfer-afstand) tijdens de leerfase dwingt slots om te over-specialiseren in specifieke lokale patronen van geziene concepten. Dit creëert gradientrichtingen die specifiek zijn voor slots, waardoor het model niet kan generaliseren naar echt nieuwe concepten (ongezette combinaties) tijdens de inferentie.

Methodologie: Het COMPOSE-kader

De auteurs stellen COMPOSE voor, een tweefasig kader dat representatieleren strikt ontkoppelt van compositional inference. De kerninzicht is dat training en inferentie fundamenteel verschillende doelen vereisen.

1. Structurele Basis: Zelftoezicht Geometrie

Het kader vertrouwt op de inherente patch-level semantische geometrie van zelftoezicht Vision Transformers (ViTs) zoals DINOv2. In tegenstelling tot supervised ViTs, die globale klassendiscriminatie leren, leren zelftoezichtmodellen lokale consistentie waarbij patches van hetzelfde object van nature clusteren. Deze geometrie is een strikte voorwaarde voor betrouwbare objectdecompositie.

2. Fase I: Holistische Training (Representatieleren)

Slot-extractie: In plaats van de recurrente GRU-verborgen staat ( $s_k$ ) te gebruiken als slotrepresentatie, berekent COMPOSE een directe attention-gewogen aggregate ( $\tilde{\phi}_k$ ) uit de patch-features van de bevroren backbone. Dit omzeilt de recurrente bottleneck, behoudt de ongerepte semantische geometrie van de backbone en verbetert aanzienlijk de slot-puurheid.
Doel: Het model wordt getraind met een holistische prototype cross-entropy loss. Slots worden geaggregeerd via een lichtgewicht, trainbare MLP-router om een enkele image-level embedding te vormen, die wordt geoptimaliseerd om te matchen met de klassenprototype.
Beperking: Er wordt een cross-correlatieboete toegepast op de ruwe slotprojecties om slot-collaps (redundantie) te voorkomen zonder de conflicterende variantiebeperkingen op te leggen die in andere regularisatiemethoden (zoals VICReg) voorkomen.
Cruciaal onderscheid: Er wordt tijdens de training geen matching op part-niveau uitgevoerd (bijvoorbeeld Chamfer-afstand). Dit voorkomt de "compositional trap" waarbij gradienten slots dwingen om te specialiseren in specifieke lokale delen.

3. Fase II: Compositional Inference (Matching van Nieuwe Concepten)

Bevroren Componenten: Alle backbone- en routergewichten zijn bevroren. Er worden geen gradienten berekend.
Matchingstrategie: Nieuwe scènes worden gematcht met supportklassen met behulp van bidirectionele Chamfer-afstand op de gecentreerde, per-slot projecties.
Gecombineerde Score: De uiteindelijke voorspellingsscore is een gewogen mix van de holistische score (vanaf Fase I-embeddings) en de compositional score (vanaf matching op part-niveau). Hierdoor kan het model gebruikmaken van de robuuste klassenidentiteit die tijdens de training is geleerd, terwijl het tegelijkertijd de compositional structuur benut voor de herkenning van nieuwe concepten.

Belangrijkste Bijdragen

Slotrepresentaties Heroverwogen: Het artikel identificeert zelftoezicht patch-geometrie als een voorwaarde voor objectgerichte decompositie. Het vervangt recurrente GRU-toestanden door attention-gewogen aggregates, en toont aan dat deze wijziging de slot-puurheid aanzienlijk verbetert en de geometrische structuur behoudt die noodzakelijk is voor transfer buiten de verdeling.
Diagnose en Ontsnapping aan de Compositional Trap: De auteurs bewijzen analytisch dat matchingdoelen op part-niveau slot-specifieke gradientrichtingen induceren die over-specialisatie veroorzaken. Zij stellen een strikte fasenscheiding voor: holistische training om generaliseerbare object-level geometrieën te behouden, gevolgd door compositional inference om nieuwe scènes te matchen.
Transfer van Nieuwe Concepten Drijft Continu Robuustheid: Het kader bereikt state-of-the-art prestaties op de unseen-concept split (noc) van de CFST-benchmark, met een nauwkeurigheid van 94,14% op CGQA. Deze robuustheid tegenover nieuwe concepten vertaalt zich naar minimaal catastrofisch vergeten op standaard benchmarks voor continual learning (MiniImageNet, ImageNet-R, CUB200, CIFAR100).

Experimentele Resultaten

CFST Benchmark (CGQA): COMPOSE behaalt 94,14% op de noc (ongezette concepten) split, en presteert beter dan sterke baselines zoals CoFiMA (91,97%) en RanPAC (88,60%). Het bereikt ook een hoge harmonische mean ( $H_a$ ) van 92,92%.
Ablatiestudies:
- Het verwijderen van de holistische trainingsdoelstelling (Chamfer gebruiken tijdens training, "COMPOSE-CT") laat de noc-prestatie met ongeveer 2,5 procentpunten dalen, wat de "compositional trap" bevestigt.
- Het vervangen van de attention-gewogen aggregate door de standaard GRU-toestand laat de noc met ongeveer 3,6 procentpunten dalen, wat de belangrijkheid valideert van het behoud van de backbone-geometrie.
- Het verwijderen van de cross-correlatieboete veroorzaakt een aanzienlijke daling (ongeveer 5,5 procentpunten), wat de rol benadrukt in het voorkomen van slot-redundantie.
Continual Learning Benchmarks: Op standaard FSCIL- en CIL-taken vermindert COMPOSE vergeten aanzienlijk (bijvoorbeeld het verminderen van FF van 27,91% naar 3,54% op CIFAR-100 in vergelijking met Comp-FSCIL) terwijl het een concurrerende gemiddelde nauwkeurigheid behoudt.
Efficiëntie: De methode vereist slechts ongeveer 5 minuten training per dataset (training van een lichtgewicht router op een bevroren backbone), in vergelijking met ongeveer 4 uur voor methoden voor volledige backbone-finetuning zoals CoFiMA.

Betekenis en Claims

Het artikel beweert dat het falen van eerdere continual learners om te generaliseren naar nieuwe concepten niet louter een kwestie is van data of capaciteit, maar een structureel conflict tussen hoe representaties worden geëxtraheerd en hoe ze worden geoptimaliseerd.

Door de trainingsfase (gericht op holistische klassenidentiteit om generaliseerbare geometrie te behouden) strikt te scheiden van de inferentiefase (gericht op compositional matching), toont COMPOSE aan dat modellen representaties kunnen leren die algemeen genoeg zijn om ongezette concepten te herkennen zonder te vergeten. De auteurs benadrukken dat deze aanpak afhankelijk is van de kwaliteit van de onderliggende zelftoezicht backbone-geometrie; wanneer deze geometrie zwak is (bijvoorbeeld in supervised ViTs), degradeert slot-decompositie, wat compositional transfer beperkt.

Het werk suggereert dat robuustheid voor nieuwe concepten de sleutel is tot het minimaliseren van catastrofisch vergeten in continual learning, aangezien representaties die algemeen genoeg zijn om ongezette combinaties te hanteren, inherent minder vatbaar zijn voor over-specialisatie en drift.