Stel je voor dat je een robot leert om dieren te herkennen. Eerst laat je het afbeeldingen van katten en honden zien. Later wil je dat het leert over leeuwen en tijgers zonder de katten en honden te vergeten. Dit is een lastig probleem voor kunstmatige intelligentie omdat een robot, terwijl hij nieuwe dingen leert, vaak de oude dingen "catastrofaal vergeet", waardoor zijn geheugen wordt gewist. Om dit op te lossen, laten wetenschappers de robot meestal oude foto's opnieuw zien terwijl hij nieuwe dingen leert. Maar wat als je die oude foto's niet kunt bewaren? Misschien bevatten ze privé-informatie, of heb je gewoon geen harde schijfruimte meer.

Hier komt een slimme truc genaamd "generatieve replay" om kijken. In plaats van de robot oude echte foto's te laten zien, vraag je een super-slimme AI-kunstenaar om nieuwe afbeeldingen van de oude dieren vanaf nul te tekenen. De robot leert dan van deze neptekeningen terwijl hij de echte nieuwe dieren bestudeert. Het klinkt perfect, toch? Je krijgt de voordelen van het onthouden zonder de originele foto's nodig te hebben. Maar er is een addertje onder het gras: de robot raakt in de war. Hij stopt met kijken naar wat het dier is en begint te kijken naar hoe de afbeelding is gemaakt. Hij leert te zeggen: "Oh, dit ziet eruit als een tekening, dus het moet een oud dier zijn," en "Dit ziet eruit als een foto, dus het moet een nieuw dier zijn." Hij neemt een luie afkorting in plaats van daadwerkelijk het dier te leren kennen.

Dit artikel, getiteld "Breaking the Synthetic-Real Domain Shortcut for Training-Free Generative Replay-based Class Incremental Learning", pakt precies die verwarring aan. De onderzoekers, onder leiding van Tao Zhang en collega's, ontdekten dat wanneer een AI gemengde AI-gegenereerde oude foto's combineert met echte nieuwe foto's, de AI in de war raakt door de "textuur" van de afbeeldingen. Ze stellen een nieuwe methode voor genaamd DREAM (Domain-Regularized Exemplar-free Alignment Model) om dit op te lossen. In plaats van de robot te laten worden afgeleid door het verschil tussen "echte" en "nep" foto's, werkt DREAM als een speciaal filter dat die verschillen gladstrijkt. Het dwingt de robot om de "tekenstijl" te negeren en zich alleen te concentreren op de "vorm van het dier". Het resultaat? De robot leert nieuwe dieren zonder de oude te vergeten, en dat doet hij allemaal zonder de AI-kunstenaar opnieuw te hoeven trainen of privéfoto's op te slaan.

Het Problewerp: De "Echt vs. Nep" Valstrik

Om te begrijpen waarom dit zo'n groot ding is, moeten we kijken naar hoe het brein van de robot werkt. Wanneer een AI naar een afbeelding kijkt, breekt deze de afbeelding af in kenmerken. Sommige kenmerken vertellen het over de inhoud (zoals "puntige oren" of "strepen"). Andere kenmerken vertellen het over de stijl of het domein (zoals "dit ziet eruit als een foto gemaakt met een camera" versus "dit ziet eruit als een digitale schildering").

In een perfecte wereld zou de robot alleen om de inhoud geven. Maar in de echte wereld, wanneer je een bevroren AI-kunstenaar (één die niet leert of verandert) gebruikt om oude foto's te maken, hebben die foto's altijd een specifieke "smaak". Ze kunnen een iets andere belichting hebben, een bepaalde soort korrel, of een bepaalde manier van randen renderen. Dit is wat de auteurs een "Domain Shortcut" noemen.

Denk aan een leraar die een student een toets geeft. De student hoort vragen over geschiedenis te beantwoorden. Maar de leraar schrijft de geschiedenisvragen per ongeluk op blauw papier en de geografievragen op rood papier. De student, die erg slim maar ook erg lui is, stopt met het lezen van de vragen en kijkt alleen naar de kleur van het papier. "Blauw papier? Dat is geschiedenis. Rood papier? Dat is geografie." De student haalt een perfect cijfer voor de toets, maar heeft eigenlijk geen geschiedenis of geografie geleerd. Hij heeft alleen de afkorting geleerd.

In het geval van de AI, wanneer hij een "Echte" foto van een oude kat ziet (die hij in zijn huidige trainingssessie nog nooit eerder heeft gezien), raakt hij in paniek. Hij denkt: "Wacht, dit is een Echte foto! Maar ik ken alleen Echte foto's van de nieuwe dieren die ik net heb geleerd. Daarom moet deze oude kat een nieuw dier zijn!" De AI classificeert de oude kat foutief als een nieuw leeuw of tijger, niet omdat hij niet weet hoe een kat eruitziet, maar omdat hij geobsedeerd is door het feit dat de foto "Echt" is.

De auteurs ontdekten dat deze afkorting zo sterk is dat zelfs als de AI-gegenereerde foto's ongelooflijk hoogwaardig zijn en precies lijken op de echte dieren, de AI nog steeds faalt. De AI geeft prioriteit aan het "Echt vs. Synthetisch" verschil boven het eigenlijke "Kat vs. Leeuw" verschil. Dit zorgt ervoor dat de AI alles wat hij leerde over de oude klassen vergeet wanneer hij ze later in de echte wereld probeert te herkennen.

De Oplossing: DREAM en het "Magische Filter"

De onderzoekers realiseerden zich dat het probleem niet de kwaliteit van de tekeningen was; het was de kloof tussen de tekeningen en de foto's. Om dit op te lossen, hebben ze DREAM uitgevonden.

Stel je voor dat je twee groepen mensen hebt: Groep A (de door AI gegenereerde oude dieren) en Groep B (de echte nieuwe dieren). Ze staan in een kamer, maar Groep A draagt blauwe hoeden en Groep B draagt rode hoeden. De AI kijkt naar hen en zegt: "Blauwe hoed? Dat is een oud dier. Rode hoede? Dat is een nieuw dier." Hij negeert het feit dat beide groepen eronder eigenlijk hetzelfde T-shirt dragen (de semantische betekenis van het dier).

DREAM werkt als een magische hoedenverwijderaar. Het haalt niet alleen de hoeden af; het hervormt de kamer zodat de verschillen tussen de "blauwe hoed" en de "rode hoed" volledig verdwijnen. Dit doet het via een paar slimme stappen:

1. De "Hoed" Richting Vinden: De AI kijkt naar de nieuwe dieren (zowel de echte als de door AI gegenereerde exemplaren van hetzelfde nieuwe dier). Omdat het hetzelfde dier is, moet elk verschil tussen hen de "hoed" zijn (het domeinverschil). De AI gebruikt een wiskundig hulpmiddel genaamd Singular Value Decomposition (SVD) om de exacte richting te vinden waar dit "hoed"-verschil leeft. Het is alsof je de specifieke frequentie op een radio zoekt waar de statische ruis het hardst is.
2. De Zachte Projectie: Zodage het die "ruis"-richting heeft gevonden, blaast het deze niet zomaar weg (wat per ongeluk het gezicht van het dier zou kunnen wissen). In plaats daarvan gebruikt het een "zachte projectie". Stel je voor dat je op een verend matras drukt. Je drukt het "hoed"-gedeelte van de data plat, maar je laat het "dier"-gedeelte verend en intact. Dit wordt Feature Domain Rectification (FDR) genoemd. Het dwingt de AI om de data op een nieuwe manier te bekijken waarbij het "Echt vs. Synthetisch" verschil bijna nul is.
   3.Het Anker: Om ervoor te zorgen dat de AI niet de weg kwijtraakt terwijl hij de hoeden corrigeert, gebruiken ze een Real-Anchored Prototype Consolidation (RAPC). Denk aan dit als een vuurtoren. De AI houdt een "geheugen" bij van hoe de echte dieren eruitzien (de vuurtoren). Vervolgens duwt het de door AI gegenereerde dieren voorzichtig dichter naar die vuurtoren toe, om ervoor te zorgen dat ze perfect uitlijnen met de echte wereld.

De Resultaten: Werkt het?

De auteurs testten DREAM op vier verschillende datasets, die als verschillende niveaus van een videogame werken, variërend van eenvoudig (CIFAR-10, met 10 soorten objecten) tot complex (TinyImageNet, met 200 soorten objecten).

De resultaten waren indrukwekkend. In het simpelste spel (CIFAR-10) behaalde de oude manier van doen (gewoon het mengen van nep en echte foto's) een nauwkeurigheid van ongeveer 55% wanneer de taak moeilijker werd. DREAM verhoogde dat naar 89%. Dat is een enorme sprong.

Op de complexere spellen, zoals CIFAR-100 (100 soorten objecten), hadden de oude methoden moeite om ook maar iets te onthouden. DREAM behield echter een hoge nauwkeurigheid en bereikte 69,73% in een moeilijk scenario van 10 taken, waarmee het de vorige beste methoden met een aanzienlijke marge versloeg.

Een van de coolste onderdelen van dit artikel is dat DREAM niet vereist dat de AI-kunstenaar iets nieuws leert. De kunstenaar is "bevroren" — het is slechts een hulpmiddel dat afbeeldingen tekent op basis van tekst. De auteurs gebruikten een krachtig hulpmiddel genaamd Qwen-Image (en testten ook met Stable Diffusion 1.5) om de afbeeldingen te genereren. Ze hoefden niet urenlang de kunstenaar te trainen om beter te worden in het tekenen van katten of leeuwen. Ze gebruikten de kunstenaar gewoon zoals hij was, en DREAM deed het zware werk van het oplossen van de verwarring.

Waarom dit ertoe doet

Dit artikel is belangrijk omdat het een grote flessenhals oplost in het maken van AI die continu kan leren. Lange tijd dachten mensen dat de enige manier om te voorkomen dat AI vergeet, was om ofwel alle oude foto's op te slaan (wat slecht is voor de privacy), ofwel de AI-kunstenaar constant opnieuw te trainen (wat traag en duur is).

DREAM laat zien dat je beide kunt hebben. Je kunt AI gebruiken om oude herinneringen te genereren, en je kunt dit doen zonder de generator opnieuw te trainen, zonder privéfoto's op te slaan, en zonder dat de AI in de war raakt door het "nep" karakter van de tekeningen.

De auteurs suggereren dat deze methode robuust is. Zelfs als ze een andere AI-kunstenaar gebruikten of afbeeldingen van twee verschillende kunstenaars mengden, werkte DREAM nog steeds goed. Dit suggereert dat het "afkortingsprobleem" een universeel probleem is bij dit type leren, en hun "hoeden-verwijderende" filter is een algemene oplossing.

Uiteindelijk bewijst DREAM dat het probleem niet was dat de AI niet kon leren; het was dat de AI werd bedrogen door de stijl van de afbeeldingen. Door de stijl te corrigeren, kan de AI eindelijk focussen op de inhoud, waardoor hij nieuwe dingen leert terwijl hij de oude veilig in zijn geheugen houdt. Het is een stap naar AI die echt kan groeien en leren zoals een mens, zonder een enorme harde schijf nodig te hebben om alles wat hij ooit heeft gezien op te slaan.