💬 NLP

Continual Visual Learning under Evolving Semantic Concept Shift

Dit artikel introduceert SemReWrite, een framework dat is ontworpen om evoluerende semantische conceptverschuivingen in visuele foundation models te verwerken door selectief verouderde visuele-semantische mapping bij te werken terwijl geldige kennis behouden blijft, gevalideerd via een nieuwe benchmark (EvoShift-Bench) en gespecialiseerde evaluatiemetrieken.

Oorspronkelijke auteurs: Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin de regels voor het benoemen van dingen veranderen, maar de dingen zelf niet. Een auto blijft een auto op elke foto, maar een nieuwe verkeerswet kan plotseling vereisen dat we onderscheid maken tussen een "privévoertuig", een "commerciële vrachtwagen" en een "hulpverleningsvoertuig" op basis van subtiele details die voorheen werden genegeerd. Op dezelfde manier kan een vogel die voorheen simpelweg een "mus" werd genoemd, door een nieuwe wetenschappelijke studie worden geherclassificeerd in twee verschillende soorten, of kan een fabrieksfout worden geherdefinieerd door een strengere veiligheidsnorm. Dit is de realiteit voor langdurige computervisie-systemen: de visuele wereld blijft hetzelfde, maar de betekenis die we eraan toekennen evolueert. Decennialang hebben onderzoekers op het gebied van kunstmatige intelligentie zich gericht op het aanleren van het herkennen van objecten door computers, zelfs wanneer de verlichting verandert of de camerahoek verschuift. Echter, er is een nieuwe uitdaging ontstaan: hoe leren we een computer om zijn woordenboek van betekenissen bij te werken zonder de kennis die hij al heeft geleerd uit te wissen?

Een team van onderzoekers heeft dit probleem aangepakt door een nieuw framework te ontwikkelen genaamd SemReWrite. Hun werk richt zich op een specifiek en moeilijk scenario dat bekend staat als "evolving semantic concept shift" (evoluerende semantische conceptverschuiving). In deze situatie verandert het visuele bewijs dat een AI ziet niet, maar de definitie van wat dat bewijs vertegenwoordigt wel. Denk aan een autonoom rijden systeem dat aanvankelijk alle bewegende voertuigen als één categorie behandelt. Later vereist een nieuw beleid dat het systeem passagiersauto's van hulpverleningsvoertuigen scheidt omdat ze verschillende acties vereisen. De afbeeldingen van de auto's zien er identiek uit, maar het juiste antwoord voor de computer is fundamenteel veranderd. Traditionele methoden voor het bijwerken van AI-modellen falen hier vaak. Als je het model simpelweg opnieuw traint op de nieuwe regels, kan het de nieuwe onderscheiden leren, maar vergeet het hoe het de oude, nog steeds geldige categorieën moet afhandelen. Als je probeert de oude kennis te strikt te beschermen, kan het model weigeren de nieuwe regels te leren. De onderzoekers ontdekten dat de oplossing niet ligt in het kiezen tussen leren en onthouden, maar in het doen van beide op selectieve wijze.

De kern van hun aanpak is een systeem dat werkt als een zorgvuldige redacteur in plaats van een onbeschreven blad. Wanneer de semantische regels veranderen, analyseert het systeem eerst het verschil tussen de oude definitie en de nieuwe. Het gebruikt een klein aantal nieuwe voorbeelden, gelabeld met de bijgewerkte regels, om precies aan te wijzen welke delen van de visuele wereld door deze verandering worden beïnvloed. Als bijvoorbeeld de regel verandert om onderscheid te maken tussen typen voertuigen, identificeert het systeem dat de visuele kenmerken van de grootte of vorm van het voertuig nu cruciaal zijn, terwijl de kenmerken van de weg of het weer irrelevant zijn voor de nieuwe definitie. Zodra het weet waar de verandering relevant is, past het een gerichte update toe op alleen die specifieke gebieden van het besluitvormingsproces van het model. De rest van het model, dat de delen van de wereld afhandelt die niet zijn veranderd, blijft onaangetast. Dit zorgt ervoor dat het systeem de nieuwe definities leert zonder per ongeluk de oude, correcte definities te vergeten.

Om dit idee te testen, creëerden de onderzoekers een nieuwe benchmark genaamd EvoShift-Bench, die verschillende manieren simuleert waarop betekenissen kunnen evolueren. Ze testten scenario's waarbij een enkele categorie splitst in tweeën, waarbij twee categorieën samensmelten tot één, waarbij de grens tussen categorieën verschuift, en waarbij geheel nieuwe categorieën worden ingevoegd. Ze testten ook situaties waarin het visuele uiterlijk van de wereld tegelijkertijd met de definities verandert, zoals wanneer een systeem getraind op duidelijke foto's moet adapteren aan schetsen of beelden met weinig licht. In deze tests presteerde het nieuwe framework consequent beter dan bestaande methoden. Terwijl andere benaderingen ofwel faalden in het leren van de nieuwe regels, ofwel de oude regels vergaten, bereikte deze selectieve herschrijfmethode een hoge score op beide gebieden. Het slaagde erin de nieuwe onderscheiden te leren terwijl de nauwkeurigheid van de onveranderde concepten behouden bleef.

De resultaten laten zien dat het systeem bijzonder efficiënt is. Het kan deze nieuwe semantische regels leren met zeer weinig voorbeelden—soms slechts één of twee afbeeldingen per nieuwe categorie. Dit is cruciaal omdat het in de echte wereld vaak moeilijk en duur is om een groot aantal nieuwe, correct gelabelde afbeeldingen te verkrijgen. De onderzoekers ontdekten ook dat het systeem een opeenvolging van veranderingen in de tijd kan afhandelen. Naarmate de regels door meerdere fasen evolueerden, bleef het systeem zich aanpassen zonder fouten te accumuleren of het vermogen om stabiele concepten te herkennen te verliezen. Cruciaal was dat het systeem in staat was om de oude, onjuiste associaties te onderdrukken. Het leerde niet alleen het nieuwe antwoord; het stopte ook actief met het voorspellen van het oude, nu onjuiste antwoord voor de betreffende afbeeldingen. Dit onderscheid is essentieel: een goed adaptatiesysteem moet niet alleen weten wat nu waar is, maar ook weten wat niet langer waar is.

De studie suggereert dat de toekomst van langdurige visuele systemen ligt in dit soort selectieve updates. In plaats van alle kennis als even permanent of even vervangbaar te beschouwen, moeten deze systemen in staat zijn om te identificeren welke delen van hun begrip verouderd zijn en welke delen geldig blijven. Door een helder begrip van hoe de definities zijn veranderd te combineren met een precieze mechanisme voor het bijwerken van alleen de noodzakelijke delen van het model, hebben de onderzoekers een weg vooruit gedemonstreerd voor AI die kan groeien en veranderen samen met de wereld die zij observeert. Het werk beweert niet elk probleem in kunstmatige intelligentie op te lossen, maar biedt een concrete en effectieve methode voor het afhandelen van de specifieke, complexe realiteit van veranderende betekenissen in een statische visuele wereld.

Technische Samenvatting: Voortdurend Visueel Leren onder Evoluerende Semantische Conceptverschuiving

1. Probleemdefinitie: Evoluerende Semantische Conceptverschuiving

Het artikel adresseert een kritieke beperking in huidige visuele fundamentmodellen en adaptatiestrategieën: de aanname dat hoewel de verschijning van data kan veranderen (covariabele verschuiving), de semantische betekenis van de voorspellingsopgave constant blijft. In langdurige systemen (bijv. autonoom rijden, industriële inspectie, ecologische monitoring) evolueren de definities van concepten zelf door veranderingen in taxonomieën, beleid of besluitcriteria.

De auteurs definiëren Evoluerende Semantische Conceptverschuiving als een scenario waarin de voorwaardelijke waarschijnlijkheid $P(Y|X)$ verandert, zelfs wanneer de marginale distributie van visueel bewijs $P(X)$ constant blijft. In deze setting:

Kan dezelfde visuele input over de tijd een andere semantische interpretatie vereisen.
Faalt conventionele domeinadaptatie omdat het ervan uitgaat dat de taaksemantiek statisch is.
Faalt standaard voortdurend leren (CL) omdat het primaire doel is om alle vergeten te voorkomen, terwijl semantische evolutie juist selectief vergeten vereist van verouderde associaties terwijl geldige associaties behouden blijven.
Cruciaal is dat deze verschuiving vaak onidentificeerbaar is vanuit ongelabelde visuele stromen alleen; als de beelddistributie niet verandert, kunnen statistische tests niet detecteren dat de etiketteringsregel is gewijzigd. Daarom vereist adaptatie expliciete zijinformatie met betrekking tot de semantische revisie.

2. Methodologie: Het SEMREWRITE-framework

De auteurs stellen SEMREWRITE voor, een framework ontworpen om verouderde visueel-semantische mapping selectief bij te werken terwijl geldige kennis behouden blijft. Het framework werkt via vier hoofdfasen:

A. Representatie van Semantische Verandering

Het systeem vergelijkt de oude semantische specificatie ( $S_t$ ) en de herziene specificatie ( $S_{t+1}$ ) met behulp van een bevroren tekstencoder (bijv. uit CLIP).

Prototypes: Semantische definities worden gecodeerd als genormaliseerde tekstprototypes ( $z_c$ ).
Semantische Delta: Voor persistente concepten wordt de verandering gerepresenteerd als een verplaatsingsvector $\Delta z_c = z_{t+1}^c - z_t^c$ . Deze vector legt de richting van de semantische beweging in de taal-embeddingruimte vast.
Graph Memory: Een gestructureerd semantisch conceptgeheugen ( $G_t$ ) houdt relaties bij (bijv. is-een, onderdeel-van) om complexe operaties zoals splitsen, samenvoegen en herdefiniëren van concepten af te handelen.

B. Lokalisatie van Geaffecteerde Concepten

Omdat de visuele stroom alleen de verschuiving niet kan onthullen, combineert het framework de semantische specificatie met een kleine set herziene supervisievoorbeelden ( $D_{few}$ ) om te schatten welke inputs worden beïnvloed.

Semantische Discrepantie: Het berekent de Jensen-Shannon (JS) divergentie tussen de oude en de herziene tekst-geïnduceerde waarschijnlijkheidsverdelingen voor een input $x$ .
Sample-Level Localizer: Een lichtgewicht netwerk $g_\psi$ wordt getraind op de schaarse herziene voorbeelden om een "veranderingsdoel" $r_i$ te voorspellen, wat aangeeft of de label van een input is veranderd ten opzichte van het oude model.
Rewrite Gate: Deze signalen worden gecombineerd in een continue poort $a(x) \in [0, 1]$ , die de waarschijnlijkheid schat dat een input $x$ semantische herschrijving vereist.

C. Selectieve Concept Herschrijven

Het framework maakt gebruik van een input-afhankelijke low-rank adaptatiemechanisme.

Low-Rank Update: In plaats van de volledige backbone te finetunen, introduceert het trainbare low-rank matrices $U, V$ (LoRA-stijl) om een residuele transformatie te creëren.
Gemoduleerde Adaptatie: Het residu wordt geschaald door de poort $a(x)$ $a (x)$ .
- Als $a(x) \approx 1$ (beïnvloed gebied), past het model een sterke update toe om uit te lijnen met de nieuwe semantiek.
- Als $a(x) \approx 0$ (niet-beïnvloed gebied), blijft het model dicht bij de bevroren representatie, waardoor geldige kennis wordt behouden.

D. Leermethoden (Learning Objectives)

De trainingsverliesfunctie ( $L_{total}$ ) is een gewogen som van vijf componenten:

$L_{new}$ : Standaard cross-entropy op de herziene supervisie om de nieuwe regel te leren.
$L_{pres}$ : Een preservatieverlies dat kennis distilleert voor concepten met ongewijzigde semantiek en dit weegt met $(1-a(x))$ om ongeïnteresseerde regio's te beschermen.
$L_{erase}$ : Een doelstelling om expliciet de waarschijnlijkheid van conflicterende oude beslissingen op beïnvloede samples te onderdrukken (het voorkomen van "spook"-associaties van verouderde concepten).
$L_{sem}$ : Een semantische consistentieverlies die ervoor zorgt dat aangepaste prototypes dicht bij hun tekstdefinities blijven en de relationele grafenstructuren behouden.
$L_{reg}$ : Regularisatie om de low-rank updates compact te houden.

3. Belangrijkste Bijdragen

Probleemformulering: Het artikel definieert formeel Evoluerende Semantische Conceptverschuiving, waarbij het onderscheid maakt met covariabele verschuiving, domeinadaptatie en standaard class-incremental learning. Het benadrukt de theoretische onmogelijkheid om dergelijke verschuivingen te detecteren met enkel ongelabelde visuele data.
Framework (SEMREWRITE): Een nieuw architectuur die expliciete semantische zijinformatie koppelt aan schaarse supervisie om beïnvloede regio's te lokaliseren en selectieve, input-afhankelijke modelherschrijving uit te voeren.
Benchmark (EVOSHIFT-BENCH): Een nieuwe evaluatiesuite die ImageNet, iNaturalist, CUB-200-2011 en DomainNet beslaat. Het dekt diverse verschuivingstypen: class split, merge, boundary revision, insertion, partial redefinition, recurrence en gemengde semantische-verschijningsverschuivingen.
Evaluatiemetrieken: De auteurs introduceren metrieken specifiek voor selectieve revisie:
- Rewrite Accuracy (RA): Prestaties op beïnvloede regio's.
- Preservation Accuracy (PA): Prestaties op ongeïnteresseerde regio's.
- Obsolete Retention (OR): De waarschijnlijkheid die behouden blijft door verouderde semantische associaties.
- Selective Revision Score (SRS): Een harmonisch gemiddelde van RA en PA om herschrijven en behoud te balanceren.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met CLIP ViT-B/16 (en gevalideerd op SigLIP en DINOv2) tegenover baselines inclusief full fine-tuning, LoRA, methoden voor voortdurend leren (EWC, LwF, Replay) en prompt-gebaseerde adaptatie.

Prestatiebalans: SEMREWRITE behaalde de hoogste Selective Revision Score (SRS) over alle verschuivingstypes (bijv. 90,7% gemiddelde SRS versus 80,1% voor Full Fine-Tuning en 81,5% voor Replay).
Selectief Vergeten: Terwijl Full Fine-Tuning een hoge RA (84,7%) maar een lage PA (80,1%) bereikte, wat duidt op catastrofaal vergeten van stabiele concepten, behaalde SEMREWRITE zowel een hoge RA (88,9%) als een hoge PA (93,4%).
Onderdrukking van Veroudering (Obsolete Suppression): SEMREWRITE verminderde de Obsolete Retention (OR) aanzienlijk tot 7,9%, vergeleken met 13,6% voor Full Fine-Tuning en 21,9% voor Replay, wat het vermogen aantoont om verouderde regels actief te verwijderen in plaats van ze enkel te overschrijven.
Annotatie-efficiëntie: De methode bleef effectief met extreem schaarse supervisie (1-shot), waarbij de semantische specificatie als een sterke prior werd gebruikt.
Gemengde Verschuivingen: In scenario's waar semantische verschuivingen werden gecombineerd met covariabele verschuivingen (bijv. schets of corruptie), presteerde SEMREWRITE beter dan domeinadaptatiemethoden (zoals StatA) en prompt-only methoden, die er niet in slaagden de gelijktijdige verandering in beslissingsregels te verwerken.
Voortdurende Evolutie: Over vijf opeenvolgende revisies behield SEMREWRITE een PA boven de 92% en hield het OR onder de 10%, wat stabiliteit toont zonder accumulerende interferentie.

5. Betekenis en Claims

Het artikel claimt dat succesvolle adaptatie onder semantische evolutie een paradigmaverschuiving vereist van "het voorkomen van alle vergeten" naar "het selectief behouden van wat waar blijft terwijl men herschrijft wat verouderd is geraakt."

De auteurs argumenteren dat:

Standaard adaptatiemethoden ontoereikend zijn omdat ze ofwel falen om de beslissingsgrens bij te werken (prompt-only) ofwel geldige kennis vernietigen (globale fine-tuning).
Methoden voor voortdurend leren ontoereikend zijn omdat ze alle voorgaande kennis als waardevol behandelen en er niet in slagen onderscheid te maken tussen "schadelijk vergeten" (verlies van geldige concepten) en "wenselijk vergeten" (verwijderen van verouderde associaties).
Het voorgestelde SEMREWRITE-framework aantoont dat door expliciet de semantische verandering te modelleren en de visuele impact ervan te lokaliseren, modellen kunnen adapteren aan evoluerende definities zonder massale hertraining of te lijden onder catastrofale interferentie.

Het werk concludeert dat de kernuitdaging in langdurige visuele systemen niet alleen het leren van nieuwe datadistributies is, maar het dynamisch beheren van de geldigheid van semantische mappings naarmate de definities van de wereld veranderen.