Technische Samenvatting: Orthogonale Kennisverversing voor Domein-Incrementele Objectdetectie

1. Probleemdefinitie

Het artikel behandelt Domein-Incrementele Objectdetectie (DIOD), een uitdagende setting waarbij een model sequentieel moet adapteren aan nieuwe, afzonderlijke datadomeinen (bijv. veranderende weersomstandigheden, artistieke stijlen of scènetypes) terwijl de prestaties op eerder geleerde domeinen behouden blijven.

De kernuitdaging in DIOD is catastrofale vergetelheid, waarbij het adapteren aan een nieuw domein de kritieke kenmerkrepresentaties die geleerd zijn van voorgaande domeinen overschrijft. Bestaande oplossingen kampen met aanzienlijke beperkingen:

• Replay-gebaseerde methoden vereisen het opslaan van historische exemplaren, wat vaak verboden is vanwege privacybeperkingen en geheugenoverhead.
• Knowledge distillation heeft moeite met substantiële domeinverschuivingen en wordt beperkt door de statische capaciteit van de onderliggende architectuur.
• Architectuur-gebaseerde methoden breiden sub-netwerken uit voor elke taak, wat leidt tot onbeheersbare computationele en geheugenkosten naarmate het aantal taken groeit.
• Parameter-Efficient Fine-Tuning (PEFT) methoden (bijv. prompt learning, bias tuning) lijden vaak aan inter-domein interferentie. Wanneer gedeelde parameters gezamenlijk worden geoptimaliseerd, verstoren updates voor nieuwe domeinen de kenmerkstatistieken die essentieel zijn voor voorgaande domeinen, wat leidt tot prestatievermindering.

2. Methodologie: Orthogonale Kennisverversing (OKR)

De auteurs stellen Orthogonal Knowledge Refreshing (OKR) voor, een framework dat is ontworpen om conflictvrije capaciteitsuitbreiding mogelijk te maken zonder domeinselectie tijdens inferentie. De methode is gebouwd op een pre-trained ViTDet backbone en maakt gebruik van Low-Rank Adaptation (LoRA).

A. Low-Rank Subspace Expansie

In plaats van een enkele parameterruimte te delen of oppervlakkige input-embeddings te gebruiken, bouwt OKR incrementeel onafhankelijke, domeinspecifieke subspaces op.

• Voor elk nieuw domein $t$ wordt een toegewezen LoRA-branch (matrices $A_t$ en $B_t$) geïnjecteerd in de feature extractor.
• Alleen de nieuwe LoRA-parameters zijn trainbaar; voorgaande branches blijven bevroren.
• Lineaire Fusie: Door gebruik te maken van de lineaire additiviteit van LoRA, worden alle branches naadloos gefuseerd tijdens zowel training als inferentie ($W_t = W_0 + \sum B_i A_i$). Dit maakt holistische besluitvorming mogelijk zonder redundante forward passes of de noodzaak voor een domeinrouter.

B. Gradient-gebaseerde Orthogonale Verversing (GOR)

Om te voorkomen dat de updates van het nieuwe domein interfereren met de historische subspaces, gebruikt OKR een gradiënt-gebaseerde strategie:

• Subspace Approximatie: Voordat er getraind wordt op taak $t$, benadert de methode de gradiënt-subspace $\mathcal{M}_t$ die gespannen wordt door voorgaande taken. Dit wordt bereikt door Singular Value Decomposition (SVD) uit te voeren op de geaggregeerde feature-matrix afgeleid van de huidige input en de bevroren historische gewichten.
• Orthogonale Projectie: De gradiënt-updates voor de nieuwe LoRA-parameters worden geprojecteerd op het orthogonale complement van de historische subspace ($\mathcal{M}_t^\perp$).
• Mechanisme: De update-regel is $\nabla_w L_t = \nabla_w L_t - (\nabla_w L_t)\mathcal{M}_t(\mathcal{M}_t)^T$. Dit zorgt ervoor dat nieuw leren plaatsvindt in richtingen die minimaal gecorreleerd zijn met bestaande kennis, waardoor de voorgaande kenmerkdistributies worden behouden terwijl er wordt geadapteerd aan nieuwe.

C. Topologie-bewuste Consistentie (TAC)

Hoewel subspace-expansie parameters isoleert, brengt dit het risico op semantische fragmentatie met zich mee, waarbij kenmerken van dezelfde klasse divergeren over verschillende domeinen.

• OKR dwingt topologie-bewuste consistentie af door de semantische structuren van nieuwe domeinen af te stemmen op een basisdomein.
• Class-prototypes worden berekend als confidence-weighted gemiddelden van features.
• Een consistentieverlies ($L_{tac}$) minimaliseert de cosinusafstand tussen de nieuwe domein-prototypes en hun overeenkomstige basis-prototypes, gewogen door de bijbehorende confidence. Dit handhaaft structurele consistentie en intra-klasse compactheid over de incrementele sequentie.

3. Belangrijkste Bijdragen

1. OKR Framework: Een nieuwe aanpak voor DIOD die laag-rang, domeinspecifieke subspaces incrementeel uitbreidt, wat conflictvrije adaptatie mogelijk maakt zonder historische data of domeinrouting.
2. Gradient-gebaseerde Orthogonale Verversing: Een strategie die de gradiënt-richtingen van nieuwe domeinen beperkt tot zijnde orthogonaal aan historische subspaces, wat interferentie effectief minimaliseert en catastrofale vergetelheid voorkomt.
3. Topologie-bewuste Consistentie: Een mechanisme om semantische fragmentatie te verzachten door class-prototypes over domeinen heen af te stemmen, wat zorgt voor semantisch coherente representaties.
4. State-of-the-Art Prestaties: Uitgebreide experimenten die significante verbeteringen laten zien ten opzichte van bestaande exemplar-vrije en PEFT-gebaseerde methoden.

4. Experimentele Resultaten

De auteurs hebben OKR geëvalueerd op drie benchmarks: Pascal VOC-serie (stijlverschuivingen), BDD100K-serie (scèneverschuivingen in autonoom rijden) en VOC-Corruption-serie (laagniveau visuele corrupties).

• Pascal VOC: OKR presteerde beter dan de beste exemplar-vrije methode (LDB+SOYO) met +5,6% mAP in de laatste sessie. Het overtrof ook de beste exemplar-gebaseerde methode (TP-DIOD-B) met +7,7% mAP, ondanks het feit dat er geen exemplaren werden gebruikt.
• BDD100K: OKR behaalde winsten van +6,5% mAP ten opzichte van de beste exemplar-vrije baseline (LDB+SOYO).
• VOC-Corruption: In een uitdagende 16-domein sequentie behaalde OKR 61,0% mAP, waarmee het LDB met +10,3% versloeg en een superieure stabiliteit-plasticiteit trade-off demonstreerde.
• Efficiëntie: De methode introduceert slechts een toename van 1,8% in totale parameters. Door lineaire fusie is er geen domeinrouting nodig tijdens inferentie, wat snellere inferentiesnelheden oplevert (0,1348 s/sample) vergeleken met baselines zoals LDB (0,2836 s/sample).

5. Betekenis en Claims

Het artikel claimt dat OKR een nieuwe state-of-the-art vestigt voor Domein-Incrementele Objectdetectie. De betekenis ligt in:

• Oplossen van het Stabiliteit-Plasticiteit Dilemma: Door leren te ontkoppelen in orthogonale subspaces, bereikt OKR snelle adaptatie aan nieuwe domeinen zonder het behoud van oude kennis op te offeren.
• Praktische Implementatie: Het opereert onder strikte exemplar-free restricties, wat het geschikt maakt voor real-world toepassingen (bijv. autonoom rijden) waar het opslaan van historische data onmogelijk is.
• Architecturale Efficiëntie: In tegen tegenstelling tot methoden die complexe routing of model-expansie vereisen, behoudt OKR een vaste modelgrootte en inferentiekosten door naadloze lineaire fusie van LoRA-branches.
• Robuustheid: Het framework handelt effectief diverse verschuivingen af, van artistieke stijlveranderingen tot zware weercorrupties, zonder de prestatievermindering die typerend is voor voorgaande incrementele leerbenaderingen.