Technische Samenvatting: PILOT – Een datavrije aanpak voor continu leren voor real-time semantische segmentatie

1. Probleemstelling

Real-time semantische segmentatiemodellen, zoals PIDNet, bieden een cruciaal evenwicht tussen nauwkeurigheid en inferentiesnelheid voor autonome systemen. Deze modellen staan echter voor een aanzienlijke beperking bij implementatie in dynamische omgevingen: het onvermogen om incrementeel nieuwe objectklassen te leren zonder hertraining op het volledige dataset. Standaard fine-tuning-methoden leiden tot catastrofaal vergeten, waarbij het model parameters overschrijft om de verliezen op nieuwe data te minimaliseren, wat resulteert in een drastische daling van de prestaties op eerder geleerde klassen.

Bestaande strategieën voor continu leren (CL) vertrouwen vaak op data-replay (opslaan van subsets van oude data) of zware regularisatietechnieken. Hoewel deze effectief zijn voor offline, hoog-capaciteit modellen (bijv. ResNet-101 gebaseerde architecturen), introduceren deze benaderingen aanzienlijke geheugenoverhead en rekenkosten, waardoor ze ongeschikt zijn voor lichtgewicht, real-time systemen waarbij frames per seconde (FPS) en modelgrootte van het grootste belang zijn. Bovendien slagen veel bestaande CL-methoden er niet in om de specifieke architecturale beperkingen van real-time backbones zoals PIDNet aan te pakken.

2. Methodologie: Het PILOT-kader

Het artikel stelt PILOT (Parallel Incremental Learning Over Time) voor, een nieuw, replay-vrij kader voor continu leren dat specifiek is toegesneden op de PIDNet-architectuur. De kernfilosofie is het structureel isoleren van het leren van nieuwe klassen van het behoud van oude kennis.

2.1. Architecturaal Ontwerp

Het kader maakt gebruik van de inherente drie-tak structuur van PIDNet:

• P-Tak (Proportioneel): Verwerkt semantische context.
• I-Tak (Integraal): Verfijnt intermediaire kenmerken en aggregeert context.
• D-Tak (Differentieel): Gewijd aan detectie van randen met hoge frequentie.

PILOT werkt via twee distincte paden:

1. Bevroren Basisnetwerk: Na de initiële training op basisklassen ($C_0$) wordt het volledige oorspronkelijke PIDNet-basisnetwerk (P-, I- en D-takken) en de oorspronkelijke segmentatiekop strikt bevroren. Dit zorgt ervoor dat de kenmerkrepresentaties en randdefinities voor de oorspronkelijke klassen onaangetast blijven, wat een harde verdediging biedt tegen catastrofaal vergeten.
2. Parallelle Randtak: Om nieuwe klassen ($C_t$) te accommoderen, wordt een lichtgewicht, onbevroren Parallelle Randtak geïntroduceerd. Deze tak loopt parallel met de bevroren D-tak en deelt dezelfde RGB-ingang. Ze is structureel identiek aan de oorspronkelijke D-tak, maar wordt geïnitieerd als een trainbaar module.
   • Deze parallelle tak leert representaties van randen met hoge frequentie specifiek voor de nieuwe klassen.
   • Haar output wordt ingevoerd in een dedicate Kop voor Nieuwe Klassen, die segmentatiemaskers genereert voor de incrementele categorieën.

2.2. Trainingsstrategie

De aanpak is volledig datavrij (replay-vrij). Tijdens incrementele stappen:

• Het model wordt uitsluitend geoptimaliseerd met het dataset van de nieuwe klasse ($D_t$).
• Gradienten worden berekend en toegepast alleen op de parameters van de Parallelle Randtak en de Kop voor Nieuwe Klassen.
• De massieve parameters van het basisnetwerk blijven onaangeroerd, waardoor de rekenlast van full-network fine-tuning of complexe multi-scale kenmerkdistillatie wordt geëlimineerd.

2.3. Inferentie-routing

Tijdens implementatie fuseert een op vertrouwen gebaseerd routingmechanisme de voorspellingen:

• De parallelle tak evalueert eerst het tafereel op nieuwe klassen.
• Als de vertrouwensscore van een pixel een drempel ($\tau$) overschrijdt, wordt deze geclassificeerd als de nieuwe klasse.
• Als de vertrouwensscore onder de drempel ligt, schakelt het systeem terug naar het bevroren PIDNet-basisnetwerk om legacy-klassen te voorspellen.
  Dit zorgt ervoor dat nieuwe objecten alleen worden gesegmenteerd wanneer het model zeer zeker is, waardoor de integriteit van de voorspellingen voor basisklassen in alle andere gebieden behouden blijft.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Een Nieuw Replay-Vrij Kader: PILOT is een kader voor continu leren voor PIDNet dat catastrofaal vergeten effectief mitigeert zonder geheugen-intensieve replay-buffers of offline hertraining te vereisen.
2. Randgerichte Plasticiteit: De studie toont aan dat informatie over randen met hoge frequentie, vastgelegd door de D-tak, voldoende is voor het leren van nieuwe semantische categorieën. Door deze tak te isoleren, kan het model zich aanpassen aan nieuwe categorieën terwijl de stabiliteit van de P- en I-takken behouden blijft.
3. Real-time Evaluatie: De methode wordt geëvalueerd op het Cityscapes-dataset met behulp van een scenario voor klassen-incrementeel leren, wat de effectiviteit bewijst in het behouden van real-time prestaties tijdens aanpassing aan nieuwe categorieën.

4. Experimentele Resultaten

Het kader werd geëvalueerd op het Cityscapes-dataset onder standaard protocollen voor klassen-incrementeel leren (14-1 en 10-1).

• Stabiliteit versus Plasticiteit: Met behulp van de PIDNet-M backbone bereikte PILOT een algehele mIoU van 71,87% na het leren van 19 klassen (beginnend bij 15). Cruciaal was dat het een stabiliteit van basisklassen van 77,38% behield (95,6% van de initiële basisprestatie behoudend), wat aanzienlijk beter presteerde dan naïeve fine-tuning (die daalde tot ~60%) en andere state-of-the-art methoden zoals PLOP en MiB.
• Vergelijking met SOTA: Op het 14-1-protocol behaalde PILOT 76,52% mIoU op basisklassen en 49,20% op nieuwe klassen, wat beter presteerde dan methoden zoals TOPICS (73,03% basis, 42,47% nieuw) en PLOP (63,54% basis, 15,38% nieuw), ondanks het gebruik van een lichtere backbone (PIDNet versus ResNet-101).
• Ablatiestudies:
  • Verbindingspunt: Het bevestigen van de parallelle tak aan de D-tak leverde de beste resultaten op (72,65% algehele mIoU), wat bevestigt dat randkenmerken optimaal zijn voor incrementeel leren.
  • Modelcapaciteit: De variant met middelgrote capaciteit (PIDNet-M) presteerde consistent beter dan zowel de kleinere (S) als de grotere (L) varianten, wat suggereert dat excessieve capaciteit (L) kan leiden tot overfitting op beperkte nieuwe data, terwijl S onvoldoende capaciteit mist.
• Kwalitatieve Resultaten: Visualisaties bevestigden dat PILOT nieuwe klassen (bijv. Bus, Trein, Fiets) succesvol segmenteert met scherpe randen, terwijl de segmentatiekwaliteit van oorspronkelijke klassen (bijv. Weg, Persoon) behouden blijft, waardoor het ruis en verwarring die typisch zijn voor catastrofaal vergeten worden vermeden.

5. Betekenis en Claims

Het artikel claimt dat PILOT succesvol de kloof overbrugt tussen geavanceerde strategieën voor continu leren en de strikte latentie-eisen van lichtgewicht, real-time segmentatiemodellen.

• Implementatiehaalbaarheid: Door de noodzaak van offline hertraining en zware distillatiepijplijnen te elimineren, biedt het kader een implementatieklaar oplossing voor autonome voertuigen en robots die zich moeten aanpassen aan nieuwe omgevingen (bijv. nieuwe voertuigtypen of tijdelijke barrières) zonder in te leveren op inferentiesnelheid.
• Efficiëntie: De methode bereikt hoge nauwkeurigheid en stabiliteit met minimale rekenoverhead, omdat slechts een fractie van de netwerkparameters wordt bijgewerkt.
• Generaliseerbaarheid: Hoewel het huidige werk zich richt op PIDNet en datasets voor rijden, suggereren de auteurs dat het principe van "bevroren backbone + kleine onbevroren randtak" toepasbaar zou kunnen zijn op andere taken voor dichte voorspelling en architecturen, hoewel dit een richting blijft voor toekomstig werk.

De auteurs houden een bescheiden standpunt, waarbij ze erkennen dat hoewel de methode in principe overdraagbaar is naar andere datasets (zoals Pascal VOC), prestaties op sterk diverse, niet-rigide klassen verder onderzoek vereisen. De primaire bijdrage blijft de demonstratie van een lichtgewicht, real-time oplossing voor het probleem van catastrofaal vergeten in semantische segmentatie.