Breaking Diversity Collapse in Spiking Pseudo-Ensembles for Efficient OOD Detection in Remote Sensing

Technische Samenvatting: Het doorbreken van diversiteitscollaps in Spiking Pseudo-Ensembles voor efficiënte OOD-detectie in Remote Sensing

Probleemstelling

Spiking Neural Networks (SNNs) bieden aanzienlijke energie-efficiëntie voor middelenbeperkte remote-sensing platformen (bijv. satellieten, UAV's) vanwege hun event-gestuurde, ijle berekeningen. Echter, betrouwbare inzet vereist robuuste Out-of-Distribution (OOD) detectie om onbekende inputs te verwerpen die worden veroorzaakt door verschuivingen in geografie, seizoenen of sensieradius. Hoewel deep ensembles sterke voorspellende onzekerheid bieden door gebruik te maken van meerdere onafhankelijk getrainde modellen, brengen zij prohibitieve kosten met zich mee voor SNNs: parameteropslag en inferentielatentie schalen lineair met het aantal ensembleleden, wat een volledige evaluatie van de backbone vereist voor elke voorspelling.

Bestaande efficiënte alternatieven, zoals pseudo-ensembles die meerdere lichtgewicht classificatiekoppen aan een enkele bevroren backbone koppelen, lijden vaak aan diversiteitscollaps. In deze architecturen leiden onafhankelijk geïnitialiseerde koppen die getraind zijn met standaard cross-entropy op gedeelde bevroren kenmerken tot sterk gecorreleerde voorspellingen, waardoor ze de functionele diversiteit missen die nodig is voor effectieve onzekerheidsschatting.

Methodologie

De auteurs stellen een Agree–Disagree Spiking Pseudo-Ensemble (ADPE) voor, ontworpen om ensemble-achtige onzekerheid te herstellen tegen een fractie van de computationele kosten.

1. Architectuur:
De methode maakt gebruik van een bevroren, deterministisch getrainde SNN-backbone (ofwel Transformer-gebaseerd Spikformer of convolutionele ResNet19-SNN). Meerdere lichtgewicht, onafhankelijk geïnitialiseerde spiking classificatiekoppen worden aan deze backbone gekoppeld. Tijdens de inferentie wordt de backbone één keer geëvalueerd, waarna de temporele kenmerken naar alle koppen worden uitgezonden om meerdere voorspellende hypothesen te genereren.

2. Het probleem van diversiteitscollaps:
Het artikel identificeert dat het trainen van deze koppen met cross-entropy leidt tot diversiteitscollaps omdat alle koppen identieke inputs, labels en optimalisatiedoelstellingen ontvangen, wat hen richting dezelfde beslissingsgrens stuurt.

3. Het Agree–Disagree Doel:
Om functionele diversiteit te induceren zonder externe OOD-data, introduceren de auteurs een nieuw trainingsdoel dat opereert op twee soorten inputs afgeleid van de in-distributie (ID) trainingsset:

• Agreement (Clean ID): Koppen worden getraind om correcte labels te voorspellen op schone afbeeldingen met behulp van standaard cross-entropy, waarbij de oorspronkelijke classificatieprestaties van de backbone behouden blijven.
• Disagreement (Structured Blur): Koppen worden aangemoedigd om verschillende voorspellingen te produceren op dezelfde afbeeldingen wanneer deze worden onderworpen aan gestructureerde, onzekerheid-opwekkende transformaties. De auteurs identificeren box blur (medium tot sterke intensiteit) als de optimale transformatie. Diagnostische studies tonen aan dat box blur de voorspellende entropie en de inter-model onenigheid verhoogt, terwijl de grove scène-structuur behouden blijft, in tegen tegenoverheid van ruis die ongestructureerde verstoringen introduceert.

De totale verliesfunctie wordt gedef Definieerd als:
$$L_{AD} = L_{CE} - \lambda_{dis} D_{JS}$$
Waarbij $L_{CE}$ de cross-entropy loss is op schone samples, en $D_{JS}$ de gegeneraliseerde Jensen–Shannon divergentie is (die onenigheid meet) berekend op door blur-corruptie aangetaste samples. De koppen worden geoptimaliseerd om deze onenigheid op vervormde inputs te maximaliseren, terwijl ze overeenstemming behouden op schone inputs.

4. Inferentie-efficiëntie:
Met $K_b$ backbones en $K_h$ koppen per backbone, genereert het systeem $K_b \times K_h$ hypothesen met slechts $K_b$ backbone-evaluaties. Dit vermindert de computationele overhead aanzienlijk vergeleken met een volledige deep ensemble van $K_b \times K_h$ modellen.

Belangrijkste Bijdragen

1. Efficiënt Spiking Pseudo-Ensemble: Een framework dat meerdere voorspellende hypothesen genereert met behulp van een bevroren SNN-backbone en lichtgewicht koppen, waardoor de kosten van meerdere volledige model-evaluaties worden vermeden.
2. Mitigatie van Diversiteitscollaps: Identificatie van diversiteitscollaps in shared-backbone pseudo-ensembles en de voorstel van een agree–disagree doel. Dit doel bevordert functionele diversiteit met behulp van gestructureerde, door box blur aangetaste inputs afgeleid uitsluitend van ID-data, waardoor de noodzaak voor externe outlier-datasets of teacher-ensembles wordt geëlimineerd.
3. Empirische Validatie: Evaluatie over twee verschillende SNN-architecturen (Spikformer, ResNet19-SNN) en meerdere remote-sensing distributieverschuivingen (UCM, AID, Sentinel-2 subsets), wat een verbeterde OOD-prestatie aantoont ten opzichte van conventionele pseudo-ensembles en deep ensembles.

Resultaten

Experimenten op de EuroSAT-dataset (ID) met verschuivingen naar UCM, AID en Sentinel-2 subsets tonen het volgende aan:

• Prestatie vs. Kosten: Een ADPE-configuratie met 3 backbones en 5 koppen per backbone evenaart of overtreft de OOD-detectieprestaties (AUROC, FPR@95) van een 5-model deep ensemble op UCM en AID.
• Efficiëntiewinst: Deze configuratie bereikt de bovenstaande prestaties met ongeveer 38% minder parameters en 40% minder backbone-evaluaties vergeleken met de 5-model deep ensemble.
• Diversiteitsmetrieken: De voorgestelde methode verhoogt de Mutual Information (MI) tussen koppen aanzienlijk vergeleken met met cross-entropy getrainde pseudo-ensembles (CEPE), wat bevestigt dat de koppen onderscheidende voorspellende gedragingen leren. Bijvoorbeeld, op Spikformer met 3 backbones verbeterde ADPE de AUROC met ~2.0 punten ten opzichte van CEPE op UCM.
• Architectuur-agnostisch: De voordelen zijn zichtbaar in zowel Transformer-gebaseerde als convolutionele SNNs, hoewel de verbetering prominenter is voor Spikformer.
• ID-Prestaties: De methode behoudt een classificatienauwkeurigheid op de ID-dataset (EuroSAT) die vergelijkbaar is met deep ensembles, wat aangeeft dat het stimuleren van onenigheid op vervormde inputs de schone classificatie niet in gevaar brengt.

Betekenis en Claims

Het artikel claimt dat expliciete diversiteitsbevordering via het agree–disagree doel bruikbare ensemble-onzekerheid kan herstellen tegen aanzienlijk lagere deployment-kosten. De auteurs positioneren dit als een praktische oplossing voor hulpbronnenbeperkte remote sensing waar volledige deep ensembles onhaalbaar zijn.

De auteurs blijven bescheiden over de beperkingen:

• De methode is een efficiënt mechanisme om nuttige ensemble-onenigheid te vergroten, maar is niet uniform superieur onder elke verschuivingstype of operationele drempelwaarde.
• De prestatiewinsten zijn minder consistent bij "semantisch nabije" distributieverschuivingen (Global-Near) vergeleken met verre verschuivingen (Global-Far).
• De studie benadrukt dat hoewel de globale rangschikking (AUROC) verbetert, het optimale werkpunt bij vaste drempelwaarden (FPR@95) kan variëren, wat suggereert dat onzekerheidskalibratie nog steeds een open uitdaging is voor SNNs.

De conclusie van het werk is dat hoewel diversiteitscollaps een kritieke faalmodus is in shared-backbone ensembles, dit effectief kan worden aangepakt zonder externe data, wat efficiënte en betrouwbare OOD-detectie voor SNNs mogelijk maakt in remote sensing.