Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection

Probleemstelling

Camouflaged Object Detection (COD) richt zich op het segmenteren van objecten die naadloos opgaan in complexe achtergronden. Hoewel er recente vooruitgang is geboekt, blijven methoden die uitsluitend op RGB-afbeeldingen vertrouwen, kwetsbaar onder uitdagende camouflageomstandigheden waar sterke overeenkomsten tussen voor- en achtergrond en zwakke randcontrasten de extractie van bruikbare cues belemmeren.

Om dit op te lossen, wordt er steeds vaker gebruikgemaakt van multi-modale benaderingen (bijv. het combineren van RGB met diepte, thermische beelden of polarisatie). Echter, de bestaande multi-modale COD-methoden hebben twee belangrijke beperkingen:

1. Modality-specificiteit: Ze vertrouwen vaak op specifieke architecturen of op maat gemaakte fusiestrategieën voor elke modale combinatie (bijv. een aparte architectuur voor RGB-Diepte en een andere voor RGB-Thermisch).
2. Schaalbaarheid: Dit beperkt de generalisatie over verschillende modaliteiten en maakt het moeilijk om nieuwe hulpmodaliteiten toe te voegen zonder de hele structuur opnieuw te ontwerpen.

Het doel van dit onderzoek is daarom het ontwikkelen van een schaalbare, modality-agnostische framework dat willekeurige hulpmodaliteiten kan integreren met RGB-data voor robuuste COD.

Methodologie

De auteurs stellen een nieuw framework voor dat gebaseerd is op het Segment Anything Model (SAM). In plaats van SAM volledig te finetunen of modality-specifieke adapters te bouwen, gebruiken ze een prompt learning-benadering die parameterefficiënt is en modality-agnostisch werkt.

De kern van de methode bestaat uit de volgende componenten:

1. Dual-Domain Learning Paradigma:
   Het model modelleert multi-modale learning door interactie tussen twee domeinen:

   • Content Domein (Data-driven): Dit wordt gevormd door de elementsgewijze som van RGB-features (uit de frozen SAM encoder) en features van de hulpmodaaliteit (uit een PVT-backbone). Hierdoor worden ruimtelijke cues en semantische informatie gecombineerd.
   • Prompt Domein (Knowledge-driven): Dit bestaat uit een set leerbare prompt-prototypen die als een algemene kennisbank fungeren. Deze worden adaptief gemoduleerd op basis van de content-domein features om specifieke richtingsignalen voor detectie te genereren.

2. Content-Prompt Interaction Module (CPIM):
   Om de twee domeinen te laten samenwerken, wordt een symmetrische cross-attention-mechanisme gebruikt. Dit creëert een bidirectionele synergie:

   • Het distilleert taakrelevante bewijzen uit de heterogene waarnemingen (content) naar de prompt-prototypen.
   • Het corrigeert de ruimtelijke nauwkeurigheid via gestructureerde priors (prompt).
   • Daarnaast worden Auxi-tokens (leerbare tokens) geïntroduceerd die worden samengevoegd met de originele SAM-tokens om de flexibiliteit van het netwerk te vergroten.

3. Mask Refine Module (MRM):
   Omdat SAM moeite heeft met lage contrasten en vage randen (typisch voor COD), wordt een lichte Mask Refine Module toegevoegd. Deze module gebruikt de verfijnde prompt-features om de interne representaties van de SAM-mask-decoder te herschikken. Hierdoor worden de ruwe voorspellingen gekalibreerd, wat leidt tot scherpere en nauwkeurigere objectgrenzen.

4. Parameterefficiëntie:
   De SAM-image encoder en de mask decoder blijven bevroren (frozen). Alleen de prompt-prototypen, de CPIM-componenten, de Auxi-tokens en de MRM worden getraind.

Belangrijkste Bijdragen

• Eerste Unified Framework: Dit is, naar weten van de auteurs, het eerste framework dat RGB naadloos integreert met willekeurige visuele modaliteiten (diepte, thermisch, polarisatie) voor COD zonder modality-specifieke architecturale aanpassingen.
• Dual-Domain Paradigma: De introductie van een leerparadigma dat data-gedreven bewijzen en kennis-gedreven prioren combineert via cross-attention, wat de generalisatie tussen modaliteiten aanzienlijk verbetert.
• Efficiëntie en Schaalbaarheid: Het framework bereikt state-of-the-art prestaties met een minimaal aantal trainbare parameters (slechts 2,73M), wat het veel efficiënter maakt dan bestaande SAM-finetuning-methoden.
• Cross-Modal Generalisatie: Het bewijst dat het model kan worden getraind op één modale combinatie (bijv. RGB-D) en toch competitieve resultaten behaalt op andere, ongezette modaliteiten (zoals RGB-T of RGB-P).

Resultaten

De methode is uitgebreid getest op drie multi-modale COD-benchmarks:

• RGB-Depth (COD10K, CAMO, etc.): De methode behaalde de beste prestaties op alle metrieken (Sα, Fwβ, Eϕ, M), vaak met een duidelijke marge ten opzichte van de runner-up.
• RGB-Polarization (PCOD-1200): Behaalde state-of-the-art resultaten op alle metrieken, waarbij de polarisatie-informatie cruciaal bleek voor het onderscheiden van texturen.
• RGB-Thermal (VIAC): Toonde uitstekende generalisatie over diverse camouflage-types (zoals militaire netten en kleding).

Kernbevindingen uit de experimenten:

• Prestaties: De methode overtreft zowel traditionele RGB-methoden als andere SAM-gebaseerde fine-tuning methoden (zoals HQSAM, DSAM, SAM-DSA).
• Efficiëntie: In vergelijking met methoden zoals DSAM (121M parameters) of MM-SAM (93M parameters), gebruikt deze methode slechts 2,73M trainbare parameters terwijl het betere resultaten levert.
• Ablatie-studies: Verwijdering van de CPIM-module, de Mask Refine Module of de Auxi-tokens leidde tot significante prestatiedalingen, wat de noodzaak van elk onderdeel bevestigt.
• Cross-Modality Transfer: Het model toonde sterke generalisatie; training op RGB+Diepte en testen op RGB+Thermisch resulteerde slechts in een minimale prestatiedaling, wat de modality-agnostische aard bevestigt.

Betekenis en Impact

Dit werk is significant omdat het een fundamentele verschuiving biedt in hoe multi-modale objectdetectie wordt aangepakt. Door de afhankelijkheid van modality-specifieke fusiestrategieën te doorbreken, biedt het een schaalbare oplossing die eenvoudig nieuwe sensoren of modaliteiten kan integreren zonder de kernarchitectuur te wijzigen.

De combinatie van het krachtige SAM-foundation model met een efficiënte prompt-learning strategie maakt het mogelijk om robuuste segmentatie te bereiken in zeer moeilijke scenario's (zoals camouflage) met een zeer laag trainingskostenplaatje. Dit opent de deur voor bredere toepassingen in medische beeldanalyse, industriële inspectie en remote sensing, waar diverse sensorcombinaties nodig zijn maar waar het ontwikkelen van specifieke modellen voor elke combinatie onpraktisch is.