Through the Looking Glass: A Dual Perspective on Weakly-Supervised Few-Shot Segmentation

Technische Samenvatting: Through the Looking Glass (TLG)

Probleemstelling
Huidige meta-learning benaderingen voor few-shot semantische segmentatie maken doorgaans gebruik van identieke netwerkarchitecturen voor zowel de support- als de query-branches. Hoewel deze methoden streven naar het extraheren van inductieve biases uit homologe support-query paren (afbeeldingen die dezelfde categorie delen), stellen de auteurs dat dit "homologe netwerk"-ontwerp leidt tot over-semantische homogenisering. Door beide branches te dwingen binnen dezelfde semantische mapping-ruimte te opereren, hebben modellen de neiging om gedeelde kenmerken (bijv. een "kop" die algemeen is voor alle honden) te overbenadrukken, terwijl ze instance-specifieke heterogene details (bijv. specifieke vactkleuren of grootte) verwaarlozen. Dit resulteert in ondersegmentatie en beperkt het vermogen van het model om complementaire semantische informatie vast te leggen. Bovendien, in de context van Weakly-Supervised Few-Shot Semantic Segmentation (WFSS), waarbij alleen afbeelding-niveau labels beschikbaar zijn (zonder precieze pixel-niveau maskers), lijden bestaande state-of-the-art (SOTA) modellen vaak aan hoge parameteraantallen en computationele kosten, terwijl ze er nog steeds niet in slagen het potentieel van multimodale priors volledig te benutten.

Methodologie
Het paper stelt TLG (Through the Looking Glass) voor, een nieuw homoloog maar heterogeen netwerk ontworpen om support-query paren te behandelen als duale perspectieven. Het framework is gebouwd op drie kernmodules:

1. Heterogene Aggregatie (HA): In plaats van kenmerken te extraheren uit identieke backbone-lagen voor beide branches, gebruikt TLG een gedifferentieerde laagselectiestrategie. Bijvoorbeeld, de support-branch kan kenmerken extraheren uit lagen 3, 9 en 12, terwijl de query-branch kenmerken extraheert uit lagen 0, 4 en 10. Deze intra-laag heterogeniteit maximaliseert de semantische rijkdom door gelijktijdig gebruik te maken van lage-niveau details (query) en hoge-niveau semantiek (support), terwijl de semantische gemeenschappelijkheid behouden blijft via concatenatie- en correlatiemechanismen.
2. Heterogene Transport (HT): Om de semantische ruis aan te pakken die onvermijdelijk wordt geïntroduceerd bij het aggregeren van heterogene kenmerken, maakt de HT-module gebruik van Optimal Transport (OT). Het modelleert de uitlijning van heterogene semantische informatie als een transportkosten-minimalisatieprobleem (opgelost via het Sinkhorn-algoritme). Dit proces onderdrukt ruis en redundante kenmerken, terwijl de contextuele relevantie wordt versterkt via cross-attention mechanismen. Daarnaast worden Heterogene Residuen (HR) geïntroduceerd om een deel van de oorspronkelijke input-kenmerken te behouden, wat ervoor zorgt dat de diversiteit in representatie niet verloren gaat tijdens de uitlijning.
3. Heterogene CLIP (HC): Om de generalisatie te verbeteren, integreert TLG multimodale tekstuele informatie van CLIP. In tegen tegenstelling tot eerdere methoden die alle achtergrond-priors naar een gemeenschappelijke ruimte mappen, introduceert TLG een maximum matching strategie. Het gebruikt een Chain-of-Thought benadering (via LLM's zoals ChatGPT) om specifieke achtergrondcategorieën te identificeren die samen voorkomen met foreground objecten (bijv. "vogel" met "boom" en "lucht"). Deze fijnmazige, heterogene tekst-prompts (bijv. "vogel met veren") worden via een heterogene CLIP-adapter gefuseerd met visuele kenmerken, wat de uitlijning tussen tekstuele priors en visuele semantiek verbetert.

Belangrijkste Bijdragen

• Paradigmaverschuiving: De auteurs identificeren de beperking van homogeniteit in meta-learning en stellen een homoloog maar heterogeen netwerkontwerp voor, waarbij zij beargumenteren dat onderscheidende maar semantisch uitgelijnde architecturen beter in staat zijn om de "heterogeniteit van de heterogeniteit" vast te leggen.
• Nieuwe Modules: De introductie van de HA, HT en HC modules om respectievelijk semantische over-homogenisering, ruisreductie in heterogene aggregatie en multimodale generalisatie aan te pakken.
• Efficiëntie en Prestaties: TLG bereikt significante prestatiewinsten met drastisch verminderde computationele middelen. Het gebruikt slechts 1/24 van de trainbare parameters van bestaande SOTA-modellen (specifiek AFANet).
• Doorbraak in Weakly-Supervised Learning: Het paper beweert dat TLG het eerste weakly-supervised (afbeelding-niveau label) model is dat de prestaties van fully-supervised (pixel-niveau label) modellen evenaart onder dezelfde backbone-architecturen.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op de Pascal-5i en COCO-20i datasets met behulp van afbeelding-niveau labels.

• Pascal-5i: Met een ResNet50 backbone bereikte TLG een 77.2 mIoU in de 1-shot setting en 77.9 mIoU in de 5-shot setting. Dit vertegenwoordigt een verbetering van 13,2% ten opzichte van het SOTA weakly-supervised model AFANet.
• COCO-20i: TLG bereikte 51.5 mIoU (1-shot) en 51.6 mIoU (5-shot), wat een verbetering van 7,9% is ten opzichte van AFANet.
• Lichtgewicht: Ondanks de prestatiewinsten vereist TLG slechts 4,47M leerbare parameters (vergeleken met de 108,35M van AFANet) en aanzienlijk lagere FLOPs en inferentie-latentie (bijv. 36,72ms vs. 73,21ms voor 1-shot inferentie op ResNet50).
• Vergelijking met Fully-Supervised: TLG presteert beter dan fully-supervised SOTA-modellen (bijv. VRP-SAM, PGMA-Net) op Pascal-5i, ondanks het gebruik van enkel grove afbeelding-niveau labels.

Betekenis en Claims
Het paper stelt dat de kern van effectieve meta-learning niet ligt in het afdwingen van uniformiteit, maar in het benutten van complementaire heterogeniteit. Door support en query te behandelen als duale perspectieven met onderscheidende feature extraction-paden, ontsluit TLG het volledige potentieel van meta-learning modellen. De auteurs beweren dat TLG een nieuwe standaard zet voor weakly-supervised learning, waarbij wordt aangetoond dat afbeelding-niveau supervisie, wanneer gecombineerd met een heterogeen netwerkontwerp en multimodale priors, de prestaties van fully-supervised tegenhangers kan overtreffen. Dit suggereert een verschuiving in het ontwerpfilosofie waarbij "heterogeniteit" niet alleen een uitdaging is die overwonnen moet worden, maar een bron die ingezet kan worden voor betere generalisatie in scenario's met schaarse data.