Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction

Probleemstelling

Traditionele zelftoezichtende leermethodes (Self-Supervised Learning of SSL) in computer vision richten zich voornamelijk op het vooraf trainen van encoders. De decoder wordt vervolgens pas geïntroduceerd en getraind tijdens de downstream taken (zoals objectdetectie of segmentatie) via supervisie op gelabelde data.

De auteurs identificeren twee belangrijke beperkingen in deze conventionele aanpak:

1. Verwaarlozing van de decoder: Het vooraf trainen van de encoder alleen, zonder de decoder, negeert het potentieel om de representatiekracht van het encoder-decoder-systeem gezamenlijk te optimaliseren.
2. Mismatch in doelen: Bestaande SSL-methoden voor dichte voorspelling (dense prediction) trainen vaak alleen de encoder met lokale verliezen, terwijl de decoder willekeurig wordt geïnitieerd voor de downstream taak. Dit leidt tot suboptimale integratie tussen de twee componenten.

Methodologie: DeCon Framework

De paper introduceert DeCon (Decoder-aware contrastive learning), een efficiënt SSL-framework dat gezamenlijke contrastieve vooraftraining van zowel encoder als decoder mogelijk maakt. Het framework past bestaande SSL-architecturen aan (zoals SlotCon, DenseCL) door decoders toe te voegen en deze te betrekken in het contrastieve leerproces.

De auteurs presenteren twee varianten:

1. DeCon-SL (Single-Level)

• Architectuur: Naast de bestaande encoder (student en teacher) worden decoders toegevoegd aan beide takken.
• Verliesfunctie: Er wordt een gewogen som gebruikt van het encoder-verlies en het decoder-verlies:
  $$Loss = \alpha \times L_{enc} + (1 - \alpha) \times L_{dec}$$
  Hierbij zorgt $\alpha$ voor de balans. De decoder-verliezen worden berekend op basis van de features die uit de decoder komen, gebruikmakend van dezelfde contrastieve mechanismen als de encoder.
• Doel: De encoder wordt beter voorbereid op integratie met decoders, zelfs als alleen de encoder wordt overgedragen.

2. DeCon-ML (Multi-Level)

Deze variant breidt DeCon-SL uit met twee belangrijke innovaties om een meer uitgebreide gebruikmaking van de encoder-parameters te bevorderen:

• Channel Dropout: Er wordt dropout toegepast op de kanalen die via "skip connections" van de encoder naar de decoder worden overgedragen. Dit voorkomt dat het model te sterk afhankelijk wordt van specifieke features die via de skip-connection gaan, en dwingt het model om een rijker, meer robuustere representatie te leren op verschillende niveaus.
• Deep Supervision voor de Decoder: In plaats van het decoder-verlies alleen op het laatste niveau te berekenen, wordt dit gedaan op meerdere niveaus van de decoder (bijv. in een Feature Pyramid Network). Dit versterkt de representatiekracht van de encoder op verschillende dieptes.
• Verliesfunctie: Het totale verlies combineert het encoder-verlies met het gemiddelde van de verliezen op alle decoder-niveaus.

Belangrijkste Bijdragen

1. Novel Framework: Introductie van DeCon-SL en DeCon-ML, de eerste methoden die een gezamenlijke contrastieve vooraftraining van encoder en decoder implementeren voor dichte voorspellingstaken.
2. Verbeterde Representatie: Bewijs dat het gezamenlijk vooraftrainen de representatiekracht van de encoder verhoogt, wat leidt tot betere prestaties bij downstream taken, zelfs wanneer alleen de encoder wordt overgedragen.
3. State-of-the-Art (SOTA) Resultaten: DeCon bereikt nieuwe SOTA-resultaten op diverse taken (objectdetectie, instance segmentation, semantische segmentatie) op datasets zoals COCO, Pascal VOC, Cityscapes en ADE20K.
4. Generalisatie en Efficiëntie:
   • De methode werkt goed met verschillende backbones (ResNet-50, ConvNeXt) en decoders (FCN, FPN).
   • Het presteert uitstekend in out-of-domain scenario's (bijv. medische beeldvorming en landbouw) en bij beperkte data (few-shot learning).
   • De prestatieverbetering wordt bereikt zonder een significante toename in het aantal parameters of GPU-kosten ten opzichte van de baseline (bijv. SlotCon).

Resultaten

De experimenten tonen consistente verbeteringen ten opzichte van bestaande SSL-methoden (zoals SlotCon, PixCon, DINO):

• COCO Objectdetectie & Instance Segmentation: Bij vooraftraining op COCO met een ResNet-50 encoder, boekte DeCon verbeteringen van +0.37 AP voor objectdetectie en +0.32 AP voor instance segmentation ten opzichte van de baseline.
• Semantische Segmentatie:
  • +1.42 mIoU op Pascal VOC.
  • +0.50 mIoU op Cityscapes.
• ConvNeXt Backbones: DeCon-ML-L verbeterde de prestaties van een ConvNeXt-Small backbone aanzienlijk, zelfs meer dan bij ResNet-50.
• Out-of-Domain: Op medische datasets (REFUGE, ISIC) en landbouwdatasets (PlantDoc, Detecting Diseases) presteerde DeCon consistent beter, vooral bij beperkte hoeveelheden gelabelde data (5% - 25%).
• Statistische Significantie: De verbeteringen zijn statistisch significant (p-waarde < 0.05) en hebben een groot effectgrootte (Cohen's d > 0.8).

Significantie en Conclusie

De paper demonstreert dat het traditionele paradigma van "encoder-only" vooraftraining voor dichte voorspellingstaken niet optimaal is. Door de decoder actief te betrekken tijdens het contrastieve vooraftrainingsproces, leert het model een veel robuustere en ruimtelijk nauwkeurigere representatie.

De belangrijkste inzichten zijn:

• Non-concurrerende doelen: De encoder- en decoder-verliezen werken niet in elkaars vaart, maar vullen elkaar aan.
• Schaalbaarheid: De aanpak is schaalbaar naar modernere, grotere backbones (zoals ConvNeXt) en overtreft zelfs grotere Vision Transformer (ViT) modellen die op ImageNet zijn getraind, ondanks kortere trainingstijden.
• Praktische Toepasbaarheid: DeCon is bijzonder waardevol in domeinen waar gelabelde data schaars is, zoals medische beeldanalyse en precisielandbouw, omdat het de kwaliteit van de features verhoogt zonder extra labels te vereisen.

Kortom, DeCon bewijst dat een gezamenlijke vooraftraining van encoder en decoder een krachtige en efficiënte route is om de prestaties van dichte voorspellingstaken te maximaliseren.