gen2seg: Generative Models Enable Generalizable Instance Segmentation

1. Het Probleem

Huidige systemen voor instance segmentation (het onderscheiden van individuele objecten van hetzelfde type in een afbeelding) zijn vaak sterk afhankelijk van grote, gelabelde datasets met een breed scala aan objectcategorieën. Modellen zoals SAM (Segment Anything) presteren uitstekend door te trainen op miljarden maskers (SA-1B dataset), maar vereisen enorme rekenkracht en data.

De kernvraag die dit paper stelt is: Kan een model leren om objecten te segmenteren door te trainen op een zeer beperkte set objectcategorieën en toch generaliseren naar volledig onbekende objecttypes en beeldstijlen?
Traditionele discriminatieve modellen (zoals SAM of SimpleClick) falen vaak in deze "zero-shot" setting wanneer ze geconfronteerd worden met objecten die ze nooit in de training hebben gezien (bijv. dieren of kunststijlen), omdat hun maskerpredictoren specifiek zijn getraind op de gelabelde categorieën.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die generatieve modellen (die zijn getraind om afbeeldingen te synthetiseren) hergebruikt voor perceptuele taken. De kernhypothese is dat generatieve modellen, omdat ze moeten leren hoe ze objecten en scènes moeten opbouwen, inherent een begrip hebben van objectgrenzen en groeperingen.

De kerncomponenten van de methode:

• Modellen: Er worden twee soorten generatieve modellen gebruikt:
  1. Stable Diffusion (SD): Een diffusion-model getraind op internet-schaal data.
  2. MAE (Masked Autoencoder): Een encoder-decoder architectuur getraind op ImageNet-1K (zonder tekst of internet-schaal data).
• Training Data: De modellen worden alleen gefinetuned op een synthetische dataset bestaande uit indoor meubels (uit Hypersim) en auto's (uit Virtual Kitti 2). Ze zien dus nooit maskers van mensen, dieren, of andere objecten tijdens de training.
• Instance Coloring Loss: In plaats van binaire maskers te voorspellen, wordt het probleem omgezet in een image-to-image translation taak.
  • De ground truth wordt weergegeven als een RGB-afbeelding waarbij elk object-instantie een unieke kleur heeft en de achtergrond zwart is.
  • De loss-functie bestaat uit drie delen om te zorgen dat pixels binnen een object dezelfde kleur krijgen en verschillende objecten verschillende kleuren hebben:
    1. Intra-Instance Variance Loss: Minimaliseert de variatie binnen een object (alle pixels van één object moeten dezelfde kleur hebben).
    2. Inter-Instance Separation Loss: Maximaliseert de afstand tussen de kleuren van verschillende objecten.
    3. Mean-Level Separation Loss: Zorgt ervoor dat de gemiddelde kleuren van verschillende objecten ver uit elkaar liggen.
• Point-Promptable Segmentation: Om maskers te genereren op basis van een punt (zoals bij SAM), wordt geen aparte decoder getraind. In plaats daarvan wordt de voorspelde kleurkaart gebruikt. Voor een gegeven punt wordt een query-vector berekend (een gewogen gemiddelde van de kleuren rondom het punt) en wordt de gelijkenis tussen deze query en alle andere pixels in de afbeelding berekend om een binair masker te vormen.

3. Belangrijkste Bijdragen

1. Zero-Shot Generalisatie: Het paper toont aan dat generatieve modellen, zelfs wanneer ze slechts op een smalle set objecten (meubels en auto's) worden getraind, uitstekend generaliseren naar volledig onbekende categorieën (zoals mensen, dieren, kunstwerken, röntgenfoto's) en stijlen.
2. Superioriteit bij Fijne Structuren: De modellen presteren beter dan SAM bij het segmenteren van fijne details (zoals draden, traliewerk) en ambiguïteit in grenzen, zelfs zonder specifieke supervisie op deze structuren.
3. Efficiëntie: Het beste model (Stable Diffusion) wordt getraind op slechts 87.000 afbeeldingen en 3,7 miljoen maskers (beperkt tot twee categorieën) op 4 GPU's gedurende 29 uur. Dit staat in schril contrast met SAM, dat getraind is op 11 miljoen afbeeldingen en 1,1 miljard maskers met 256 GPU's.
4. Inherent Groeperingsmechanisme: De resultaten suggereren dat generatieve pretraining een ingebouwd mechanisme voor perceptuele groepering leert dat overdraagbaar is over domeinen en categorieën, zelfs zonder internet-schaal pretraining (zoals bij MAE).

4. Resultaten

De modellen zijn geëvalueerd op vijf diverse datasets die objecten bevatten die niet in de training zaten:

• COCOexc: COCO zonder de getrainde categorieën.
• DRAM: Kunstwerken (impressionisme, kubisme, etc.).
• EgoHOS: Ego-centrische beelden (vaak met bewegingsonscherpte en occlusie).
• iShape: Complexe en fijne structuren (draden, hekken).
• PIDRay: Röntgenfoto's van bagage.

Kernresultaten:

• Prestatie: De beste modellen (Stable Diffusion en MAE-H) benaderen of evenaren de prestaties van SAM op deze onbekende datasets, ondanks dat SAM is getraind op een enorm gelabeld dataset.
• Fijne Randen: Op de BSDS500 dataset (randdetectie) presteren de generatieve modellen significant beter dan SAM, met scherpere en nauwkeurigere objectgrenzen. Dit geldt zelfs als ze getraind zijn op datasets met veelhoekige maskers (zoals COCO).
• Robuustheid: De modellen zijn zeer robuust tegen kleur- en textuurveranderingen.
• Deel-Object Groepering: Zonder enige supervisie op onderdelen, leren de modellen om samenhangende delen van objecten (bijv. een masker en het lichaam van Darth Vader, of stropdassen en overhemden) correct te groeperen.
• Vergelijking met Baselines: Discriminatieve baselines zoals SimpleClick en DINO-B falen volledig in deze zero-shot setting, wat aantoont dat de generalisatie specifiek voortkomt uit de generatieve pretraining en niet uit de architectuur of de synthetische data alleen.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in computer vision. Het bewijst dat generatieve pretraining een krachtige bron is voor perceptuele organisatie. Door te leren hoe je een beeld "opbouwt" (synthetiseert), leren modellen impliciet hoe je het beeld "ontleedt" (segmenteert).

• Toekomstige Toepassingen: Deze aanpak opent de weg voor meer generaliseerbare en mensachtige perceptie in gebieden waar gedetailleerd begrip van scènes cruciaal is, zoals robotica, medische beeldvorming (waar data schaars is) en autonome systemen.
• Efficiëntie: Het toont aan dat men niet per se miljarden gelabelde maskers nodig heeft voor generalisatie; in plaats daarvan kan men profiteren van de rijke, impliciete kennis die in generatieve modellen zit opgeslagen.

Samenvattend: GEN2SEG demonstreert dat generatieve modellen een inherente, overdraagbare kennis van objectgrenzen en groepering bezitten, waardoor ze extreem goed presteren in zero-shot instance segmentation, zelfs met zeer beperkte trainingdata.