Domain Generalization through Spatial Relation Induction over Visual Primitives

Dit artikel stelt PARSE voor, een raamwerk voor domeingeneralisatie dat de robuustheid van classificatie verbetert door expliciet visuele primitieven en hun differentieerbare ruimtelijk relationele composities te leren via een end-to-end architectuur, waardoor aanzienlijke prestatiewinst wordt behaald op compositie-benchmarks.

De kern

Stel je voor dat je probeert een robot te leren verschillende soorten vogels te herkennen. Je laat hem duizenden foto's zien van een "Roodvleugelige Zwartkop", genomen in zonnige velden, regenachtige bossen en zelfs enkele tekeningen.

De meeste huidige AI-modellen leren door de kleuren en texturen van de vogel te memoriseren. Ze denken misschien: "Als het rode veren en een zwart lichaam heeft, is het een Roodvleugelige Zwartkop." Maar dit is een valstrik. Als je de robot een tekening laat zien waarin de vogel blauw en plat is, raakt de robot in de war omdat de "rode veren" ontbreken. Het faalt omdat het zich heeft gebaseerd op onstabiele details die van de ene omgeving naar de andere veranderen.

Het artikel introduceert een nieuwe methode genaamd PARSE (Primitive-Aware Relational Structure for domain gEneralization) om dit op te lossen. Hier is hoe het werkt, eenvoudig uitgelegd:

1. De "Lego"-benadering: Het vinden van de primitieven

In plaats van de hele vogel te bekijken als één grote klomp kleur, breekt PARSE de afbeelding op in kleine, herbruikbare bouwstenen die primitieven worden genoemd.

• De analogie: Denk aan een vogel niet als één enkel object, maar als een verzameling Lego-stukjes: een "snavelstuk", een "vleugelstuk", een "oogstuk" en een "staartstuk".
• Hoe het werkt: De AI leert deze specifieke onderdelen zelfstandig te herkennen, zonder dat een mens er kaders omheen hoeft te tekenen. Het maakt een "warmtekaart" aan die aangeeft waar de snavel is, waar de vleugel is, enzovoort. Cruciaal is dat het leert de vorm van de snavel te vinden, niet alleen de kleur. Dus zelfs als de getekende vogel blauw is, herkent de AI nog steeds de "snavelvorm".

2. Het "Regelboek": Het begrijpen van de relaties

Het vinden van de stukjes is niet genoeg; je moet ook weten hoe ze passen. Een vogel met een snavel en vleugels is een vogel, maar een snavel die naast een vleugel zweeft zonder lichaam ertussen is onzin.

• De analogie: Stel je een streng regelboek voor voor het bouwen van een vogel. Het regelboek zegt: "De snavel moet boven de borst zitten", "De vleugels moeten aan de zijkanten bevestigd zijn" en "De ogen moeten horizontaal uitgelijnd zijn".
• De magie: PARSE gebruikt wiskundige "predicaten" (regels) om deze relaties te controleren. Het stelt vragen als: "Is de vleugel links van de staart?" of "Vormen de ogen een driehoek met de snavel?" Deze regels zijn flexibel (zacht), wat betekent dat ze kleine variaties kunnen verwerken, maar ze zijn streng over de geometrie (de indeling).

3. De "Detective": Alles samenvoegen

Wanneer de AI een nieuwe afbeelding ziet, raadt het niet alleen op basis van kleur. Het treedt op als een detective:

1. Het vindt de Lego-stukjes (primitieven).
2. Het controleert het regelboek om te zien of die stukjes in het juiste patroon zijn geplaatst.
3. Als de "snavel boven de borst zit" en "de vleugels aan de zijkanten", is de AI er zeker van dat het een vogel is, zelfs als de kleuren vreemd zijn of de stijl een tekening is.

Waarom is dit beter?

Het artikel betoogt dat terwijl andere AI-modellen proberen het uiterlijk van een vogel te memoriseren (wat snel verandert), PARSE de structuur van een vogel memoriseert (die hetzelfde blijft).

• Het resultaat: Wanneer getest op een dataset van vogels die veranderden van foto's naar tekeningen en schilderijen, behaalde PARSE aanzienlijk betere scores dan eerdere methoden. Het verbeterde de nauwkeurigheid met meer dan 4,5% op een moeilijke vogeldataset.
• De efficiëntie: Hoewel het controleren van al deze regels ingewikkeld klinkt, is het systeem slim. Het leert dat sommige regels nutteloos zijn voor bepaalde vogels en "snoeit" ze (haalt ze weg) na het trainen. Dit maakt het uiteindelijke systeem snel en lichtgewicht, bijna even snel als standaard AI-modellen.

Samenvatting

PARSE leert AI dingen te herkennen door te begrijpen hoe onderdelen passen in plaats van alleen hoe ze eruitzien. Het is het verschil tussen een auto herkennen omdat hij rood is (wat faalt als de auto blauw is) versus een auto herkennen omdat hij wielen onder een carrosserie en een voorruit bovenop heeft (wat werkt ongeacht de kleur of stijl). Dit maakt de AI veel sterker en betrouwbaarder wanneer het nieuwe, onbekende omgevingen tegenkomt.

Technische samenvatting

Technische Samenvatting: Primitief-bewuste Relationele Structuur voor Domein-Generalisatie (PARSE)

Probleemstelling

Domein-generalisatie (DG) heeft tot doel classifiers te trainen die nauwkeurigheid behouden op onzichtbare doeldomeinen, ondanks verdelingsverschuivingen in camera, belichting, gezichtspunt of stijl. Hoewel bestaande DG-methoden zich vaak richten op het verbeteren van trainingsprocessen (bijvoorbeeld data-augmentatie, feature-alignement of modelselectie), vertrouwen ze grotendeels op backbone-representaties om structurele compositie impliciet vast te leggen. De auteurs betogen dat deze impliciete aanpak de structurele compositie ondergespecificeerd laat, wat de prestaties beperkt op benchmarks waar domeinverschuivingen aanzienlijke veranderingen in uiterlijk met zich meebrengen maar de ruimtelijke lay-out behouden (bijvoorbeeld dezelfde vogelsoort weergegeven als een foto versus een cartoon). Huidige methoden falen vaak om expliciet de stabiele ruimtelijke relaties tussen visuele onderdelen te modelleren, wat cruciaal is voor robuuste herkenning onder domeinverschuiving.

Methodologie: PARSE-raamwerk

De auteurs stellen Primitive-Aware Relational Structure for domain gEneralization (PARSE) voor, een end-to-end differentieerbaar raamwerk dat visuele herkenning ontbindt in visuele primitieven en hun relationele compositie.

1. Visuele Primitieven en Descriptoren

PARSE veronderstelt een set van $K$ geleerde visuele primitieven. In plaats van handmatige annotaties te vereisen, worden deze primitieven geleerd uit beeldniveau-supervisie. Voor elke primitief $p_k$ geeft het netwerk een beeldafhankelijke descriptor $z_k(X) = \langle c_k, \sigma_k, \delta_k \rangle$ uit, bestaande uit:

• Ruimtelijke Locatie ($c_k$): 2D-coördinaten afgeleid van een differentieerbare warmtekaart.
• Aanwezigheidsscore ($\sigma_k$): Een betrouwbaarheidswaarde die de aanwezigheid van de primitief aangeeft.
• Ruimtelijke Uitgestrektheid ($\delta_k$): Een maat voor de grootte van de primitief.

2. Differentieerbare Ruimtelijke Predicaten

Om structurele invariantie vast te leggen, hanteert PARSE een vocabulaire van zachte, differentieerbare ruimtelijke predicaten over primitieflocaties. Deze predicaten geven een tevredenheidsscore in het bereik $[0, 1]$ uit:

• Unair: $R_{has}$ (aanwezigheid van een primitief).
• Binair: Codeert paarsgewijze relaties zoals relatieve positie ($R_{above}, R_{left}$), uitlijning ($R_{h-align}, R_{v-align}$), nabijheid ($R_{near}$) en bevatten ($R_{contains}$).
• Ternair: Modelleert geometrische aanwijzingen zoals driehoekige configuraties ($R_{tri}$) en draaihoeken in geordende ketens ($R_{turn}$).
• Quaternair: Vergelijkt relaties tussen twee primitiefparen, waarbij de relatieve oriëntatie ($R_{orient}$) en de relatieve Euclidische afstand ($R_{eqdist}$) worden geëvalueerd.

Alle predicatenparameters (bijvoorbeeld marges, toleranties, scherpte) zijn leerbare en globaal gedeeld over klassen.

3. Netwerkarcthitectuur

Het raamwerk bestaat uit drie end-to-end trainbare componenten:

1. Visuele Backbone: Een CNN (bijvoorbeeld ResNet) extrahert algemene visuele kenmerken.
2. Concept Bottleneck Layer: Mapt backbone-kenmerken af op $K$ primitief-warmtekaarten. Met behulp van een op temperatuur genormaliseerde soft-argmax-operatie worden deze warmtekaarten omgezet in differentieerbare ruimtelijke coördinaten, aanwezigheidsscores en uitgestrekheden.
3. Structurele Scorelaag:
   • Genoteert alle geldige toewijzingen van primitieven aan het predicatenvocabulaire.
   • Berekent een vector van predicatactivatiescores $a(X)$.
   • Leert klasspecifieke schaarse gewichten $\lambda_c$ over deze activaties met behulp van sparsemax-normalisatie.
   • Berekent de uiteindelijke klasscore $s_c(X)$ als het inwendig product van de schaarse gewichten en de activatievector.

Het model wordt end-to-end getraind met behulp van een cross-entropy-verlies op de structurele scores, waardoor gradiënten kunnen terugpropageren van de classificatietaken naar de primitiefdetectoren en predicatparameters.

Belangrijkste Bijdragen

1. Structure-bewust Raamwerk: Een nieuwe aanpak voor DG die visuele categorieën expliciet modelleert als composities van geleerde primitieven en ruimtelijke relaties, in plaats van uitsluitend te vertrouwen op impliciet feature-alignement.
2. End-to-End Differentieerbare Architectuur: Een unificerend model dat gezamenlijk primitiefdetectoren, ruimtelijke descriptoren en structurele predicaten leert zonder handmatige onderdeelannotaties te vereisen.
3. Differentieerbare Structurele Inductieve Bias: Het gebruik van zachte binaire, ternaire en quaternaire predicaten als structurele bias voor classificatie, onderscheiden van hun gebruik in neuro-symbolische redenering als semantische doelen.
4. Schaarse Structurele Compactering: Een mechanisme waarbij training de meeste klass-relatiegewichten naar nul drijft, waardoor het snoeien van inactieve relaties mogelijk is voor efficiënte inferentie.

Experimentele Resultaten

De auteurs evalueerden PARSE op twee benchmarks:

• CUB-DG (Compositional Domain Generalization):

  • PARSE behaalde een gemiddelde nauwkeurigheid van 65,6%, wat de vorige state-of-the-art (ERM++) met 4,5 procentpunten overtrof.
  • Het behaalde de beste nauwkeurigheid op drie van de vier doeldomeinen (Foto, Cartoon, Kunst).
  • Ablatiestudies bevestigden dat het toevoegen van relationele predicaten (binair, ternair, quaternair) de prestaties consistent verbeterde ten opzichte van een baseline die alleen primitiefdescriptoren gebruikte.

• DomainBed:

  • PARSE behaalde een gemiddelde nauwkeurigheid van 66,7% over vijf datasets.
  • Het overtrof MIRO en GVRT en bleef concurrerend met SWAD (binnen 0,2 punten).
  • Het behaalde het beste resultaat op de TerraIncognita-dataset, met een verbetering van 3,6 punten ten opzichte van de vorige beste.

• Efficiëntie:

  • Hoewel de structurele laag parameters introduceert, is de rekenkundige overhead minimaal ten opzichte van de backbone (gedomineerd door de ResNet-50 forward pass).
  • Post-training snoeien via sparsemax reduceert structurele parameters met meer dan 99% zonder prestatieverlies.

Betekenis en Claims

Het artikel claimt dat PARSE de waarde demonstreert van expliciete structurele inductieve bias in domein-generalisatie. Door bewijs te verdelen tussen lokale primitief-uitstraling en compositie-structuur, wordt het model robuuster tegen uiterlijke verschuivingen (bijvoorbeeld textuur, stijl) terwijl het gebruik maakt van stabiele ruimtelijke organisatie (bijvoorbeeld onderdeellay-out).

De auteurs benadrukken dat hun aanpak bestaande feature-gerichte methoden aanvult. Zij merken op dat hoewel de methode het meest effectief is wanneer primitieven betrouwbaar gelokaliseerd kunnen worden en de ruimtelijke structuur informatief blijft, het raamwerk succesvol de kloof overbrugt tussen deep learning en structurele redenering zonder end-to-end trainbaarheid op te offeren. Het werk suggereert dat toekomstige verbeteringen in DG kunnen liggen in betere primitiefrepresentaties en adaptieve predicatvocabulaires.