Technische Samenvatting: HyRo – Semantische Uitlijning in Hyperbolische Ruimte voor Open-Vocabulaire Semantische Segmentatie

1. Probleemstelling

Open-vocabulaire semantische segmentatie (OVSS) heeft tot doel om elke pixel in een afbeelding een semantische categorie toe te wijzen, inclusief klassen die niet tijdens het trainen zijn gezien. Hoewel Vision-Language Modellen (VLM's) zoals CLIP rijke semantische uitlijningen bieden, zijn ze vooraf getraind voor representaties op afbeeldingsniveau, wat de aanpassing aan dichte, pixel-level voorspellingen uitdagend maakt.

Bestaande benaderingen ondervinden twee primaire beperkingen:

1. Hiërarchische versus Semantische Mismatch: Recente werken die hyperbolische geometrie gebruiken (bijv. HyperCLIP) modelleren succesvol hiërarchische relaties door de hyperbolische straal van embeddings aan te passen om te matchen met pixel-level granulariteit. Ze negeren echter vaak semantische misalignement tussen embeddings binnen hetzelfde hiërarchische niveau.
2. Geometrische Beperkingen: In hyperbolische ruimte wordt hiërarchie gecodeerd door radiale afstand, terwijl semantische gelijkenis wordt weerspiegeld in de hoekoriëntatie. Eerdere methoden die alleen de straal aanpassen, falen in het corrigeren van onjuiste hoekrelaties, wat leidt tot scenario's waarbij semantisch verschillende concepten (bijv. een "persoon" en een "stoel") worden ingebed op vergelijkbare stralen maar onjuiste hoeken, waardoor het model ze verkeerd classificeert als één object.

2. Methodologie: HyRo (Hyperbolische Rotatie)

De auteurs stellen HyRo voor, een fine-tuning framework dat hiërarchische uitlijning en semantische verfijning expliciet ontkoppelt binnen het Poincaré-bolmodel. De kerninzicht is dat hiërarchie en semantiek corresponderen met distincte geometrische eigenschappen: straal voor hiërarchie en hoek voor semantiek.

2.1. Theoretische Grondslag

De methode opereert in het Poincaré-bolmodel ($D^m_c$), waarbij:

• Conformiteit: Hoeken gemeten bij de oorsprong worden behouden vanuit de Euclidische ruimte.
• Orthogonale Transformaties: De auteurs bewijzen dat het toepassen van een orthogonale matrix $R$ op een punt in de Poincaré-bol fungeert als een ideale rotatie. Het past de hoekrelatie (semantische uitlijning) aan zonder de hyperbolische straal (hiërarchische diepte) te veranderen.
  • Laat $x$ een embedding zijn. Zijn raakvector bij de oorsprong is $v_x = \log_0(x)$.
  • Het toepassen van een orthogonale matrix $R$ levert $v'_x = R v_x$ op. Omdat $R$ de Euclidische norm behoudt ($\|v'_x\| = \|v_x\|$), blijft de hyperbolische straal ongewijzigd na terugmapping via de exponentiële afbeelding: $x' = \exp_0(R v_x) = R x$.

2.2. Architectuur en Werkstroom

De HyRo-pijplijn (geïllustreerd in Fig. 3) bestaat uit vier fasen:

1. Mapping naar Hyperbolische Ruimte: Euclidische feature embeddings ($z$) van CLIP worden naar de Poincaré-bol gemap met de exponentiële afbeelding: $h = \exp_0^{\mathbb{D},c}(z)$.
2. Hiërarchische Aanpassing (Straal): Een leerbare diagonale matrix $S$ (met een blokdiaagonale structuur voor efficiëntie) schaalt de hyperbolische straal om embeddings uit te lijnen met de juiste pixel-level granulariteit: $q = S \otimes_c h$.
3. Semantische Verfijning (Rotatie): Een orthogonale matrix $R$ wordt toegepast om hoekrelaties te verfijnen: $v = R q$.
   • Parametrisatie: Om te garanderen dat $R$ strikt orthogonaal is, gebruiken de auteurs de Cayley-transformatie op een leerbare schuifsymmetrische matrix $\Theta$: $R = (I + A)(I - A)^{-1}$, waarbij $A = \Theta - \Theta^\top$.
   • Efficiëntie: Om te handelen met hoogdimensionale CLIP embeddings (bijv. 768-dim) en verschillende modale dimensies, wordt $R$ ontbonden in onafhankelijke blokdiaagonale matrices, wat de rekenkosten verlaagt van $O(d^3)$ naar $O(d^3/n^2)$.
4. Decodering: De verfijnde hyperbolische embeddings worden teruggemapt naar Euclidische ruimte via de logaritmische afbeelding en ingevoerd in een Cost Aggregation Decoder (gebaseerd op CATSeg) om pixel-level voorspellingen te genereren.

2.3. Trainingsstrategie

• Bevroren Encoders: De CLIP-encoders blijven bevroren om generalisatiecapaciteiten te behouden.
• Fine-tuning: Alleen de hyperbolische transformatieparameters (straal-schaling matrices $S$ en rotatiematrices $R$) worden gefine-tuned met behulp van cross-entropy-verlies op pixel-niveau.

3. Belangrijkste Bijdragen

1. Ontkoppelde Uitlijning: Het paper introduceert een framework dat hiërarchische uitlijning (straal) expliciet scheidt van semantische verfijning (hoek) in hyperbolische ruimte, waardoor een kritieke kloof in eerdere OVSS-methoden wordt gedicht.
2. Strategie voor Orthogonale Rotatie: Een theoretisch onderbouwde methode die orthogonale transformaties gebruikt (via Cayley-parametrisatie) om semantische hoeken aan te passen zonder de hiërarchische structuur te vervormen.
3. State-of-the-Art Prestaties: De voorgestelde methode behaalt superieure resultaten op standaard benchmarks, wat de geometrische benadering valideert.

4. Experimentele Resultaten

De auteurs evalueerden HyRo op standaard OVSS-benchmarks: ADE20K (A-847, A-150), PASCAL-Context (PC-459, PC-59) en PASCAL VOC (PAS-20, PAS-20b).

• Kwantitatieve Prestaties: HyRo behaalde de beste prestaties op vier van de zes benchmarks. Opmerkelijk is dat het de vorige hyperbolische state-of-the-art (HyperCLIP) verbeterde met:
  • +0,1 mIoU op A-847 (12,0 vs 11,9)
  • +0,7 mIoU op PC-459 (18,9 vs 18,2)
  • +0,2 mIoU op PC-59 (57,3 vs 57,1)
  • +0,1 mIoU op PAS-20 (95,0 vs 94,9)
• Kwalitatieve Verbeteringen: Visualisaties tonen aan dat HyRo effectief semantische ambiguïteiten oplost waar eerdere methoden falen. Bijvoorbeeld, in scènes met een persoon die op een stoel ligt, classificeert HyperCLIP beide vaak als "stoel", terwijl HyRo de objecten correct ontkoppelt. Attentiekarten bevestigen dat HyRo de aandacht concentreert op doelgebieden en achtergrondruis onderdrukt.
• Ablatiestudies:
  • Componentbelang: Het combineren van zowel straal-schaling als rotatie levert de beste resultaten op. Rotatie wordt geïdentificeerd als de primaire drijver voor open-vocabulaire generalisatie, terwijl straal-schaling zorgt voor fijne granulaire scheidbaarheid.
  • Kromming ($c$): Een "zachtere" kromming ($c=0,01$) bleek optimaal, waarbij de zero-shot generalisatie van CLIP wordt behouden terwijl noodzakelijke hiërarchische aanpassingen mogelijk zijn.
  • Blokgrootte: Een blokgrootte van $n=256$ bood de beste balans tussen capaciteit en generalisatie.

5. Betekenis en Claims

Het paper claimt dat HyRo het belang benadrukt van het gezamenlijk modelleren van hiërarchie en semantiek in niet-Euclidische ruimten. Door aan te tonen dat hoekrelaties even kritiek zijn als radiale afstanden voor dichte voorspelling, opent dit werk nieuwe richtingen voor geometrisch representatieleren in vision-language taken.

De auteurs positioneren hun werk als een oplossing voor het "semantische misalignement"-probleem dat inherent is aan eerdere hyperbolische benaderingen. Ze betogen dat het simpelweg aanpassen van de granulariteit (straal) onvoldoende is; expliciete optimalisatie van de semantische oriëntatie (hoek) is vereist om robuuste open-vocabulaire generalisatie te bereiken. De methode wordt gepresenteerd als een significante stap voorwaarts in het aanpassen van foundation modellen voor dichte, pixel-level begrijpen zonder hun vermogen om ongezette klassen te herkennen te offeren.

Toekomstig werk wordt gesuggereerd om deze hyperbolische geometrische benadering uit te breiden naar complexe open-vocabulaire video-segmentatiescenario's (bijv. MOSE, MeViS), hoewel de huidige scope beperkt is tot statische afbeeldingen.