Technische Samenvatting: RaysUp: Ultra-lichtgewicht Universele Feature Upsampling via Geometrie-bewuste Straalrepresentatie

1. Probleemstelling

Pre-trained Vision Foundation Models (VFMs), zoals de DINO-, CLIP- en SigLIP-families, zijn centraal komen te staan in de moderne computervisie vanwege hun krachtige semantische representaties en generalisatievermogens. Deze modellen produceren echter doorgaans feature maps met een lage resolutie als gevolg van patchificatie of agressieve pooling-operaties. Deze beperking belemmert hun effectiviteit bij taken voor dichte voorspelling (dense prediction) die fijnmazige, pixel-niveau redenering vereisen, zoals semantische segmentatie, diepte-inschatting en 3D-reconstructie.

Bestaande benaderingen voor feature upsampling kampen met aanzienlijke trade-offs:

• Traditionele Interpolatie: Methoden zoals bilineaire interpolatie zijn computationeel efficiënt, maar leiden vaak tot een degradatie van de semantische getrouwheid, wat resulteert in onscherpe randen en verlies van fijne details.
• Learned Upsampling: Recente taak-agnostische methoden (bijv. LiFT, FeatUp, LoftUp, JAFAR) verbeteren de prestaties, maar vereisen vaak hertraining voor specifieke VFMs of veroorzaken een zware computationele overhead tijdens de inferentie.
• Universele Benaderingen: Hoewel recent werk zoals AnyUp probeert encoder-agnostische frameworks te creëren, leunt het op zware netwerkarchitecturen, wat resulteert in hoge parameteraantallen en trage inferentiesnelheden, wat de schaalbaarheid en efficiëntie beperkt.

2. Methodologie

De auteurs stellen RaysUp voor, een ultra-lichtgewicht, taak-agnostisch en VFM-agnostisch framework dat high-resolution feature maps reconstrueert op willekeurige resoluties door feature reconstructie te verheffen naar een geometrie-bewuste straal-domein (ray domain). De architectuur bestaat uit vier kerncomponenten:

2.1 Spatially Decoupled Guidance Encoder

Geïnspireerd door de observatie dat standaard $3 \times 3$ convolutionele kernels in bestaande upsamplers anisotrope gewichtsverdelingen vertonen (waarbij de voorkeur uitgaat naar hoeken boven het centrum), introduceert RaysUp een lichtgewicht encoder die de extractie van guidance features decomponeert in orthogonale directionele componenten.

• Structuur: De encoder splitst de generatie van de guidance feature in vier parallelle takken: een $1 \times 1$ convolutie (centrum), $1 \times 3$ (horizontaal), $3 \times 1$ (verticaal) en een $2 \times 2$ gedilateerde convolutie (diagonaal/hoeken).
• Efficiëntie: Dit ontwerp vermindert de parameter-overhead met ongeveer 69,4% vergeleken met standaard $3 \times 3$ convoluties, terwijl het de directionele interpreteerbaarheid en structurele ontkoppeling verbetert.
• Output: Het genereert directionele guidance features ($F_g$) die multi-schaal ruimtelijke semantiek effectiever vastleggen dan ruwe RGB-verschillen.

2.2 Any-Resolution Cross-Attention Mechanisme

Om ondersteuning te bieden aan willekeurige doelresoluties zonder hertraining, gebruikt RaysUp een resolutie-ontkoppeld cross-attention mechanisme.

• Queries ($Q_g$): Genereren op de doel-high-resolutie ($H_{any} \times W_{any}$) via adaptieve average pooling van de guidance features.
• Keys ($K_g$): Genereren op de backbone low-resolutie ($H_{lr} \times W_{lr}$) via adaptieve average pooling.
• Values ($V$): Worden direct genomen van de low-resolutie VFM features.
• Functie: Dit stelt high-resolution queries in staat om informatie te aggregeren uit semantisch uitgelijnde low-resolutie features zonder expliciete interpolatie, wat flexibele cross-resolutie propagatie mogelijk maakt.

2.3 Ray Positional Encoding (RayPE)

Om de beperkingen van 2D lokale buren te overwinnen en 3D geometrische priors te injecteren, introduceert RaysUp RayPE, geïnspireerd door Neural Radiance Fields (NeRF).

• Concept: In plaats van te vertrouwen op 2D Euclidische nabijheid, wordt elke pixel geassocieerd met een 3D camerastraal (ray) gedefinieerd door een oorsprong ($o$) en een genormaliseerde richting ($d$).
• Encoding: De straalparameters worden gecodeerd met behulp van 6D Plücker-coördinaten. Een multi-band harmonische fase-encoding brengt deze coördinaten in kaart naar een hoog-dimensionale rotationele ruimte.
• Modulatie: Vergelijkbaar met Rotary Positional Embedding (RoPE), past RayPE rotationele modulatie toe op de query en key features op basis van de 3D straalgeometrie. Dit zorgt ervoor dat feature aggregatie de hoekmatige consistentie en onderliggende 3D-structuren respecteert, waardoor interacties tussen geometrisch niet-gerelateerde stralen worden voorkomen.

2.4 Geometry-Aware Neighborhood Cross-Attention

De uiteindelijke reconstructiestap maakt gebruik van een leerbare bilaterale aggregatie-operator.

• Mechanisme: In plaats van globale attention, aggregeert elke high-resolution query informatie uit een lokale $k \times k$ buurt in de low-resolution feature space.
• Dilatie: Om de resolutieverschillen te overbruggen, wordt de buurt gedefinieerd met dilatiefactoren gebaseerd op de upsampling-ratio.
• Voordeel: Dit zorgt ervoor dat attention wordt uitgevoerd tussen stralen met vergelijkbare oriëntaties, waardoor geometrische consistentie behouden blijft terwijl de computationele complexiteit wordt teruggebracht van globale $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ naar lokale $O(H_{any}W_{any} \cdot k^2)$.

3. Belangrijkste Bijdragen

1. RaysUp Framework: Een ultra-lichtgewicht (0,14M parameters), taak-agnostisch en VFM-agnostisch framework dat in staat is om backbone features te upsamplen naar willekeurige resoluties.
2. Spatially Decoupled Guidance Encoder: Een nieuw encoder-ontwerp dat anisotrope modellering verbetert en de parameters met ~69% vermindert vergeleken met standaard convoluties.
3. Ray Positional Encoding (RayPE): Een methode die impliciete 3D geometrische priors injecteert via 6D Plücker straalcoördinaten, waarmee de klassieke Joint Bilateral Upsampling (JBU) wordt uitgebreid naar een geometrie-bewust reconstructieproces dat structurele drift en randonscherpte mitigeert.
4. Efficiëntie en Prestaties: Het framework bereikt state-of-the-art prestaties over diverse taken voor dichte voorspelling terwijl het slechts ~16% van de parameters van de leidende baseline (AnyUp) gebruikt en ongeveer 7× snellere inferentie levert.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op diverse datasets (COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS) en diverse VFMs (DINOv2, DINOv3, SigLIP2, PE Spatial).

• Taak-agnostische Prestaties: RaysUp behaalde de beste of op één na beste prestaties over de meeste metrieken in semantische segmentatie, diepte-inschatting, oppervlaktenormaal-inschatting, video object segmentatie en open-vocabulary segmentatie. Met name toonde het superieure geometrische consistentie in diepte- en normaal-inschattingstaken.
• VFM-agnostische Generalisatie: Bij testen op ongeziene VFMs (inclusief DINOv3 en SigLIP2) en verschillende model-schalen (ViT-S, ViT-M, ViT-L), presteerde RaysUp consistent beter dan AnyUp, wat een robuuste generalisatie zonder hertraining demonstreert.
• Efficiëntie:
  • Parameters: 0,14M (vs. 0,87M voor AnyUp).
    • Infersiesnelheid: Bij een resolutie van 224×224 bereikt RaysUp 55 FPS vergeleken met 11 FPS voor AnyUp.
  • Schaalbaarheid: RaysUp blijft uitvoerbaar bij extreme resoluties (2K×2K) waar andere methoden (LoftUp, JAFAR, AnyUp) te maken krijgen met Out-Of-Memory (OOM) fouten of significante vertragingen.
• Ablatie-studies: Experimenten bevestigden de noodzaak van de Spatially Decoupled Guidance Encoder en RayPE. Het verwijderen van RayPE resulteerde in een significante prestatiedaling, wat het belang van 3D geometrische priors valideert.

5. Betekenis en Claims

Het artikel claimt dat RaysUp een nieuwe standaard vestigt voor de nauwkeurigheid-efficiëntie trade-off in universele feature upsampling. Door de klassieke Joint Bilateral Upsampling-paradigma te herzien en te herformuleren met geometrie-bewuste straalrepresentaties, slaagt RaysUp erin een balans te vinden tussen hoge semantische getrouwheid, geometrische consistentie en computationele efficiëntie.

De auteurs positioneren RaysUp als een praktische en schaalbare oplossing voor moderne computervisie-pipelines, waardoor het gebruik van bevroren of gefinetunede VFMs in downstream taken mogelijk wordt die een high-resolution, pixel-niveau begrip vereisen zonder de computationele last van zware upsampling-netwerken. Het werk benadrukt dat het integreren van 3D geometrische priors (via straalrepresentaties) in 2D feature upsampling een cruciale stap is naar het verbeteren van structurele getrouwheid en het verminderen van artefacten in taken voor dichte voorspelling.