💻 computer science

RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation

RaysUp ist ein ultra-leichtgewichtiges, aufgabenagnostisches Framework, das hochauflösende Feature-Maps aus vortrainierten Vision Foundation Models rekonstruiert, indem es geometrie-bewusste Strahlenrepräsentationen und 6D-Plücker-Koordinaten nutzt, um eine State-of-the-Art-Leistung mit signifikant verbesserter Effizienz im Vergleich zu bestehenden Methoden zu erzielen.

Ursprüngliche Autoren: Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein hochauflösendes, kristallklares Foto einer Stadt. Nun stellen Sie sich vor, Sie füttern dieses Foto in ein superintelligentes KI-Gehirn (genannt Vision Foundation Model), um zu verstehen, was darauf zu sehen ist. Das Problem? Dieses KI-Gehirn betrachtet das Foto nicht Pixel für Pixel. Stattdessen betrachtet es das Foto in großen, klobigen „Patches“ (wie wenn man eine Stadt durch ein Gitter aus großen Fenstern betrachtet). Es versteht die Bedeutung der Stadt perfekt (z. B. „das ist ein Park“, „das ist ein Wolkenkratzer“), aber es verliert dabei alle feinen Details. Das Ergebnis ist eine verschwommene, niedrig aufgelöste Karte der Bedeutung der Stadt.

Wenn Sie diese KI nutzen wollen, um Dinge zu tun wie präzise Umrisse um jedes Auto zu zeichnen oder die exakte Tiefe eines Gebäudes zu messen, reicht diese verschwommene Karte nicht aus. Sie müssen „hineinzoomen“ und die fehlenden Details auffüllen.

RaysUp ist ein neues, ultraleichtgewichtiges Werkzeug, das genau dieses Problem lösen soll. Es nimmt diese verschwommene, klobige KI-Karte und rekonstruiert sie in eine scharfe High-Definition-Version, ohne die ursprüngliche Bedeutung zu verlieren oder Ihren Computer auszubremsen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem mit alten Methoden

Frühere Werkzeuge versuchten, den Unschärfeeffekt auf zwei Arten zu beheben:

Die „Streck-Methode“ (Bilineare Interpolation): Wie das Dehnen eines niedrig aufgelösten Bildes auf einem Bildschirm. Es ist schnell, aber die Kanten werden unscharf und man verliert die „Form“ der Dinge.
Die „Schwere Maschine“-Methode (Alte Upsampler): Diese sind wie riesige, komplexe Fabriken, die versuchen, das Bild von Grund auf neu zu lernen. Sie funktionieren gut, sind aber langsam, schwerfällig und müssen oft für jedes andere KI-Gehirn, das man verwendet, neu trainiert werden.

2. Die RaysUp-Lösung: „Die Strahlenpistole“

RaysUp verfolt einen völlig anderen Ansatz. Anstatt in 2D-Quadraten zu denken (wie Pixel auf einem flachen Bildschirm), denkt es in 3D-Strahlen (wie Lichtstrahlen, die aus einer Kamera schießen).

Hier sind die drei magischen Tricks, die RaysUp anwendet:

A. Der „Richtungs-Detektiv“ (Spatially Decoupled Guidance Encoder)

Stellen Sie sich vor, Sie versuchen, ein Gebäude basierend auf einer verschwommenen Skizze zu zeichnen. Alte Werkzeuge betrachten einfach das ganze Bild auf einmal. RaysUp hingegen hat einen speziellen „Detektiv“, der das Bild gleichzeitig in vier spezifischen Richtungen betrachtet: Oben/Unten, Links/Rechts und Diagonal.

Warum? In der Facharbeit wurde festgestellt, dass Standard-KI-Werkzeuge oft die Mitte einer Form übersehen, während sie sich zu sehr auf die Ecken konzentrieren. Durch das Aufteilen der Aufgabe in diese vier Richtungs-„Spuren“ erfasst RaysUp die Struktur viel genauer, ohne ein schweres, komplexes Gehirn zu benötigen. Es ist, als hätte man vier spezialisierte Künstler, die an einem Gemälde arbeiten, anstatt eines allgemeinen Generalisten.

B. Der „3D-Kompass“ (Ray Positional Encoding / RayPE)

Dies ist der einzigartige Teil. Stellen Sie sich vor, Sie stehen auf einem Feld und blicken auf einen Berg. Zwei Bäume mögen in Ihrer 2D-Ansicht nah beieinander liegen, aber im 3D-Raum können sie weit voneinander entfernt sein.

Alte Werkzeuge gehen davon aus, dass, wenn zwei Pixel auf dem Bildschirm nebeneinander liegen, sie auch in der realen Welt Nachbarn sind. Dies verursacht Fehler an Kanten (wie der Kante eines Gebäudes gegen den Himmel).
RaysUp nutzt einen „3D-Kompass“. Es berechnet den exakten Winkel und die Richtung (den „Strahl“) von der Kamera zu jedem einzelnen Punkt. Es behandelt das Bild nicht als ein flaches Blatt Papier, sondern als eine Sammlung von Lichtstrahlen. Dies ermöglicht es dem Tool zu wissen, dass ein Pixel an der Kante eines Gebäudes geometrisch anders ist als ein Pixel im Himmel, selbst wenn sie direkt nebeneinander auf dem Bildschirm liegen. Dies hält die Kanten scharf und die Formen korrekt.

C. Das „Schlaue Nachbarschaftsverhältnis“ (Geometry-Aware Neighborhood Attention)

Sob still RaysUp seinen 3D-Kompass und seine Richtungsanzeigen hat, muss es die fehlenden Details auffüllen. Anstatt das gesamte Bild zu durchsuchen, um eine Übereinstimmung zu finden (was langsam ist), schaut es nur in die unmittelbare Nachbarschaft des Punktes, den es korrigieren möchte.

Es fragt: „Basierend auf dem 3D-Winkel und der Richtung, von welchen benachbarten Pixeln der ursprünglichen verschwommenen Karte sollte ich Informationen entleihen?“
Dies geschieht sehr schnell und effizient und stellt sicher, dass die neuen Details perfekt mit der ursprünglichen Geometrie harmonieren.

Die Ergebnisse: Schnell, Leicht und Scharf

Das Paper behauptet, dass RaysUp ein Gamechanger ist, weil:

Es ist Ultraleicht: Es benötigt nur 16 % des Computergedächtnisses (Parameter), das das derzeit beste Werkzeug (AnyUp) benötigt. Es ist wie ein Upgrade von einem schweren Lkw zu einem schnittigen Sportwagen.
Es ist Super Schnell: Es läuft etwa 7 Mal schneller als die Konkurrenz.
Es Funktioniert Überall: Es ist egal, welches KI-Gehirn Sie verwenden (DINO, CLIP, etc.). Es funktioniert mit allen dieser Gehirne, ohne dass ein Retraining erforderlich ist.
Es ist Präzise: In Tests, die das Finden von Objektgrenzen, das Messen von Tiefe und die Segmentierung von Videos beinhalteten, lieferte es schärfere und genauere Ergebnisse als die schweren, langsamen Methoden.

Zusammenfassend lässt sich sagen: RaysUp ist ein kleines, schnelles und intelligentes Werkzeug, das die „verschwommene Bedeutung“ moderner KI nimmt und sie durch das Verständnis der 3D-Geometrie von Lichtstrahlen wieder in ein „scharfes, detailliertes Bild“ verwandelt, anstatt nur basierend auf flachen Pixeln zu raten.

Technisches Resümee: RaysUp: Ultra-leichtes universelles Feature-Upsampling mittels geometrie-bewusster Strahlenrepräsentation

1. Problemstellung

Prätrainierte Vision Foundation Models (VFMs), wie die Familien DINO, CLIP und SigLIP, sind aufgrund ihrer leistungsstarken semantischen Repräsentationen und Generalisierungsfähigkeiten zentral für die moderne Computer Vision geworden. Diese Modelle liefern jedoch typischerweise niedrig auflösende Feature-Maps aufgrund von Patchifizierung oder aggressiven Pooling-Operationen. Diese Einschränkung behindert ihre Effektivität bei Aufgaben der dichten Vorhersage (Dense Prediction), die eine feingliedrige, pixelgenaue Argumentation erfordern, wie etwa semantische Segmentierung, Tiefenschätzung und 3D-Rekonstruktion.

Bestehende Ansätze zum Feature-Upsampling stehen vor signifikanten Kompromissen:

Traditionelle Interpolation: Methoden wie die bilineare Interpolation sind recheneffizient, führen aber oft zu einer Verschlechterung der semantischen Treue, was zu Unschärfen an den Grenzen und dem Verlust feiner Details führt.
Gelernte Upsampling-Verfahren: Neuere aufgabenspezifische Methoden (z. B. LiFT, FeatUp, LoftUp, JAFAR) verbessern die Leistung, erfordern jedoch oft ein erneutes Training für spezifische VFMs oder verursachen einen hohen Rechenaufwand während der Inferenzzeit.
Universelle Ansätze: Während neuere Arbeiten wie AnyUp versuchen, encoder-agnostische Frameworks zu schaffen, stützen sie sich auf schwere Netzwerkarchitekturen, was zu hohen Parameterzahlen und langsamen Inferenzgeschwindigkeiten führt, was die Skalierbarkeit und Effizienz einschränkt.

2. Methodik

Die Autoren schlagen RaysUp vor, ein ultra-leichtgewichtiges, aufgaben-agnostisches und VFM-agnostisches Framework, das hochauflösende Feature-Maps bei beliebigen Auflösungen rekonstruiert, indem es die Feature-Rekonstruktion in einen geometrie-bewussten Strahlenraum hebt. Die Architektur besteht aus vier Kernkomponenten:

2.1 Räumlich entkoppelter Guidance-Encoder

Motiviert durch die Beobachtung, dass Standard- $3 \times 3$ -Faltungskerne in bestehenden Upsamplern anisotrope Gewichtverteilungen aufweisen (sie bevorzugen Ecken gegenüber dem Zentrum), führt RaysUp einen leichtgewichtigen Encoder ein, der die Merkmalsextraktion in orthogonale Richtungskomponenten zerlegt.

Struktur: Der Encoder teilt die Generierung der Guidance-Features in vier parallele Zweige auf: eine $1 \times 1$ -Faltung (Zentrum), $1 \times 3$ (horizontal), $3 \times 1$ (vertikal) und eine $2 \times 2$ dilatierte Faltung (Diagonalen/Ecken).
Effizienz: Dieses Design reduziert den Parameter-Overhead um etwa 69,4 % im Vergleich zu Standard- $3 \times 3$ -Faltungen und verbessert gleichzeitig die richtungsbezogene Interpretierbarkeit sowie die strukturelle Entkopplung.
Ausgabe: Es generiert richtungsbewusste Guidance-Features ( $F_g$ ), die mehrschalige räumliche Semantik effektiver erfassen als rohe RGB-Differenzen.

2.2 Auflösungsunabhängiger Cross-Attention-Mechanismus

Um beliebige Zielauflösungen ohne Retraining zu unterstützen, verwendet RaysUp einen auflösungsentkoppelten Cross-Attention-Mechanismus.

Queries ( $Q_g$ ): Werden bei der Zielauflösung ( $H_{any} \times W_{any}$ ) via adaptiver Average-Pooling der Guidance-Features generiert.
Keys ( $K_g$ ): Werden bei der niedrigen Auflösung des Backbones ( $H_{lr} \times W_{lr}$ ) via adaptiver Average-Pooling generiert.
Values ( $V$ ): Werden direkt aus den niedrig auflösenden VFM-Features entnommen.
Funktion: Dies ermöglicht es hochauflösenden Queries, Informationen aus semantisch ausgerichteten, niedrig auflösenden Features zu aggregieren, ohne explizite Interpolation, was eine flexible Cross-Resolution-Propagation ermöglicht.

2.3 Ray Positional Encoding (RayPE)

Um die Einschränkungen von 2D-Nachbarschaften zu überwinden und 3D-geometrische Priors zu injizieren, führt RaysUp RayPE ein, das von Neural Radiance Fields (NeRF) inspiriert ist.

Konzept: Anstatt sich auf die 2D-euklidische Nähe zu verlassen, wird jedem Pixel ein 3D-Kamerastrahl zugeordnet, der durch seinen Ursprung ( $o$ ) und seine normalisierte Richtung ( $d$ ) definiert ist.
Kodierung: Die Strahlparameter werden mittels 6D-Plücker-Koordinaten kodiert. Eine Multi-Band-Harmonic-Phasen-Kodierung bildet diese Koordinaten in einen hochdimensionalen Rotationsraum ab.
Modulation: Ähnlich wie Rotary Positional Embedding (RoPE) wendet RayPE eine Rotationsmodulation auf die Query- und Key-Features basierend auf der 3D-Strahlgeometrie an. Dies stellt sicher, dass die Feature-Aggregation die Winkelkonsistenz und die zugrunde liegenden 3D-Strukturen respektiert und Interaktionen zwischen geometrisch nicht zusammengehörigen Strahlen verhindert.

2.4 Geometrie-bewusster Nachbarschafts-Cross-Attention

Der finale Rekonstruktionsschritt nutzt einen lernbaren bilateralen Aggregationsoperator.

Mechanismus: Anstatt globaler Attention aggregiert jede hochauflösende Query Informationen aus einer lokalen $k \times k$ -Nachbarschaft im niedrig auflösenden Feature-Raum.
Dilation: Um die Auflösungsunterschiede zu überbrücken, wird die Nachbarschaft mit Dilationsfaktoren basierend auf dem Upsampling-Verhältnis definiert.
Vorteil: Dies stellt sicher, dass die Attention zwischen Strahlen mit ähnlichen Orientierungen stattfindet, wodurch die geometrische Konsistenz gewahrt bleibt und die Rechenkomplexität von globalem $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ auf lokales $O(H_{any}W_{any} \cdot k^2)$ reduziert wird.

3. Wichtige Beiträge

RaysUp Framework: Ein ultra-leichtgewichtiges (0,14M Parameter), aufgaben-agnostisches und VFM-agnostisches Framework, das in der Lage ist, Backbone-Features auf beliebige Auflösungen hochzuskalieren.
Spatially Decoupled Guidance Encoder: Ein neuartiges Encoder-Design, das die anisotrope Modellierung verbessert und die Parameter im Vergleich zu Standard-Faltungen um ~69 % reduziert.
Ray Positional Encoding (RayPE): Eine Methode, die implizite 3D-geometrische Priors via 6D-Plücker-Strahlkoordinaten injiziert und das klassische Joint Bilateral Upsampling (JBU) zu einem geometrie-bewussten Rekonstruktionsprozess erweitert, der strukturellen Drift und Grenzunschärfe entgegenwirkt.
Effizienz und Leistung: Das Framework erreicht eine State-of-the-Art-Leistung bei verschiedenen Dense-Prediction-Aufgaben unter Verwendung von nur ~16 % der Parameter des führenden Baselines (AnyUp) und liefert eine etwa 7-mal schnellere Inferenz.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf diversen Datensätzen (COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS) und verschiedenen VFMs (DINOv2, DINOv3, SigLIP2, PE Spatial) durchgeführt.

Aufgaben-agnostische Leistung: RaysUp erreichte die beste oder zweitbeste Leistung über die meisten Metriken hinweg in den Bereichen semantische Segmentierung, Tiefenschätzung, Normalenschätzung der Oberfläche, Video-Objektsegmentierung und Open-Vocabulary-Segmentierung. Bemerkenswerterweise zeigte es eine überlegene geometrische Konsistenz bei Tiefen- und Normalenschätzungsaufgaben.
VFM-agnostische Generalisierung: Getestet auf ungesehenen VFMs (einschließlich DINOv3 und SigLip2) und unterschiedlichen Modellskalen (ViT-S, ViT-M, ViT-L), übertraf RaysUp AnyUp konsistent, was eine robuste Generalisierung ohne Retraining demonstriert.
Effizienz:
- Parameter: 0,14M (vs. 0,87M für AnyUp).
- Inferenzgeschwindigkeit: Bei einer Auflösung von 224×224 erreicht RaysUp 55 FPS im Vergleich zu 11 FPS für AnyUp.
- Skalierbarkeit: RaysUp bleibt auch bei extremen Auflösungen (2K×2K) lauffähig, bei denen andere Methoden (LoftUp, JAFAR, AnyUp) auf Out-Of-Memory (OOM)-Fehler oder signifikante Verlangsamungen stoßen.
Ablationsstudien: Experimente bestätigten die Notwendigkeit des Spatially Decoupled Guidance Encoders und von RayPE. Das Entfernen von RayPE führte zu einem signifikanten Leistungsabfall, was die Bedeutung der 3D-geometrischen Priors validiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass RaysUp einen neuen Standard für den Genauigkeits-Effizienz-Kompromiss beim universellen Feature-Upsampling setzt. Durch die Rückbesinnung auf das klassische Joint Bilateral Upsampling Paradigma und dessen Umformulierung mit geometrie-bewussten Strahlenrepräsentationen, balanciert RaysUp erfolgreich hohe semantische Treue, geometrische Konsistenz und Recheneffizienz.

Die Autoren positionieren RaysUp als praktische und skalierbare Lösung für moderne Computer-Vision-Pipelines, die es ermöglichen, eingefrorene oder fein abgestimmte VFMs in Downstream-Aufgaben einzusetzen, die eine hochauflösende, pixelgenaue Verständniserfordernheit besitzen, ohne die rechnerische Last schwerer Upsampling-Netzwerke. Die Arbeit hebt hervor, dass die Integration von 3D-geometrischen Priors (via Strahlenrepräsentationen) in das 2D-Feature-Upsampling ein entscheidender Schritt zur Verbesserung der strukturellen Treue und zur Reduzierung von Artefakten in dichten Vorhersageaufgaben ist.