🤖 machine learning

Parabolic Position Encoding: Vision-Centric, Principled, Extrapolatable, General

Dieser Beitrag stellt Parabolic Position Encoding (PaPE) vor, eine prinzipielle, visuell zentrierte Positionierungsmethode, die parabolische Funktionen nutzt, um im Vergleich zu bestehenden Basismethoden eine überlegene Extrapolation und Generalisierung über diverse visuelle Modalitäten hinweg zu erreichen.

Ursprüngliche Autoren: Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, Objekte in einem Raum zu erkennen. Sie zeigen ihm ein Bild einer Katze, die auf einem Tisch sitzt. Der Roboter muss zwei Dinge wissen: was er betrachtet (eine Katze) und wo er hinsieht (auf dem Tisch, nicht auf dem Boden).

In der Welt der KI ist das „Was" einfach. Das „Wo" ist knifflig. Die meisten heutigen Roboter verwenden ein Positionssystem, das vom Sprachenlernen übernommen wurde, wie ein Lineal, das einfach „1, 2, 3" über eine Linie zählt. Aber die Welt ist keine Linie; sie ist ein 3D-Raum mit oben, unten, links, rechts und Diagonalen.

Dieser Artikel stellt ein neues Werkzeug vor, das Parabolische Positions-Kodierung (PaPE) genannt wird. Stellen Sie sich PaPE vor als eine intelligente, flexible Karte statt eines starren Lineals.

Hier ist die Funktionsweise, unter Verwendung einfacher Analogien:

1. Das Problem mit alten Karten

Alte Methoden (wie die für Sprache verwendeten) sind wie ein gerades Lineal. Sie sagen dem Roboter: „Dieses Token ist 5 Schritte von diesem entfernt." Doch sie haben Schwierigkeiten, wenn der Roboter verstehen muss:

Richtung: Befindet sich die Katze über dem Tisch oder unter ihm?
Entfernung: Ist die Katze nah am Tisch oder weit entfernt?
Rotation: Wenn Sie das Bild seitwärts drehen, weiß der Roboter dann immer noch, dass es eine Katze ist?

2. Die PaPE-Lösung: Ein „intelligenter Sprung"

Die Autoren haben PaPE auf Basis von fünf einfachen Regeln entwickelt, die für das Sehen sinnvoll sind:

Translationsinvarianz: Es spielt keine Rolle, ob sich die Katze oben links oder unten rechts befindet; die Beziehung zwischen Katze und Tisch bleibt gleich.
Rotationsinvarianz: Wenn Sie den Raum drehen, sollte der Roboter das Layout immer noch verstehen.
Entfernungsabnahme: Dinge, die nah beieinander sind, sollten „lauter" miteinander „sprechen" als Dinge, die weit entfernt sind.
Richtungsabhängigkeit: Der Roboter muss wissen, ob etwas links oder rechts ist, nicht nur wie weit entfernt.
Kontextbewusstsein: Der Roboter sollte in der Lage sein zu entscheiden: „Hey, für dieses spezifische Objekt muss ich weit schauen," oder „Für dieses hier kümmere ich mich nur um das, was direkt neben mir ist."

Die Analogie: Stellen Sie sich vor, Sie werfen einen Ball auf ein Ziel.

Alte Methoden sind wie ein starres Maßband. Sie sagen Ihnen nur die Entfernung.
PaPE ist wie eine federnde Trampolin. Die Form des Trampolins (die „Parabel") ändert sich je nachdem, wer den Ball wirft (der Inhalt des Bildes).
- Wenn der Ball schwer ist (ein komplexes Objekt), könnte das Trampolin steif sein und den Fokus eng halten (lokal).
- Wenn der Ball leicht ist, könnte das Trampolin locker sein und den Ball weit hüpfen lassen (global).
- Es krümmt sich natürlich, um die Richtung (links/rechts) anzuzeigen, und wird schwächer, je weiter man sich entfernt (Entfernungsabnahme).

3. Die „Magie" der Extrapolation (Der Zoom-Test)

Einer der größten Tests für diese Roboter ist die Extrapolation. Stellen Sie sich vor, Sie trainieren den Roboter, Katzen auf kleinen 224x224-Pixel-Bildern zu erkennen. Dann zeigen Sie ihm plötzlich ein riesiges 1024x1024-Pixel-Bild, ohne ihn neu zu trainieren.

Alte Roboter geraten in Verwirrung. Sie denken, die Katze sei riesig oder an der falschen Stelle. Ihre Genauigkeit bricht ein.
PaPE-Roboter sind wie eine Zoom-Objektiv. Sie bewältigen das riesige Bild fast genauso gut wie das kleine.
- Der Artikel zeigt, dass PaPE bei der höchsten Auflösung 10,5 % genauer war als die zweitbeste Methode. Es ist, als hätte der Roboter gar nicht bemerkt, dass das Bild größer geworden ist.

4. Funktioniert es überall?

Die Autoren haben diese „intelligente Karte" bei acht verschiedenen Arten von Sehaufgaben getestet, wie zum Beispiel:

Videos: Beobachten, wie sich Menschen bewegen (UCF101).
Ereigniskameras: Kameras, die nur Lichtänderungen sehen (wie ein Feueralarm, der Rauch sieht).
3D-Punktwolken: Digitale Wolken aus Punkten, die 3D-Objekte darstellen (wie ein Auto oder ein Stuhl).
Standardfotos: Objekte in Bildern erkennen (ImageNet).

Das Ergebnis: PaPE war der Gewinner oder gleichauf mit dem Gewinner bei 5 von 8 Tests und schlug alle anderen bei 2 davon. Es erwies sich als eine „universelle" Karte, die für Videos, 3D-Formen und Fotos gleichermaßen funktioniert.

5. Der Kompromiss

Gibt es einen Haken? Ja, aber ein kleiner.
Um diese intelligente Karte zu erstellen, muss der Roboter einen etwas schwereren Rucksack tragen. PaPE fügt ein wenig zusätzliche Daten hinzu (etwa 7 % bis 20 % mehr Speicher und Rechenleistung, abhängig von den Einstellungen). Allerdings sagen die Autoren, dass diese Kosten im Vergleich zum enormen Gewinn an Genauigkeit und der Fähigkeit, verschiedene Auflösungen ohne Neutrainieren zu bewältigen, gering sind.

Zusammenfassung

Der Artikel schlägt PaPE vor, eine neue Methode, um KI beizubringen, wo sich Dinge in einem Bild befinden. Anstatt ein starres, sprachbasiertes Lineal zu verwenden, nutzt es eine flexible, gekrümmte „Parabel", die Entfernung, Richtung und Kontext versteht.

Es ist robust: Es funktioniert auch bei starkem Heranzoomen oder Herauszoomen.
Es ist allgemein: Es funktioniert bei Videos, 3D-Scans und Fotos.
Es ist effizient: Es passt in moderne KI-Chips, ohne sie zu stark zu verlangsamen.

Kurz gesagt, verleiht PaPE dem Roboter ein besseres Raumgefühl und macht ihn intelligenter und anpassungsfähiger an die reale Welt.

Technische Zusammenfassung: Parabolische Positions-Kodierung (PaPE)

Problemstellung

Vision Transformer (ViTs) haben sich in der Computer Vision als dominant etabliert, doch ihre Positions-Kodierungen werden häufig aus Architekturen der natürlichen Sprachverarbeitung (NLP) adaptiert. Während Sprache inhärent eindimensional ist und weitgehend gegenüber geometrischen Richtungen indifferent, weisen visuelle Modalitäten (Bilder, Videos, Ereignisströme, Punktwolken) ausgeprägte räumliche Eigenschaften auf. Bestehende Anpassungen von Positions-Kodierungen an $n$ -dimensionale visuelle Strukturen berücksichtigen diese Eigenschaften oft nicht vollständig, wie etwa Translationsinvarianz, Rotationsinvarianz, Distanzabnahme, Richtungsabhängigkeit und Kontextbewusstsein. Darüber hinaus haben viele aktuelle Methoden Schwierigkeiten, sich effektiv auf Auflösungen zu extrapolieren, die deutlich höher sind als die während des Trainings gesehenen, was ihre Robustheit und Anwendbarkeit in Szenarien mit mehreren Auflösungen einschränkt.

Methodik: Parabolische Positions-Kodierung (PaPE)

Die Autoren schlagen Parabolische Positions-Kodierung (PaPE) vor, eine Positions-Kodierung, die speziell für visuelle Modalitäten entwickelt wurde und auf fünf extrahierten Gestaltungsprinzipien basiert:

Translationsinvarianz: Die Kodierung hängt von der relativen Position zwischen Tokens ab, nicht von ihren absoluten Koordinaten.
Rotationsinvarianz (PaPE-RI): Eine spezifische Instanziierung, bei der die Kodierung unter Rotation unverändert bleibt (wobei dies auf Kosten der Richtungsabhängigkeit geht).
Distanzabnahme: Die Stärke der Aufmerksamkeit nimmt mit zunehmender Distanz zwischen Tokens ab.
Richtungsabhängigkeit: Die Kodierung berücksichtigt die spezifische Richtung zwischen Tokens (z. B. oben, unten, diagonal), was für die Vision entscheidend, aber in der eindimensionalen Sprache weniger relevant ist.
Kontextbewusstsein: Die Stärke der Distanzabnahme und der Richtungsabhängigkeit wird durch den Inhalt der Tokens selbst moduliert, was es dem Modell ermöglicht, sich an lokale versus weitreichende Interaktionen anzupassen.

Mathematische Formulierung

PaPE modelliert die relative Position $\Delta r_{ij} = W_p(r_j - r_i)$ als abhängige Variable in einer Summe von $m$ lernbaren Parabeln. Der Aufmerksamkeitswert $S_{ij}$ wird in drei Komponenten zerlegt:
$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$
Wobei:

$\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ die Distanzabnahme kodiert. Der Koeffizient $a_i$ wird über den Token-Inhalt $x_i$ mittels einer lernbaren Projektion und einer softplus-Aktivierung (negiert) abgeleitet, um sicherzustellen, dass $a_i < 0$ ist und damit Konkavität erzwungen wird.
$\langle b_i, \Delta r_{ij} \rangle$ kodiert die Richtungsabhängigkeit. Der Koeffizient $b_i$ wird ebenfalls aus $x_i$ abgeleitet.
$\langle q_i, k_j \rangle$ stellt die standardmäßige semantische Aufmerksamkeit dar.

Rotationsinvariante Variante (PaPE-RI)

Um Rotationsinvarianz zu erreichen, setzt PaPE-RI folgende Constraints: $b_i = 0$ (Entfernung der Richtungsabhängigkeit), $a_i$ ist ein Skalar $\alpha_i < 0$ , und die Projektionsmatrix $W_p$ ist eine skalierte Einheitsmatrix. Dies reduziert den Distanzterm auf eine Funktion des quadrierten euklidischen Abstands, die rotationsinvariant ist.

Kompatibilität mit effizienten Kernen

Ein kritischer technischer Beitrag ist die Herleitung separater Query- und Key-Transformationen ( $f_q$ und $f_k$ ), die es PaPE ermöglichen, berechnet zu werden, ohne die vollständige $N \times N$ -Aufmerksamkeitsmatrix zu materialisieren. Dies gewährleistet die Kompatibilität mit effizienten Aufmerksamkeitskernen wie FlashAttention. Die Transformationen injizieren Positionsinformationen direkt in die Query- und Key-Vektoren und erhöhen die Kopf-Dimension um $p^2 + 2p + 2$ (wobei $p$ die räumliche Dimension ist), was für $p=2$ oder $p=3$ einen moderaten Overhead darstellt.

Hauptbeiträge

Neuartige Kodierung: Einführung von PaPE und PaPE-RI, den ersten Positions-Kodierungen, die aus den kombinierten Prinzipien von Translations-/Rotationsinvarianz, Distanzabnahme, Richtungsabhängigkeit und Kontextbewusstsein abgeleitet sind.
Effizienz: Nachweis, dass PaPE über separate Query-Key-Transformationen mit effizienten Aufmerksamkeitskernen kompatibel ist und den rechenintensiven Flaschenhals der Materialisierung der vollständigen Aufmerksamkeitsmatrix vermeidet.
Extrapolation: Belege dafür, dass PaPE überlegene Extrapolationsfähigkeiten für Klassifizierungsaufgaben aufweist und die Leistung bei Auflösungen beibehält, die die Trainingsauflösung weit überschreiten, ohne zusätzliches Training oder Interpolation.
Allgemeingültigkeit: Validierung von PaPE über 8 Datensätze hinweg, die 4 visuelle Modalitäten abdecken (Videos, Ereigniskameras, Bilder und Punktwolken), wobei gezeigt wird, dass es State-of-the-Art-Baselines entspricht oder übertrifft.

Experimentelle Ergebnisse

Klassifizierungs-Extrapolation

Auf ImageNet-1K wurden Modelle, die bei einer Auflösung von $224^2$ trainiert wurden, bis zu $1024^2$ bewertet, ohne Nachtraining oder Positions-Interpolation.

PaPE erreichte bei $1024^2$ eine Genauigkeit von 74,9 % und übertraf die zweitbeste Baseline (LookHere) um 10,5 % (LookHere erreichte 64,4 %).
Im Gegensatz dazu erlitten Standard-Baselines wie nD-sincos und RoPE-Varianten bei höheren Auflösungen signifikante Leistungseinbußen.
Die Autoren führen diesen Erfolg auf die kontextbewusste Natur von PaPE zurück, die es dem Modell ermöglicht, die Positionsabnahme dynamisch anzupassen.

Allgemeine visuelle Positions-Kodierung

Die Bewertung über 8 Datensätze hinweg (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) ergab Folgendes:

Durchschnittliche Leistung: PaPE erzielte den höchsten Durchschnittswert (66,3) und übertraf die zweitbeste Methode (RoPE) um 1,0 Punkt.
Datensatz-Siege: PaPE entsprach auf 5 Datensätzen der besten Baseline und übertraf auf 2 Datensätzen (UCF101 und GEN1) alle Baselines.
Räumlich-zeitliche Daten: PaPE zeigte besonders starke Gewinne auf UCF101 (49,5 % gegenüber 43,9 % für RoPE) und GEN1, was darauf hindeutet, dass seine Richtungsabhängigkeit und sein Kontextbewusstsein für sich schnell bewegende Objekte und ereignisbasierte Daten von entscheidender Bedeutung sind.
Punktwolken: Auf ScanNet schnitt PaPE im Vergleich zu absoluten Kodierungen (nD-sincos) schlechter ab, was darauf hindeutet, dass für Innenszenen mit charakteristischen absoluten Größen absolute Positionsinformationen vorteilhaft sein können. Umgekehrt übertrafen translationsinvariante Kodierungen auf ModelNet40 (isolierte Objekte) die absoluten Kodierungen.

Robustheit und Effizienz

Out-of-Distribution (OOD): PaPE verschlechterte sich auf ImageNetV2 und ImageNet-Renditions nicht stärker als Baselines, was bestätigt, dass Kontextbewusstsein die Generalisierung nicht beeinträchtigt.
Parameter-Matching: Wenn Baselines so angepasst wurden, dass sie die Parameteranzahl von PaPE erreichten, behielt PaPE seinen Leistungsüberschuss bei, was darauf hindeutet, dass die Gewinne nicht allein auf eine erhöhte Modellkapazität zurückzuführen sind.
Effizienz: PaPE führt zu einem moderaten Ressourcenanstieg (7–20 % bei VRAM und FLOPS für $m=50$ ), bleibt jedoch mit Standard-Implementierungen effizienter Aufmerksamkeit kompatibel.

Bedeutung und Behauptungen

Die Autoren behaupten, dass PaPE eine allgemeine visuelle Positions-Kodierung darstellt, die die Lücke zwischen aus der Sprache abgeleiteten Kodierungen und den spezifischen geometrischen Bedürfnissen der Vision schließt.

Extrapolation: Die Autoren behaupten, PaPE biete eine „bemerkenswerte" Extrapolation und verbessere die absoluten Werte bei hohen Auflösungen um bis zu 10,5 % gegenüber der zweitbesten Methode, ein kritischer Faktor zur Reduzierung von Trainingskosten und zur Ermöglichung robuster Inferenz bei mehreren Auflösungen.
Prinzipienbasiertes Design: Durch die explizite Auslegung auf Translationsinvarianz, Distanzabnahme, Richtungsabhängigkeit und Kontextbewusstsein adressiert PaPE die „unvollständige" Abdeckung visueller Eigenschaften in früheren Anpassungen.
Vielseitigkeit: Die Ergebnisse über diverse Modalitäten hinweg (von 2D-Bildern bis zu 3D-Punktwolken und asynchronen Ereignisströmen) deuten darauf hin, dass PaPE eine einheitliche, robuste Lösung für Vision Transformer bietet und einen neuen Weg für die Forschung zu Positions-Kodierungen ebnet.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und verweisen auf den moderaten Anstieg der Parameter und der Ressourcennutzung, der vom Hyperparameter $m$ abhängt, und schlagen vor, dass zukünftige Arbeiten darauf fokussieren könnten, $m$ zu reduzieren oder PaPE tiefer in effiziente Kerne zu integrieren.