🤖 machine learning

Parabolic Position Encoding: Vision-Centric, Principled, Extrapolatable, General

यह शोध पत्र पैराबोलिक पोजीशन एनकोडिंग (PaPE) को प्रस्तुत करता है, जो एक सिद्धांत-आधारित, विजन-केंद्रित पोजीशन एनकोडिंग विधि है जो मौजूदा बेसलाइनों की तुलना में विविध दृश्य मोडैलिटीज (visual modalities) में बेहतर एक्सट्रपलेशन और सामान्यीकरण प्राप्त करने के लिए पैराबोलिक फलनों का लाभ उठाती है।

मूल लेखक: Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कमरे में वस्तुओं को पहचानना सिखा रहे हैं। आप उसे एक मेज पर बैठी बिल्ली की तस्वीर दिखाते हैं। रोबोट को दो चीजें जानने की जरूरत है: वह क्या देख रहा है (एक बिल्ली) और वह कहाँ देख रहा है (मेज पर, फर्श पर नहीं)।

AI की दुनिया में, "क्या" जानना आसान है। "कहाँ" जानना कठिन है। अधिकांश आज के रोबोट भाषा सीखने से ली गई एक स्थिति प्रणाली (position system) का उपयोग करते हैं, जो एक रूलर (पैमाने) की तरह है जो बस एक रेखा के पार "1, 2, 3" गिनता है। लेकिन दुनिया एक रेखा नहीं है; यह एक 3D स्थान है जिसमें ऊपर, नीचे, बाएँ, दाएँ और तिरछे (diagonals) दिशाएं हैं।

यह पेपर एक नया टूल पेश करता है जिसे पैरबोलिक पोजीशन एनकोडिंग (Parabolic Position Encoding - PaPE) कहा जाता है। PaPE को एक स्मार्ट, लचीले मानचित्र (map) के रूप में सोचें, न कि एक कठोर रूलर के रूप में।

यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:

1. पुराने मानचित्रों के साथ समस्या

पुरानी विधियाँ (जैसे कि भाषा के लिए उपयोग की जाने वाली) एक सीधे रूलर की तरह हैं। वे रोबोट को बताती हैं, "यह टोकन उस दूसरे से 5 कदम दूर है।" लेकिन वे तब संघर्ष करती हैं जब रोबोट को समझने की आवश्यकता होती है:

दिशा (Direction): क्या बिल्ली मेज के ऊपर है या नीचे?
दूरी (Distance): क्या बिल्ली मेज के करीब है या दूर है?
घूर्णन (Rotation): यदि आप तस्वीर को तिरछा घुमाते हैं, तो क्या रोबोट अभी भी जानता है कि यह एक बिल्ली है?

2. PaPE समाधान: एक "स्मार्ट बाउंस"

लेखकों ने PaPE को पांच सरल नियमों के आधार पर डिजाइन किया है जो विज़न (vision) के लिए तर्कसंगत हैं:

ट्रांसलेशन इनवेरिएंस (Translation Invariance): इससे कोई फर्क नहीं पड़ता कि बिल्ली ऊपर-बाएँ है या नीचे-दाएँ; बिल्ली और मेज के बीच का संबंध समान रहता है।
रोटेशन इनवेरिएंस (Rotation Invariance): यदि आप कमरे को घुमाते हैं, तो रोबोट को लेआउट समझ में आना चाहिए।
डिस्टेंस डिके (Distance Decay): जो चीजें करीब हैं, वे दूर की चीजों की तुलना में अधिक जोर से "बात" करेंगी।
डायरेक्शनैलिटी (Directionality): रोबोट को यह जानने की जरूरत है कि कोई चीज़ बाएँ है या दाएँ, न कि केवल यह कि वह कितनी दूर है।
कॉन्टेक्स्ट अवेयरनेस (Context Awareness): रोबोट यह तय करने में सक्षम होना चाहिए कि, "हे, इस विशिष्ट वस्तु के लिए, मुझे दूर तक देखने की आवश्यकता है," या "इस एक के लिए, मुझे केवल यह जानने की आवश्यकता है कि मेरे ठीक बगल में क्या है।"

उपमा: कल्पना कीजिए कि आप एक लक्ष्य पर गेंद फेंक रहे हैं।

पुरानी विधियाँ एक कठोर टेप माप (tape measure) की तरह हैं। वे केवल दूरी बताती हैं।
PaPE एक बाउंसी ट्रैम्पोलिन (trampoline) की तरह है। ट्रैम्पोलिन का आकार (परबोला) इस बात पर निर्भर करता है कि गेंद कौन फेंक रहा है (छवि की सामग्री)।
- यदि गेंद भारी है (एक जटिल वस्तु), तो ट्रैम्पोलिन सख्त हो सकता है, जिससे ध्यान केंद्रित (स्थानीय) रहता है।
- यदि गेंद हल्की है, तो ट्रैम्पोलिन ढीला हो सकता है, जिससे गेंद दूर तक उछल सके (वैश्विक)।
- यह स्वाभाविक रूप से दिशा (बाएँ/दाएँ) दिखाने के लिए मुड़ता है और जैसे-जैसे आप दूर जाते हैं, यह कमजोर होता जाता है (डिस्टेंस डिके)।

3. "एक्सट्रपलेशन" का जादू (ज़ूम टेस्ट)

इन रोबोट्स के लिए सबसे बड़े परीक्षणों में से एक एक्सट्रपलेशन (extrapolation) है। कल्पना कीजिए कि आपने रोबोट को 224x224 पिक्सेल की छोटी तस्वीरों में बिल्लियों को पहचानना सिखाया है। फिर, अचानक आप उसे बिना पुन: प्रशिक्षण (retraining) के एक विशाल 1024x1024 पिक्सेल की तस्वीर दिखाते हैं।

पुराने रोबोट भ्रमित हो जाते हैं। उन्हें लगता है कि बिल्ली बहुत बड़ी है या गलत जगह पर है। उनकी सटीकता गिर जाती है।
PaPE रोबोट एक ज़ूम लेंस की तरह हैं। वे बड़ी तस्वीर को लगभग उतनी ही अच्छी तरह से संभालते हैं जितनी छोटी तस्वीर को।
- पेपर दिखाता है कि उच्चतम रिज़ॉल्यूशन पर, PaPE अगली सबसे अच्छी विधि की तुलना में 10.5% अधिक सटीक था। यह ऐसा है जैसे रोबोट ने ध्यान ही नहीं दिया कि तस्वीर बड़ी हो गई है।

4. क्या यह हर जगह काम करता है?

लेखकों ने इस "स्मार्ट मैप" का परीक्षण आठ अलग-अलग प्रकार के विज़न कार्यों पर किया, जैसे:

वीडियो: लोगों के हिलने-डुलने को देखना (UCF101)।
इवेंट कैमरे (Event Cameras): ऐसे कैमरे जो केवल प्रकाश में बदलाव देखते हैं (जैसे धुआं देखने वाला फायर अलार्म)।
3D पॉइंट क्लाउड्स (3D Point Clouds): 3D वस्तुओं (जैसे कार या कुर्सी) को दर्शाने वाले बिंदुओं के डिजिटल बादल।
मानक फोटो: छवियों में वस्तुओं को पहचानना (ImageNet)।

परिणाम: PaPE 8 में से 5 परीक्षणों में विजेता या विजेता के रूप में बराबरी पर था, और इसने 2 में सबको पीछे छोड़ दिया। इसने साबित कर दिया कि यह एक "यूनिवर्सल" मानचित्र है जो वीडियो, 3D आकृतियों और फोटो समान रूप से काम करता है।

5. ट्रेड-ऑफ (समझौता)

क्या इसमें कोई कमी है? हाँ, लेकिन बहुत छोटी।
इस स्मार्ट मैप को बनाने के लिए, रोबोट को थोड़ा भारी बैकपैक ले जाने की आवश्यकता होती है। PaPE थोड़ा अतिरिक्त डेटा (सेटिंग्स के आधार पर लगभग 7% से 20% अधिक मेमोरी और कंप्यूटिंग पावर) जोड़ता है। हालाँकि, लेखकों का कहना है कि सटीकता में भारी वृद्धि और बिना पुन: प्रशिक्षण के विभिन्न रिज़ॉल्यूशन को संभालने की क्षमता की तुलना में यह लागत बहुत कम है।

सारांश

यह पेपर PaPE का प्रस्ताव करता है, जो AI को यह सिखाने का एक नया तरीका है कि एक तस्वीर में चीजें कहाँ स्थित हैं। एक कठोर, भाषा-आधारित रूलर के बजाय, यह एक लचीले, घुमावदार "परबोला" का उपयोग करता है जो दूरी, दिशा और संदर्भ को समझता है।

यह मजबूत (robust) है: यह बहुत अधिक ज़ूम इन या ज़ूम आउट करने पर भी काम करता है।
यह सामान्य (general) है: यह वीडियो, 3D स्कैन और फोटो पर काम करता है।
यह कुशल (efficient) है: यह आधुनिक AI चिप्स में बिना बहुत अधिक धीमा किए फिट हो जाता है।

संक्षेप में, PaPE रोबोट को स्थान (space) की बेहतर समझ देता है, जिससे वह अधिक स्मार्ट और वास्तविक दुनिया के अनुकूल बनता है।

तकनीकी सारांश: पैराबोलिक पोजीशन एनकोडिंग (PaPE)

समस्या विवरण

विज़न ट्रांसफॉर्मर (ViTs) कंप्यूटर विज़न में प्रभावी हो गए हैं, फिर भी उनके पोजीशन एनकोडिंग अक्सर नेचुरल लैंग्वेज प्रोसेसिंग (NLP) आर्किटेक्चर से अनुकूलित किए जाते हैं। जबकि भाषा स्वाभाविक रूप से 1D है और ज्यामितीय दिशा के प्रति उदासीन है, विज़न मोडैलिटीज़ (छवियाँ, वीडियो, इवेंट स्ट्रीम, पॉइंट क्लाउड्स) विशिष्ट स्थानिक विशेषताओं को प्रदर्शित करती हैं। $n$ -आयामी विज़न संरचनाओं के लिए मौजूदा पोजीशन एनकोडिंग अनुकूलन अक्सर इन विशेषताओं, जैसे कि ट्रांसलेशन इनवेरिएंस (स्थानांतरण अपरिवर्तनीयता), रोटेशन इनवेरिएंस (घूर्णन अपरिवर्तनीयता), डिस्टेंस डिके (दूरी क्षय), दिशात्मकता और कॉन्टेक्स्ट अवेयरनेस (संदर्भ जागरूकता) को पूरी तरह से समझने में विफल रहते हैं। इसके अलावा, कई वर्तमान विधियाँ प्रशिक्षण के दौरान देखी गई रिज़ॉल्यूशन से काफी उच्च रिज़ॉल्यूशन पर प्रभावी ढंग से एक्सट्रपलेशन (extrapolate) करने में संघर्ष करती हैं, जो मल्टी-रिज़ॉल्यूशन परिदृश्यों में उनकी मजबूती और अनुप्रयोग को सीमित करती हैं।

कार्यप्रणाली: पैराबोलिक पोजीशन एनकोडिंग (PaPE)

लेखक पैराबोलिक पोजीशन एनकोडिंग (PaPE) का प्रस्ताव करते हैं, जो पाँच डिस्टिल्ड डिज़ाइन सिद्धांतों पर आधारित एक पोजीशन एनकोडिंग है जिसे विशेष रूप से विज़न मोडैलिटीज़ के लिए डिज़ाइन किया गया है:

ट्रांसलेशन इनवेरिएंस (स्थानांतरण अपरिवर्तनीयता): एनकोडिंग टोकन के बीच के सापेक्ष स्थान (relative position) पर निर्भर करती है, न कि उनके पूर्ण निर्देशांकों (absolute coordinates) पर।
रोटेशन इनवेरिएंस (PaPE-RI): एक विशिष्ट इंस्टेंशिएशन जहाँ एनकोडिंग रोटेशन के तहत अपरिवर्तित रहती है (हालाँकि यह दिशात्मकता की कीमत पर आता है)।
डिस्टेंस डिके (दूरी क्षय): जैसे-जैसे टोकनों के बीच की दूरी बढ़ती है, अटेंशन स्ट्रेंथ कम होती जाती है।
डायरेक्शनैलिटी (दिशात्मकता): एनकोडिंग टोकनों के बीच की विशिष्ट दिशा (जैसे ऊपर, नीचे, विकर्ण) को ध्यान में रखती है, जो विज़न के लिए महत्वपूर्ण है लेकिन 1D भाषा के लिए कम प्रासंगिक है।
कॉन्टेक्स्ट अवेयरनेस (संदर्भ जागरूकता): दूरी के क्षय और दिशात्मकता की शक्ति को स्वयं टोकनों की सामग्री द्वारा नियंत्रित किया जाता है, जिससे मॉडल को स्थानीय बनाम दीर्घ-रेंज इंटरैक्शन के अनुकूल होने की अनुमति मिलती है।

गणितीय सूत्रीकरण (Mathematical Formulation)

PaPE सापेक्ष स्थिति $\Delta r_{ij} = W_p(r_j - r_i)$ को $m$ सीखने योग्य पैराबोला के योग में एक आश्रित चर (dependent variable) के रूप में मॉडल करता है। अटेंशन स्कोर $S_{ij}$ को तीन घटकों में विभाजित किया गया है:
$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$
जहाँ:

$\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ डिस्टेंस डिके को एनकोड करता है। गुणांक $a_i$ को एक सीखने योग्य प्रोजेक्शन और एक softplus एक्टिवेशन (नेगेटेड) के माध्यम से टोकन सामग्री $x_i$ से प्राप्त किया जाता है ताकि $a_i < 0$ सुनिश्चित हो सके, जो कॉनकैविटी (उत्तलता) को लागू करता है।
$\langle b_i, \Delta r_{ij} \rangle$ डायरेक्शनैलिटी को एनकोड करता है। गुणांक $b_i$ को भी $x_i$ से प्राप्त किया जाता है।
$\langle q_i, k_j \rangle$ मानक सिमेंटिक अटेंशन का प्रतिनिधित्व करता है।

रोटेशन इनवेरिएंट वेरिएंट (PaPE-RI)

रोटेशन इनवेरिएंस प्राप्त करने के लिए, PaPE-RI कुछ प्रतिबंध लगाता है: $b_i = 0$ (दिशात्मकता को हटाना), $a_i$ एक स्केलर $\alpha_i < 0$ है, और प्रोजेक्शन मैट्रिक्स $W_p$ एक स्केल्ड आइडेंटिटी मैट्रिक्स है। यह डिस्टेंस टर्म को स्क्वेर्ड यूक्लिडियन डिस्टेंस के फलन (function) में बदल देता है, जो रोटेशन इनवेरिएंट है।

कुशल कर्नेल के साथ अनुकूलता

एक महत्वपूर्ण तकनीकी योगदान अलग-अलग क्वेरी और की ट्रांसफॉर्मेशन ( $f_q$ और $f_k$ ) का व्युत्पन्न है जो PaPE को पूर्ण $N \times N$ अटेंशन मैट्रिक्स को मैटेरियलाइज़ किए बिना कंप्यूट करने की अनुमति देता है। यह सुनिश्चित करता है कि PaPE फ्लैशअटेंशन (FlashAttention) जैसे कुशल अटेंशन कर्नेल के साथ संगत है। ये ट्रांसफॉर्मेशन पोजीशनल जानकारी को सीधे क्वेरी और की वेक्टर्स में इंजेक्ट करते हैं, जिससे हेड डायमेंशन $p^2 + 2p + 2$ बढ़ जाता है (जहाँ $p$ स्थानिक आयाम है), जो $p=2$ या $p=3$ के लिए एक मध्यम ओवरहेड है।

मुख्य योगदान

नया एनकोडिंग: PaFE और PaPE-RI का परिचय, जो ट्रांसलेशन/रोटेशन इनवेरिएंस, डिस्टेंस डिके, डायरेक्शनैलिटी और कॉन्टेक्स्ट अवेयरनेस के संयुक्त सिद्धांतों से प्राप्त पहले पोजीशन एनकोडिंग हैं।
दक्षता: यह प्रदर्शन कि PaPE अलग-अलग क्वेरी-की ट्रांसफॉर्मेशन के माध्यम से कुशल अटेंशन कर्नेल के साथ संगत है, जिससे पूर्ण अटेंशन मैट्रिक्स मैटेरियलाइजेशन का कम्प्यूटेशनल बॉटलनेक बचता है।
एक्सट्रपलेशन (Extrapolation): प्रमाण कि PaPE क्लासिफिकेशन कार्यों के लिए बेहतर एक्सट्रपलेशन क्षमता प्रदर्शित करता है, जो बिना किसी अतिरिक्त प्रशिक्षण या इंटरपोलेशन के देखे गए रिज़ॉल्यूशन से काफी अधिक रिज़ॉल्यूशन पर प्रदर्शन बनाए रखता है।
व्यापकता (Generality): 4 विज़न मोडैलिटीज़ (वीडियो, इवेंट कैमरा, इमेज, और पॉइंट क्लाउड) के 8 डेटासेट्स पर PaPE का सत्यापन, जो दिखाता है कि यह स्टेट-ऑफ-द-आर्ट बेसलाइन्स के बराबर या उनसे बेहतर है।

प्रयोगात्मक परिणाम

क्लासिफिकेशन एक्सट्रपलेशन

ImageNet-1K पर, $224^2$ रिज़ॉल्यूशन पर प्रशिक्षित मॉडलों का मूल्यांकन बिना रिट्रेनिंग या पोजीशन इंटरपोलेशन के $1024^2$ तक किया गया।

PaPE ने $1024^2$ पर 74.9% की सटीकता प्राप्त की, जो अगले-सर्वश्रेष्ठ बेसलाइन (LookHere) से 10.5% (LookHere ने 64.4% प्राप्त किया) बेहतर है।
इसके विपरीत, मानक बेसलाइन्स जैसे nD-sincos और RoPE वेरिएंट उच्च रिज़ॉल्यूशन पर महत्वपूर्ण प्रदर्शन गिरावट का सामना करते हैं।
लेखक इस सफलता का श्रेय PaPE की कॉन्टेक्स्ट-अवेयर प्रकृति को देते हैं, जो मॉडल को गतिशील रूप से पोजीशनल डिके को अनुकूलित करने की अनुमति देती है।

सामान्य विज़न पोजीशन एनकोडिंग

8 डेटासेट्स (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) पर मूल्यांकन के निम्नलिखित परिणाम मिले:

औसत प्रदर्शन: PaPE ने उच्चतम औसत स्कोर (66.3) प्राप्त किया, जो अगले-सर्वश्रेष्ठ विधि (RoPE) से 1.0 अंक अधिक है।
डेटासेट जीत: PaPE ने 5 डेटासेट्स पर सर्वश्रेष्ठ बेसलाइन के साथ बराबरी की और 2 डेटासेट्स (UCF101 और GEN1) पर सभी बेसलाइन्स से बेहतर प्रदर्शन किया।
स्पैटियो-टेम्पोरल डेटा: PaPE ने UCF101 (49.5% बनाम RoPE के लिए 43.9%) और GEN1 पर विशेष रूप से मजबूत लाभ दिखाया, जो बताता है कि इसकी दिशात्मकता और कॉन्टेक्स्ट अवेयरनेस तेज़ गति वाली वस्तुओं और इवेंट-आधारित डेटा के लिए महत्वपूर्ण है।
पॉइंट क्लाउड्स: ScanNet पर, PaPE एब्सोल्यूट एनकोडिंग्स (nD-sincos) की तुलना में कम प्रदर्शन करता है, जो सुझाव देता है कि विशिष्ट एब्सोल्यूट साइज़ वाले इंडोर सीन्स के लिए, एब्सोल्यूट पोजीशन जानकारी फायदेमंद हो सकती है। इसके विपरीत, ModelNet40 (आइसोलेटेड ऑब्जेक्ट्स) पर, ट्रांसलेशन-इनवेरिएंट एनकोडिंग्स एब्सोल्यूट एनकोडिंग्स की तुलना में बेहतर रहे।

मजबूती और दक्षता

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): PaPE ने ImageNetV2 और ImageNet-Renditions पर बेसलाइन्स से अधिक गिरावट नहीं दिखाई, जो पुष्टि करता है कि कॉन्टेक्स्ट अवेयरनेस सामान्यीकरण (generalization) को नुकसान नहीं पहुँचाती है।
पैरामीटर मैचिंग: जब बेसलाइन्स को PaPE के पैरामीटर काउंट से मेल खाने के लिए समायोजित किया गया, तब भी PaPE ने अपना प्रदर्शन लाभ बनाए रखा, जो दर्शाता है कि लाभ केवल बढ़ी हुई मॉडल कैपेसिटी के कारण नहीं है।
दक्षता: PaPE $m=50$ के लिए 7–20% VRAM और FLOPS में मध्यम संसाधन वृद्धि लाता है, लेकिन यह मानक कुशल अटेंशन कार्यान्वयन के साथ संगत बना रहता है।

महत्व और दावे

यह पेपर दावा करता है कि PaPE एक सामान्य विज़न पोजीशन एनकोडिंग का प्रतिनिधित्व करता है जो भाषा-व्युत्पन्न एनकोडिंग और विज़न की विशिष्ट ज्यामितीय आवश्यकताओं के बीच के अंतर को पाटता है।

एक्सट्रपलेशन: लेखक दावा करते हैं कि PaPE "असाधारण" एक्सट्रपलेशन प्रदान करता है, जो उच्च रिज़ॉल्यूशन पर अगले-सर्वश्रेष्ठ विधि से पूर्ण शब्दों (absolute terms) में 10.5% तक सुधार करता है, जो प्रशिक्षण लागत को कम करने और मजबूत मल्टी-रिज़ॉल्यूशन इन्फरेंस को सक्षम करने के लिए एक महत्वपूर्ण कारक है।
सिद्धांत-आधारित डिज़ाइन: ट्रांसलेशन इनवेरिएंस, डिस्टेंस डिके, डायरेक्शनैलिटी और कॉन्टेक्स्ट अवेयरनेस को स्पष्ट रूप से डिज़ाइन करके, PaPE विज़न विशेषताओं के पूर्व अनुकूलन में मौजूद "अपूर्ण" कवरेज को संबोधित करता है।
बहुमुखी प्रतिभा: विविध मोडैलिटीज़ (2D छवियों से लेकर 3D पॉइंट क्लाउड्स और एसिंक्रोनस इवेंट स्ट्रीम तक) में परिणाम बताते हैं कि PaPE विज़न ट्रांसफॉर्मर्स के लिए एक एकीकृत, मजबूत समाधान प्रदान करता है, जो पोजीशन एनकोडिंग अनुसंधान के लिए एक नया मार्ग प्रशस्त करता है।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि हाइपरपैरामीटर $m$ पर निर्भर पैरामीटर और संसाधन उपयोग में मध्यम वृद्धि होती है, और वे भविष्य के कार्य के रूप में $m$ को कम करने या Pa-PE को कुशल कर्नेल में अधिक गहराई से एकीकृत करने का सुझाव देते हैं।