🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

यह शोध पत्र RelFlexformer को प्रस्तुत करता है, जो कुशल 3D-Transformer मॉडलों का एक वर्ग है जो $O(L \log L)$ जटिलता के साथ मनमाने इंटीग्रेबल रिलेटिव पोजीशनल एनकोडिंग्स को एकीकृत करने के लिए नॉन-यूनिफॉर्म फूरियर ट्रांसफॉर्म (NU-FFT) का उपयोग करता है, जिससे स्ट्रक्चर्ड ग्रिड और पॉइंट क्लाउड जैसे अनस्ट्रक्चर्ड हेट्रोजेनियस 3D डेटा दोनों के लिए प्रभावी अटेंशन मैकेनिज्म सक्षम होता है।

मूल लेखक: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक पार्टी आयोजित करने की कोशिश कर रहे हैं जहाँ मेहमान एक 3D कमरे में खड़े हैं। कुछ पास-पास हैं, कुछ दूर-दूर हैं, और कोई व्यवस्थित ग्रिड या पंक्तियाँ नहीं हैं। आपका लक्ष्य यह पता लगाना है कि किसे किससे बात करनी चाहिए, इस आधार पर कि वे एक-दूसरे के कितने करीब हैं।

कंप्यूटर विज़न की दुनिया में, यह "पार्टी" एक 3D पॉइंट क्लाउड (स्थान में वस्तुओं का प्रतिनिधित्व करने वाले बिंदुओं का एक संग्रह) है, और "मेहमान" डेटा पॉइंट्स हैं। कंप्यूटर यह तय करने के लिए एक टूल का उपयोग करता है कि किसे किससे बात करनी चाहिए।

यहाँ समस्या दी गई है जिसे यह पेपर सरल रूप में समझाता है:

समस्या: "क्वाड्रेटिक" (Quadratic) बाधा

स्टैंडर्ड ट्रांसफॉर्मर एक ऐसे पार्टी होस्ट की तरह हैं जो किसी के भी बोलने से पहले हर एक मेहमान और हर दूसरे मेहमान के बीच की दूरी की जाँच करने पर अड़ा रहता है।

यदि आपके पास 100 मेहमान हैं, तो होस्ट 10,000 जाँच करता है।
यदि आपके पास 1,000 मेहमान हैं, तो होस्ट 1,000,000 जाँच करता है।
यदि आपके पास 10,000 मेहमान हैं (जो 3D स्कैन में आम है), तो होस्ट अभिभूत हो जाता है, उसकी मेमोरी खत्म हो जाती है, और पार्टी रुक जाती है। यह क्वाड्रेटिक लागत ( $O(L^2)$ ) है।

इसे ठीक करने के लिए, शोधकर्ताओं ने "एफिशिएंट ट्रांसफॉर्मर्स" (जैसे Performers) का आविष्कार किया। ये होस्ट एक शॉर्टकट का उपयोग करते हैं: वे एक चतुर गणितीय ट्रिक का उपयोग करके अंदाज़ा लगाते हैं कि किसे किससे बात करनी चाहिए, जिससे पार्टी तेज़ी से चलती है ( $O(L)$ )।

नुकसान: ये शॉर्टकट गति के लिए तो बेहतरीन हैं, लेकिन वे ज्यामिति (geometry) को समझने में बहुत खराब हैं। वे भूल जाते हैं कि एक 3D कमरे में, दूरी मायने रखती है। वे एक मेहमान को जो आपके बगल में खड़ा है, उसे उस मेहमान के समान ही मानते हैं जो कमरे के दूसरी ओर खड़ा है, जो 3D कार्यों के लिए सटीकता को बिगाड़ देता है।

समाधान: RelFlexformer

लेखक RelFlexformer पेश करते हैं, जो एक नया प्रकार का कुशल होस्ट है जो तेज़ भी है और ज्यामितीय रूप से जागरूक (geometrically aware) भी है।

इसे इस तरह सोचें:

शॉर्टकट: हर जोड़ी की जाँच करने के बजाय, यह एक "जादुई लेंस" (जिसे NU-FFT, या नॉन-यूनिफॉर्म फास्ट फूरियर ट्रांसफॉर्म कहा जाता है) का उपयोग करता है ताकि तुरंत गणना की जा सके कि दूरी बातचीत को कैसे प्रभावित करती है।
फ्लेक्सिबल मॉड्यूलेशन (Flexible Modulation): कल्पना कीजिए कि होस्ट के पास हर जोड़ी के मेहमानों के लिए एक विशेष "वॉल्यूम नॉब" है। यदि दो मेहमान करीब हैं, तो वॉल्यूम अधिक होगा (वे बहुत बात करते हैं)। यदि वे दूर हैं, तो वॉल्यूम कम होगा।
- पुराने कुशल तरीकों में इस नॉब को घुमाना संभव नहीं था क्योंकि इससे उनका स्पीड शॉर्टकट टूट जाता था।
- RelFlexformer किसी भी आकार के कमरे (यहाँ तक कि अव्यवस्थित, अनियमित 3D स्थानों) के लिए इस नॉब को घुमा सकता है बिना अपनी गति कम किए। यह ऐसा इसलिए करता है क्योंकि यह दूरी की समस्या को फ्रीक्वेंसी (आवृत्ति) की समस्या में बदल देता है (जैसे एक जटिल गाने को एक सरल धुन में बदलना) और इसे तेज़ी से हल करता है।

"मैजिक" सादृश्य: ऑर्केस्ट्रा

कल्पना कीजिए कि 3D पॉइंट्स एक हॉल में बिखरे हुए संगीतकार हैं।

स्टैंडर्ड ट्रांसफॉर्मर्स हर संगीतकार से हर दूसरे संगीतकार को सुनने के लिए कहते हैं ताकि तालमेल बनाया जा सके। एक बड़े ऑर्केस्ट्रा के लिए इसमें बहुत समय लगता है।
पुराने एफिशिएंट ट्रांसफॉर्मर्स संगीतकारों से बस एक सरल नियम के आधार पर तालमेल का अंदाज़ा लगाने के लिए कहते हैं। यह तेज़ है, लेकिन संगीत सपाट सुनाई देता है क्योंकि वे इस बात को नज़रअंदाज़ कर देते हैं कि कौन किसके बगल में बैठा है।
RelFlexformer एक ऐसे कंडक्टर की तरह है जो एक विशेष ध्वनिक दर्पण (acoustic mirror) का उपयोग करता है। हर किसी को हर किसी को सुनने के लिए कहने के बजाय, दर्पण ध्वनि तरंगों को तुरंत परावर्तित करता है ताकि संगीतकारों को पता चल सके कि दूसरों से उनकी विशिष्ट दूरी के आधार पर उन्हें कितनी ज़ोर से बजाना है। यह कमरे के "स्पेशियल फील" (स्थानिक अहसास) को बनाए रखता है लेकिन रिहर्सल का समय कम रखता है।

वे क्या हासिल करने का दावा करते हैं

पेपर का दावा है कि इस "ध्वनिक दर्पण" (NU-FFT गणित) का उपयोग करके:

गति (Speed): यह तेज़ बना रहता है, भारी मात्रा में डेटा के साथ भी लगभग रैखिक रूप से ( $O(L \log L)$ ) स्केल करता है। जब "पार्टी" बहुत बड़ी हो जाती है, तो यह क्रैश नहीं होता है।
सटीकता (Accuracy): यह खोई हुई "दूरी की समझ" को वापस लाता है। 3D ऑब्जेक्ट रिकग्निशन (जैसे डॉट्स के क्लाउड से कुर्सी की पहचान करना) और 3D सेगमेंटेशन (कमरे के हिस्सों को लेबल करना) के परीक्षणों में, RelFlexformer:
- पुराने "तेज़ लेकिन कम बुद्धिमान" तरीकों (Performers) को पछाड़ देता है।
- अक्सर धीमे लेकिन बुद्धिमान स्टैंडर्ड ट्रांसफॉर्मर्स को भी मात देता है, भले ही वह बहुत तेज़ था।
बहुमुखी प्रतिभा (Versatility): यह पॉइंट क्लाउड (LiDAR स्कैनर से) और RGB-D इमेज (डेप्थ देखने वाले कैमरे) जैसे वास्तविक दुनिया के अव्यवस्थित डेटा पर काम करता है, जहाँ बिंदु व्यवस्थित ग्रिड में नहीं होते हैं।

सारांश

RelFlexformer 3D आकारों को देखने का एक नया तरीका है। यह एक शॉर्टकट की गति को भौतिक दूरी को समझने की परिशुद्धता के साथ जोड़ता है। यह कंप्यूटरों को जटिल 3D दृश्यों (जैसे एक कमरे में नेविगेट करने वाला रोबोट) को बिना यह समझे कि चीजें कितनी दूर हैं, तेज़ी से प्रोसेस करने की अनुमति देता है।

तकनीकी सारांश: RelFlexformer

समस्या विवरण

अटेंशन-आधारित ट्रांसफॉर्मर्स (Transformers) 3D लर्निंग के लिए प्रमुख आर्किटेक्चर बन गए हैं, विशेष रूप से पॉइंट क्लाउड डेटा के लिए। हालांकि, मानक ट्रांसफॉर्मर्स इस डोमेन में दो महत्वपूर्ण सीमाओं का सामना करते हैं:

कंप्यूटेशनल बाधा (Computational Bottleneck): मानक सेल्फ-अटेंशन मैकेनिज्म अनुक्रम लंबाई $L$ के साथ द्विघातीय ( $O(L^2)$ ) रूप से स्केल करता है। यह बड़े पॉइंट सेट्स और घने ज्यामितीय मॉडलों के लिए निषेधात्मक हो जाता है।
ज्यामितीय मिसअलाइनमेंट (Geometric Misalignment): मानक अटेंशन स्वाभाविक रूप से पॉइंट क्लाउड्स की अव्यवस्थित (unordered) और अनियमित रूप से फैली प्रकृति के साथ संरेखित नहीं होता है। हालांकि ज्यामितीय बायस (geometric bias) को इंजेक्ट करने के लिए रिलेटिव पोजीशनल एनकोडिंग (RPE) विधियां मौजूद हैं, लेकिन उन्हें कुशल, लीनियर-टाइम अटेंशन मैकेनिज्म (जैसे Performers) में एकीकृत करना गैर-तुच्छ (non-trivial) है। मौजूदा कुशल RPE विधियां अक्सर संरचित टोकन लेआउट (जैसे नियमित ग्रिड) पर निर्भर करती हैं या $L \times L$ मास्क के स्पष्ट निर्माण की आवश्यकता होती है, जो लीनियर अटेंशन के कम्प्यूटेशनल लाभों को समाप्त कर देता है। विशेष रूप से, कर्नेलयुक्त अटेंशन (kernelized attention) में एक ज्यामितीय मास्क को पूर्ण अटेंशन मैट्रिक्स को भौतिक रूप से बनाए बिना (materialize किए बिना) डालने के लिए, मास्क को फास्ट मैट्रिक्स-वेक्टर उत्पादों को स्वीकार करने की आवश्यकता होती है, जो एक ऐसी बाधा है जिसे बहुत कम मौजूदा विधियां पूरा करती हैं।

कार्यप्रणाली (Methodology)

लेखक RelFlexformer का प्रस्ताव करते हैं, जो कुशल 3D ट्रांसफॉर्मर्स का एक वर्ग है जो विविध $L_1$ -इंटीग्रेबल मॉड्यूलेशन फंक्शन $f$ के माध्यम से RPEs को एकीकृत करता है। मुख्य नवाचार उप-द्विघातीय (sub-quadratic) मास्क अटेंशन को सक्षम करने के लिए नॉन-यूनिफॉर्म फास्ट फूरियर ट्रांसफॉर्म (NU-FFT) सिद्धांत का अनुप्रयोग है।

मुख्य तकनीकी घटक:

कॉन्वोल्यूशन के माध्यम से मॉड्यूलेशन: RPE मैकेनिज्म को एक स्थानिक कॉन्वोल्यूशन (spatial convolution) के रूप में तैयार किया गया है। इनपुट टोकन निर्देशांकों $\{r_i\}$ और एक मॉड्यूलेशन फंक्शन $f$ को देखते हुए, एक टोकन के लिए मास्क अटेंशन मान $w$ को सिग्नल $P$ (इनपुट फीचर्स द्वारा भारित डिरैक डेल्टा का योग) के साथ $f$ के कॉन्वोल्यूशन के रूप में कंप्यूट किया जाता है।
NU-FFT फॉर्मूलेशन: कॉन्वोल्यूशन थ्योरम द्वारा, स्थानिक डोमेन में कॉन्वोल्यूशन, फूरियर डोमेन में गुणन के अनुरूप होता है। लेखक $S$ $S$ सैंपल्स के साथ एक क्वाड्रचर रूल का उपयोग करके निरंतर फूरियर इंटीग्रल का अनुमान लगाते हैं।
- फॉरवर्ड स्टेप: सैंपल्ड फ्रीक्वेंसी $\xi_s$ पर पॉइंट क्लाउड सिग्नल का NU-FFT का उपयोग करके फूरियर ट्रांसफॉर्म कंप्यूट करें। यह $O(L \log L)$ समय लेता है।
- मॉड्यूलेशन: रूपांतरित सिग्नल को मॉड्यूलेशन फंक्शन के फूरियर ट्रांसफॉर्म $Ff(\xi_s)$ से गुणा करें।
- इनवर्स स्टेप: मूल टोकन निर्देशांकों पर मॉड्यूलेटेड मानों का मूल्यांकन करने के लिए इनवर्स NU-FFT को कंप्यूट करें। यह भी $O(L \log L)$ समय लेता है।
लीनियर अटेंशन के साथ एकीकरण: यह "FastMultM" एल्गोरिदम लीनियर अटेंशन फ्रेमवर्क (जैसे Performers) में स्पष्ट $L \times L$ मास्क मैट्रिक्स गुणन को बदल देता है। समग्र जटिलता $O(L \log L)$ हो जाती है, जो लीनियर अटेंशन की दक्षता को बनाए रखते हुए मनचाहे ज्यामितीय बायस को शामिल करती है।
सामान्यीकरण (Generalization): यह फ्रेमवर्क मौजूदा विधियों को सामान्यीकृत करता है। उदाहरण के लिए, यदि मॉड्यूलेशन फंक्शन को डिस्क्रीट हार्मोनिक फंक्शन के रूप में पैरामीटराइज किया जाता है, तो यह विश्लेषणात्मक रूप से रोटरी पोजीशनल एम्बेडिंग (RoPE) को रिकवर करता है। यह $\otimes$ -STRING एनकोडिंग को भी एक विशेष मामले के रूप में समाहित करता है जहाँ फ्रीक्वेंसी एक विशिष्ट स्पेक्ट्रल डेंसिटी से ली जाती है।

मुख्य योगदान

सामान्य फॉर्मूलेशन: लेखक मनचाहे $L_1$ -इंटीग्रेबल फंक्शनों पर आधारित एक सामान्य वर्ग के 3D RPE-मॉड्यूलेटेड कुशल अटेंशन मैकेनिज्म को तैयार करते हैं।
कुशल कार्यान्वयन: वे NU-FFT का उपयोग करके $O(L \log L)$ कार्यान्वयन प्राप्त करते हैं, जो अटेंशन मैट्रिक्स को बनाए बिना तेज़ मास्क अटेंशन को सक्षम करता है। यह लीनियर अटेंशन फ्रेमवर्क में ज्यामितीय जानकारी को सीधे शामिल करने की अनुमति देता है।
बहुमुखी प्रतिभा और प्रदर्शन: लेखक विभिन्न बैकबोन (PCT, PTv3, DFormer) में ड्रॉप-इन रिप्लेसमेंट के रूप में RelFlexformer को प्रमाणित करते हैं। यह प्रदर्शित करता है कि RelFlexformer न केवल कुशल लीनियर अटेंशन और घने द्विघातीय अटेंशन के बीच के अंतर को पाटता है, बल्कि कई मामलों में मानक $O(L^2)$ ट्रांसफॉर्मर्स से भी बेहतर प्रदर्शन करता है।
पूरकता (Complementarity): लेखक दिखाते हैं कि उनका डिस्टेंस-बेस्ड RPE मॉड्यूलेशन, टोकन-लेवल एनकोडिंग जैसे PointRoPE के प्रति ऑर्थोगोनल है और अधिक लाभ के लिए इसे प्रभावी ढंग से संयोजित किया जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने वर्गीकरण और सेगमेंटेशन के लिए बड़े पोर्टफोलियो वाले 3D डेटासेट्स पर RelFlexformer का मूल्यांकन किया:

ऑब्जेक्ट क्लासिफिकेशन (ModelNet40, ScanObjectNN):
- ModelNet40 पर, RelFlexformer ने 92.94% सटीकता प्राप्त की, जो वैनिला Performer (92.34%) की तुलना में डेंस ट्रांसफॉर्मर बेसलाइन (93.2%) के अंतर को काफी कम कर देती है।
- ScanObjectNN पर, RelFlexformer (84.45%) ने डेंस ट्रांसफॉर्मर बेसलाइन (84.0%) को पछाड़ दिया।
सिमेंटिक सेगमेंटेशन (ScanNet, ScanNet200, ScanNet++, nuScenes, S3DIS):
- RelFlexformer ने वैनिला Performer बेसलाइन्स में लगातार सुधार किया। उदाहरण के लिए, ScanNet पर, mIoU 74.8% (Performer) से सुधरकर 76.8% (RelFlexformer) हो गया, जो ट्रांसफॉर्मर बेसलाइन (77.6%) के करीब पहुंच गया।
- nuScenes पर, RelFlexformer ने 80.3% mIoU प्राप्त किया, जो ट्रांसफॉर्मर बेसलाइन (80.4% है, लेकिन टेक्स्ट नोट करता है कि RelFlexformer अक्सर इसे पछाड़ता है; विशेष रूप से, nu_scenes पर, RelFlexformer + PointRoPE ने 81.2% प्राप्त किया, जो ट्रांसफॉर्मर के 80.4% से अधिक है)।
- S3DIS 6-फोल्ड क्रॉस-वैलिडेशन पर, RelFlexformer ने mIoU गैप को 73.18% (Performer) से सुधारकर 76.25% कर दिया, जो लगभग ट्रांसफॉर्मर (77.70%) के बराबर है।
RGB-D सेगमेंटेशन (NYU Depth v2, SUN RGB-D):
- DFormer बैकबोन का उपयोग करते हुए, RelFlexformer ने NYU Depth v2 पर 55.32% mIoU और SUN RGB-D पर 51.04% प्राप्त किया, जो Performer बेसलाइन और हाल ही में प्रस्तावित STRING विधि दोनों से बेहतर प्रदर्शन करता है, जबकि STRING के पैरामीटर ओवरहेड से बचता है।

महत्व और दावे

पेपर का दावा है कि RelFlexformer एक एकीकृत ज्यामितीय ऑपरेटर प्रदान करता है जो हाल के मल्टी-डायमेंशनल एनकोडिंग्स (जैसे STRING) को विशेष मामलों के रूप में समाहित करता है और कोऑर्डिनेट लिफ्टिंग के माध्यम से घने RGB-D डेटा तक उप-द्विघातीय दक्षता का विस्तार करता है।

प्राथमिक महत्व कुशल लीनियर अटेंशन और मानक डेंस अटेंशन के बीच सटीकता के अंतर को पाटने में निहित है। लेखक तर्क देते हैं कि ज्यामितीय मॉड्यूलेशन को NU-FFT के माध्यम से फ्रेम करके, यह संभव है कि कर्नेलयुक्त अटेंशन के कम्प्यूटेशनल लाभों से समझौता किए बिना विविध $L_1$ -इंटीग्रable RPE फंक्शनों को शामिल किया जा सके। यह RelFlexformer को बड़े पैमाने पर, अनियमित पॉइंट क्लाउड्स को प्रोसेस करने के लिए एक अत्यधिक स्केलेबल आर्किटेक्चर के रूप में स्थापित करता है, जो पहले मानक डेंस अटेंशन की द्विघातीय लागत के कारण बाधित थे। परिणाम बताते हैं कि उपयुक्त ज्यामितीय मॉड्यूलेशन से लैस होने पर कुशल अटेंशन मैकेनिज्म, डेंस ट्रांसफॉर्मर्स के प्रदर्शन को प्राप्त कर सकते हैं और कभी-कभी उससे बेहतर भी हो सकते हैं, जिससे वे वास्तविक दुनिया के 3D परसेप्शन कार्यों के लिए व्यवहार्य बन जाते हैं जहाँ लेटेंसी और मेमोरी महत्वपूर्ण बाधाएं हैं।