💻 computer science

RiO-DETR: DETR for Real-time Oriented Object Detection

RiO-DETR पहला रियल-टाइम ओरिएंटेड ऑब्जेक्ट डिटेक्शन ट्रांसफॉर्मर है जो कंटेंट-ड्रिवन एंगल एस्टिमेशन और डिकपल्ड पीरियोडिक रिफाइनमेंट जैसे नवीन डिजाइनों के माध्यम से एंगल एस्टिमेशन, पीरियोडिसिटी और कन्वर्जेंस की चुनौतियों का समाधान करता है, जिससे बेंचमार्क डेटासेट्स पर एक नया स्पीड-एक्यूरेसी ट्रेड-ऑफ प्राप्त होता है।

मूल लेखक: Zhangchi Hu, Yifan Zhao, Yansong Peng, Wenzhang Sun, Xiangchen Yin, Jie Chen, Peixi Wu, Hebei Li, Xinghao Wang, Dongsheng Jiang, Xiaoyan Sun

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhangchi Hu, Yifan Zhao, Yansong Peng, Wenzhang Sun, Xiangchen Yin, Jie Chen, Peixi Wu, Hebei Li, Xinghao Wang, Dongsheng Jiang, Xiaoyan Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी शहर या परिदृश्य की एक विशाल, ऊँचाई से ली गई तस्वीर में विशिष्ट वस्तुओं को खोजने की कोशिश कर रहे हैं। एक सामान्य फोटो में, कारें और नावें आमतौर पर सीधी होती हैं। लेकिन हवाई तस्वीरों में (जैसे कि ड्रोन या सैटेलाइट से), एक कार 45-डिग्री के कोण पर खड़ी हो सकती है, एक नाव तिरछी चल सकती है, या एक इमारत घूम सकती है।

इन वस्तुओं को खोजने के लिए, आपको उनके चारों ओर एक बॉक्स बनाना होगा। एक मानक बॉक्स केवल एक आयत (चौड़ाई और ऊँचाई) होता है। लेकिन घूमी हुई वस्तुओं के लिए, आपको एक ओरिएंटेड बाउंडिंग बॉक्स (OBB) की आवश्यकता होती है—एक ऐसा आयत जो वस्तु के सटीक कोण के साथ घूम सके।

यह शोध पत्र RiO-DETR नामक एक नया AI मॉडल पेश करता है, जिसे इन घूमी हुई वस्तुओं को अत्यधिक तेज़ी से (रियल-टाइम में) और अविश्वसनीय रूप से सटीक रूप से खोजने के लिए डिज़ाइन किया गया है।

यहाँ इसका विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

समस्या: "पुराना तरीका" बहुत धीमा या अनाड़ी था

पहले, दो प्रकार के AI जासूस थे:

गतिवान (CNNs जैसे YOLO): ये धावकों की तरह हैं। ये बहुत तेज़ होते हैं लेकिन कभी-कभी यह समझने में चूक जाते हैं कि कोई वस्तु वास्तव में किस कोण पर घूम रही है।
विचारशील (DETRs): ये शतरंज के ग्रैंडमास्टर की तरह हैं। वे घूमी हुई वस्तुओं को खोजने में बहुत स्मार्ट और सटीक होते हैं, लेकिन उन्हें सोचने में बहुत समय लगता है। वे रियल-टाइम अनुप्रयोगों (जैसे बाधाओं से बचने के लिए ड्रोन) के लिए बहुत धीमे हैं।

शोधकर्ताओं ने पूछा: क्या हम एक ऐसा "विचारशील" मॉडल बना सकते हैं जो "गतिवान" की तरह तेज़ चले?

समाधान: RiO-DETR

RiO-DETR पहला मॉडल है जिसने सफलतापूर्वक घूमी हुई वस्तुओं के लिए "गतिवानों" की गति के साथ "विचारशीलों" की उच्च सटीकता को जोड़ा है। इसे करने के लिए, उन्हें तीन विशिष्ट "ग्लिच" (खामियों) को ठीक करना पड़ा जो तब होती हैं जब आप एक AI को रोटेशन (घूर्णन) के बारे में सिखाने की कोशिश करते हैं।

1. "कम्पास बनाम मानचित्र" की समस्या (कंटेंट-ड्रिवन एंगल एस्टिमेशन)

ग्लिच: पुराने मॉडलों में, AI एक ही समय में स्थान (वस्तु कहाँ है) और कोण (वह किस दिशा में है) को एक ही डेटा का उपयोग करके सीखने की कोशिश करता था। यह एक आँखों पर पट्टी बाँधकर दौड़ते समय मानचित्र और कम्पास को एक साथ पढ़ने जैसा था। AI भ्रमित हो जाता था क्योंकि कोण इस बात पर निर्भर करता है कि वस्तु कैसी दिखती है (उसकी बनावट, आकार), न कि केवल इस पर कि वह कहाँ है।
समाधान: उन्होंने दोनों कार्यों को अलग कर दिया।
- मानचित्र: AI स्थान के डेटा का उपयोग केवल यह कहने के लिए करता है कि "यहाँ एक कार है।"
- कम्पास: AI कंटेंट (पिक्सेल, बनावट) को देखता है ताकि यह पता चल सके कि, "आह, कार उत्तर-पूर्व की ओर देख रही है।"
- उपमा: कल्पना कीजिए कि एक जासूस अपराध स्थल को देख रहा है। संदिग्ध की दिशा का अनुमान केवल इस आधार पर लगाने के बजाय कि वह कहाँ खड़ा है, जासूस पदचिह्नों और हवा की दिशा (कंटेंट) को देखता है ताकि पथ का निर्धारण किया जा सके। यह अनुमान बहुत अधिक सटीक बनाता है।

2. "भ्रम का घेरा" समस्या (डिकपल्ड पीरियडिक रिफाइनमेंट)

ग्लिच: कोण गोलाकार होते हैं। 0 डिग्री और 360 डिग्री एक ही बात है (या आयतों के लिए 180 डिग्री)। यदि एक वस्तु 179 डिग्री पर है और AI अनुमान लगाता है कि यह 1 डिग्री है, तो एक मानक गणितीय सूत्र सोचता है कि वे 178 डिग्री दूर हैं (एक बहुत बड़ी त्रुटि)। लेकिन वास्तव में, वे लगभग एक ही हैं! इससे AI घबरा जाता है और गलत अनुमान लगाने लगता है।
समाधान: उन्होंने AI को सिखाया कि कोण एक वृत्त हैं, न कि एक सीधी रेखा।
- उपमा: एक घड़ी की कल्पना करें। यदि सुई 11:59 पर है और आप उसे 12:01 पर ले जाते हैं, तो आपने केवल 2 मिनट का अंतर तय किया। लेकिन यदि आप घड़ी को एक सीधी रेखा के रूप में देखते हैं, तो आप सोच सकते हैं कि आपने 11 घंटे और 58 मिनट का अंतर तय किया है। RiO-DETR ने सीखा कि घड़ी के चेहरे के चारों ओर "सबसे छोटा रास्ता" कैसे लिया जाए, ताकि वह 'रैप-अराउंड' (घेरे के अंत) से भ्रमित न हो।

3. "बोर होने वाले छात्र" की समस्या (ओरिएंटेड डेंस O2O)

ग्लिच: कोणों की भविष्यवाणी करना कठिन और धीमा है। AI बोर हो जाता है या अटक जाता है क्योंकि उसे प्रशिक्षण डेटा में पर्याप्त विविधता नहीं दिखती।
समाधान: उन्होंने एक विशेष प्रशिक्षण तकनीक बनाई जहाँ वे एक छवि लेते हैं, उसे चार टुकड़ों में काटते हैं, प्रत्येक टुकड़े को अलग-अलग घुमाते हैं, और फिर उन्हें वापस जोड़ देते हैं।
- उपमा: कल्पना कीजिए कि एक छात्र कारों को पहचानना सीख रहा है। यदि वे केवल उत्तर की ओर जाती कारों को देखते हैं, तो वे तब भ्रमित हो सकते हैं जब कोई कार पूर्व की ओर जा रही हो। RiO-DETR की प्रशिक्षण विधि छात्र को मजबूर करती है कि वह एक ही कार को उत्तर, दक्षिण, पूर्व और पश्चिम दिशाओं में एक ही चित्र में एक साथ देखे। यह छात्र को दिशा की परवाह किए बिना "कार" की अवधारणा को बहुत तेज़ी से सीखने में मदद करता है।

परिणाम: एक सुपर-डिटेक्टिव

परिणामस्वरूप एक ऐसा मॉडल मिलता है जो है:

तेज़: यह मिलीसेकंड में छवियों को प्रोसेस कर सकता है (रियल-टाइम), जिससे यह ड्रोन, सेल्फ-ड्राइविंग कारों और लाइव वीडियो फीड के लिए उपयोगी बन जाता है।
सटीक: यह प्रमुख बेंचमार्क (जैसे DOTA डेटासेट) पर सभी पिछले मॉडलों को पछाड़ देता है।
कुशल: इसे चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है; यह मानक हार्डवेयर पर कुशलता से चलता है।

संक्षेप में: RiO-DETR एक धीमी, भ्रमित पुस्तकालयाध्यक्ष को एक तेज़, पैनी नज़र वाले सुरक्षा गार्ड में अपग्रेड करने जैसा है, जो भीड़ में एक घूमी हुई वस्तु को तुरंत पहचान सकता है, और यह भी जानता है कि वह किस दिशा में देख रही है, और वह भी बिना किसी कठिनाई के।

यहाँ शोध पत्र "RiO-DETR: DETR for Real-time Oriented Object Detection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ओरिएंटेड ऑब्जेक्ट डिटेक्शन (OBB) हवाई इमेजरी, रिमोट सेंसिंग और सीन टेक्स्ट अंडरस्टैंडिंग जैसे अनुप्रयोगों के लिए महत्वपूर्ण है, जहाँ वस्तुओं का ओरिएंटेशन (झुकाव) मनमाना होता है। हालाँकि CNN-आधारित डिटेक्टरों (जैसे YOLO वेरिएंट्स) ने रीयल-टाइम प्रदर्शन हासिल कर लिया है, लेकिन DETR-स्टाइल (Detection Transformer) डिटेक्टर भारी अटेंशन मैकेनिज्म और धीमी अभिसरण (convergence) दर के कारण ऐतिहासिक रूप से गति में पीछे रहे हैं।

OBBs के लिए DETR को अनुकूलित करने के मौजूदा प्रयास तीन मौलिक बाधाओं का सामना करते हैं जो उन्हें रीयल-टाइम दक्षता प्राप्त करने से रोकती हैं:

सिमेंटिक-जियोमेट्रिक कपलिंग और फीचर कोलैप्स (Semantic-Geometric Coupling & Feature Collapse): ओरिएंटेशन ( $\theta$ ) को पोजीशनल क्वेरीज़ में स्थिति $(x, y)$ और आकार $(w, h)$ के समान एक ज्यामितिक निर्देशांक के रूप में मानना शोर (noise) उत्पन्न करता है। ओरिएंटेशन अक्सर शुद्ध ज्यामिति के बजाय सिमेंटिक संकेतों (बनावट, हेडिंग) द्वारा संचालित होता है। इसके अलावा, सभी अटेंशन हेड्स को वस्तु के मुख्य अक्ष (major axis) के साथ संरेखित करने से "फीचर कोलैप्स" होता है, जिससे पार्श्व संरचनात्मक जानकारी (lateral structural information) अनदेखी रह जाती है।
रिफाइनमेंट में आवधिकता बेमेल (Periodicity Mismatch in Refinement): मानक DETR डिकोडर यूक्लिडियन एडिटिव अपडेट्स (जैसे इनवर्स-सिग्मॉइड) का उपयोग करते हैं। यह कोणों के लिए विफल रहता है क्योंकि डोमेन आवधिक (periodic) है ( $0 \equiv \pi$ )। सीधे यूक्लिडियन अपडेट सीमाओं पर विच्छेदन (discontinuities) पैदा करते हैं, जिससे अस्थिर ग्रेडिएंट और अविश्वसनीय रिफाइनमेंट होता है।
विस्तारित सर्च स्पेस में धीमा अभिसरण (Slow Convergence in Expanded Search Space): कोण आयाम के जुड़ने से बाइटपार्टाइट मैचिंग (bipartite matching) के लिए सर्च स्पेस काफी बढ़ जाता है। क्षैतिज डिटेक्शन (horizontal detection) में उपयोग की जाने वाली मानक डेंस सुपरविजन रणनीतियों में अक्सर कोण सीखने की गति बढ़ाने के लिए पर्याप्त कोणीय विविधता का अभाव होता है, जिसके परिणामस्वरूप धीमा अभिसरण होता है।

2. कार्यप्रणाली: RiO-DETR (Methodology: RiO-DETR)

लेखक RiO-DETR का प्रस्ताव करते हैं, जो पहला रीयल-टाइम ओरिएंटेड डिटेक्शन ट्रांसफार्मर है। मौजूदा आर्किटेक्चर में केवल एक एंगल ब्रांच जोड़ने के बजाय, वे मूल घटकों को ओरिएंटेड ज्योमेट्री को स्वाभाविक रूप से संभालने के लिए पुनर्गठित करते हैं। यह ढांचा तीन प्रमुख नवाचारों से बना है:

A. कंटेंट-ड्रिवन एंगल एस्टीमेशन (Content-Driven Angle Estimation)

सिमेंटिक संकेतों को ज्यामितिक पूर्व धारणाओं (geometric priors) से अलग करने के लिए:

जियोमेट्री-डिकपल्ड क्वेरी एनकोडिंग (Geometry-Decoupled Query Encoding): पोजीशनल क्वेरी ( $Q_{pos}$ ) को सख्ती से स्थानिक निर्देशांक $(c_x, c_y, w, h)$ तक सीमित रखा गया है, जिसमें कोण $\theta$ को स्पष्ट रूप से बाहर रखा गया है। इसके बजाय कोण का अनुमान होने योग्य लर्नबल कंटेंट क्वेरी ( $Q_{content}$ ) से लगाया जाता है, जो मॉडल को ओरिएंटेशन भविष्यवाणी के लिए सिमेंटिक फीचर्स (टेक्सचर फ्लो, ऑब्जेक्ट हेडिंग) पर निर्भर रहने के लिए मजबूर करता है।
रोटेशन-रेक्टिफाइड ऑर्थोगोनल अटेंशन (Rotation-Rectified Orthogonal Attention): फीचर कोलैप्स को रोकने के लिए, मल्टी-हेड अटेंशन मैकेनिज्म को दो समूहों में विभाजित किया गया है। $\theta$ के लिए अनुमानित कोण के लिए, पहला आधा हिस्सा $\theta$ के साथ संरेखित फीचर्स को सैंपल करता है, जबकि दूसरा आधा हिस्सा लंबवत (orthogonally, $\theta + \pi/2$ ) सैंपल करता है। यह बिना किसी कम्प्यूटेशनल ओवरहेड के अनुदैर्ध्य (longitudinal) और पार्श्व (lateral) संरचनात्मक संकेतों दोनों को कैप्चर करता है।

B. डिकपल्ड पीरियडिक रिफाइनमेंट (Decoupled Periodic Refinement)

कोणों की आवधिक प्रकृति को संबोधित करने के लिए:

बाउंडेड कोर्स-टू-फाइन अपडेट (Bounded Coarse-to-Fine Update): अनबाउंडेड यूक्लिडियन अपडेट के बजाय, एंगल रिफाइनमेंट एक लेयर-वाइज डिकेइंग फैक्टर ( $\alpha_i$ ) के साथ एक बाउंडेड मैकेनिज्म का उपयोग करता है। शुरुआती परतें मोटे सुधार (coarse corrections) करती हैं, जबकि बाद की परतें फाइन-ट्यूनिंग करती हैं, जिससे स्थिरता सुनिश्चित होती है।
शॉर्टेस्ट-पाथ पीरियडिक लॉस (Shortest-Path Periodic Loss): मानक L1 लॉस को शॉर्टेस्ट-पाथ पीरियडिक L1 लॉस से बदल दिया गया है। यह मीट्रिक सर्कल पर जियोडेसिक दूरी की गणना करता है, यह सुनिश्चित करता है कि ग्रेडिएंट हमेशा अनुमानित और ग्राउंड-ट्रुथ कोणों के बीच सबसे छोटे पथ का पालन करें, भले ही वह $0/\pi$ सीमा के पार हो।

C. ओरिएंटेड डेंस O2O (Oriented Dense O2O)

अभिसरण को तेज करने के लिए:

"डेंस O2O" रणनीति (जो ग्राउंड ट्रुथ घनत्व बढ़ाने के लिए इमेज क्वाड्रेंट्स को जोड़ती है) पर आधारित, लेखक ओरिएंटेड डेंस O2O पेश करते हैं।
स्टिचिंग से पहले, प्रत्येक क्वाड्रेंट को $\{0^\circ, 90^\circ, 180^\circ, 270^\circ\}$ में से एक रैंडम एंगल द्वारा स्वतंत्र रूप से घुमाया जाता है।
यह एक ही ट्रेनिंग इमेज के भीतर कृत्रिम रूप से कोणीय विविधता को समृद्ध करता है, जिससे मॉडल अतिरिक्त कम्प्यूटेशनल लागत के बिना विभिन्न ओरिएंटेशन में मजबूत कोण भविष्यवाणियां करना सीखता है।

3. प्रमुख योगदान (Key Contributions)

पहला रीयल-टाइम ओरिएंटेड DETR: RiO-DETR, DETR-आधारित मॉडलों की उच्च सटीकता और रीयल-टाइम अनुप्रयोगों के लिए आवश्यक कम लेटेंसी के बीच के अंतर को पाटता है।
टास्क-नेटिव आर्किटेक्चरल रीडिज़ाइन: पेपर पहचानता है कि केवल हॉरिजॉन्टल DETR तकनीकों को OBBs पर पोर्ट करना पर्याप्त नहीं है। यह ओरिएंटेशन अनुमान, पीरियडिक रिफाइनमेंट और ट्रेनिंग सुपरविजन के लिए विशिष्ट, टास्क-नेटिव समाधान प्रस्तावित करता है।
सटीकता से समझौता किए बिना दक्षता: प्रस्तावित विधियाँ (विशेष रूप से ऑर्थोगोनल अटेंशन और पीरियडिक लॉस) पैरामीटर्स, FLOPs या इन्फरेंस लेटेंसी को बढ़ाए बिना सटीकता और स्थिरता में सुधार करती हैं।
व्यापक बेंचमार्किंग: DOTA-1.0, DIOR-R, और FAIR-1M-2.0 पर व्यापक प्रयोग अत्याधुनिक प्रदर्शन (state-of-the-art performance) प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन सिंगल-स्केल और मल्टी-स्केल प्रोटोकॉल का उपयोग करके मानक रिमोट सेंसिंग डेटासेट्स पर किया गया।

DOTA-1.0 (Single-Scale):
- RiO-DETR-n: केवल 2.7 ms लेटेंसी (TensorRT FP16 on T4) के साथ 78.4 AP50 प्राप्त करता है, जो YOLO26n-obb (77.7 AP50, 2.8 ms) से बेहतर है।
- RiO-DETR-x: 29.9 ms पर 81.8 AP50 प्राप्त करता है, जो भारी DETR वेरिएंट जैसे RHINO-DETR (79.4 AP50, 242.6 ms) और YOLO26x-obb (80.4 AP50, 30.5 ms) को पछाड़ देता है।
DIOR-R: RiO-DETR-x समान गति पर 77.43 AP50 तक पहुँचता है, जो YOLO26x-obb (76.48%) से अधिक है।
FAIR-1M-2.0: 47.4 AP50 (मल्टी-स्केल) के साथ एक नया स्टेट-ऑफ-द-आर्ट सेट करता है, जो YOLO26x-obb (46.7%) और LSKNet-S (46.3%) से बेहतर है।
दक्षता: RiO-DETR सभी स्केल्स (n से x) में YOLO26 वेरिएंट्स के समान लेटेंसी बनाए रखता है, जो ओरिएंटेड डिटेक्टरों के लिए ट्रांसफार्मर-आधारित और CNN-आधारित मॉडलों के बीच लंबे समय से चले आ रहे दक्षता अंतर को समाप्त करता है।

5. महत्व (Significance)

RiO-DETR ओरिएंटेड ऑब्जेक्ट डिटेक्शन में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। यह प्रदर्शित करता है कि एंड-टू-एंड ट्रांसफॉर्मर रीयल-टाइम OBB डिटेक्शन के लिए अत्यधिक कुशल हो सकते हैं, जो इस डोमेन में CNN-आधारित आर्किटेक्चर के प्रभुत्व को चुनौती देते हैं। ओरिएंटेड डिटेक्शन की विशिष्ट ज्यामितीय और अनुकूलन चुनौतियों (periodicity, semantic-geometric coupling, और convergence speed) को हल करके, यह पेपर एक मजबूत, व्यावहारिक ढांचा प्रदान करता है जो बेहतर स्पीड-एक्यूरेसी ट्रेड-ऑफ प्राप्त करता है। यह कार्य लेटेंसी-सेंसिटिव एज कंप्यूटिंग परिदृश्यों में उच्च-परिशुद्धता, रोटेशन-इनवेरिएंट डिटेक्शन मॉडल को तैनात करने के द्वार खोलता है।