💻 computer science

Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery

यह शोध पत्र एक ऐसी विधि प्रस्तुत करता है जो एकल हवाई चित्रों से इंस्टेंस-स्तरीय छत विभाजन (instance-level roof segmentation) करने और ज्यामितिक गुणों (ऊंचाई, ढलान और अज़िमथ) को प्रतिगमन (regress) करने के लिए Mask R-CNN का विस्तार करती है, जिसमें सटीक 3D बिल्डिंग मॉडल पुनर्निर्माण प्राप्त करने के लिए एक कंडीशनल अज़िमथ लॉस और लॉग-नॉर्मलाइज्ड हाइट रिप्रेजेंटेशन का उपयोग किया गया है, जिसके लिए अनुमान के समय (inference time) 3D डेटा की आवश्यकता नहीं होती है।

मूल लेखक: Luuk Versteeg, Rob G. J. Wijnhoven, Martin R. Oswald

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luuk Versteeg, Rob G. J. Wijnhoven, Martin R. Oswald

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक हेलीकॉप्टर से ली गई किसी शहर की विशाल, हाई-रिज़ॉल्यूशन फोटो है। अब, कल्पना कीजिए कि आप उस तस्वीर के हर एक छत के सटीक आकार, ऊँचाई और झुकाव को जानना चाहते हैं बिना अपनी कुर्सी छोड़े या उस जगह का दौरा किए। यह बिल्कुल वही है जो यह शोध पत्र (paper) बताता है: एक स्मार्ट कंप्यूटर प्रोग्राम जो एक अकेली हवाई फोटो को देखता है और उसमें दिखने वाली इमारतों को तुरंत "मापता" है।

यहाँ इसका एक सरल विवरण दिया गया है कि उन्होंने इसे कैसे किया, जिसमें कुछ रोज़मर्रा के उदाहरणों (analogies) का उपयोग किया गया है।

मुख्य विचार: "वन-शॉट" आर्किटेक्ट

आमतौर पर, किसी शहर का 3D मॉडल बनाने के लिए, आपको महंगे लेजर स्कैनर (LiDAR) की आवश्यकता होती है जिन्हें क्षेत्र के ऊपर उड़ाया जाता है, या आपको मापने वाले टेप के साथ हर इमारत के पास जाना पड़ता है। यह पेपर कहता है, "इसके लिए उस महंगे गियर की ज़रूरत नहीं है।"

उन्होंने एक ऐसा सिस्टम बनाया है जो कुछ महंगे 3D मानचित्रों (विशेष रूप से नीदरलैंड के) से सीखता है और फिर उस ज्ञान को साधारण 2D फोटो पर लागू करता है। इसे एक ऐसे छात्र की तरह समझें जिसने लाइब्रेरी में कुछ विस्तृत ब्लूप्रिंट्स का अध्ययन किया है और फिर, जब उसे एक घर का साधारण रेखाचित्र दिखाया जाता है, तो वह सटीक रूप से अनुमान लगा सकता है कि वह कितना ऊँचा है और उसकी छत कितनी ढालू है। एक बार जब छात्र ने सबक सीख लिया, तो उसे ब्लूप्रिंट्स की ज़रूरत नहीं होती; उसे बस उस रेखाचित्र की ज़रूरत होती है।

यह सिस्टम कैसे काम करता है

शोधकर्ताओं ने एक मानक कंप्यूटर विज़न टूल (जिसे Mask R-CNN कहा जाता है, जो वस्तुओं को खोजने और उनकी रूपरेखा बनाने में अच्छा है) लिया और उसे एक "सुपरपावर" दी: संख्याओं का अनुमान लगाने के लिए समर्पित एक नया मस्तिष्क भाग (brain branch)।

रूपरेखा (Segmentation): सबसे पहले, सिस्टम हर उस छत के चारों ओर एक मास्क बनाता है जो उसे दिखाई देती है, जिससे एक घर को उसके पड़ोसी से अलग किया जा सके।
माप (Regression): फिर, प्रत्येक छत के लिए जिसे उसने रेखांकित किया है, वह तीन चीज़ों का अनुमान लगाता है:
- ऊँचाई (Height): इमारत कितनी ऊँची है?
- ढलान (Slope): छत कितनी ढालू है? (क्या यह पैनकेक की तरह सपाट है या स्लाइड की तरह ढालू?)
- अज़ीमुथ (Azimuth): छत किस दिशा में है? (उत्तर, दक्षिण, पूर्व या पश्चिम?)

वे दो "चीट कोड्स" जो उन्होंने आविष्कार किए

पेपर उन दो चतुर तरीकों पर प्रकाश डालता है जिनका उपयोग उन्होंने अपने सिस्टम को पिछले प्रयासों की तुलना में बहुत अधिक स्मार्ट बनाने के लिए किया।

1. "सपाट छत को अनदेखा करने" वाला तरीका (Conditional Azimuth Loss)

समस्या: यदि आप ऊपर से एक सपाट छत को देखते हैं, तो उसका कोई "दिशा" नहीं होता। वह बस एक सपाट सतह है। हालाँकि, जिस डेटा का उपयोग उन्होंने AI को प्रशिक्षित करने के लिए किया था (जिसे 3DBAG कहा जाता है), उसने गलती से इन सपाट छतों को यादृच्छिक (random) दिशाएँ दे दी थीं (जैसे "उत्तर" या "दक्षिण"), क्योंकि कंप्यूटर को कुछ न कुछ चुनना ही था।
उदाहरण: कल्पना कीजिए कि आप एक कुत्ते को उत्तर की ओर इशारा करना सिखा रहे हैं। यदि आप कुत्ते को तब "उत्तर की ओर इशारा करो" कहते हैं जब वह एक सपाट मेज पर बैठा हो, और पाँच मिनट बाद उसी मेज पर होने पर "दक्षिण की ओर इशारा करो" कहते हैं, तो कुत्ता भ्रमित हो जाएगा।
समाधान: शोधकर्ताओं ने AI को बताया: "यदि छत सपाट है, तो दिशा को पूरी तरह से अनदेखा कर दें।" AI को इन भ्रमित करने वाली, यादृच्छिक दिशाओं से सीखने से रोककर, छत की दिशा का अनुमान लगाने में त्रुटि लगभग आधी हो गई।

2. "लॉग-बुक" वाला तरीका (Log-Normalized Height)

समस्या: अधिकांश घर छोटे होते हैं (शायद 3 से 9 मीटर), लेकिन कुछ गगनचुंबी इमारतें या चर्च के टॉवर (100+ मीटर) भी होते हैं। यदि आप कंप्यूटर को सामान्य रूप से ऊँचाई सीखने के लिए कहते हैं, तो वह कुछ विशाल टावरों के प्रति जुनूनी हो जाता है और हजारों छोटे घरों को भूल जाता है। यह एक ऐसे शिक्षक की तरह है जो एक ऐसी कक्षा को ग्रेड दे रहा है जहाँ एक छात्र को 1000 मिले और बाकी सभी को 5; शिक्षक केवल 1000 पर ध्यान केंद्रित करता है।
उदाहरण: सीधी मीटर की ऊँचाई मापने के बजाय, उन्होंने एक "लॉगैरिद्मिक" (logarithmic) स्केल का उपयोग किया। इसे भूकंप के रिक्टर स्केल की तरह समझें: संख्या में एक छोटा सा उछाल वास्तविकता में एक बहुत बड़े उछाल का प्रतिनिधित्व करता है। यह विशाल संख्याओं को छोटा कर देता है ताकि कंप्यूटर छोटे घरों और बड़े टावरों दोनों पर समान ध्यान दे सके।
परिणाम: इसने ऊँचाई के अनुमानों को 17% अधिक सटीक बना दिया।

यह कितना अच्छा है?

इस सिस्टम का परीक्षण डच शहरों की 17,000 से अधिक हवाई तस्वीरों पर किया गया था। यहाँ इसका प्रदर्शन दिया गया है:

छत की दिशा: इसने लगभग 7 डिग्री के भीतर दिशा का अनुमान लगाया (लगभग आपकी उंगली की चौड़ाई जितनी, जो हाथ फैलाकर देखने पर आती है)।
छत की ढलान: इसने कोण का लगभग 4 डिग्री के भीतर अनुमान लगाया।
ऊँचाई: इसने लगभग 1 मीटर के भीतर ऊँचाई का अनुमान लगाया (लगभग एक लंबे वयस्क की ऊँचाई)।
छतें खोजना: इसने लगभग 56% छतों को पूरी तरह से सफलतापूर्वक रेखांकित किया (इस प्रकार के जटिल कार्य के लिए यह एक बहुत मजबूत स्कोर है)।

कमी (सीमाएँ)

पेपर इस बारे में ईमानदार है कि सिस्टम कहाँ संघर्ष करता है:

भ्रमित करने वाले आकार: यदि कोई छत सभी तरफ से अंदर की ओर ढलती है (जैसे पिरामिड), तो सिस्टम कभी-कभी भ्रमित हो जाता है कि उसका मुख किस ओर है क्योंकि उसके पास केवल एक ही फोटो है।
पुराना डेटा: कभी-कभी फोटो में एक नया घर दिखता है, लेकिन प्रशिक्षण डेटा कहता है कि वहाँ एक पुराना खलिहान (barn) है। सिस्टम को सही होने के बावजूद दंडित किया जा सकता है क्योंकि "ग्राउंड ट्रुथ" गलत है।
टीम वर्क की कमी: सिस्टम हर छत को एक अलग द्वीप की तरह मानता है। यह यह नहीं समझता कि एक-दूसरे के बगल में स्थित दो घरों की ऊँचाई आमतौर पर समान होती है। यह उन्हें स्वतंत्र रूप से अनुमान लगाता है, जिससे अजीब विसंगतियाँ आ सकती हैं।

निष्कर्ष

यह पेपर साबित करता है कि आपको इमारतों का एक बेहतर 3D मॉडल प्राप्त करने के लिए महंगे 3D लेजर की आवश्यकता नहीं है। यदि आपके पास एक उच्च-गुणवत्ता वाली हवाई फोटो है, तो यह AI इमारतों का एक सरलीकृत 3D मॉडल बना सकता है, जिसमें ऊँचाई और छत के कोण शामिल हैं। यह एक बड़ी बात है क्योंकि हवाई फोटो लगभग हर जगह उपलब्ध हैं, जिससे सौर ऊर्जा योजना या बीमा जोखिम जैसे कार्यों के लिए इमारतों की ज्यामिति का बड़े पैमाने पर विश्लेषण करना संभव हो जाता है।

तकनीकी सारांश: हवाई चित्रों में छत की संरचनाओं के लिए संयुक्त इंस्टेंस सेगमेंटेशन और ज्यामितीय विशेषता प्रतिगमन (Geometric Attribute Regression)

समस्या विवरण
निर्मित वातावरण का सटीक ज्यामितीय ज्ञान—विशेष रूप से भवन की ऊँचाई, छत का ढलान (स्लोप), और दिशा (अजीमुथ)—स्थिरता नियोजन, ऊर्जा मूल्यांकन, बीमा जोखिम मूल्यांकन और आवास प्रबंधन के लिए अत्यंत महत्वपूर्ण है। हालाँकि, इस डेटा को राष्ट्रीय स्तर पर प्राप्त करना चुनौतीपूर्ण है। जबकि LiDAR सटीक 3D मॉडल प्रदान करता है, यह महंगा और कम बार उपलब्ध होता है। मैन्युअल निरीक्षण स्केलेबल नहीं है। मौजूदा लर्निंग-आधारित तरीके अक्सर एकल विशेषताओं (जैसे केवल ऊँचाई) पर ध्यान केंद्रित करते हैं या सिमेंटिक स्तर पर कार्य करते हैं न कि इंस्टेंस स्तर पर, जिससे एक ही इमारत पर कई छत खंडों (segments) के बीच अंतर करने में विफलता होती है। इसके अलावा, कई दृष्टिकोणों के लिए मल्टी-व्यू इमेजरी या विशिष्ट अधिग्रहण स्थितियों की आवश्यकता होती है जो उनकी प्रयोज्यता को सीमित करती है।

कार्यप्रणाली (Methodology)
लेखक एक एकल हवाई ऑर्थोफोटो से इंस्टेंस-स्तरीय छत खंड मास्क और तीन निरंतर ज्यामितीय विशेषताओं (भवन की ऊँचाई, छत का ढलान, और छत का अजीमुथ) को संयुक्त रूप से अनुमानित करने के लिए एक विधि प्रस्तावित करते हैं।

आर्किटेक्चर: यह दृष्टिकोण Mask R-CNN फ्रेमवर्क को एक समर्पित एट्रिब्यूट रिग्रेशन ब्रांच के साथ विस्तारित करता है।
- बैकबोन: मॉडल एक DINOv3 ConvNeXt-Base बैकबोन का उपयोग करता है, जो नॉलेज डिस्टिलेशन के माध्यम से स्व-पर्यवेक्षित प्रीट्रेनिंग (self-supervised pretraining) का लाभ उठाता है। यह पाया गया कि यह ResNet-50 और EfficientNetV2-M की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से सटीक मास्क सीमाओं को उत्पन्न करने में।
- फीचर एक्सट्रैक्शन: एक फीचर पिरैमिड नेटवर्क (FPN) फीचर्स निकालता है। एट्रिब्यूट ब्रांच वर्गीकरण और बाउंडिंग बॉक्स शाखाओं के साथ साझा 7×7 RoI-अलाइन्ड फीचर्स का उपयोग करती है।
- आउटपुट: प्रत्येक पहचाने गए छत खंड के लिए, नेटवर्क एक बाइनरी मास्क, एक बाउंडिंग बॉक्स और तीन विशेषताएं आउटपुट करता है: ऊँचाई ( $h$ ), ढलान कोण ( $\alpha$ ), और अजीमुथ ( $\phi$ )। अजीमुथ को सर्कुलर डिस्कंटीन्यूइटी (circular discontinuity) को संभालने के लिए एक 2D यूनिट वेक्टर $(\cos \phi, \sin \phi)$ के रूप में एनकोड किया गया है।
डेटासेट: मॉडल को 17,353 डच हवाई छवियों (8 सेमी/पिक्सेल रिज़ॉल्यूशन) के एक बड़े पैमाने के डेटासेट पर प्रशिक्षित और मूल्यांकित किया गया है। ग्राउंड ट्रुथ स्वचालित रूप से 3DBAG से प्राप्त किया गया है, जो कैडस्ट्रल फुटप्रिंट्स को एयरबोर्न LiDAR (AHN) के साथ संयोजित करने वाले LoD2.2 भवन पुनर्निर्माणों का एक राष्ट्रव्यापी डेटासेट है। इस डेटासेट में 2 मिलियन से अधिक इंस्टेंस एनोटेशन शामिल हैं।
प्रमुख तकनीकी नवाचार:
1. कंडीशनल अजीमुथ लॉस (Conditional Azimuth Loss): 3DBAG ग्राउंड ट्रुथ में फ्लैट छतों (ढलान $\le 15^\circ$ ) को मनमाने अजीमुथ मान दिए गए हैं क्योंकि एक क्षैतिज सतह का कोई सार्थक दिशात्मक ओरिएंटेशन नहीं होता है। लेखक एक गेटिंग मैकेनिज्म पेश करते हैं जो इन फ्लैट खंडों के लिए अजीमुथ लॉस को दबा देता है। यह मॉडल को शोर वाले लेबल (noisy labels) सीखने से रोकता है और अजीमुथ भविष्यवाणी त्रुटि को महत्वपूर्ण रूप से कम करता है।
2. लॉग-नॉर्मलाइज्ड हाइट रिप्रेजेंटेशन: इस डेटासेट में इमारतों की ऊँचाई अत्यधिक राइट-स्क्यू (right-skewed) है (अधिकांश <20 मीटर हैं, जिसमें ऊँची संरचनाओं की एक लंबी पूँछ है)। सीधा प्रतिगमन (direct regression) ऊँची इमारतों को ग्रेडिएंट सिग्नल पर हावी कर देता है। लेखक लक्ष्य वितरण को लगभग-गौसियन (near-Gaussian) रूप में बदलने के लिए एक लॉग-नॉर्मलाइजेशन ट्रांसफॉर्मेशन ( $h_{norm} = (\log h - \mu)/\sigma$ ) लागू करते हैं, जो सभी ऊँचाई श्रेणियों में ग्रेडिएंट सिग्नल को संतुलित करता है।
3. दो-चरणीय प्रशिक्षण (Two-Stage Training): मॉडल को दो चरणों में प्रशिक्षित किया जाता है। पहले, केवल Mask R-CNN घटकों (डिटेक्शन और सेगमेंटेशन) को विश्वसनीय इंस्टेंस मिलान सुनिश्चित करने के लिए प्रशिक्षित किया जाता है। दूसरे, बैकबोन को फ्रीज कर दिया जाता है, और एट्रिब्यूट रिग्रेशन ब्रांच को अन्य शाखाओं के साथ संयुक्त रूप से प्रशिक्षित किया जाता है।

परिणाम
एक होल्ड-आउट टेस्ट सेट पर मूल्यांकित, जो सख्त भौगोलिक पृथक्करण रखता है, यह विधि निम्नलिखित प्रदर्शन मेट्रिक्स प्राप्त करती है:

इंस्टेंस सेगमेंटेशन: एक AP50 का 0.566 और एक मीन एवरेज प्रिसिजन (mAP) 0.298।
एट्रिब्यूट रिग्रेशन (मीन एब्सोल्यूट एरर - MAE):
- छत का ढलान: ~4.08°
- अजीमुथ: ~6.96° (कंडीशनल लॉस के साथ ~7° तक सुधरा)
- भवन की ऊँचाई: ~1.03 मीटर

एब्लेशन स्टडीज और विश्लेषण:

बैकबोन: DINOv3 ConvNeXt-Base अन्य बैकबोन्स से बेहतर रहा, जिसने डिटेक्शन-ओनली चरण में ResNet-50 के 0.129 mAP की तुलना में 0.204 का mAP प्राप्त किया।
लॉस डिज़ाइन: कंडीशनल अजीमुथ लॉस ने अन्य विशेषताओं को खराब किए बिना अजीमुथ MAE को 41% (~21.8° से ~12.9° तक) कम कर दिया।
हाइट रिप्रेजेंटेशन: लॉग-नॉर्मलाइज्ड रिप्रेजेंटेशन ने कच्चे ऊँचाई (raw heights) पर सीधे प्रतिगमन की तुलना में ऊँचाई प्रतिगमन में 17% का सुधार किया (एब्लेशन में MAE को 1.878 मीटर से घटाकर 1.556 मीटर किया, और उच्च रिज़ॉल्यूशन के साथ अंतिम मॉडल में ~1.03 मीटर तक पहुँचाया)।
रिज़ॉल्यूशन: इनपुट रिज़ॉल्यूशन को 512×512 से बढ़ाकर 768×768 करने से सभी मेट्रिक्स में निरंतर सुधार हुआ।
प्रति-क्लस्टर प्रदर्शन: मॉडल मध्यम-से-उच्च तीव्र छतों (मैच रेट >69%) पर सबसे अच्छा प्रदर्शन करता है। प्रदर्शन बहुत ऊँची इमारतों और कम ढलान वाली छतों के लिए घट जाता है, जहाँ दृश्य संकेत (visual cues) कमजोर होते हैं या परिवेश जटिल होता है।

महत्व और दावे
यह शोध दावा करता है कि यह कार्य एकल 2D हवाई छवि से निरंतर प्रतिगमन के साथ इंस्टेंस-स्तरीय बिल्डिंग मास्क की संयुक्त भविष्यवाणी करने वाला पहला कार्य है।

इसकी प्राथमिक महत्ता दृष्टिकोण की स्केलेबिलिटी (Scalability) में निहित है। केवल प्रशिक्षण के लिए महंगे 3D संदर्भ डेटा (LiDAR-व्युत्पन्न 3DBAG) का उपयोग करके, परिणामी मॉडल को कहीं भी तैनात किया जा सकता है जहाँ हवाई चित्र उपलब्ध हों ताकि 3D ज्यामितीय विशेषताओं का अनुमान लगाया जा सके। यह मल्टी-व्यू इनपुट या इन्फरेंस के समय LiDAR की आवश्यकता के बिना सरलीकृत 3D बिल्डिंग मॉडल (LoD2) के पुनर्निर्माण को सक्षम बनाता है। लेखक जोर देते हुए कहते हैं कि यह ऊर्जा नियोजन, बीमा जोखिम मूल्यांकन और टिकाऊ भवन प्रबंधन के अनुप्रयोगों के लिए एक स्केलेबल आधार प्रदान करता है, जहाँ वर्तमान में राष्ट्रीय स्तर के बिल्डिंग स्टॉक के लिए सटीक ज्यामितीय डेटा की कमी है।

लेखक सीमाओं को भी नोट करते हैं, विशेष रूप से 3DBAG ग्राउंड ट्रुथ की सूक्ष्मता (जो दृश्य रूप से सुसंगत सतहों को कई बहुभुजों में विभाजित कर सकती है) और इमेजरी तथा 3D डेटा के बीच टेम्पोरल मिसअलाइनमेंट (temporal misalignments) के संबंध में, जो मात्रात्मक मेट्रिक्स को उनके वास्तविक गुणात्मक प्रदर्शन को कम करके दिखा सकते हैं।