🤖 machine learning

Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

यह शोध पत्र PhiCalNet प्रस्तुत करता है, जो एक ऐसा आर्किटेक्चर है जो सिंगल-शॉट फ्रिंज प्रोजेक्शन प्रोफाइलोमेट्री में शेप-प्रायर शॉर्टकट को समाप्त करता है, क्योंकि यह एक फिक्स्ड डिफरेंशिएबल कैलिब्रेशन लेयर के माध्यम से डेप्थ में मैप की गई रैप्ड-फेज रिप्रजेंटेशन को आउटपुट देता है, जिससे डायरेक्ट डेप्थ रिग्रेशन बेसलाइन्स की तुलना में ऑब्जेक्ट मीन एब्सोल्यूट एरर में 3.3 गुना की कमी आती है।

मूल लेखक: Adam Haroon, Cody Fleming, Beiwen Li

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adam Haroon, Cody Fleming, Beiwen Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंधेरे कमरे में तैरती हुई एक रहस्यमय वस्तु के आकार को मापने की कोशिश कर रहे हैं, और आपके पास केवल उस पर प्रक्षेपित (projected) एक धारीदार टॉर्च की रोशनी का एक एकल स्नैपशॉट है। यह फ्रिंज प्रोजेक्शन प्रोफाइलोमेट्री (Fringe Projection Profilometry - FPP) की दुनिया है। यह बिल्कुल वैसा ही है जैसे किसी छाया को देखकर पहाड़ की ऊंचाई का अंदाजा लगाने की कोशिश करना।

लंबे समय तक, वैज्ञानिकों ने कंप्यूटर को एक ही फोटो से तुरंत यह काम करने के लिए सिखाने की कोशिश की। उन्होंने एक स्मार्ट AI (एक "UNet") बनाया और उम्मीद की कि वह गहराई का पता लगाने के लिए धारियों को पढ़ना सीख जाएगा। लेकिन इसमें एक मोड़ आया: AI धोखाधड़ी कर रहा था।

महान धोखाधड़ी: शॉर्टकट लेना

शोधकर्ताओं ने पाया कि उनका सबसे अच्छा AI वास्तव में गहराई मापने के लिए धारियों को नहीं पढ़ रहा था। इसके बजाय, वह एक आलसी शॉर्टकट ले रहा था। उसने वस्तु के किनारों (edges) को पहचानना सीख लिया और फिर एक "मानसिक टेम्पलेट" के आधार पर आकार का अनुमान लगाने लगा कि वस्तुएं आमतौर रूप से कैसी दिखती हैं।

इसे एक छात्र की तरह समझें जो परीक्षा दे रहा है। गणित के सवाल हल करने (धारियों को डिकोड करने) के बजाय, छात्र केवल उत्तर पुस्तिका के बॉर्डर के आकार को देखता है और जो उसने पहले देखा है उसके आधार पर उत्तरों का अनुमान लगा लेता है।

परिणाम: 50 अलग-अलग वस्तुओं पर परीक्षण करने पर, जो 1.5 से 2.1 मीटर की दूरी पर खड़ी थीं, इस "धोखा देने वाले" AI ने औसदम 14.54 mm की त्रुटि (error) की।
बुरी खबर: लेखकों ने सिद्ध किया कि AI को अधिक डेटा देने या उसे बड़ा बनाने से भी यह समस्या ठीक नहीं हुई। क्यों? क्योंकि AI संघर्ष नहीं कर रहा था; वह बस अपने शॉर्टकट से खुश था। वह "चीट कोड" उस तरीके में ही बना हुआ था जिससे AI को सोचने की अनुमति दी गई थी।

समाधान: "फेज़-ओनली" जासूस

धोखाधड़ी रोकने के लिए, लेखकों ने एक नया AI बनाया जिसे PhiCalNet कहा गया। उन्होंने केवल AI को "धोखा मत दो" नहीं कहा; उन्होंने खेल के नियम ही बदल दिए।

कल्पना कीजिए कि पुराना AI एक ऐसा जासूस था जिसे संदिग्ध की ऊंचाई का सीधे अनुमान लगाने की अनुमति थी। नया AI, PhiCalNet, एक ऐसा जासूस बनने के लिए मजबूर है जो केवल संदिग्ध के जूते के आकार (यानी "रैप्ड फेज़" - wrapped phase) का अनुमान लगा सकता है।

आउटपुट: नेटवर्क को गहराई का मानचित्र (depth map) आउटपुट करने से सख्ती से रोका गया है। यह केवल स्ट्राइप पैटर्न के फेज़ (जैसे sin और cos मान) को दर्शाने वाले नंबरों का एक जोड़ा आउटपुट कर सकता है।
कठोर अनुवादक: एक बार जब AI जूते का आकार अनुमानित कर लेता है, तो उसे एक निश्चित, अपरिवर्तनीय कैलकुलेटर (एक "कैलिब्रेशन लेयर") के माध्यम से उस अनुमान को गुजरना होगा, जो सख्त भौतिकी के नियमों का उपयोग करके जूते के आकार को ऊंचाई में बदलता है।
जाल: क्योंकि कैलकुलेटर कठोर और अपरिवर्तनीय है, AI सीधे ऊंचाई का अनुमान लगाकर धोखाधड़ी नहीं कर सकता। उसे सही ऊंचाई प्राप्त करने के लिए धारियों को सही ढंग से सीखना ही होगा, अन्यथा कैलकुलेटर गलत ऊंचाई देगा।

परिणाम: एक विशाल सुधार

इस संरचनात्मक बदलाव ने जादू की तरह काम किया।

स्कोर: PhiCalNet ने औसत त्रुटि को 14.54 mm से घटाकर 4.46 mm कर दिया। यह 3.3 गुना सुधार है!
प्रमाण: लेखकों ने पुराने AI के एक "फिजिक्स-इन्फॉर्म्ड" (Physics-Informed) संस्करण का परीक्षण किया (जहाँ उन्होंने केवल खराब भौतिकी के लिए दंड/पेनल्टी जोड़ी थी) और वह विफल रहा। इससे सिद्ध हुआ कि आर्किटेक्चर को बदलना (खेल के नियम बदलना) ही कुंजी थी, न कि केवल एक पेनल्टी जोड़ना।

एक छोटी सी खामी: "रैप" ग्लिच (The "Wrap" Glitch)

नए AI के साथ भी, एक छोटा सा, अपरिहार्य ग्लिच है। धारियां बार-बार दोहराई जाती हैं। कभी-कभी, AI ठीक उसी बिंदु पर भ्रमित हो जाता है जहाँ एक पट्टी समाप्त होती है और अगली शुरू होती है ("रैप बाउंड्री")।

त्रुटि: यह भ्रम त्रुटि में एक बड़ा उछाल पैदा करता है, लेकिन यह लाखों पिक्सेल में से केवल 0.103% (लगों 2,060 पिक्सेल) पर होता है।
समाधान: यदि आप एक फोटो के बजाय तीन फोटो का उपयोग करते हैं (एक "3-फ्रेम" स्नैपशॉट लेना), तो त्रुटि और भी कम होकर 1.16 mm रह जाती है। यह पुष्टि करता है कि सिंगल-फोटो वाली त्रुटि जानकारी की कमी के कारण थी, न कि टूटे हुए दिमाग के कारण।

"अनिश्चितता" की सुपरपावर

लेखकों ने AI को यह कहने का एक तरीका भी दिया कि, "मुझे यकीन नहीं है।" उन्होंने कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) नामक तकनीक का उपयोग किया (इसे ऐसे समझें जैसे AI से उसके अपने ही पिछले स्वरूपों के बारे में एक त्वरित पोल पूछना)।

पुराना AI: जब सबसे खराब अनुमानों को फ्लैग करने के लिए पूछा गया, तो इसमें बहुत कम सुधार हुआ। इसकी त्रुटियां हर जगह बिखरी हुई थीं।
नया AI: जब इसे सबसे खराब अनुमानों को फ्लैग करने के लिए कहा गया, तो यह अविश्वसनीय रूप से स्मार्ट था। केवल उन शीर्ष 5% पिक्सेल को अनदेखा करके जहाँ AI सबसे अधिक भ्रमित था, उन्होंने त्रुटि को 64% कम कर दिया (20.6 mm से 7.4 mm तक)।
सबक: नए AI की गलतियाँ एक विशिष्ट, अनुमानित स्थान (स्ट्राइप बाउंड्री) में केंद्रित हैं, जिससे उन्हें पहचानना और अनदेखा करना आसान हो जाता है। पुराने AI की गलतियाँ एक बिखरा हुआ धुंधलापन थीं।

इसका क्या अर्थ है

यह शोध पत्र दिखाता है कि 3D स्कैनिंग की दुनिया में, आप केवल अधिक डेटा नहीं डाल सकते यदि AI गलत सबक सीख रहा है। गहराई का अनुमान लगाने से पहले AI को धारियों की भौतिकी को समझने के लिए मजबूर करके, उन्होंने धोखाधड़ी को ठीक कर दिया।

हालाँकि ये परिणाम एक अत्यधिक यथार्थवादी सिमुलेटेड वातावरण (15,600 छवियों के साथ निर्मित एक डिजिटल दुनिया) पर आधारित हैं, लेकिन तर्क कायम रहता है: यदि आप चाहते हैं कि AI प्रकाश की भौतिकी को समझे, तो आपको भौतिकी को AI के मस्तिष्क में बनाना होगा, न कि केवल इसे अच्छे से व्यवहार करने के लिए कहना होगा। लेखक सुझाव देते हैं कि यह "निदान-मरम्मत-सत्यापन" (diagnose-repair-verify) विधि अन्य वैज्ञानिकों की भी मदद कर सकती है जहाँ AI कठिन काम करने के बजाय शॉर्टकट लेने की कोशिश करता है।

तकनीकी सारांश: लॉन्ग-रेंज सिंगल-शॉट FPP में शेप-प्रायर शॉर्टकट की मरम्मत करना

समस्या विवरण
सिंगल-शॉट फ्रिंज प्रोजेक्शन प्रोफाइलोमेट्री (FPA) का लक्ष्य एक एकल फ्रिंज इमेज से सघन, नॉन-कॉन्टैक्ट 3D पुनर्निर्माण प्राप्त करना है, जो गैर-स्थिर स्थितियों (चलती हुई वस्तुएं, परिवर्तनशील प्रकाश) के तहत संचालन को सक्षम बनाता है, जहाँ पारंपरिक मल्टी-स्टेप फेज-शिफ्टिंग FPP विफल हो जाता है। हालाँकि, लॉन्ग-रेंज रिजीम (स्टैंडऑफ > 1 मीटर) में, सिंगल-शॉट पुनर्निर्माण स्वाभाविक रूप से इल-पोज़्ड (ill-posed) होता है। बिना फ्रिंज-ऑर्डर जानकारी के, सिंगल फ्रिंज इंटेंसिटी इमेज से डेप्थ (गहराई) का मैपिंग नॉन-इन्जेक्टिव (non-injective) होती है क्योंकि इंटेंसिटी एक $2\pi$ -पीरियडिक कोसाइन फंक्शन पर निर्भर करती है। फलस्वरूप, एक गलत फ्रिंज ऑर्डर डेप्थ एरर को प्रेरित करता है जो दूरी के साथ क्वाड्रेटिकली ( $Z^2$ ) बढ़ता है।

पिछले कार्य (Haroon et al., 2026b) ने स्थापित किया कि मानक डीप लर्निंग बेसलाइन्स (विशेष रूप से डेप्थ-रिग्रेसिंग UNets) लॉन्ग-रेंज बेंचमार्क पर इस समस्या को हल करने में विफल रहते हैं। डेप्थ को डिकोड करके फ्रिंज फेज को रिकवर करने के बजाय, ये नेटवर्क एक "शेप-प्रायर शॉर्टकट" का लाभ उठाते हैं। वे ऑब्जेक्ट बाउंड्रीज का पता लगाते हैं और सीखे गए शेप टेम्पलेट्स को भर देते हैं, जिससे वे फ्रिंज फिजिक्स को पूरी तरह से बायपास कर देते हैं। यह विफलता हाइपोथीसिस स्पेस का एक गुण है: क्योंकि मैपिंग नॉन-इन्जेक्टिव है, स्टैंडर्ड $L_1/L_2$ रिग्रेशन के साथ प्रशिक्षित ऑप्टिमाइज़र शेप-प्रायर सरोगेट पर कोलैप्स हो जाते हैं। अधिक डेटा या मॉडल कैपेसिटी जोड़ने से भी यह हल नहीं होता, क्योंकि शॉर्टकट सर्च स्पेस के भीतर उपलब्ध रहता है।

कार्यप्रणाली: PhiCalNet
इस विफलता की मरम्मत के लिए, लेखकों ने PhiCalNet पेश किया है, जो एक फेज-इंटरमीडिएट आर्किटेक्चर है जिसे केवल लॉस पेनल्टी के माध्यम से इसे हतोत्साहित करने के बजाय, निर्माण द्वारा ही शेप-प्रायर सॉल्यूशन को हाइपोथीसिस स्पेस से हटाने के लिए डिज़ाइन किया गया है।

आर्किटेक्चरल फ्रेमिंग: स्टैंडर्ड नेटवर्क्स के विपरीत जो सीधे डेप्थ को रिgress करते हैं ( $I \to Z$ ), PhiCalNet एक रैप्ड-फेज रिप्रेजेंटेशन $(\sin \phi, \cos \phi)$ आउटपुट करता है। नेटवर्क कभी भी डेप्थ को सीधे सीखी गई मात्रा के रूप में उत्पन्न नहीं करता है।
फिक्स्ड डिफरेंशिएबल कैलिब्रेशन: आउटपुट फेज को एक फिक्स्ड, नॉन-लर्नेबल, डिफरेंशिएबल कैलिब्रेशन लेयर ( $\mathcal{C}$ ) के माध्यम से डेप्थ में मैप किया जाता है जो नियत (deterministic) FPP ट्राइएंगुलेशन फिजिक्स लागू करती है। यह सुनिश्चित करता है कि सटीक डेप्थ प्राप्त करने का एकमात्र मार्ग नेटवर्क द्वारा सटीक रैप्ड फेज को प्रेडिक्ट करना है।
ऑक्सिलरी फ्रिंज ऑर्डर: नॉन-इन्जेक्टिविटी को हल करने के लिए, PhiCalNet फ्रिंज ऑर्डर ( $k$ ) को घोषित ऑक्सिलरी साइड इंफॉर्मेशन (जैसे ग्रे-कोड या मल्टी-फ्रीक्वेंसी डिकोडिंग से) के रूप में लेता है। नेटवर्क $I \to (\sin \phi, \cos \phi)$ का मैपिंग सीखता है, जबकि अनरैपिंग ( $\Phi = \phi + 2\pi k$ ) और ट्राइएंगुलेशन को फिक्स्ड पाइपलाइन द्वारा संभाला जाता है।
लॉस फंक्शन: प्रशिक्षण एक कंपोजिट लॉस का उपयोग करता है:
- $\mathcal{L}_{circ}$ : यूनिट सर्कल पर एक जियोडेसिक फेज टर्म, जिसे $\pm \pi$ रैप बाउंड्री के पास एरर को अधिक वेट देने के लिए बनाया गया है।
- $\mathcal{L}_{\nabla}$ : फेज ग्रेडिएंट्स पर एक स्मूथनेस रेगुलराइज़र।
- $\mathcal{L}_{d}$ : फाइनल डेप्थ पर एक हाइब्रिड $L_1$ लॉस (जो फिक्स्ड कैलिब्रेशन के माध्यम से बैकबोन तक एक ग्रेडिएंट पाथ एक्टिवेट करता है)।

प्रमुख योगदान

लॉस पेनल्टी के ऊपर आर्किटेक्चरल रिपेयर: पेपर यह प्रदर्शित करता है कि सॉफ्ट लॉस पेनल्टी (एक फिजिक्स-इंफॉर्म्ड न्यूरल नेटवर्क या PINN बेसलाइन) के माध्यम से फिजिक्स को लागू करने से स्टैंडर्ड UNet की तुलना में कोई सुधार नहीं होता है। सुधार विशेष रूप से फिक्स्ड कैलिब्रेशन लेयर के माध्यम से रूटिंग वाले आर्किटेक्चरल विकल्प से आता है, जो नेटवर्क को फेज को दर्शाने के लिए मजबूर करता है।
मैकेनिस्टिक इंटरप्रिटेबिलिटी: लेखक यह सत्यापित करने के लिए कि PhiCalNet इच्छित फिजिक्स को सीखता है, बैटरी ऑफ इंटरप्रिटेबिलिटी प्रोब्स (लीनियर प्रोबिंग, डुअल-मोड Grad-CAM, और फ्लैट-प्लेन आउट-ऑफ-डिस्ट्रीब्यूशन टेस्टिंग) लागू करते हैं।
- लीनियर प्रोबिंग: फेज सबसे डिकोडेबल इंटरनल फीचर है, जबकि डेप्थ सबसे कम डिकोडेबल है (UNet बेसलाइन के विपरीत जहाँ डेप्थ-एज़-शेप को डिकोडर में कंसोलिडेट किया जाता है)।
- Grad-CAM: "फेज मोड" में, नेटवर्क फ्रिंज पैटर्न पर ध्यान केंद्रित करता है; "डेप्थ मोड" में, अटेंशन केवल तब ऑब्जेक्ट बाउंड्रीज की ओर शिफ्ट होता है जब ग्रेडिएंट्स कैलिब्रेशन लेयर के माध्यम से फ्लो होते हैं।
- फ्लैट-प्लेन टेस्ट: PhiCalNet एक फीचरलेस प्लेन (जहाँ शेप प्रायर विफल हो जाते हैं) पर सही ढंग से यूनिफॉर्म डेप्थ को रिकवर करता है, जबकि UNet बेसलाइन लगभग शून्य डेप्थ पर कोलैप्स हो जाता है।
अनसर्टेन्टी क्वांटिफिकेशन (UQ): पेपर पहली बार FPP के लिए पिक्सेल-वाइज कॉन्फॉर्मल प्रेडिक्शन लागू करता है। यह दिखाता है कि मॉडल की अनसर्टेन्टी (स्नैपशॉट एन्सेम्बल डिसएग्रीमेंट) सटीक रूप से $\pm \pi$ रैप डिस्कंटीन्यूइटी पर केंद्रित है, जो कि वही लोकस है जिसे रेसिडुअल एरर एनालिसिस द्वारा पहचाना गया था।
मेथोडोलॉजिकल टेम्पलेट: मेकेनिस्टिक इंटरप्रिटेबिलिटी (MI), रेसिडुअल एरर एनालिसिस, और अनसर्टेन्टी क्वांटिफिकेशन (UQ) का एक सिंगल ज्योमेट्रिक लोकस पर अभिसरण (convergence) को फिजिक्स-इंफॉर्म्ड लर्निंग के लिए एक "डायग्नोस-रिपेयर-वेरिफाई" टेम्पलेट के रूप में प्रस्तावित किया गया है।

परिणाम
FPP-ML-Bench (15,600 फ्रिंज इमेज, 1.5–2.1 मीटर स्टैंडऑफ पर 50 ऑब्जेक्ट्स) पर मूल्यांकन किया गया:

सटीकता: PhiCalNet बेस्ट UNet बेसलाइन (4.46 mm बनाम 14.54 mm) की तुलना में ऑब्जेक्ट मीन एब्सोल्यूट एरर (MAE) को 3.3 $\times$ कम करता है।
रेसिडुअल एनालिसिस: शेष एरर अत्यधिक स्थानीयकृत है। संपूर्ण रूट मीन स्क्वायर एरर (RMSE) टेल 0.103% ऑब्जेक्ट पिक्सल्स द्वारा कैरी की जाती है जो $\pm \pi$ रैप डिस्कंटीन्यूइटी पर स्थित हैं। इसे एक निरंतर रिग्रेशन पर डिस्कंटीन्यूअस टारगेट के स्ट्रक्चरल लिमिट के रूप में पहचाना गया है, न कि फिटिंग विफलता के रूप में।
मल्टी-फ्रेम एक्सटेंशन: इनपुट को तीन फेज-शिफ्टेड फ्रेम्स तक विस्तारित करने से ऑब्जेक्ट MAE घटकर 1.16 mm हो जाता है, जो पुष्टि करता है कि सिंगल-शॉट रेसिडुअल सूचना-सैद्धांतिक (information-theoretic) है।
फ्रिंज-ऑर्डर सेंसिटिविटी: सिस्टम ऑरेकल एक्यूरेसी के 5% के भीतर रहता है भले ही 5% पिक्सेल-वाइज फ्रिंज-ऑर्डर करप्शन हो, जो इंगित करता है कि ऑरेकल धारणा एक औपचारिकता है न कि एक सख्त डिप्लॉयमेंट आवश्यकता।
UQ प्रभावकारिता: उच्चतम स्नैपशॉट डिसएग्रीमेंट वाले टॉप 5% पिक्सल्स को रिजेक्ट करने से PhiCalNet का RMSE 64% (20.6 mm $\to$ 7.4 mm) कम हो जाता है, जबकि UNet बेसलाइन पर समान प्रक्रिया केवल 3.5% की कमी लाती है।

महत्व और दावे
पेपर का दावा है कि सिंगल-शॉट FPP नेटवर्क्स की विफलता क्षमता (capacity) का मुद्दा नहीं बल्कि एक रिप्रेजेंटेशनल मुद्दा है, जहाँ ऑप्टिमाइज़र इल-पोज़्ड फिजिक्स को बायपास करने के लिए शेप प्रायर का उपयोग करते हैं। PhiCalNet का महत्व इसके आर्किटेक्चरल फ्रेमिंग में निहित है, जो फेज को प्राथमिक आउटपुट बनाकर और डेप्थ को फिक्स्ड फिजिक्स का एक नियत परिणाम बनाकर शेप-प्रायर शॉर्टकट को हटा देता है।

लेखक अपने योगदान को विनम्रतापूर्वक इस प्रकार फ्रेम करते हैं:

एक विशिष्ट आर्किटेक्चरल समाधान (PhiCalNet) जो लॉस-लेवल फिजिक्स एनफोर्समेंट से बेहतर प्रदर्शन करता है।
रेसिडुअल एरर का एक विश्लेषणात्मक लक्षण वर्णन जो एक रैप-बाउंड्री आर्टिफैक्ट है।
एक वेरिफिकेशन वर्कफ़्लो जहाँ MI और UQ एक ही फेलियर लोकस पर अभिसरित होते हैं, जो उन फिजिक्स-इंफॉर्म्ड लर्निंग सिस्टम्स के निदान और मरम्मत के लिए एक टेम्पलेट प्रदान करता है जहाँ विफलता मोड के विशिष्ट ज्योमेट्रिक लोकस होते हैं।

पेपर यह दावा नहीं करता है कि वह सिम-टू-रियल ट्रांसफर समस्या को हल करता है या सिंगल-शॉट सेटअप में फ्रिंज-ऑर्डर जानकारी की आवश्यकता को समाप्त करता है; बल्कि, यह शॉर्टकट के आर्किटेक्चरल कारण को आइसोलेट करता है और प्रदर्शित करता है कि आर्किटेक्चर को ठीक करने से एक स्ट्रक्चरली लीजिबल फेलियर मोड प्राप्त होता है जिसे अनसर्टेन्टी क्वांटिफिकेशन के माध्यम से प्रभावी ढंग से प्रबंधित किया जा सकता है।