⚡ electrical engineering

UHD Low-Light Image Enhancement via Real-Time Enhancement Methods with Clifford Information Fusion

यह शोध पत्र एक नवीन वास्तविक समय (real-time) UHD लो-लाइट इमेज एन्हांसमेंट नेटवर्क का प्रस्ताव करता है जो मेमोरी बाधाओं को दूर करने के लिए क्लिफोर्ड अलजेब्रा के माध्यम से ज्यामितीय फीचर फ्यूजन और एक हल्के डुअल-ब्रांच यू-नेट (U-Net) आर्किटेक्चर का लाभ उठाता है, जिससे एज डिवाइसेज पर मिलीसेकंड-स्तर का इन्फरेंस प्राप्त होता है और बहाली की गुणवत्ता (restoration quality) में अत्याधुनिक मॉडलों से बेहतर प्रदर्शन होता है।

मूल लेखक: Xiaohan Wang, Chen Wu, Dawei Zhao, Guangwei Gao, Dianjie Lu, Guijuan Zhang, Linwei Fan, Xu Lu, Shuai Wu, Hang Wei, Zhuoran Zheng

प्रकाशित 2026-04-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaohan Wang, Chen Wu, Dawei Zhao, Guangwei Gao, Dianjie Lu, Guijuan Zhang, Linwei Fan, Xu Lu, Shuai Wu, Hang Wei, Zhuoran Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बिल्कुल नया, अल्ट्रा-हाई-डेफिनिशन (4K या यहाँ तक कि 8K) सुरक्षा कैमरा है। रात का समय है, और दृश्य पूरी तरह से काला है। आप क्या हो रहा है यह देखने के लिए लाइटें चालू करना चाहते हैं, लेकिन दो बड़ी समस्याएँ हैं:

"मेमोरी वॉल" (Memory Wall): यदि आप इमेज को ठीक करने के लिए एक सुपर-स्मार्ट, भारी-भरकम AI का उपयोग करने की कोशिश करते हैं, तो आपका फोन या कंप्यूटर मेमोरी खत्म होने के कारण क्रैश हो जाता है। यह एक 50 फुट लंबे हाथी को एक छोटे से स्टूडियो अपार्टमेंट में फिट करने की कोशिश करने जैसा है।
"नॉइज़ मॉन्स्टर" (Noise Monster): यदि आप एक तेज़, हल्का AI उपयोग करते हैं, तो इमेज तो उज्ज्वल हो जाती है, लेकिन वह एक दानेदार, रंगीन कचरे में बदल जाती है। यह रेडियो की आवाज़ बढ़ाने जैसा है ताकि फुसफुसाहट सुनी जा सके, लेकिन अचानक आपको केवल शोर (static) सुनाई देने लगता है।

यह पेपर एक नया समाधान पेश करता है जिसे CPE (Clifford Pyramid Enhance) कहा जाता है। इसे एक "स्मार्ट इमेज शेफ" के रूप में सोचें जो एक छोटे से किचन (एक मोबाइल फोन) में एक शानदार भोजन (एक स्पष्ट, उज्ज्वल 8K इमेज) पका सकता है बिना घर जलाए।

यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) में दिया गया है:

1. "ब्लर और शार्पन" रणनीति (Frequency Decoupling)

कल्पना कीजिए कि आपके पास एक कीचड़ से सनी हुई पेंटिंग है।

लो-फ्रीक्वेंसी वाला हिस्सा: यह सामान्य आकार और बैकग्राउंड का रंग है (जो "कीचड़" है)।
हाई-फ्रीक्वेंसी वाला हिस्सा: यह बारीक विवरण है, जैसे ब्रशस्ट्रोक की बनावट या एक पेड़ के तीखे किनारे (वह "कीचड़" जो विवरणों को छिपा रहा है)।

ज्यादातर AI पूरी पेंटिंग को एक साथ ठीक करने की कोशिश करते हैं, जो बहुत अव्यवसायिक होता है। CPE चतुर है: यह पहले इमेज पर एक गासियन ब्लर (Gaussian blur) (एक सॉफ्ट फोकस फ़िल्टर) लगाता है ताकि "कीचड़" (लाइटिंग) को "विवरणों" (टेक्सचर) से अलग किया जा सके। यह उन्हें दो अलग-अलग सामग्रियों के रूप में मानता है। यह भारी काम को सरल रखता है और कंप्यूटर की मेमोरी को ओवरफ्लो होने से रोकता है।

2. "जियोमेट्रिक ट्रांसलेटर" (Clifford Algebra)

यही इस पेपर का असली मंत्र (secret sauce) है। आमतौर पर, जब AI "कीचड़" और "विवरणों" को वापस मिलाने की कोशिश करता है, तो वह उन्हें एक ब्लेंडर की तरह बस आपस में मिला देता है, जिससे अक्सर टेक्सचर खराब हो जाता है या अजीब आर्टिफैक्ट्स (जैसे एक पैचवर्क क्विल्ट) बन जाते हैं।

CPE क्लिफोर्ड अलजेब्रा (Clifford Algebra) का उपयोग करता है। इसे एक विशेष ट्रांसलेटर के रूप में सोचें जो "ज्यामिति" (Geometry) की भाषा बोलता है।

यह केवल रंगों (लाल, हरा, नीला) को नहीं देखता, बल्कि दिशाओं और आकृतियों को देखता है।
यह पूछता है: "क्या यह किनारा ऊपर की ओर इशारा करता है? क्या यह छाया बाईं ओर गिरती है?"
विवरणों की दिशा को समझकर, यह लाइटिंग और टेक्सचर को पूरी तरह से वापस मिला सकता है। यह एक मास्टर टेलर की तरह है जो जानता है कि सूट को ठीक कैसे सिलना है ताकि पैटर्न की रेखाएं मिलें, न कि केवल कपड़े को आपस में चिपका दे। यह "दानेदार नॉइज़" को तस्वीर खराब करने से रोकता है।

3. "स्मार्ट डिमर स्विच" (Retinex Theory)

एक बार जब इमेज साफ हो जाती है और विवरण सुरक्षित हो जाते हैं, तो CPE पूरी तस्वीर को पिक्सेल-दर-पिक्सेल फिर से बनाने की कोशिश नहीं करता (जो धीमा और मेमोरी-हंग्री होता है)।

इसके बजाय, यह एक स्मार्ट डिमर स्विच की तरह काम करता है।

यह अंधेरी इमेज को देखता है और दो सरल मैप्स की गणना करता है:
1. गामा मैप (Gamma Map): कंट्रास्ट को कितना फैलाना है (जैसे खिड़की खोलकर अधिक रोशनी आने देना)।
2. गेन मैप (Gain Map): कुल चमक (brightness) को कितना बढ़ाना है।
यह इन "डिमर सेटिंग्स" को मूल इमेज पर लागू करता है। क्योंकि यह केवल लाइटिंग पर गणित कर रहा है न कि पूरी इमेज को फिर से बना रहा है, इसलिए यह अविश्वसनीय रूप से तेज़ है।

परिणाम: गति और गुणवत्ता

यह पेपर दावा करता है कि यह तरीका दो कारणों से गेम-चेंजर है:

यह तेज़ है: यह लगभग 11 मिलीसेकंड में एक विशाल 8K इमेज (जिसमें 3.3 करोड़ पिक्सेल होते हैं!) को प्रोसेस कर सकता है। यह मानव आँख की पलक झपकने से भी तेज़ है। यह 87 फ्रेम्स प्रति सेकंड की दर से चलता है, जिसका अर्थ है कि यह वास्तव में रियल-टाइम है।
यह हल्का है: यह बिना क्रैश हुए एक मानक कंज्यूमर ग्राफिक्स कार्ड या यहाँ तक कि एक आधुनिक स्मार्टफोन (जैसे Huawei Mate 60 Pro या iPhone 16 Pro) पर भी फिट हो जाता है।

आपको इसकी परवाह क्यों करनी चाहिए?

यदि आपने कभी अपने फोन पर नाइट-विज़न ऐप का उपयोग करने की कोशिश की है और वह या तो उपयोग करने के लिए बहुत धीमा था या तस्वीर केवल शोर (static) जैसी दिख रही थी, तो यह तकनीक उसका समाधान है। यह सुरक्षा कैमरों, स्वायत्त कारों (autonomous cars) और ड्रोन को अंधेरे में स्पष्ट रूप से देखने की अनुमति देता है, वह भी अपने स्वयं के डिवाइस पर, बिना किसी बड़े क्लाउड सर्वर फार्म की आवश्यकता के।

संक्षेप में: CPE एक भारी, धीमे, हाई-डेफिनिशन कैमरे को डाइट पर रखने, उसे एक ज्यामितीय मस्तिष्क देने और उसे बिना थके तुरंत लाइट चालू करना सिखाने जैसा है।

यहाँ शोध पत्र "UHD Low-Light Image Enhancement via Real-Time Enhancement Methods with Clifford Information Fusion" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सख्त रियल-टाइम और मेमोरी सीमाओं के तहत अल्ट्रा-हाई-डेफिनिशन (UHD) लो-लाइट इमेज एन्हांसमेंट (विशेष रूप से 4K और 8K रिज़ॉल्यूशन) की महत्वपूर्ण चुनौती को संबोधित करता है।

"मेमोरी वॉल" (The Memory Wall): मौजूदा अत्याधुनिक (SOTA) विधियाँ, जैसे कि ट्रांसफॉर्मर-आधारित आर्किटेक्चर (जैसे LLFormer) और डिफ्यूजन मॉडल, द्विघाती कम्प्यूटेशनल जटिलता (quadratic computational complexity) से ग्रस्त हैं। जब इन्हें नेटिव 4K/8K इनपुट पर लागू किया जाता है, तो ये उपभोक्ता-ग्रेड हार्डवेयर पर आउट-ऑफ-मेमोरी (OOM) त्रुटियां उत्पन्न करते हैं।
वर्तमान समाधान विफल होते हैं: OOM से बचने के लिए, मौजूदा मॉडल अक्सर पैच-आधारित इन्फरेंस (स्लाइडिंग विंडो) या ग्लोबल डाउनसैंपलिंग का उपयोग करते हैं।
- पैच-आधारित: यह ग्लोबल इल्यूमिनेशन निरंतरता को तोड़ देता है, जिससे दृश्य ग्रिड-नुमा सीम (seams) और बाउंड्री आर्टिफैक्ट्स उत्पन्न होते हैं।
- डाउनसैंपलिंग: यह हाई-फ्रीक्वेंसी टेक्सचर और सूक्ष्म विवरणों को अपरिवर्तनीय रूप से नष्ट कर देता है।
लाइटवेट सीमाओं का अभाव: पैरामीटराइज्ड कर्व-मैपिंग नेटवर्क (जैसे Zero-DCE++) तेज़ हैं लेकिन उनमें स्पष्ट फ्रीक्वेंसी डिकपलिंग का अभाव होता है, जिससे अत्यधिक कम रोशनी की स्थितियों में शोर (noise) का बढ़ना और रंग विरूपण (color distortion) होता है।

2. कार्यप्रणाली: क्लिफोर्ड पिरामिड एन्हांस (Clifford Pyramid Enhance - CPE)

लेखक CPE का प्रस्ताव करते हैं, जो एक नेटिव UHD प्रोसेसिंग के लिए डिज़ाइन किया गया एक लाइटवेट फ्रेमवर्क है। यह "लो-रिज़ॉल्यूशन फीचर एक्सट्रैक्शन, हाई-रिज़ॉल्यूशन पैरामीटर मैपिंग" रणनीति का उपयोग करता है।

A. समग्र वास्तुकला (Overall Architecture)

मल्टी-स्केल पिरामिड: इनपुट UHD इमेज को एक निश्चित कॉम्पैक्ट आकार (जैसे 64×64) तक एडेप्टिवली डाउनसैंपल किया जाता है ताकि एक बेस टेंसर बनाया जा सके। इसके बाद नेटवर्क इस माध्यम से एक 4-लेयर फीचर पिरामिड के माध्यम से प्रोग्रेसिवली अपसैंपल करता है।
फ्रीक्वेंसी-डिकपल्ड एक्सट्रैक्शन: प्रत्येक पिरामिड स्तर पर, एक गौसियन ब्लर कर्नेल इमेज को विभाजित करता है:
- लो-फ्रीक्वेंसी ( $L_{feat}$ ): ग्लोबल इल्यूमिनेशन और कलर शिफ्ट।
- हाई-फ्रीक्वेंसी ( $H_{feat}$ ): स्ट्रक्चरल डिटेल्स, किनारे (edges), और नॉइज़।
डुअल-ब्रांच लाइटUNet: दो समानांतर लाइटवेट शाखाएं (डेप्थवाइज सेपरेबल कनवल्शन का उपयोग करके) अलग-अलग घटकों को प्रोसेस करती हैं ताकि पैरामीटर्स को न्यूनतम किया जा सके।

B. मुख्य नवाचार: क्लिफोर्ड ज्योमेट्रिक फीचर फ्यूजन (Clifford Geometric Feature Fusion)

पारंपरिक लीनियर कॉनकैटिनेशन या एडिशन फ्रीक्वेंसी बैंड्स के बीच ज्योमेट्रिक टोपोलॉजी को बनाए रखने में विफल रहता है। CPE 2D यूक्लिडियन क्लिफोर्ड अलजेब्रा ($Cl(2,0)$) पेश करता है:

मल्टीवेक्टर स्पेस कंस्ट्रक्शन: फीचर्स को 12-चैनल स्पेस में प्रोजेक्ट किया जाता है और तीन स्यूडो-कलर मैनिफोल्ड्स में रीशेप किया जाता है। प्रत्येक स्थानिक स्थान (spatial location) को एक मल्टीवेक्टर $M = s + v_1e_1 + v_2e_2 + be_{12}$ $M = s + v_{1} e_{1} + v_{2} e_{2} + b e_{12}$ में मैप किया जाता है, जिसमें शामिल हैं:
- स्केलर ( $s$ ): बेस एनर्जी।
- वेक्टर्स ( $v_1, v_2$ ): स्थानिक ग्रेडिएंट दिशात्मकता (spatial gradient directionality)।
- बाइवेक्टर ( $b$ ): रोटेशनल और एरियाल एट्रीब्यूट्स।
ज्योमेट्रिक सिमिलैरिटी और डायनेमिक एग्रीगेशन: नेटवर्क लो- और हाई-फ्रीक्वेंसी मल्टीवेक्टर्स के बीच क्लिफोर्ड इनर प्रोडक्ट की गणना करता है ताकि एक स्थानिक समानता मानचित्र ( $S_{map}$ $S_{ma p}$ ) बनाया जा सके।
- उन क्षेत्रों में जहाँ दिशात्मकता सुसंगत है (शार्प एजेस), हाई-फ्रीक्वेंसी फीचर्स को संरक्षित किया जाता है।
- अराजक क्षेत्रों (नॉइज़/डार्क एरिया) में, नॉइज़ को दबाने के लिए लो-फ्रीक्वेंसी फीचर्स हावी होते हैं।
- यह तंत्र ज्योमेट्रिक बाधाओं का सम्मान करते हुए फीचर्स को फ्यूज करता है, जिससे स्ट्रक्चरल आर्टिफैक्ट्स रुकते हैं।

C. डायनेमिक रिज़ॉल्यूशन रिकंस्ट्रक्शन (रेटिनेक्स-आधारित)

सीधे फाइनल RGB इमेज प्रेडिक्ट करने के बजाय (जो मेमोरी-इंटेंसिव है), CPE नेटिव रिज़ॉल्यूशन पर स्पेशियली एडेप्टिव पैरामीटर्स प्रेडिक्ट करता है:

गामा ( $\Gamma$ ) और गेन ( $G$ ) मैप्स: नेटवर्क इन मैप्स को आउटपुट करता है ताकि रेटिनेक्स थ्योरी के आधार पर नॉन-लीनियर ब्राइटनेस एडजस्टमेंट किया जा सके।
कलर-फिडेलिटी रेस्टोरेशन: एन्हांसमेंट केवल इल्यूमिनेशन कंपोनेंट पर लागू किया जाता है ( $I_{enhanced} = G \cdot I_{in}^\Gamma$ )। अंतिम इमेज को मूल इनपुट को एन्हांस्ड और इनिशियल इल्यूमिनेशन के अनुपात द्वारा स्केल करके पुनर्गठित किया जाता है:
$X_{enh} = X_{low} \odot \frac{I_{enhanced}}{I_{in}}$
यह गणितीय रूप से कलर कंसिस्टेंसी और कलर फिडेलिटी सुनिश्चित करता है और डीप लर्निंग विधियों में होने वाले कलर शिफ्ट से बचाता है।

3. प्रमुख योगदान (Key Contributions)

मेमोरी वॉल को पार करना: CPE उपभोक्ता GPU पर 4K/8K इमेज के लिए रियल-टाइम इन्फरेंस प्राप्त करता है, जो पैचिंग और डाउनसैंपलिंग आर्टिफैक्ट्स से बचकर भारी गणना (फीचर एक्सट्रैक्शन) को लो-रिज़ॉल्यूशन लेटेंट स्पेस में डिकपल करता है।
क्लिफोर्ड अलजेब्रा इंटीग्रेशन: यह लो-लाइट एन्हांसमेंट में 2D क्लिफोर्ड मल्टीवेक्टर स्पेस को पेश करने वाला पहला कार्य है। यह सेल्फ-अटेंशन का एक ज्योमेट्रिकली अवेयर विकल्प प्रदान करता है, जो शोर को दबाते हुए हाई-फ्रीक्वेंसी टेक्सचर को लो-फ्रीक्वेंसी इल्यूमिनेशन के साथ प्रभावी ढंग से फ्यूज करता है।
फिजिक्स-कंस्ट्रेंड रिकंस्ट्रक्शन: रेटिनेक्स-प्रेरित गामा/गेन मैपिंग का उपयोग करके, यह विधि भौतिक निरंतरता और कलर फिडेलिटी सुनिश्चित करती है, बिना विशाल आउटपुट टेंसरों की आवश्यकता के।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन UHD-LOL डेटासेट (4K और 8K सबसेट्स) पर किया गया और 7 SOTA मॉडल्स (ट्रांसफॉर्मर, CNN, डिफ्यूजन, कर्व-बेस्ड) के विरुद्ध तुलना की गई।

इन्फरेंस स्पीड (रियल-टाइम परफॉरमेंस):
- 4K: 8.68 ms लेटेंसी (115.2 FPS)।
- 8K: 11.49 ms लेटेंसी (87.0 FPS)।
- तुलना: LLFormer जैसे भारी मॉडल प्रति 8K इमेज ~170 सेकंड लेते हैं (0.006 FPS)।
क्वालिटी मेट्रिक्स (8K):
- PSNR: 22.80 dB (FLOL जैसे 18.61 dB वाले लाइटवेट बेसलाइन और UHDM जैसे 14.30 dB वाले डाउनसैंपलिंग मॉडल्स से बेहतर)।
- SSIM: 0.9453।
- विजुअल क्वालिटी: यह पैच सीम्स को समाप्त करता है और सूक्ष्म टेक्सचर (टेक्स्ट, आर्किटेक्चर) को सुरक्षित रखता है जो डाउनसैंपलिंग दृष्टिकोणों में खो जाते हैं।
डाउनस्ट्रीम टास्क (ऑब्जेक्ट डिटेक्शन):
- जब इसे नाइट-टाइम ऑब्जेक्ट डिटेक्शन के लिए YOLOv10x में फीड किया गया, तो CPE ने 8K दृश्यों में 576 टारगेट का पता लगाया, जो UHDM (0 टारगेट) और AGLLDiff (35 टारगेट) की तुलना में काफी बेहतर प्रदर्शन करता है, जबकि भारी LLFormer मॉडल की डिटेक्शन क्षमता का 98.6% बनाए रखता है।
एज डिप्लॉयमेंट: FP16 मिक्स्ड प्रिसिजन का उपयोग करके मोबाइल उपकरणों (Huawei Mate 60 Pro, iPhone 16 Pro) पर सफलतापूर्वक तैनात किया गया, जिसने ~312 ms में एंड-टू-एंड प्रोसेसिंग हासिल की।

5. महत्व (Significance)

यह शोध पत्र संसाधन-बाधित एज डिवाइसेस पर रियल-टाइम UHD विजन के लिए एक व्यवहार्य तकनीकी मार्ग प्रदान करता है। कंप्यूटेशनल रूप से महंगे ग्लोबल अटेंशन मैकेनिज्म को ज्योमेट्रिक क्लिफोर्ड फ्यूजन के साथ बदलकर और भारी गणना को लो-रिज़ॉल्यूशन लेटेंट स्पेस में स्थानांतरित करके, CPE "मेमोरी वॉल" की बाधा को हल करता है। यह प्रदर्शित करता है कि क्लाउड कंप्यूटिंग पर निर्भर हुए बिना या फ्रेम रेट से समझौता किए बिना 4K/8K रिज़ॉल्यूशन पर हाई-फिडेलिटी, आर्टिफैक्ट-फ्री लो-लाइट एन्हांसमेंट संभव है, जो इसे ऑटोनॉमस ड्राइविंग, निगरानी और मोबाइल फोटोग्राफी के लिए अत्यधिक प्रासंगिक बनाता है।