कल्पना कीजिए कि आप केवल तस्वीरों का उपयोग करके एक शहर का सटीक 3D मॉडल बनाने की कोशिश कर रहे हैं। कंप्यूटर ग्राफिक्स की दुनिया में, एक सुपर-फास्ट, सुपर-शार्प तकनीक है जिसे 3D Gaussian Splatting कहा जाता है। इसे एक डिजिटल कलाकार की तरह समझें जो आभासी स्थान में लाखों छोटे, मुलायम, रंगीन बादलों (जिन्हें Gaussians कहा जाता है) को उछाल रहा है। कंप्यूटर यह पता लगाता है कि प्रत्येक बादल को कहाँ तैरना चाहिए, उसका आकार कितना होना चाहिए और उसे कौन सा रंग चाहिए ताकि जब आप किसी भी कोण से उस मॉडल को देखें, तो वह बिल्कुल एक असली फोटो की तरह दिखे।

आमतौर पर, यह जादू का खेल तब सबसे अच्छा काम करता है जब आप कंप्यूटर को दी जाने वाली हर तस्वीर एकदम स्पष्ट और उत्तम हो। लेकिन वास्तविक दुनिया में, तस्वीरें शायद ही कभी परफेक्ट होती हैं। वे आपके फोन या हार्ड ड्राइव पर जगह बचाने के लिए JPEG के रूप में "पिचकी" (squished) हुई होती हैं। यह "पिचकने" की प्रक्रिया, जिसे कंप्रेशन (compression) कहा जाता है, एक विशाल, मुलायम तकिए को एक छोटे से सूटकेस में पैक करने की कोशिश करने जैसा है। इसे फिट करने के लिए, सूटकेस (JPEG फ़ाइल) को उसे कुचलना पड़ता है, जिससे अजीब ब्लॉक जैसे पैटर्न और किनारों के आसपास धुंधले छल्ले बन जाते हैं। इन्हें "आर्टिफैक्ट्स" (artifacts) कहा जाता है। यदि आप इन कुछ बेहतरीन और कुछ कुचले हुए JPEGs का उपयोग करके अपना 3D शहर बनाने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है। वह ब्लॉक वाले हिस्सों को ठीक करने की कोशिश करता है, लेकिन ऐसा करने में वह उन बेहतरीन हिस्सों को बिगाड़ देता है जिन्हें अन्य तस्वीरों ने बनाया था, जिसके परिणामस्वरूप 3-डी मॉडल ग्लिच वाला और अजीब दिखने लगता है।

यह वही पहेली है जिसे शोधकर्ताओं की एक टीम ने JSGS नामक एक नए पेपर में सुलझाया है। उन्होंने एक सरल प्रश्न पूछा: क्या होगा यदि कंप्यूटर केवल खराब तस्वीरों को अनदेखा करने की कोशिश न करे, बल्कि वास्तव में यह समझ ले कि उन्हें किस तरह से कुचला गया था? साधारण Gaussians को केवल एक "खराब" तस्वीर मानने के बजाय, JSGS उसे एक पहेली की तरह देखता है जिसमें नियमों का एक विशिष्ट सेट है। पेपर सुझाव देता है कि हर JPEG फ़ाइल के अंदर छिपे हुए "निर्देश मैनुअल" (जिसे क्वांटाइजेशन टेबल कहा जाता है) का उपयोग करके, कंप्यूटर यह सीख सकता है कि उस विशिष्ट फोटो को कैसे विकृत किया गया था। उस फोटो के साथ उसी तरह के विरूपण (distortion) का अनुकरण करके अपने स्वयं के 3D मॉडल की तुलना करने से, कंप्यूटर उन आर्टिफैक्ट्स से लड़ना बंद कर देता है और उनसे सीखना शुरू कर देता है। परिणाम? एक 3D मॉडल जो अविश्वसनीय रूप से शार्प और यथार्थवादी दिखता है, भले ही इसे उच्च-गुणवत्ता और निम्न-गुणवत्ता वाले मिश्रण से बनाया गया हो।

समस्या: "खराब फोटो" का भ्रम

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के चित्र का मूल्यांकन करने की कोशिश कर रहे हैं। आपके पास एक साइकिल की एक आदर्श संदर्भ फोटो है। लेकिन छात्र के पास केवल उसी फोटो की एक फोटोकॉपी है जो एक सस्ते, दानेदार प्रिंटर पर प्रिंट की गई है। उस फोटोकॉपी में पहियों के चारों ओर अजीब ब्लॉक जैसे वर्ग और हैंडलबार के चारों ओर धुंधले छल्ले हैं।

यदि आप छात्र को कहते हैं, "इस फोटोकॉपी की तरह बिल्कुल वैसा ही चित्र बनाओ," तो वह उन ब्लॉक्स और धुंध को भी बना देगा। यदि आप फिर उन्हें उसी बाइक की एक अलग फोटो दिखाते जो एकदम स्पष्ट है, और उन्हें इसे ठीक करने के लिए कहते हैं, तो वे भ्रमित हो सकते हैं। क्या उन्हें ब्लॉक्स को रखना चाहिए क्योंकि पहली फोटो में वे थे? या उन्हें उन्हें हटा देना चाहिए क्योंकि दूसरी फोटो में वे नहीं हैं?

मानक 3D Gaussian Splatting में बिल्कुल यही होता है। कंप्यूटर कई अलग-अलग तस्वीरों का उपयोग करके एक एकल 3D दुनिया बनाने की कोशिश करता है। यदि एक फोटो उच्च-गुणवत्ता वाली JPEG है और दूसरी कम-गुणवत्ता वाली, ब्लॉक वाली JPEG है, तो कंप्यूटर को सिरदर्द होने लगता है। वह ब्लॉक वाली फोटो से मेल खाने के लिए 3D "बादलों" को अपडेट करने की कोशिश करता है, जो उन चिकनी हिस्सों को बिगाड़ देता है जिन्हें अन्य तस्वीरों ने बनाने की कोशिश की थी। पेपर का तर्क है कि मानक दृष्टिकोण उस विशिष्ट निर्देशों को देखे बिना छात्र को ग्रेड देने जैसा है जिसका उपयोग प्रिंटर ने फोटोकॉपी बनाने के लिए किया था।

समाधान: "जादुई अनुवादक" (JSGS)

इस पेपर के लेखकों, जिन्हुआ कुई (Jinhua Cui) और उनकी टीम ने एक चतुर समाधान निकाला जिसे वे JSGS (JPEG State-Guided Supervision) कहते हैं। तस्वीरों में जो "कुचलना" हुआ था उसे अनदेखा करने के बजाय, JSGS हर JPEG फ़ाइल के भीतर छिपे गुप्त निर्देशों का उपयोग करके कंप्यूटर को मार्गदर्शन देता है।

यहाँ बताया गया है कि यह कैसे काम करता है, तीन मजेदार चरणों में विभाजित है:

1. "दिखावा करने वाला" अनुवादक (JPEG Observation Operator)
हर JPEG फ़ाइल के अंदर एक छिपा हुआ नोट होता है जिसे क्वांटाइजेशन टेबल कहा जाता है। यह टेबल एक रेसिपी कार्ड की तरह है जो कहता है, "इस फोटो के लिए, हमने चमकीले रंगों को इतना कुचला और गहरे रंगों को इतना कुचला।"
JSGS कंप्यूटर के 3D मॉडल को लेता है, उससे एक तस्वीर बनाता है, और फिर उस तस्वीर को मूल फोटो में पाए गए ठीक उसी रेसिपी कार्ड का उपयोग करके एक "नकली" JPEG प्रक्रिया के माध्यम से चलाता है। यह कंप्यूटर द्वारा यह कहने जैसा है, "ठीक है, मैं साइकिल बनाऊंगा, लेकिन फिर मैं अपनी ड्राइंग को जानबूझकर उसी तरह कुचल दूंगा जैसे तुम्हारी कम-गुणवत्ता वाली फोटो है।" अब, जब वह अपनी कुचली हुई ड्राइंग की तुलना आपकी कुचली हुई फोटो से करता है, तो वे पूरी तरह से मेल खाते हैं! कंप्यूटर ब्लॉक्स से लड़ नहीं रहा है; वह ब्लॉक्स की भाषा सीख रहा है।

2. "फ्रीक्वेंसी जासूस" (Domain-Matched DCT Supervision)
तस्वीरें अलग-अलग प्रकार के विवरणों से बनी होती हैं। कुछ बड़े, धुंधले आकार (लो फ्रीक्वेंसी) होते हैं, और कुछ बहुत बारीक, तीखे किनारे (हाई फ्रीक्वेंसी) होते हैं। "कुचलने" की प्रक्रिया आमतौर पर मध्यम आकार के विवरणों को सबसे अधिक प्रभावित करती है।
JSGS एक ऐसे जासूस की तरह कार्य करता है जिसे पता है कि फोटो के किन हिस्सों को सबसे अधिक कुचला गया था। यह त्रुटियों को तौलने के लिए रेसिपी कार्ड का उपयोग करता है। यदि फोटो को एक निश्चित क्षेत्र में बहुत अधिक कुचला गया था, तो कंप्यूटर जानता है कि वहां सावधानी बरतनी है। यदि फोटो स्पष्ट है, तो कंप्यूटर जानता है कि उस पर पूरा ध्यान देना है। यह एक ऐसे शिक्षक की तरह है जो जानता है, "ओह, इस छात्र की लिखावट पेज के बीच में डगमगा रही है, इसलिए मैं अपना ग्रेडिंग ऊपर और नीचे के हिस्से पर केंद्रित करूँगा जहाँ यह स्पष्ट है।" यह कंप्यूटर को शोर से विचलित हुए बिना सही विवरण सीखने में मदद करता है।

3. "बादल प्रबंधक" (Gaussian Controller)
कभी-कभी, कंप्यूटर अभी भी फोटो और मॉडल के बीच असहमति देखता है। हो सकता है कि फोटो में एक अजीब ब्लॉक जैसा वर्ग हो जो मॉडल में नहीं है।
JSGS के पास एक विशेष प्रबंधक है जो इन असहमतियों को देखता है। यदि कंप्यूटर देखता है कि एक छोटा, धुंधला बादल (एक Gaussian) एक ब्लॉक वाले क्षेत्र में गड़बड़ी पैदा कर रहा है, तो प्रबंधक उसे सिकुड़ने या सुचारू होने के लिए कहता है। यह एक ट्रैफिक पुलिसकर्मी की तरह है जो छोटे बादलों को परेशानी वाले स्थानों से दूर निर्देशित करता है ताकि वहां कोई दुर्घटना न हो। यह 3D मॉडल को साफ रखता है और "खराब फोटो" को पूरे दृश्य को खराब करने से रोकता है।

उन्होंने क्या पाया

टीम ने एक साइकिल से लेकर एक डायनासोर तक, सात अलग-अलग 3D दृश्यों पर, उच्च-गुणवत्ता और निम्न-गुणवत्ता वाली तस्वीरों के तीन अलग-अलग तरीकों के मिश्रण का उपयोग करके अपने नए तरीके का परीक्षण किया।

• परिणाम: JSGS एक बड़ी सफलता थी। इसने ऐसे 3D मॉडल बनाए जो पिछले तरीकों की तुलना में बहुत अधिक यथार्थवादी दिखे। विशेष रूप से, इसमें हर एक टेस्ट में सबसे कम त्रुटि दर (LPIPS कहा जाता है) थी, जिसका अर्थ है कि मॉडल वास्तविक चीज़ के सबसे करीब दिखे। इसमें उच्चतम संरचनात्मक समानता (SSло SSIM) भी थी, जिसका अर्थ है कि आकृतियों और विवरणों को सबसे अच्छी तरह से संरक्षित किया गया।
• गति: सबसे शानदार बातों में से एक यह है कि JSGS ने काम को धीमा नहीं किया। यह लगभग 150 फ्रेम प्रति सेकंड (FPS) पर 3D दृश्यों को रेंडर कर सकता है। यह इतना तेज़ है कि 3D दुनिया को एक वास्तविक वीडियो गेम जैसा महसूस करा सके, जबकि यह खराब फोटो को ठीक करने के लिए इतनी जटिल गणितीय गणनाएं भी कर रहा है।
• समझौता (Trade-off): हालांकि JSGS छवियों को यथार्थवादी और संरचनात्मक रूप से सही बनाने में सबसे अच्छा था, लेकिन FDS-GS नामक एक अन्य विधि कच्चे पिक्सेल चमक (PSNR) को मापने में थोड़ा बेहतर था। हालांकि, लेखक सुझाव देते हैं कि केवल पिक्सेल नंबरों को पूरी तरह से मिलाने के बजाय "वास्तविक" दिखना (कम LPIPS) अक्सर मानव आंखों के लिए अधिक महत्वपूर्ण होता है।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि यह समझने के बजाय कि एक फोटो को कैसे कंप्रेस किया गया था, हम बेहतर 3D दुनिया बना सकते हैं। JSGS एक अनुवादक की तरह है जो कंप्यूटर को विभिन्न JPEG फोटो के "लहजे" को समझने में मदद करता है।

हालाँकि, लेखक अपनी सीमाओं के बारे में ईमानदार हैं। उनका तरीका उन फोटो के लिए बहुत अच्छा काम करता है जिन्हें एक बार कंप्रेस किया गया है। यह उन फोटो को संभालने के बारे में पूरी तरह नहीं जानता है जिन्हें कंप्रेस किया गया, फिर सेव किया गया, और फिर दोबारा कंप्रेस किया गया (डबल कंप्रेशन), क्योंकि दूसरा कंप्रेशन मूल निर्देशों को मिटा देता है। इसके अलावा, उन्होंने प्रयोगशाला में बनाई गई तस्वीरों पर इसका परीक्षण किया है, इसलिए वे 100% निश्चित नहीं हैं कि यह वास्तविक दुनिया में किसी भी कैमरे द्वारा ली गई हर फोटो के साथ कैसा व्यवहार करेगा।

लेकिन फिलहाल, JSGS तस्वीरों के बिखरे हुए ढेर को एक शानदार, उच्च-गति वाले 3D अनुभव में बदलने का एक चंचल और शक्तिशाली नया तरीका प्रदान करता है। यह साबित करता है कि कभी-कभी, कुछ पूर्ण बनाने के लिए, आपको खामियों को समझना पड़ता है।