Evaluating Generative Models via One-Dimensional Code Distributions
यह शोध पत्र जनरेटिव मॉडल्स के लिए एक नवीन मूल्यांकन ढांचे का प्रस्ताव करता है जो पारंपरिक निरंतर फीचर-आधारित मेट्रिक्स को विजुअल टोकन स्पेस में संचालित होने वाले ट्रेनिंग-फ्री और नो-रेफरेंस मेट्रिक्स से बदल देता है, जो विज़फॉर्म (VisForm) नामक एक नए बड़े पैमाने के बेंचमार्क में मानव निर्णयों के साथ बेहतर सहसंबंध प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खाद्य समीक्षक (food critic) हैं जो एक नए रेस्टोरेंट के खाना बनाने के तरीके का न्याय करने की कोशिश कर रहे हैं।
पुराना तरीका (FID मीट्रिक):
वर्तमान में, अधिकांश AI इमेज जनरेटर को FID नामक एक विधि द्वारा परखा जाता है। इसे ऐसे समझें जैसे कोई आलोचक केवल व्यंजन की मुख्य सामग्रियों को चखता है लेकिन बनावट (texture), प्लेटिंग और मसालों को अनदेखा कर देता है।
- यह कैसे काम करता है: यह एक फोटो लेता है और एक बहुत ही स्मार्ट कंप्यूटर (जिसे बिल्लियों, कुत्तों और कारों को पहचानने के लिए प्रशिक्षित किया गया है) से पूछता है कि छवि का "सार" (gist) क्या है।
- समस्या: क्योंकि यह कंप्यूटर छोटी बारीकियों को अनदेखा करने के लिए प्रशिक्षित है (जैसे कि बिल्ली का फर मुलायम है या नुकीला), यह छवि की "कला" को समझने में चूक जाता है। यह सोच सकता है कि एक धुंधली, अजीब बनावट वाली बिल्ली की फोटो उतनी ही अच्छी है जितनी कि एक स्पष्ट, सुंदर फोटो, क्योंकि कंप्यूटर के लिए, दोनों ही बस "बिल्ली" का संकेत देती हैं। यह एक पेंटिंग को केवल उसके विषय के आधार पर आंकने जैसा है, उसके ब्रशस्ट्रोक के सुंदर या बिखरे हुए होने की परवाह किए बिना।
नया विचार ("टोकन" दृष्टिकोण):
इस शोध पत्र के लेखक कहते हैं, "आइए 'सार' को देखना बंद करें और 'निर्माण खंडों' (building blocks) को देखना शुरू करें।"
- उपमा: कल्पना कीजिए कि प्रत्येक छवि एक गुप्त भाषा में लिखा गया एक वाक्य है। इसके बजाय कि हम वाक्य के अर्थ (semantic feature) को देखें, हम उसमें उपयोग किए गए अक्षरों और शब्दों को गिनते हैं।
- बदलाव: वे एक विशेष उपकरण (एक टोकनाइज़र) का उपयोग करते हैं जो एक छवि को छोटे, अलग-अलग "कोड" या "टोकन" के अनुक्रम में तोड़ देता है। इन्हें LEGO ब्रिक्स की तरह समझें। एक आदर्श छवि बहुत ही विशिष्ट, अनुमानित पैटर्न के साथ इन ईंटों से बनी होती है। एक खराब AI छवि में सही प्रकार की ईंटें हो सकती हैं (आकाश के लिए एक नीली ईंट, घास के लिए एक हरी ईंट), लेकिन वे बेतुके तरीके से आपस में जुड़ी हो सकती हैं, या उनमें बहुत अधिक यादृच्छिक, अजीब ईंटें मिली हुई हो सकती हैं।
दो नए उपकरण:
CHD ("व्याकरण जांच"):
- यह क्या करता है: यह उपकरण यह जाँचता है कि क्या AI सही "शब्दावली" और "व्याकरण" का उपयोग कर रहा है।
- रूपक: कल्पना कीजिए कि AI एक कहानी लिख रहा है। CHD दो चीजें जाँचता है:
- शब्दावली (1D): क्या AI ने सही शब्दों का उपयोग किया? (जैसे, क्या इसने "आकाश" और "पेड़" का उपयोग किया या "टोस्टर" और "जूते" का?)
- व्याकरण (2D): क्या इसने शब्दों को सही क्रम में रखा? (जैसे, "पेड़ आकाश में है" व्याकरणिक रूप से गलत है, ठीक वैसे ही जैसे हवा में तैरता हुआ पेड़ दृश्य रूप से गलत होता है)।
- यह क्यों शानदार है: इसे यह सिखाने की आवश्यकता नहीं है कि "अच्छा" क्या दिखता है। यह बस जानता है कि प्रकृति कुछ निश्चित पैटर्नों का पालन करती है, और यदि AI उन पैटर्नों को तोड़ता है, तो स्कोर कम हो जाता है।
CMMS ("तनाव परीक्षण" - Stress Test):
- यह क्या करता है: यह उपकरण एक एकल छवि का परीक्षण करता है कि वह कितनी "टूटी हुई" है, बिना किसी आदर्श मूल छवि की तुलना किए।
- रूपक: कल्पना कीजिए कि एक शिक्षक एक छात्र की गलतियाँ पकड़ने की क्षमता का परीक्षण करना चाहता है। एक आदर्श निबंध दिखाने के बजाय, शिक्षक एक आदर्श निबंध लेता है और उसे जानबूझकर बिगाड़ देता है (शब्दों को उलझा देता है, टाइपो जोड़ देता है, वाक्यों को धुंधला कर देता है)। फिर शिक्षक एक AI को प्रशिक्षित करता है जो इन बिगड़े हुए संस्करणों को देखे और कह सके, "यह 80% खराब है, यह 20% खराब है।"
- परिणाम: प्रशिक्षित होने के बाद, यह AI एक रोबोट द्वारा बनाई गई नई छवि को देख सकता है और तुरंत कह सकता है, "यह 90% मानव-निर्मित लगता है," या "यह एक ग्लिच वाला कचरा है," केवल विजुअल कोड में "टाइपो" को पहचानकर।
बड़ा परीक्षण (VisForm):
अपने उपकरणों को सिद्ध करने के लिए, लेखकों ने केवल कुत्तों और बिल्लियों की तस्वीरों पर परीक्षण नहीं किया। उन्होंने VisForm नामक एक विशाल लाइब्रेरी बनाई।
- उपमा: आलोचक को केवल इतालवी भोजन पर परीक्षण करने के बजाय, उन्होंने उन्हें सुशी, पिज्जा, टैकोस और अमूर्त कला (abstract art) खिलाया।
- पैमाना: उन्होंने 62 विभिन्न शैलियों (मेडिकल डायग्राम से लेकर एनिमे और ऑयल पेंटिंग तक) और 12 अलग-अलग AI मॉडलों में 210,000 छवियों का परीक्षण किया।
- परिणाम: उनके नए "LEGO गिनती" वाले तरीके ने पुराने "सामग्री चखने" वाले तरीके की तुलना में मानवीय राय से बेहतर तालमेल बिठाया, यहाँ तक कि उन अजीब या कलात्मक छवियों के लिए भी जहाँ पुराने तरीके विफल हो गए थे।
सारांश में:
AI कला को आंकने का पुराना तरीका केवल उसके शीर्षक से किताब को आंकने जैसा था। यह नया शोध पत्र सुझाव देता है कि हमें वाक्यों को पढ़ना चाहिए, व्याकरण की जांच करनी चाहिए और अक्षरों को गिनना चाहिए। एक छवि के उच्च-स्तरीय "अर्थ" के बजाय उसके सूक्ष्म, अलग-अलग निर्माण खंडों को देखकर, उन्होंने एक ऐसा पैमाना बनाया जो वास्तव में उस चीज़ को मापता है जिसकी इंसानों को परवाह है: गुणवत्ता, बनावट और सामंजस्य।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।