Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation
यह शोधपत्र एक बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि वेबपेज के स्क्रीनशॉट को कोड में परिवर्तित करते समय मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (multimodal large language models) पैटर्न पूर्णता का एक मजबूत पूर्वाग्रह (pattern completion bias) प्रदर्शित करते हैं, और विसंगतियों की पहचान करने की तर्क क्षमता होने के बावजूद अक्सर विज़ुअली विचलित तत्वों को बार-बार आने वाले UI पैटर्नों से बदल देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक फोटो दिखाने के आधार पर चित्र बनाना सिखा रहे हैं। आप रोबोट को एक कैमरा और निर्देश देते हैं: "इस फोटो को देखो और जो तुम देख रहे हो उसे बिल्कुल वैसा ही बनाओ।" कंप्यूटर विज्ञान की दुनिया में, इसे "मल्टीमॉडल" लर्निंग कहा जाता है, जहाँ एक कंप्यूटर अपने "आंखों" (छवियों को देखने के लिए) और अपने "मस्तिष्क" (टेक्स्ट और कोड को समझने के लिए) दोनों का उपयोग करता है। हाल ही में, ये रोबोट वेबसाइटों के स्क्रीनशॉट देखने और उन्हें फिर से बनाने के लिए आवश्यक कंप्यूटर कोड (HTML और CSS) लिखने में बहुत अच्छे हो गए हैं। यह एक घर की फोटो दिखाने और फिर उसे बनाने के लिए तुरंत उसका ब्लूप्रिंट लिखने जैसा है। लेकिन यहाँ एक पेचीदा बात है: रोबोट पैटर्न का अनुमान लगाने में भी माहिर होते हैं। यदि आप उन्हें समान लाल गेंदों की एक पंक्ति दिखाते हैं, और फिर एक नीली गेंद दिखाते हैं, तो वे अनुमान लगा सकते हैं कि आखिरी गेंद भी लाल ही होगी, क्योंकि "लाल" वह पैटर्न है जिसकी वे अपेक्षा करते हैं। यह शोध पत्र एक डरावना सवाल पूछता है: जब एक रोबोट एक वेबसाइट देखता है, तो क्या वह वास्तव में पिक्सेल को देखता है, या वह केवल उस आधार पर अनुमान लगाता है कि वहां क्या होना चाहिए?
इस अध्ययन के पीछे के शोधकर्ताओं, खई-नेगुएन नगुयेन, ऑस्कर चापरो और एंटोनियो मास्ट्रोपोलो ने सबसे बुद्धिमान AI रोबोट्स के साथ "अंतर पहचानो" का खेल खेलकर इसे परखने का निर्णय लिया। उन्होंने एक विशेष परीक्षण बनाया जिसे "Pattern2Code" कहा गया। कल्पना कीजिए कि एक वेबपेज ताश की गड्डी की तरह समान कार्डों के ढेर से भरा हुआ है। शोधकर्ताओं ने एक कार्ड लिया और गुप्त रूप से उसे थोड़ा चौड़ा कर दिया या उस पर लिखे टेक्स्ट का फॉन्ट साइज बदल दिया। फिर, उन्होंने इस थोड़े "बिगड़े हुए" ढेर का स्क्रीनशॉट पांच अलग-अलग AI मॉडल्स को दिखाया और उनसे उस एक अजीब कार्ड की चौड़ाई या फॉन्ट साइज के लिए कोड लिखने को कहा। पेच यह था कि उन्हें जो कोड देखने के लिए दिया गया था, वह दिखा रहा था कि सभी अन्य कार्ड एक ही आकार के थे, जिससे एक मजबूत पैटर्न बन रहा था।
परिणाम कुछ-टक जादूगर को देखने जैसे थे जो चाल जानता है लेकिन फिर भी उसे करता है। AI मॉडल पैटर्न को अनदेखा करने में आश्चर्यजनक रूप से खराब रहे। जब "अजीब" कार्ड एक बड़ा, स्पष्ट बदलाव था (जैसे कि एक कार्ड जो 20% अधिक चौड़ा था), तो सबसे अच्छे AI ने लगभग 69% बार इसे सही पहचाना। लेकिन जब बदलाव बहुत सूक्ष्म और बारीक था (जैसे कि एक फॉन्ट साइज जो बस थोड़ा सा बड़ा था), तो मॉडल्स ने तस्वीर को देखने की कोशिश लगभग पूरी तरह से छोड़ दी। इसके बजाय, उन्होंने बस वह कोड लिखा जिसमें "सब कुछ 100%" था, जो पैटर्न से मेल खाता था, भले ही तस्वीर स्पष्ट रूप से कुछ अलग दिखा रही थी। वास्तव में, सूक्ष्म टेक्स्ट परिवर्तनों के लिए, मॉडल्स गलत थे क्योंकि वे पैटर्न का आँख मूँदकर पालन कर रहे थे, भले ही दृश्य प्रमाण कुछ और कह रहे हों।
अध्ययन में पाया गया कि यह "पैटर्न अंधापन" तब और बढ़ जाता है जब चित्र को स्पष्ट रूप से देखना कठिन होता है। यदि शोधकर्ता छवि पर विजुअल "नॉइज़" (जैसे कि यादृच्छिक ग्रे ब्लॉक) जोड़ देते, तो मॉडल्स और भी भ्रमित हो जाते और पैटर्न पर ही टिके रहते। उन्होंने यह भी पाया कि यदि अजीब कार्ड पंक्ति के बीच में था, जो सामान्य कार्डों से घिरा हुआ था, तो AI के लिए उसे पहचानना आसान था। लेकिन यदि वह बिल्कुल किनारे पर था, तो AI के चूक जाने की संभावना अधिक थी। दिलचस्प बात यह है कि भले ही AI मॉडल्स ने अपनी "सोचने की प्रक्रिया" में यह लिख दिया था कि उन्होंने अजीब कार्ड को देखा है और सही आकार की गणना की है, फिर भी वे अक्सर अपने स्वयं के गणित को अनदेखा कर देते थे और पैटर्न से मेल खाने के लिए अपना उत्तर बदल देते थे। यह ऐसा ही है जैसे रोबोट ने नीली गेंद देखी, सोचा "यह नीली है," लेकिन फिर कहा, "रुको, बाकी सब लाल हैं, इसलिए मैं कहूँगा कि यह भी लाल है।"
शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि ये AI उपकरण वेबसाइट के सामान्य आकार को सही ढंग से प्राप्त करने के लिए अद्भुत हैं, लेकिन आप सूक्ष्म, सटीक विवरणों को सही करने के लिए उन पर भरोसा नहीं कर सकते जब तक कि कोई मानव उनके काम की दोबारा जांच न करे। विवरण जितना सूक्ष्म होगा, AI के उस पैटर्न को "भ्रम" (hallucinate) के रूप में देखने की संभावना उतनी ही अधिक होगी जो वहां मौजूद नहीं है। यह सुझाव देता है कि फिलहाल, हमें AI द्वारा जनरेट किए गए कोड को एक कच्चे ड्राफ्ट के रूप में मानना चाहिए जिसे मानवीय आंखों द्वारा सावधानीपूर्वक जांचने की आवश्यकता है ताकि उन छोटी गलतियों को पकड़ा जा सके जिन्हें अनदेखा करने के लिए रोबोट बहुत उत्सुक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।