Estimating Commonsense Plausibility through Semantic Shifts
यह शोध पत्र ComPaSS को प्रस्तुत करता है, जो एक नवीन विभेदक ढांचा (discriminative framework) है जो संवर्द्धनों (augmentations) द्वारा प्रेरित अर्थ संबंधी बदलावों को मापकर सामान्य ज्ञान की संभाव्यता (commonsense plausibility) का अनुमान लगाता है, जो भाषा और दृष्टि-भाषा मॉडलों में जनरेटिव बेसलाइन की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है और कंट्रास्टिव प्री-ट्रेनिंग के लाभों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Estimating Commonsense Plausibility through Semantic Shifts" (ComPaSS) का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: AI "कॉमन सेंस" (सामान्य समझ) में क्यों चूक जाता है
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझने के लिए सिखा रहे हैं। आप उसे बताते हैं, "पेंगुइन एक पक्षी है।" रोबोट इसे पूरी तरह सीख लेता है। लेकिन फिर आप पूछते हैं, "क्या पेंगुइन हरा है?"
एक इंसान तुरंत जानता है: नहीं, यह बेतुकी बात है। पेंगुइन काले और सफेद होते हैं।
लेकिन एक मानक AI (लार्ज लैंग्वेज मॉडल) हिचकिचा सकता है। क्यों? क्योंकि उसने इंटरनेट पर अरबों वाक्यों को पढ़कर सीखा है। उसने किसी कार्टून में "हरे पेंगुइन" के बारे में कोई कहानी पढ़ी होगी, या वह सिर्फ इस आधार पर अनुमान लगा रहा होगा कि "पेंगुइन" और "हरा" शब्द एक-दूसरे के कितने करीब आते हैं। वह इस बात में अंतर करने में संघर्ष करता है कि इंटरनेट पर क्या लिखना सांख्यिकीय रूप से संभावित (statistically likely) है और वास्तविक दुनिया में वास्तव में क्या सच है।
मौजूदा तरीके इसे ठीक करने की कोशिश करते हैं—AI से उत्तर "अनुमान" लगाने या वाक्य की संभावना (probability) की गणना करने के लिए कहकर। लेकिन इस शोध पत्र के लेखक कहते हैं: "अनुमान लगाना बंद करो। तुलना करना शुरू करो।"
समाधान: ComPaSS (एक "रियलिटी चेक" टूल)
लेखक ComPaSS नामक एक नई विधि प्रस्तावित करते हैं। AI को उत्तर उत्पन्न करने के लिए कहने के बजाय, वे इसे "सिमेंटिक शिफ्ट" (अर्थ में बदलाव) की जाँच करने वाले एक जासूस की तरह देखते हैं।
यहाँ मूल विचार को एक सरल उपमा के साथ समझाया गया है:
उपमा: "स्मूदी टेस्ट" (Smoothie Test)
कल्पना कीजिए कि आपके पास सादे पानी का एक गिलास है (यह एंकर सेंटेंस/मूल वाक्य है)।
- परिदृश्य A: आप इसमें नीले रंग की एक बूंद डालते हैं। पानी थोड़ा नीला हो जाता है। बदलाव छोटा और स्वाभाविक है।
- परिदृश्य B: आप इसमें कंक्रीट की एक पूरी बाल्टी डाल देते हैं। पानी एक गाढ़े, भूरे कीचड़ में बदल जाता है। बदलाव बहुत बड़ा और अप्राकृतिक है।
ComPaSS इस तरह काम करता है:
- द एंकर (The Anchor): यह एक बुनियादी वाक्य लेता है, जैसे, "वहाँ एक पेंगुइन है।"
- द कैंडिडेट (The Candidate): यह एक नया वाक्य बनाने के लिए एक विशिष्ट विवरण जोड़ता है, जैसे, "वहाँ एक हरा पेंगुइन है।"
- द मेजरमेंट (The Measurement): यह मापता है कि वाक्य के "अर्थ" में कितना बदलाव आया।
- यदि AI कहता है, "रुको, पेंगुइन हरे नहीं होते," तो अर्थ बहुत अधिक बदल जाता है। वाक्य का "स्वाद" नाटकीय रूप से बदल जाता है। इसका मतलब है कि यह विचार असंगत (implausible) है।
- यदि AI कहता है, "हाँ, पेंगुइन काले होते हैं," तो अर्थ बहुत कम बदलता है। वाक्य अभी भी "पेंगुइन वाला पानी" जैसा ही महसूस होता है। इसका मतलब है कि यह विचार संभावित (plausible) है।
नियम: जब आप कोई विवरण जोड़ते हैं, तो अर्थ जितना कम बदलता है, उस विवरण में उतना ही अधिक "कॉमन सेंस" होता है।
यह पुराने तरीकों से बेहतर क्यों है?
यह शोध पत्र ComPaSS की तुलना दो अन्य तरीकों से करता है जिनका उपयोग AI आमतौर पर सत्य को परखने के लिए करता है:
"लाइकलीहुड" विधि (सिक्का उछालने वाला):
- यह कैसे काम करती है: यह पूछता है, "'पेंगुइन' के बाद 'हरा' शब्द लिखने की AI की कितनी संभावना है?"
- दोष: यदि AI ने हरे पेंगुइन के बारे में बहुत सारी मज़ेदार कहानियाँ पढ़ी हैं, तो वह सोच सकता है कि "हरा" शब्द संभावित है, भले ही वह गलत हो। यह लोकप्रियता को सत्य के साथ भ्रमित कर देता है।
"वर्बलाइजेशन" विधि (साक्षात्कारकर्ता):
- यह कैसे काम करती है: यह AI से पूछता है, "क्या एक हरा पेंगुइन संभव है? हाँ या ना?"
- दोष: AI अपने ही आत्मविश्वास से भ्रमित हो सकता है। वह मददगार दिखने के लिए "हाँ" कह सकता है, या वह सवाल पर बहुत अधिक सोच-विचार कर सकता है।
ComPaSS (द रियलिटी चेक):
- यह AI को अनुमान लगाने या बोलने के लिए नहीं कहता। यह केवल AI के "दिमाग" में दो वाक्यों के बीच की दूरी को मापता है।
- यह एक पहेली के टुकड़े (puzzle piece) के फिट होने की जाँच करने जैसा है। आप पहेली से नहीं पूछते, "क्या आपको लगता है कि यह फिट होगा?" आप बस इसे अंदर धकेलने की कोशिश करते हैं। यदि यह सुचारू रूप से फिट हो जाता (छोटा बदलाव), तो यह एक सही मेल है। यदि यह पहेली को अलग कर देता (बड़ा बदलाव), तो यह गलत है।
गुप्त हथियार: आँखें और कंट्रास्ट
शोध पत्र में दो विशेष सामग्रियां मिलीं जो ComPaSS को और भी बेहतर बनाती हैं:
1. विजन-लैंग्वेज मॉडल्स (VLMs) = "आँखें"
- केवल टेक्स्ट वाले AI मॉडल (जैसे मानक LLMs) "रिपोर्टिंग बायस" (Reporting Bias) से ग्रस्त होते हैं।
- उपमा: कल्पना कीजिए कि एक समाचार रिपोर्ट केवल "काली भेड़ों" का उल्लेख करती है क्योंकि यह एक प्रसिद्ध मुहावरा है। रिपोर्टर कभी "सफेद भेड़ों" का उल्लेख नहीं करता क्योंकि यह उबाऊ है। AI सोचता है कि काली भेड़ें आम हैं क्योंकि उसने केवल उनके बारे में पढ़ा है।
- VLMs (वे मॉडल जो चित्र देख सकते हैं) इसे ठीक करते हैं। वे भेड़ की तस्वीर देखते हैं। वे देखते हैं कि वह सफेद है। वे जानते हैं कि टेक्स्ट रिपोर्ट पक्षपाती थी।
- परिणाम: "आँखों" वाले (VLMs) ComPaSS, टेक्स्ट-ओनली मॉडल्स की तुलना में रंगों और आकारों जैसी चीजों को समझने में बहुत बेहतर हैं।
2. कंट्रास्टिव प्री-ट्रेनिंग = "शार्पनर" (धार तेज करना)
- कल्पना कीजिए कि एक छात्र गणित में अच्छा है लेकिन संख्याओं के बीच सूक्ष्म अंतर पहचानने में खराब है।
- कंट्रास्टिव ट्रेनिंग एक विशेष अभ्यास की तरह है जहाँ छात्र को "बहुत समान" और "बहुत भिन्न" चीजों के बीच अंतर पहचानने का अभ्यास करने के लिए मजबूर किया जाता है।
- परिणाम: जब आप ऐसे मॉडल का उपयोग करते हैं जिसने यह "शार्पनेस ट्रेनिंग" की है, तो ComPaSS उन सूक्ष्मतम कॉमन सेंस त्रुटियों का भी पता लगा सकता है जिन्हें अन्य मॉडल छोड़ देते हैं।
परिणाम: कौन जीता?
शोधकर्ताओं ने कई कार्यों पर इसका परीक्षण किया, जैसे:
- "पेंगुइन का रंग क्या है?" (लाल, हरा, काला, ग्रे?)
- "नई फसलों वाले किसान कहाँ हैं?" (ट्रक में? खेत में?)
विजेता:
- ComPaSS ने लगभग हर अन्य विधि को हराया, जिसमें प्रसिद्ध GPT-4 भी शामिल है।
- VLMs (आँखों वाले मॉडल) दृश्य कार्यों (रंग, आकार) के लिए चैंपियन रहे।
- ComPaSS का उपयोग करने वाले छोटे मॉडल अक्सर पुराने तरीकों का उपयोग करने वाले विशाल मॉडल्स को भी पीछे छोड़ देते हैं। यह साबित करता है कि उत्तर को मापने का तरीका केवल AI को बड़ा बनाने से अधिक महत्वपूर्ण है।
सारांश
ComPaSS एक नया तरीका है यह जांचने का कि क्या एक AI में कॉमन सेंस है। AI से अनुमान लगाने या बोलने के लिए पूछने के बजाय, यह मापता है कि एक अजीब तथ्य जोड़ने पर एक वाक्य का "अर्थ" कितना टूट जाता है।
- छोटा बदलाव? तथ्य सच है (जैसे, पेंगुइन काले होते हैं)।
- बड़ा बदलाव? तथ्य निरर्थक है (जैसे, पेंगुइन हरे होते हैं)।
इस "सिमेंटिक शिफ्ट" माप का उपयोग करके, विशेष रूप से उन मॉडल्स के साथ जो चित्र देख सकते हैं, हम ऐसा AI बना सकते हैं जो केवल किताबें पढ़ने के बजाय वास्तविक दुनिया को बहुत बेहतर समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।