The Truth Lies Somewhere in the Middle (of the Generated Tokens)
यह शोध पत्र यह प्रदर्शित करता है कि ऑटोरेग्रेसिव रूप से उत्पन्न टोकन के माध्यम से मीन पूलिंग (mean pooling) करने से व्यक्तिगत टोकन अवस्थाओं की तुलना में बेहतर सिमेंटिक निरूपण प्राप्त होते हैं, जो यह प्रकट करता है कि सूचना किसी एक स्थिति तक सीमित होने के बजाय पूरी पीढ़ी प्रक्रिया के दौरान वितरित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट द्वारा सुनाई जा रही कहानी के "आत्मा" या उसके वास्तविक अर्थ को समझने की कोशिश कर रहे हैं। रोबोट (एक AI भाषा मॉडल) पूरी कहानी एक साथ नहीं उगल देता; वह एक चित्रकार की तरह एक-एक ब्रशस्ट्रोक जोड़ते हुए, शब्द दर शब्द कहानी बनाता है।
लंबे समय तक, शोधकर्ताओं ने सोचा कि कहानी को समझने के लिए आपको केवल रोबोट द्वारा लिखे गए अंतिम शब्द को देखने की आवश्यकता है, या शायद प्रॉम्प्ट के पहले शब्द को। उन्होंने रोबोट के आंतरिक "विचारों" (हिडन स्टेट्स) के साथ ऐसा व्यवहार किया जैसे सबसे महत्वपूर्ण जानकारी एक ही क्षण में बंद हो।
यह पेपर तर्क देता है कि सत्य वास्तव में पूरी कहानी में फैला हुआ है।
यहाँ उनकी खोज का सरल उपमाओं का उपयोग करके विवरण दिया गया है:
1. "सूप" बनाम "एकल सामग्री"
कल्पना कीजिए कि रोबोट सूप बना रहा है।
- पुराना तरीका: शोधकर्ता केवल सूप के बिल्कुल अंतिम चम्मच का स्वाद चखते थे (अंतिम टोकन) यह तय करने के लिए कि यह "चिकन सूप" है या "बीफ सूप"।
- नई खोज: लेखकों ने पाया कि यदि आप रोबोट द्वारा बनाए गए सूप के हर एक चम्मच को लेते हैं और उन्हें आपस में मिला देते हैं (इसे "मीन पूलिंग" कहा जाता है), तो परिणामी स्वाद किसी भी एकल चम्मच की तुलना में बहुत अधिक स्पष्ट और सटीक होता है।
पेपर दिखाता है कि किसी विषय पर रोबोट की समझ किसी एक विशिष्ट शब्द में कैद नहीं है। इसके बजाय, अर्थ एक मोज़ेक (mosaic) की तरह है। रोबोट द्वारा उत्पन्न किया गया प्रत्येक शब्द पहेली का एक छोटा, पूरक हिस्सा रखता है। जब आप उन सभी का औसत निकालते हैं, तो पूरी तस्वीर तीखी और स्पष्ट हो जाती है।
2. "टूर गाइड" की उपमा
रोबोट को एक टूर गाइड के रूप में सोचें जो आपको एक संग्रहालय (उस विषय के माध्यम से जिसके बारे में आपने पूछा था) के माध्यम से ले जा रहा है।
- प्रॉम्प्ट: आप गाइड को बताते हैं, "मुझे पक्षियों के चित्र दिखाएं।"
- जेनरेशन (उत्पत्ति): गाइड चलना और बोलना शुरू करता है।
- शुरुआती कुछ कदम: "ठीक है, मैं पक्षियों के बारे में सोच रहा हूँ..." (सामान्य सोच)।
- मध्य चरण: "मुझे याद करने दें कि एक सैंडरलिंग (sanderling) कैसा दिखता है..." (स्मरण चरण)।
- बाद के चरण: "यहाँ एक सैंडरलिंग का रेत में चोंच मारते हुए चित्र है..." (विशिष्ट विवरण)।
पेपर ने पाया कि यदि आप केवल उस समय गाइड के चेहरे को देखते हैं जब वे "ठीक है" कहते हैं, तो आप टूर को नहीं समझ पाएंगे। यदि आप केवल अंत को देखते हैं, तो आप संदर्भ खो देंगे। लेकिन यदि आप गाइड की पूरी यात्रा का औसत लेते हैं, तो आपको टूर का एक आदर्श सारांश मिलता है।
आश्चर्यजनक रूप से, गाइड के अपने शब्द (जेनेरेटेड टेक्स्ट) उन्हें विषय को बेहतर ढंग से समझने में मूल निर्देशों की तुलना में अधिक मदद करते हैं। उत्तर के माध्यम से बात करके, रोबोट अपनी समझ को अधिक स्पष्ट करने के लिए "सोचता" है।
3. विभिन्न संस्करणों को मिलाना (द "कोरस" प्रभाव)
शोधकर्ताओं ने एक मजेदार विचार का भी परीक्षण किया: क्या होगा यदि रोबोट एक ही कहानी तीन अलग-अलग बार बताता है (तीन अलग-अलग रैंडम "सीड्स" का उपयोग करके)?
- वर्जन A कह सकता है, "पक्षी नीला है।"
- वर्जन B कह सकता है, "पक्षी के नीले पंख हैं।"
- वर्जन C कह सकता है, "यह एक नीला सैंडरलिंग है।"
यदि आप तीनों वर्जनों के "विचारों" को लेते हैं और उन्हें आपस में मिला देते हैं, तो परिणाम किसी भी एकल वर्जन की तुलना में और भी बेहतर होता है। यह एक गायक मंडली (choir) की तरह है: एक अकेला गायक थोड़ा बेसुरा हो सकता है, लेकिन जब आप तीन अलग-अलग गायकों को मिलाते हैं, तो सामंजस्य (harmony) एकदम सटीक होता है। यह साबित करता है कि जानकारी वितरित (distributed) है; कोई भी एकल शब्द या एकल वर्जन पूरी सच्चाई नहीं रखता।
4. "दर्पण" प्रभाव
पेपर ने यह भी खोजा कि रोबोट खुद को कैसे देखते हैं।
- यदि रोबोट A एक कहानी लिखता है, और रोबोट A ही अपनी कहानी पढ़ता है, तो वह इसे पूरी तरह से समझता है।
- लेकिन यदि रोबोट B, रोबोट A की कहानी पढ़ता है, तो "समझ" गड़बड़ा जाती है। उस विषय के बारे में रोबोट A के सोचने का विशिष्ट लय (rhythm) खो जाता है।
इसका मतलब है कि "अर्थ" केवल पन्ने पर लिखे शब्दों में नहीं है; यह उस विशिष्ट पथ (path) में है जिसे रोबोट ने वहां तक पहुँचने के लिए अपनाया है। जैसे-जैसे रोबोट सामग्री उत्पन्न करता है, उसका आंतरिक स्टेट बदल जाता है, और वे परिवर्तन उस विशिष्ट रोबोट के लिए अद्वितीय होते हैं।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि यह प्राप्त करने के लिए कि एक AI क्या सोच रहा है इसका सबसे अच्छा "सारांश" क्या है, आपको केवल उसके द्वारा कहे गए अंतिम शब्द को नहीं पकड़ना चाहिए। इसके बजाय, आपको उसने जो कुछ भी सोचा है उसका औसत लेना चाहिए।
यह किसी व्यक्ति के मूड को समझने जैसा है। आप उन्हें उनके द्वारा अभी कही गई एक वाक्य से नहीं आंकते; आप उन्हें उनके पूरे संवाद के औसत से आंकते हैं। "सच्चाई" उन सभी जेनेरेटेड टोकन्स के बीच कहीं स्थित है, न कि बिल्कुल अंत में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।