Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning
यह शोध पत्र "रिपिटिटिव कॉपीइंग" (दोहराव वाली नकल) को लॉन्ग-कॉन्टेक्स्ट रीजनिंग में एक महत्वपूर्ण विफलता मोड के रूप में पहचानता है जहाँ मॉडल मुख्य साक्ष्य पर ध्यान केंद्रित करने के बजाय इनपुट टेक्स्ट की अंधाधुंध नकल करते हैं, और GEAR का प्रस्ताव करता है, जो एक एविडेंस-अवेयर रिइन्फोर्समेंट लर्निंग पद्धति है जो प्रासंगिक जानकारी में ग्राउंडिंग को पुरस्कृत करके और अप्रासंगिक डिस्ट्रैक्टर्स पर निर्भरता को दंडित करके प्रदर्शन में सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, 100-पृष्ठों वाले रहस्यमय उपन्यास को सुलझाने की कोशिश कर रहे हैं जहाँ सुराग पहले अध्याय में छिपे हैं, लेकिन बाकी का पूरा किताब केवल शोर का एक ढेर है। आपके पास एक सुपर-स्मार्ट जासूसी दोस्त (एक लार्ज लैंग्वेज मॉडल) है जो एक सेकंड में पूरी किताब पढ़ सकता है। अतीत में, ये जासूस छोटी कहानियों के लिए बेहतरीन थे, लेकिन जब आपने उन्हें 100-पृष्ठों का उपन्यास दिया, तो वे अजीब व्यवहार करने लगे। सोचने के बजाय, वे घबराहट में कॉपी करने लगे। वे अपनी जासूसी टिप्पणियाँ लिखने के बजाय मूल पुस्तक के बड़े हिस्से को बार-बार वापस पेस्ट करने लगे। यह शोध पत्र "कॉपी लेस, ग्राउंड मोर" (कम कॉपी करें, अधिक आधार लें) इसी विशिष्ट खराबी की जांच करता है। यह अन्वेषण करता है कि कैसे ये AI "सोचने" वाले मॉडल, जिन्हें चरण-दर-चरण तर्क देने के लिए डिज़ाइन किया गया है, कहानी बहुत लंबी होने पर बिना सोचे-समझे कॉपी करने के लूप में फंस जाते हैं। शोधकर्ताओं ने पाया कि यह केवल एक निर्दोष आदत नहीं है; यह एक जाल है जो AI को कम बुद्धिमान, धीमा और पहेली सुलझाने में कम सक्षम बनाता है। वे इन AI के लिए एक नया तरीका प्रस्तावित करते हैं, जो उन्हें शोर को अनदेखा करने और केवल उन छोटे, महत्वपूर्ण सुरागों पर ध्यान केंद्रित करने के लिए सिखाता है जो वास्तव में मायने रखते हैं।
मुश्किल तब शुरू होती है जब ये AI जासूस "लॉन्ग-कॉन्टेक्स्ट" (लंबी संदर्भ) चुनौती का सामना करते हैं। एक लंबे संदर्भ को एक विशाल पुस्तकालय के रूप में सोचें जहाँ एक प्रश्न का उत्तर लाखों शब्दों के बीच कहीं दबा हुआ है। शोध पत्र "रिपेटिटिव कॉपीइंग" (दोहराव वाली प्रतिलिपि) नामक एक महत्वपूर्ण विफलता मोड की पहचान करता है। जब पुस्तकालय बहुत बड़ा हो जाता है, तो AI सोचना बंद कर देता है और एक टूटे हुए दिमाग वाले फोटोकॉपी करने वाली मशीन की तरह व्यवहार करने लगता है। समाधान खोजने के बजाय, वह प्रॉम्प्ट (प्रश्न और कहानी) से सीधे बड़े अंशों को अपनी स्वयं की तर्क प्रक्रिया (रीज़निंग ट्रेस) में कॉपी करने लगता है। शोधकर्ताओं ने पाया कि यह लगभग हर शीर्ष-स्तरीय AI मॉडल में होता है, और जैसे-जैसे कहानी लंबी होती जाती है, यह और भी खराब होता जाता है। यह एक ऐसे छात्र की तरह है जो गणित के सवाल हल करने के बजाय, अपने उत्तर पत्र में पाठ्यपुस्तक का पूरा पृष्ठ ही फिर से लिखना शुरू कर देता है। यह व्यवहार व्यापक है, सात अलग-अलग फ्रंटियर मॉडल्स में दिखाई देता है, और जैसे-जैसे संदर्भ की लंबाई 8,000 से 64,000 शब्दों तक बढ़ती है, यह और तीव्र होता जाता है।
लेकिन AI ऐसा क्यों करता है? लेखकों ने गहराई से जांच की और महसूस किया कि मूल कारण यह नहीं है कि कॉपी करना बुरा है, बल्कि यह है कि AI बिना किसी भेदभाव के सब कुछ कॉपी कर रहा है। उन्होंने पाया कि AI मुख्य साक्ष्य में खुद को "ग्राउंड" (आधारित) करने में विफल रहता है। कल्पना कीजिए कि आप ऊन के एक विशाल गोले में एक विशिष्ट लाल धागे की तलाश कर रहे हैं। एक स्मार्ट जासूस केवल लाल धागे को बाहर निकालेगा। हालांकि, भ्रमित AI पूरे ऊन के गोले को पकड़ लेता है, जिसमें नीला, हरा और पीला कचरा भी शामिल होता है, और उसे साथ खींच लाता है। शोध पत्र दिखाता है कि जब AI ज्यादातर "डिस्ट्रैक्टर" टेक्स्ट (कचरा) को कॉपी करता है, तो वह कार्य में विफल हो जाता है। लेकिन जब वह चुनिंदा रूप से "मुख्य साक्ष्य" (लाल धागा) को कॉपी करता है, तो वह सफल होता है। समस्या कॉपी करने की नहीं है; यह फोकस की कमी है। AI अप्रासंगिक विवरणों में डूब जाता है क्योंकि उसे शोर से संकेत (सिग्नल) को अलग करना नहीं आता।
इसे ठीक करने के लिए, टीम ने GEAR (ग्राउंडिंग एविडेंस-अवेयर रिवॉर्ड) नामक एक नया प्रशिक्षण तरीका विकसित किया। इसे एक वीडियो गेम के नए नियमों के रूप में सोचें। पुराने गेम में, AI को केवल अंतिम उत्तर सही होने पर अंक मिलते थे। नए GEAR गेम में, नियम अधिक सख्त हैं। यदि AI का 'रीज़निंग ट्रेस' विशिष्ट "मुख्य साक्ष्य" (लाल धागे) के साथ मेल खाता है, तो उसे बोनस अंक मिलता है। लेकिन यहाँ मुख्य बात यह है: यदि उसका ट्रेस "डिस्ट्रैक्टर" टेक्स्ट (कचरे) के साथ मेल खाता है, तो उसे भारी दंड मिलता है। यह एक खींचतान पैदा करता है। AI सीखता है कि जीतने के लिए, उसे मशीन गन नहीं, बल्कि एक स्नाइपर बनना होगा। उसे सही सुराग खोजने होंगे और बाकी को अनदेखा करना होगा। इसे वास्तविक दुनिया के दस्तावेजों पर काम करने के लिए, उन्होंने एक स्वचालित पाइपलाइन बनाई जो एक स्मार्ट संपादक की तरह कार्य करती है, जो लंबे दस्तावेजों को काटकर यह पहचानती है कि कौन से हिस्से "साक्ष्य" हैं और कौन से केवल "फालतू" हैं, जिससे 3,200 समस्याओं का एक प्रशिक्षण डेटासेट तैयार होता है।
जब उन्होंने इस नए तरीके का परीक्षण किया, तो परिणाम क्रांतिकारी रहे। उन्होंने GEAR रिवॉर्ड सिस्टम का उपयोग करके तीन अलग-अलग आकार के AI मॉडल (9 बिलियन से 35 बिलियन पैरामीटर्स तक) को प्रशिक्षित किया। परिणामों ने दिखाया कि GEAR लगातार मानक प्रशिक्षण विधियों से बेहतर प्रदर्शन करता है। औसतन, इसने विभिन्न कठिन बेंचमार्क पर AI के प्रदर्शन में 4.6 अंक तक सुधार किया। अधिक महत्वपूर्ण बात यह है कि इसने बुरी आदतों को ठीक कर दिया: AI ने उतना कॉपी करना कम कर दिया, उसके "सोचने" वाले ट्रेस छोटे और अधिक कुशल हो गए, और वह वास्तव में समस्याओं को हल करने में बेहतर हो गया, विशेष रूप से बहुत लंबे संदर्भों (128,000 शब्दों तक) में। शोध पत्र सुझाव देता है कि जैसे-जैसे AI जटिल तर्क की ओर बढ़ता है, सही साक्ष्य पर मजबूती से टिके रहने की क्षमता सबसे महत्वपूर्ण कौशल है। इसके बिना, AI केवल अपनी ही कॉपी करने की प्रक्रिया में खो जाता है। GEAR के साथ, वह कम कॉपी करना और अधिक ग्राउंड करना सीखता है, जिससे एक अराजक फोटोकॉपी करने वाली मशीन वापस एक तेज तर्रार जासूस में बदल जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।