Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
यह शोध पत्र टूल-संवर्धित (tool-augmented) LLM प्रशिक्षण में एक महत्वपूर्ण विफलता की पहचान और मात्रा निर्धारण करता है जहाँ मानक अनुक्रम निर्माण नीतियां (sequence construction policies) असिस्टेंट लक्ष्यों और उनके स्रोत टूल अवलोकनों के बीच के संबंध को तोड़ देती हैं, और ऐसी पुनर्निर्माण रणनीतियों का प्रस्ताव करता है जो टोकन अतिरेक को कम करते हुए पर्यवेक्षण कवरेज (supervision coverage) और संदर्भ अखंडता में महत्वपूर्ण सुधार करती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (AI) सहायक तेजी से ऐसे एजेंट के रूप में डिज़ाइन किए जा रहे हैं जो समस्याओं को हल करने के लिए बाहरी उपकरणों (tools) तक पहुँच बना सकते हैं। जब कोई उपयोगकर्ता प्रश्न पूछता है, तो मॉडल किसी डेटाबेस को कॉल करने, मौसम सेवा की जाँच करने, या ऑर्डर स्टेटस प्राप्त करने का निर्णय ले सकता है। मॉडल को यह सिखाने के लिए कि वह ऐसा कैसे करे, शोधकर्ता उसे इन अंतःक्रियाओं के हजारों उदाहरण प्रदान करते हैं। ये उदाहरण केवल सरल प्रश्न और उत्तर नहीं हैं; ये जटिल बातचीत हैं जिनमें उपयोगकर्ता का अनुरोध, मॉडल का टूल का उपयोग करने का निर्णय, उस टूल से प्राप्त कच्चा डेटा (raw data), और अंत में, मॉडल की वह प्रतिक्रिया शामिल होती है जो उपयोगकर्ता को उत्तर देने के लिए उस डेटा का उपयोग करती है। प्रशिक्षण का लक्ष्य मॉडल को पूरी कहानी दिखाना है ताकि वह एक टूल के आउटपुट और अंतिम उत्तर के बीच के संबंध को समझना सीख सके।
हालाँकि, इस प्रक्रिया में एक छिपा हुआ चरण है जो बातचीत लिखे जाने के बाद लेकिन मॉडल द्वारा वास्तव में उनसे सीखने से पहले होता है। इन लंबी कहानियों को कंप्यूटर की मेमोरी में फिट करने के लिए, प्रशिक्षण सॉफ़्टवेयर को उन्हें एक विशिष्ट आकार की सीमा में फिट करने के लिए उन्हें काटना, पुनर्व्यवस्थित करना या छोटा करना पड़ता है। यह शोध पत्र इस बात की जांच करता है कि जब वह काटना और पुनर्व्यवस्थित करना गलत हो जाता है तो क्या होता है। शोधकर्ताओं ने एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा: जब कंप्यूटर एक बातचीत को एक प्रशिक्षण स्लॉट में फिट करने के लिए उसे काटता है, तो क्या वह कभी-कभी अंतिम उत्तर को रखता है जबकि अनजाने में उस टूल डेटा को फेंक देता है जिस पर वह उत्तर आधारित था? यदि मॉडल को एक उत्तर के लिए ग्रेड दिया जा रहा है लेकिन उस उत्तर के लिए साक्ष्य (evidence) उसकी दृष्टि से गायब है, तो मॉडल से एक तार्किक प्रक्रिया के बजाय एक जादू का खेल सीखने के लिए कहा जा रहा है।
शोधकर्ताओं ने टूल का उपयोग करने वाली बातचीत के तीन बड़े संग्रहों का परीक्षण किया जो इन प्रणालियों को प्रशिक्षित करने के लिए आमतौर पर उपयोग किए जाते हैं। उन्होंने एक ट्रैकिंग सिस्टम बनाया जिसने मूल बातचीत के हर एक टेक्स्ट के टुकड़े का मूल बातचीत से लेकर काटने और पुनर्व्यवस्थित करने की प्रक्रिया के माध्यम से पीछा किया। उन्होंने विशेष रूप से उन क्षणों को देखा जहाँ मॉडल को एक टूल द्वारा लौटाए गए मान (value) से सीखना था, जैसे कि एक विशिष्ट ऑर्डर नंबर या त्रुटि कोड (error code), और यह जाँच की कि क्या वह मान अभी भी मॉडल के लिए दृश्यमान था जब वह उत्तर लिखना सीख रहा था। उन्होंने विभिन्न आकारों के प्रशिक्षण चंक्स (chunks) के माध्यम से इसका परीक्षण किया, जो बहुत छोटे से लेकर काफी लंबे तक थे, और यह देखने के लिए कई अलग-अलग तरीकों का उपयोग किया कि सॉफ़्टवेयर टेक्स्ट को कैसे काटता है और पैक करता है।
परिणामों ने खुलासा किया कि वर्तमान में कुछ प्रशिक्षण डेटा को तैयार करने के तरीके में एक महत्वपूर्ण समस्या है। जब सॉफ़्टवेयर एक ऐसा तरीका अपनाता है जो लंबी बातचीत को एक निश्चित आकार में फिट करने के लिए छोटे टुकड़ों में विभाजित करता है, तो वह अक्सर उत्तर को उस टूल डेटा से अलग कर देता है जिस पर वह निर्भर करता है। उनके द्वारा अध्ययन किए गए एक डेटासेट में, लगभग चालीस प्रतिशत रिटेन (retained) उत्तरों को मॉडल को बिना उस टूल ऑब्जर्वेशन के सिखाया जा रहा था जो उन्हें न्यायसंगत बनाता था। एक अन्य डेटासेट में, लगभग बीस प्रतिशत उत्तर इसी तरह अनाथ (orphaned) थे। इसका अर्थ यह है कि मॉडल को ऐसे टेक्स्ट उत्पन्न करने के लिए पुरस्कृत किया जा रहा है जिसे वह संभवतः नहीं जान सकता, क्योंकि वह साक्ष्य जिसे उसकी आवश्यकता है, काट दिया गया है और प्रशिक्षण अनुक्रम के दूसरे भाग में रख दिया गया है जिसे मॉडल उस क्षण देख नहीं सकता है।
अध्ययन में यह भी पाया गया कि डेटा को काटने का तरीका यह बदल देता है कि मॉडल वास्तव में क्या सीखता है। डेटा को पैक करने का एक सामान्य तरीका, जो उन्हें एक ही चंक में फिट करने के लिए जितना संभव हो सके उतने उदाहरणों को भरने का प्रयास करता है और उन्हें विभाजित नहीं करता है, इस अलगाव की समस्या को पूरी तरह से टắt देता है। हालाँकि, यह तरीका इतना सख्त है कि यह अधिकांश प्रशिक्षण डेटा को फेंक देता है, केवल मूल बातचीत के एक बहुत छोटे अंश को ही रखता है। शोधकर्ताओं ने दिखाया कि एक ट्रेड-ऑफ (trade-off) है: वे तरीके जो लगभग सारा डेटा रखते हैं, वे अक्सर टूल और उत्तर के बीच के संबंध को तोड़ देते हैं, जबकि वे तरीके जो संबंध को बरकरार रखते हैं, अक्सर डेटा का बहुत अधिक हिस्सा छोड़ देते हैं जो उपयोगी होने के लिए आवश्यक है।
इसे ठीक करने के लिए, शोधकर्ताओं ने प्रशिक्षण उदाहरणों को पुनर्गठित करने का एक नया तरीका प्रस्तावित किया। टेक्स्ट को अंधाधुंध काटने के बजाय, उन्होंने सुझाव दिया कि एक ही बातचीत के संबंधित हिस्सों को एक साथ समूहबद्ध किया जाए ताकि टूल डेटा और उत्तर हमेशा एक ही 'व्यूइंग विंडो' में रहें। उन्होंने पाया कि इन टुकड़ों को सावधानीपूर्वक समूहबद्ध करके, वे कम कंप्यूटर मेमोरी का उपयोग करते हुए और हजारों डुप्लिकेट टुकड़ों को हटाते हुए समान संख्या में सही उत्तर रख सकते हैं। उन्होंने यह भी खोजा कि कुछ डेटासेट्स के लिए, टूल का उपयोग करने के नियमों की सूची इतनी जगह घेर लेती है कि वह वास्तविक बातचीत को विंडो से बाहर धकेल देती है। नियमों की सूची को सरल बनाकर ताकि केवल एक एकल कॉल के लिए आवश्यक विशिष्ट भागों को दिखाया जा सके, वे प्रशिक्षण प्रक्रिया में बहुत अधिक उपयोगी उदाहरणों को फिट करने में सक्षम हुए।
अंत में, शोधकर्ताओं ने डेटा को तैयार करने के लिए कई डेवलपर्स द्वारा उपयोग किए जाने वाले सॉफ़्टवेयर कोड की जाँच की और एक व्यापक रूप से उपयोग किए जाने वाले संस्करण में एक छिपी हुई त्रुटि पाई। इस त्रुटि के कारण सॉफ़्टवेयर बड़े बैचों के डेटा को संसाधित करते समय अनजाने में टेक्स्ट के हिस्सों को दोहरा देता था या शब्दों के क्रम को मिला देता था, जिससे सूचना का एक ऐसा प्रवाह बनता था जो मूल बातचीत से बिल्कुल मेल नहीं खाता था। यह खोज इस बात को रेखांकित करती है कि समस्या केवल डेटा में ही नहीं है, बल्कि इसे तैयार करने वाले उपकरणों में भी है। शोध पत्र निष्कर्ष निकालता है कि प्रशिक्षण डेटा का निर्माण कैसे किया जाता है, यह स्वयं डेटा जितना ही महत्वपूर्ण है। यदि तैयारी के दौरान टूल के आउटपुट और मॉडल के उत्तर के बीच का संबंध टूट जाता है, तो मॉडल टूल का सही ढंग से उपयोग करना नहीं सीख सकता, चाहे वह कितना भी डेटा देखे। शोधकर्ता आग्रह करते हैं कि भविष्य के प्रशिक्षण प्रणालियों को यह सत्यापित करना चाहिए कि मॉडल के सीखने के समय आवश्यक संदर्भ वास्तव में मौजूद है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।