TurnWise: The Gap between Single- and Multi-turn Language Model Capabilities
यह शोध पत्र सिंगल-टर्न और मल्टी-टर्न भाषा मॉडल क्षमताओं के बीच के अंतर को दूर करने के लिए TurnWiseEval बेंचमार्क और TurnWiseData सिंथेटिक पाइपलाइन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि पोस्ट-ट्रेनिंग के दौरान केवल 10,000 मल्टी-टर्न वार्तालापों को शामिल करने से भी मल्टी-टर्न प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए कर्मचारी को काम पर रख रहे हैं जिसके लिए पूरे दिन ग्राहकों से बात करना आवश्यक है।
समस्या: "एक-प्रश्न" वाला साक्षात्कार (The "One-Question" Interview)
अभी, अधिकांश कंपनियाँ (और AI शोधकर्ता) इन "कर्मचारियों" (लार्ज लैंग्वेज मॉडल्स) को एक बहुत ही अजीब साक्षात्कार प्रक्रिया के आधार पर काम पर रख रही हैं। वे उम्मीदवार से एक ही प्रश्न पूछते हैं, उत्तर प्राप्त करते हैं, और फिर तुरंत रुक जाते हैं। वे कभी भी फॉलो-अप नहीं पूछते। वे कभी नहीं कहते, "यह दिलचस्प है, लेकिन क्या आप मुझे इसके बारे में और बता सकते हैं?" या "रुको, मेरा मतलब थोड़ा अलग था।"
पेपर इसे "सिंगल-टर्न गैप" (Single-Turn Gap) कहता है। यह ऐसा ही है जैसे किसी शेफ को केवल एक ऑमलेट बनाने की उसकी क्षमता के आधार पर काम पर रखना, और फिर यह उम्मीद करना कि वह एक व्यस्त रेस्टोरेंट चला सके जहाँ ग्राहक लगातार अपने ऑर्डर बदल रहे हों, बदलावों के लिए कह रहे हों, और मेनू के बारे में लंबी बातचीत कर रहे हों।
लेखकों ने पाया कि यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे GPT-5) भी भ्रमित हो जाते हैं जब बातचीत लंबी हो जाती है। वे संदर्भ (context) भूल जाते हैं, अपनी विचार प्रक्रिया खो देते हैं, या बस एक ऐसा उत्तर देते हैं जो उस उत्तर से बहुत खराब होता है जो वे तब देते यदि आपने उनसे केवल एक बार प्रश्न पूछा होता।
समाधान: एक नया परीक्षण और एक नई प्रशिक्षण विधि
इसे ठीक करने के लिए, लेखकों ने दो चीजें बनाईं:
1. नया परीक्षण: "टर्नवाइजइवल" (TURNWISEEVAL) ("वही प्रश्न, अलग प्रारूप" वाला परीक्षण)
AI को एक कठिन बातचीत देकर यह देखने के बजाय कि क्या वह पास होता है, उन्होंने एक निष्पक्ष तुलना बनाई।
- उपमा: कल्पना कीजिए कि आप एक छात्र से पूछते हैं, "फ्रांस की राजधानी क्या है?" (सिंगल टर्न)। फिर, आप उससे कहते हैं, "मैं एक यात्रा की योजना बना रहा हूँ। पहले, मुझे फ्रांस की राजधानी बताएं। फिर, वहां जाने का सबसे अच्छा समय क्या है? अंत में, एक होटल का सुझाव दें।" (मल्टी-टर्न)।
- चाल: लेखक बिल्कुल उसी मूल प्रश्न को दोनों तरीकों से पूछते हैं। फिर वे लंबे संवाद में AI के उत्तर की तुलना छोटे प्रश्न वाले उत्तर से करते हैं।
- लक्ष्य: यदि AI छोटे प्रश्न के लिए एक शानदार उत्तर देता है लेकिन लंबे प्रश्न के लिए एक बुरा, भ्रमित उत्तर देता है, तो यह परीक्षण एक विशिष्ट कमजोरी को उजागर करता है: यह बातचीत को जारी रखने में खराब है। यह साबित करता है कि AI "मूर्ख" नहीं है, बल्कि यह बस चैट के प्रवाह में खो जाता है।
2. नया प्रशिक्षण: "टर्नवाइजडेटा" (TURNWISEDATA) ("काल्पनिक मित्र" वाली विधि)
बड़ी समस्या यह है कि मनुष्यों के साथ वास्तविक, लंबी बातचीत प्राप्त करना कठिन है। आप 10,000 लोगों से मुफ्त में एक रोबोट के साथ चैट करने के लिए नहीं कह सकते।
इसलिए, लेखकों ने एक "सिंथेटिक पाइपलाइन" का उपयोग करके नकली लेकिन यथार्थवादी बातचीत बनाने का एक तरीका ईजाद किया।
- उपमा: इसे एक राइटर रूम (लेखक कक्ष) की तरह सोचें।
- वे एक एकल प्रॉम्प्ट (बीज/seed) से शुरू करते हैं।
- वे एक सुपर-स्मार्ट AI का उपयोग करते हैं जो एक ऐसे उपयोगकर्ता की भूमिका निभाता है जो असंतुष्ट या जिज्ञासु है। वह AI कहता है, "यह वह नहीं है जो मुझे चाहिए था, फिर से कोशिश करें," या "ओह, वैसे, X के बारे में क्या?"
- वे इन नकली यूजर टर्न्स को एक के ऊपर एक रखते हैं ताकि एक लंबी, उलझी हुई बातचीत बनाई जा सके।
- वे इस नकली बातचीत को छात्र AI (जैसे Olmo 3) को यह सिखाने के लिए खिलाते हैं कि "आगे-पीछे" (back-and-forth) की बातचीत को कैसे संभाला जाए।
परिणाम: थोड़ी सी प्रैक्टिस बहुत काम आती है
लेखकों ने इसका परीक्षण Olmo 3 नामक एक ओपन-सोर्स AI मॉडल पर किया।
- पहले: मॉडल एकल प्रश्नों का उत्तर देने में बहुत अच्छा था लेकिन लंबी बातचीत में बिखर जाता था।
- प्रयोग: उन्होंने मॉडल को लिया और उसे इन नकली, मल्टी-टर्न बातचीत के केवल 10,000 उदाहरण दिए। यह उस डेटा की तुलना में बहुत कम है जो मॉडल आमतौर पर देखता है।
- परिणाम: यह एक जादू की तरह था। लंबी बातचीत संभालने की मॉडल की क्षमता 12% बढ़ गई। इसने सीखा कि पहले कही गई बातों को कैसे याद रखा जाए और बातचीत को ट्रैक पर कैसे रखा जाए।
बड़ी सीख
पेपर निष्कर्ष निकालता है कि एक एकल प्रश्न में अच्छा होना और एक लंबी बातचीत में अच्छा होना दो अलग-अलग कौशल हैं।
सिर्फ इसलिए कि एक AI स्मार्ट है, इसका मतलब यह नहीं है कि वह एक अच्छा वार्ताकार है। एक ऐसा AI बनाने के लिए जो एक वास्तविक मानव मित्र की तरह महसूस करे, हम केवल एक-एक प्रश्न पर उसे प्रशिक्षित नहीं कर सकते। हमें उसे लंबी, उलझी हुई, मल्टी-टर्न चैट के "जिम" में अभ्यास कराने की आवश्यकता है। और अच्छी खबर यह है कि हमें प्रशिक्षण के लिए वास्तविक मनुष्यों की आवश्यकता नहीं है; हम इन अभ्यास सत्रों को स्वयं उत्पन्न कर सकते हैं, और थोड़ा सा अभ्यास भी बहुत बड़ा अंतर पैदा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।