TrAC: Trace-Conditioned Answer Consistency for Efficient Uncertainty Quantification in LLMs
यह शोध पत्र TrAC को प्रस्तुत करता है, जो एक कुशल अनिश्चितता मात्रा निर्धारण (uncertainty quantification) ढांचा है जो एक एकल पूर्ण तर्क ट्रेस (reasoning trace) से उत्तरों का पुनर्मूल्यांकन करने के लिए एक पैसिव ट्रेस अनिश्चितता प्रोफाइल को एक्टिव प्रीफिक्स-कंडीशन्ड एलिसिटेशन के साथ जोड़ता है, जिससे कंप्यूटेशनल लागत को कम करते हुए गलत प्रतिक्रियाओं का पता लगाने में मौजूदा विधियों की तुलना में बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही बातूनी रोबोट से बात कर रहे हैं जिसे पहेलियाँ सुलझाना पसंद है। आप उससे एक कठिन गणित का सवाल पूछते हैं, और वह सिर्फ उत्तर नहीं बता देता; बल्कि वह एक लंबी, चरण-दर-चरण कहानी लिखता है जो समझाती है कि वह वहाँ तक कैसे पहुँचा। आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) इसी तरह काम करते हैं: वे एक "रीज़निंग ट्रेस" (तर्क का मार्ग) तैयार करते हैं, जो विचारों की एक ऐसी श्रृंखला है जो एक निष्कर्ष की ओर ले जाती है। समस्या यह है कि कभी-कभी यह कहानी एकदम सटीक, आत्मविश्वास से भरी अंग्रेजी में लिखी होती है लेकिन अंत में गलत उत्तर पर समाप्त होती है। यह एक जादूगर द्वारा एक त्रुटिहीन करतब दिखाने जैसा है जो अंत में गलत खरगोश निकाल देता है।
सुरक्षित रहने के लिए, हमें यह जानने का एक तरीका चाहिए कि रोबोट कब आत्मविश्वास से भरा हुआ लेकिन गलत है। वैज्ञानिकों ने कुछ तरकीबें आजमाई हैं। कुछ रोबोट की "आवाज़ के लहजे" (हर शब्द के साथ वह कितना निश्चित दिखता है) को सुनते हैं। अन्य रोबोट को एक ही पहेली को आठ बार हल करने के लिए कहते हैं और देखते हैं कि क्या वह हर बार एक ही उत्तर देता है (जैसे किसी जूरी से वोट मांगना)। लेकिन इन तरीकों में खामियां हैं: लहजे को सुनकर उसे चिकनी बातों से मूर्ख बनाया जा सकता है, और रोबोट से आठ उत्तर मांगना बहुत समय लेता है और कंप्यूटर की शक्ति की बहुत लागत आती है। बड़ा सवाल यह है: क्या हम यह जांच सकते हैं कि रोबोट का उत्तर सही है या नहीं, बिना उसे फिर से शुरू करने के लिए कहे या एक नई जूरी का इंतज़ार किए?
यहीं पर TrAC (ट्रेस-कंडीशन्ड आंसर कंसिस्टेंसी) नामक एक नई विधि आती है। TrAC को एक चतुर "पुनः पढ़ने" (re-reading) की तरकीब के रूप में समझें। रोबोट को शून्य से फिर से पहेली हल करने के लिए कहने के बजाय, TrAC तब तक इंतजार करता है जब तक कि रोबोट अपनी लंबी कहानी पूरी न कर ले। फिर, यह रोबोट के कंधे को धीरे से थपथपाता है और कहता है, "ठीक है, तुमने अपनी कहानी पूरी कर ली है। अब, अभी जो कहानी तुमने अभी लिखी है, उसे देखते हुए, अंतिम उत्तर क्या है?"
शोधकर्ताओं ने पाया कि यह सरल "पुनः आह्वान" (re-elicitation) एक शक्तिशाली जासूस है। यदि रोबलेट की कहानी ठोस और सही थी, तो जब उसे अपनी कहानी को फिर से पढ़ने के लिए कहा जाएगा, तो वह लगभग हमेशा एक ही उत्तर देगा। लेकिन यदि कहानी डगमगा रही थी या तर्क दोषपूर्ण था, तो मजबूर होकर पुनः पढ़ने पर रोबोट अक्सर अपना मन बदल लेता है या अनिश्चित महसूस करता है। TrAC इस "पुनः पढ़ने" की जांच को रोबोट की मूल लेखन शैली के निष्क्रिय स्कैन (डगमगाते या अनिश्चित शब्दों को देखना) के साथ जोड़कर एक "सत्यता स्कोर" (correctness score) बनाता है।
इसके परिणाम प्रभावशाली हैं। पांच अलग-अलग गणितीय चुनौतियों में परीक्षणों के दौरान, TrAC रोबोट को आठ बार समस्या हल करने के लिए कहने की तुलना में त्रुटियों को पकड़ने में बेहतर था, फिर भी इसमें केवल लगभग 2% अधिक समय लगा। यहाँ तक कि जब रोबोट को समस्या आठ बार हल करने के लिए कहा गया और सभी आठ उत्तर सहमत थे (एक ऐसी स्थिति जहाँ अन्य तरीके भ्रमित हो जाते हैं), तब भी TrAC अपनी लिखी कहानी को दोबारा पढ़कर त्रुटियों को पकड़ सका। यह साबित हुआ कि रोबोट की अपनी पूर्ण की गई कहानी के साथ निरंतरता की जांच करना, यह जानने का एक तेज़, सस्ता और आश्चर्यजनक रूप से सटीक तरीका है कि वह सच बोल रहा है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।