UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing
UCCI एक कैलिब्रेशन-प्रथम (calibration-first) रूटिंग फ्रेमवर्क है जो आइसोटोनिक रिग्रेशन (isotonic regression) के माध्यम से टोकन-स्तरीय अनिश्चितता को प्रति-क्वेरी त्रुटि संभावनाओं में मैप करता है और बाधात्मक लागत न्यूनीकरण (constrained cost minimization) के माध्यम से एस्केलेशन थ्रेशोल्ड को अनुकूलित करता है, जिससे मौजूदा रूटिंग बेसलाइन की तुलना में एक प्रोडक्शन NER वर्कलोड पर उच्च सटीकता बनाए रखते हुए इन्फरेंस लागत में 31% की कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त कस्टमर सर्विस सेंटर चलाते हैं। आपके पास दो प्रकार के एजेंट हैं:
- जूनियर एजेंट: तेज़, सस्ता, और सरल सवालों जैसे "आपके काम करने का समय क्या है?" को संभालने में माहिर।
- सीनियर एक्सपर्ट: धीमा, महंगा, और कठिन सवालों जैसे "मैं इस जटिल बग (bug) को कैसे ठीक करूँ?" के लिए आवश्यक।
आपका लक्ष्य जूनियर को अधिक से अधिक कॉल संभालने देना है ताकि पैसा बचाया जा सके, लेकिन आप यह भी सुनिश्चित नहीं कर सकते कि वे कठिन सवालों में गलती करें। समस्या यह है कि जूनियर अक्सर सोचते हैं कि उन्हें उत्तर पता है, जबकि वास्तव में उन्हें नहीं पता होता। वे गलत सलाह देते समय भी आत्मविश्वास से भरे हुए लग सकते हैं।
यह पेपर UCCI पेश करता है, जो एक स्मार्ट "ट्रैफिक पुलिस" सिस्टम है जो यह तय करता है कि कब जूनियर को कॉल संभालने देना है और कब इसे सीनियर को सौंपना (escalate) है।
UCCI कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:
1. समस्या: "कॉन्फिडेंस ट्रैप" (आत्मविश्वास का जाल)
आमतौर पर, कंप्यूटर अनुमान लगाने की कोशिश करते हैं कि वे कितने आश्वस्त हैं। यदि जूनियर एजेंट कहता है, "मैं 90% सुनिश्चित हूँ," तो सिस्टम उसे कॉल संभालने दे सकता है। लेकिन AI (लार्ज लैंग्वेज मॉडल्स) की दुनिया में, वह "90% सुनिश्चित" वाला नंबर अक्सर एक झूठ होता है। यह अनकैलिब्रेटेड (uncalibrated) होता है। जूनियर एक कठिन सवाल पर "90% सुनिश्चित" बोलकर गलत जवाब दे सकता है, या एक आसान सवाल पर "50% सुनिश्चित" बोलकर सही जवाब दे सकता है।
क्योंकि कॉन्फिडेंस (आत्मविश्वास) के नंबर अविश्वसनीय होते हैं, इसलिए कंपनियों को आमतौर पर हर नए काम के लिए नियमों को मैन्युअल रूप से ट्यून (जांचना और सुधारना) करना पड़ता है। यह एक ऐसी कार चलाने जैसा है जिसका स्पीडोमीटर टूटा हुआ हो; आपको अंदाज़ा लगाना पड़ता है कि आपकी गति कितनी है।
2. समाधान: UCCI (द "ट्रुथ सीरम")
UCCI इसे दो मुख्य चीजों के माध्यम से ठीक करता है:
चरण A: कैलिब्रेशन (द "ट्रुथ सीरम")
सिस्टम लाइव होने से पहले, UCCI सवालों का एक सैंपल लेता है और जूनियर के जवाबों की सच्चाई के साथ जांच करता है। यह आइसोटोनिक रिग्रेशन (Isotonic Regression) नामक एक गणितीय उपकरण का उपयोग करता है (इसे एक "सच्चाई फिल्टर" के रूप में सोचें) जो जूनियर के अस्थिर कॉन्फिडेंस स्कोर को वास्तविक संभावनाओं (probabilities) में मैप करता है।
- पहले: जूनियर कहता है "मैं 80% सुनिश्चित हूँ।" (वास्तविकता: वे केवल 50% बार ही सही होते हैं)।
- UCCI के बाद: सिस्टम उस "80%" को एक वास्तविक "गलती होने की 50% संभावना" में बदल देता है।
- परिणाम: सिस्टम अब गलती करने के वास्तविक जोखिम को जानता है, न कि केवल वह जो AI कहता है कि जोखिम है।
चरण B: लागत-इष्टतम निर्णय (द "स्मार्ट ट्रैफिक कोप")
अब जब सिस्टम को वास्तविक जोखिम का पता चल गया है, तो यह एक सरल नियम का उपयोग करता है:
- यदि जूनियर द्वारा गलती करने का वास्तविक जोखिम कम है, तो उसे कॉल संभालने दें (पैसा बचाएं!)।
- यदि वास्तविक जोखिम अधिक है, तो इसे सीनियर को भेज दें (अधिक भुगतान करें, लेकिन सही उत्तर प्राप्त करें)।
सिस्टम उस सटीक "टिपिंग पॉइंट" (निर्णायक बिंदु) की गणना करता है जहाँ सीनियर को कॉल भेजने के लिए अतिरिक्त पैसा खर्च करना सार्थक नहीं रह जाता।
3. परिणाम: गुणवत्ता खोए बिना पैसे बचाना
लेखकों ने एक वास्तविक कार्य पर इसका परीक्षण किया: फोटो का विश्लेषण करके कैमरा ब्रांड, लेंस प्रकार और सेटिंग्स जैसे विवरण ढूंढना (एक कार्य जिसे Named Entity Entity Recognition कहा जाता है)। इसके लिए उन्होंने 75,000 वास्तविक ग्राहक प्रश्नों का उपयोग किया।
- सेटअप: एक छोटा, तेज़ AI मॉडल (4 बिलियन पैरामीटर्स) बनाम एक बड़ा, धीमा, महंगा AI मॉडल (12 बिलियन पैरामीटर्स)।
- परिणाम: UCCI का उपयोग करके, उन्होंने हर चीज़ के लिए महंगे सीनियर मॉडल का उपयोग करने की तुलना में इन प्रश्नों को प्रोसेस करने की कुल लागत में 31% की कटौती की।
- गुणवत्ता: उन्होंने बहुत उच्च सटीकता स्कोर (Micro-F1 of 0.91) बनाए रखा।
- तुलना: UCCI ने अन्य तरीकों को पछाड़ दिया जो नियमों का अनुमान लगाने की कोशिश करते थे (जैसे सरल "एंट्रॉपी" चेक या अन्य लर्निंग-आधारित राउटर)।
4. मुख्य निष्कर्ष (The Big Takeaway)
यह पेपर तर्क देता है कि असली सफलता एक जटिल एल्गोरिदम खोजने में नहीं है जो थ्रेशोल्ड (सीमा) का अनुमान लगा सके। असली सफलता कैलिब्रेशन में है।
यदि आप एक शोर वाले, अविश्वसनीय सिग्नल (AI का कच्चा कॉन्फिडेंस स्कोर) को एक सरल "सच्चाई फिल्टर" (कैलिब्रेशन) के साथ ठीक कर लेते हैं, तो आपको एक लगभग सटीक निर्णय लेने वाला सिस्टम मिल जाता है। पेपर का दावा है कि एक बार जब आपके पास कैलिब्रेटेड स्कोर होता है, तो आपको बाकी चीजों को अत्यधिक जटिल बनाने की आवश्यकता नहीं होती; आपको बस यह चुनना होता है कि कब सीनियर को कॉल सौंपने का सही मूल्य बिंदु (price point) है।
संक्षेप में: UCCI AI को यह सिखाता है कि वह अपनी अनिश्चितता के बारे में कितना ईमानदार है, और फिर उस ईमानदारी का उपयोग करके वह सही उत्तर बनाए रखते हुए आपके बहुत सारे पैसे बचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।