Calibrated Confidence Estimation for Tabular Question Answering
यह शोध पत्र सारणीबद्ध प्रश्नोत्तर (टेबुलर क्वेश्चन अनस्वियरिंग) के लिए कॉन्फिडेंस कैलिब्रेशन का पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स संरचित डेटा पर अत्यधिक अति-आत्मविश्वासी (ओवरकॉन्फिडेंट) होते हैं और अनिश्चितता अनुमान एवं कैलिब्रेशन प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए सीरियलाइजेशन विविधताओं का लाभ उठाने वाली एक लागत प्रभावी विधि, मल्टी-फॉर्मेट एग्रीमेंट का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो कहानियाँ पढ़ने और उन पर सवालों के जवाब देने में माहिर है। आप उससे पूछते हैं, "मुख्य पात्र कौन है?" और वह 100% आत्मविश्वास के साथ कहता है, "यह हैरी है।" आप उस पर भरोसा करते हैं क्योंकि वह बहुत आश्वस्त लगता है।
अब, कल्पना कीजिए कि आप उस सहायक को एक कहानी के बजाय वित्तीय डेटा से भरी एक स्प्रेडशीट देते हैं। आप पूछते हैं, "2023 में कुल लाभ क्या था?" वह फिर से, 100% आत्मविश्वास के साथ कहता है, "$5 मिलियन।"
समस्या:
यह शोध पत्र बताता है कि जब ये AI सहायक स्प्रेडशीट (तालिकाओं) को देखते हैं, तो वे यह जानने में बहुत खराब होते हैं कि वे गलत कब हैं। वे एक ऐसे आत्मविश्वासी पर्यटक की तरह हैं जो किसी विदेशी शहर में रास्ता भटक गया है लेकिन फिर भी दावा करता है, "मुझे पूरा यकीन है कि संग्रहालय जाने का यही रास्ता है!" भले ही वह बिल्कुल विपरीत दिशा में जा रहा हो।
टेक्स्ट (पाठ) की दुनिया में, ये AI केवल थोड़े अधिक आत्मविश्वासी होते हैं। लेकिन तालिकाओं के साथ, वे अत्यधिक आत्मविश्वासी हो जाते हैं। उन्हें लगता है कि वे 99% बार सही हैं, लेकिन वास्तव में वे केवल 65-75% बार ही सही होते हैं। यदि आप इस पर कोई वित्तीय ऐप बनाते, तो आप पैसे खो देते क्योंकि AI कभी यह स्वीकार नहीं करेगा कि वह अनिश्चित है।
आत्मविश्वास की जाँच करने के दो तरीके
शोधकर्ताओं ने AI से "क्या आप सुनिश्चित हैं?" पूछने के पाँच अलग-अलग तरीकों का परीक्षण किया। उन्होंने दो प्रकार के तरीकों के बीच एक बड़ा अंतर पाया:
1. "स्व-चिंतन" (Self-Reflection) विधि (एक बुरा विचार)
- यह कैसे काम करता है: आप AI से पूछते हैं, "आपने अभी मुझे एक उत्तर दिया। 1 से 100 के पैमाने पर, आप कितने सुनिश्चित हैं?" या "क्या आपका उत्तर सही है?"
- उपमा: यह एक ऐसे छात्र से पूछने जैसा है जिसने अभी गणित की परीक्षा में फेल हुआ है, "आप कितने आश्वस्त हैं कि आपका उत्तर सही है?" छात्र कहता है, "100% सुनिश्चित!" भले ही उसने गलत उत्तर दिया हो।
- परिणाम: यह विधि बुरी तरह विफल रही। AI का स्व-मूल्यांकन मूल रूप से एक तुक्का (random guess) था। वह सही उत्तर और गलत उत्तर के बीच अंतर नहीं कर सका।
2. "परिवर्तन" (Perturbation) विधि (एक अच्छा विचार)
- यह कैसे काम करता है: AI को खुद का न्याय करने के लिए कहने के बजाय, आप प्रश्न को थोड़ा बदलते हैं और देखते हैं कि क्या उत्तर वही रहता है।
- उपमा: कल्पना कीजिए कि आप एक छिपे हुए खजाने को खोजने की कोशिश कर रहे हैं।
- विधि A: आप एक गाइड से पूछते हैं, "क्या आप सुनिश्चित हैं कि यह वही जगह है?" (स्व-चिंतन)।
- विधि B: आप गाइड से उत्तर दिशा, दक्षिण दिशा, पूर्व दिशा और पश्चिम दिशा से उस स्थान को देखने के लिए कहते हैं। यदि वह चारों कोणों से कहता है, "खजाना यहीं है!" तो आप उस पर भरोसा करते हैं। यदि वह उत्तर से कहता है, "खजाना यहाँ है!" लेकिन दक्षिण से कहता है, "नहीं, वह वहाँ है!", तो आप जान जाते हैं कि वह भ्रमित है।
मुख्य आकर्षण: मल्टी-फॉर्मेट एग्रीमेंट (MFA)
यह शोध पत्र एक चतुर नई तकनीक पेश करता है जिसे मल्टी-फॉर्मेट एग्रीमेंट (MFA) कहा जाता है। यह वह "गोल्ड स्टैंडर्ड" है जो उन्हें तालिकाओं के लिए मिला।
यह कैसे काम करता है:
तालिकाओं को कई अलग-अलग "भाषाओं" (फॉर्मेट) में लिखा जा सकता है जो बिल्कुल एक ही बात का अर्थ रखते हैं:
- मार्keydown (जैसे एक साधारण टेक्स्ट सूची)
- HTML (जैसे एक वेब पेज)
- JSON (जैसे एक कोड डिक्शनरी)
- CSV (जैसे एक कॉमा-सेपरेटेड लिस्ट)
शोधकर्ताओं ने उसी तालिका को लिया और AI को प्रत्येक फॉर्मेट के लिए एक बार, चार बार प्रश्न का उत्तर देने के लिए कहा।
- यदि AI चारों फॉर्मेट के लिए एक ही उत्तर देता है, तो वह शायद सही है। (उच्च आत्मविश्वास)
- यदि AI का उत्तर फॉर्मेट के आधार पर बदल जाता है, तो इसका मतलब है कि वह केवल शब्दों के दिखने के आधार पर अनुमान लगा रहा है, डेटा को समझ नहीं रहा है। (कम आत्मविश्वास)
यह विशेष क्यों है?
- यह सस्ता है: अन्य "अनुमान लगाने" वाले तरीकों की तुलना में इसे चलाने में 20% कम लागत आती है क्योंकि इसमें रैंडम बदलाव करने की आवश्यकता नहीं होती; यह केवल फ़ाइल फॉर्मेट को बदल देता है।
- यह नियत (Deterministic) है: यह किस्मत का खेल नहीं है। यदि आप इसे दो बार चलाते हैं, तो आपको बिल्कुल वही परिणाम मिलेगा।
- यह काम करता है: इसने AI के आत्मविश्वास को ठीक कर दिया। अत्यधिक आत्मविश्वासी होने के बजाय, AI के आत्मविश्वास स्कोर वास्तव में इसकी सटीकता से मेल खाते हैं।
"जादुई" समाधान: स्ट्रक्चर-अवेयर रीकैलिब्रेशन (Structure-Aware Recalibration)
सबसे अच्छे तरीकों के साथ भी, AI के आत्मविश्वास के आंकड़े थोड़े गलत हो सकते हैं (उदाहरण के लिए, वह कहता है कि वह 80% सुनिश्चित है, लेकिन वास्तव में वह 70% सही है)।
शोधकर्ताओं ने एक "स्मार्ट फ़िल्टर" जोड़ा जिसे स्ट्रक्चर-अवेयर रीकैलिब्रेशन कहा जाता है।
- उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी हमेशा कहता है, "बारिश की 80% संभावना है।" लेकिन आप देखते हैं कि वह ऐसा केवल तभी कहता है जब हल्की, आसानी से अनुमान लगाने योग्य बूंदाबांदी हो। जब भारी, जटिल तूफान आता है, तब भी वह 80% ही कहता है।
- समाधान: शोधकर्ताओं ने सिस्टम को तालिका की जटिलता को देखना सिखाया।
- "यह 3 पंक्तियों वाली एक छोटी, सरल तालिका है और प्रश्न भी सरल है।" -> ठीक है, 80% आत्मविश्वास संभवतः सटीक है।
- "यह 500 पंक्तियों वाली एक विशाल तालिका है और प्रश्न जटिल गणितीय है।" -> रुको, 80% आत्मविश्वास बहुत अधिक है! इसे घटाकर 60% कर दो।
डेटा के "आकार" (तालिका कितनी बड़ी है, प्रश्न कितना कठिन है) को देखकर, वे आत्मविश्वास स्कोर को बहुत अधिक सटीक बनाने के लिए उसे ट्यून कर सके।
मुख्य निष्कर्ष
- AI की आवाज़ पर भरोसा न करें: जब कोई AI स्प्रेडशीट के बारे में प्रश्न का उत्तर देता है, तो उसके इस बात पर विश्वास न करें कि वह कहता है, "मैं 100% सुनिश्चित हूँ।" वह लगभग निश्चित रूप से झूठ बोल रहा है (अनजाने में)।
- इसे परखने के लिए फॉर्मेट बदलें: किसी तालिका के बारे में AI सही है या नहीं, यह जानने का सबसे अच्छा तरीका एक ही प्रश्न को चार अलग-अलग फ़ाइल फॉर्मेट में पूछना है। यदि वह अपना उत्तर बदल देता है, तो वह भ्रमित है।
- संदर्भ मायने रखता है: एक साधारण डेटा ढूँढना एक जटिल गणना की तुलना में आसान है। AI को यह बताने की आवश्यकता है, "हे, यह एक कठिन प्रश्न है, इसलिए इतने आत्मविश्वासी मत बनो।"
संक्षेप में: डेटा के साथ AI को भरोसेमंद बनाने के लिए, उससे "क्या आप सुनिश्चित हैं?" पूछना बंद करें और इसके बजाय उससे पूछें, "क्या मेरा उत्तर बदल जाएगा यदि मैं आपको डेटा अलग तरीके से दिखाऊं?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।