Beyond Endpoint Agreement: Trajectory Integrity, Criterion Recovery, and Retrospective Self-Audit in Nine Language-Model Systems Under Simulated ICU Triage
यह अध्ययन प्रदर्शित करता है कि आईसीयू (ICU) ट्राइएज जैसे उच्च-परिणाम वाले परिदृश्यों के लिए बड़े भाषा मॉडलों का मूल्यांकन केवल अंतिम एंडपॉइंट सहमति के आधार पर करना अपर्याप्त है, क्योंकि नौ प्रणालियों के बहु-आयामी विश्लेषण ने सिम्युलेटेड इंटरेक्शन ट्रेजेक्टरीज (simulated interaction trajectories) में उनके शासन संबंधी मानदंडों (governing criteria), तथ्यात्मक अवस्थाओं और पूर्वव्यापी निष्ठा (retrospective fidelity) को पुनः प्राप्त करने की क्षमता में महत्वपूर्ण विसंगतियों को प्रकट किया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर प्रोग्राम को परखने का एक सामान्य तरीका यह है कि उससे एक प्रश्न पूछा जाए और उसके द्वारा दिए गए उत्तर को ग्रेड दिया जाए। यदि उत्तर सही है, तो सिस्टम को उत्तीर्ण ग्रेड मिलता है। यह तरीका सरल कार्यों के लिए अच्छा काम करता है, जैसे कि गणित की समस्या को हल करना या किसी चित्र की पहचान करना। हालाँकि, जब इन प्रणालियों का उपयोग जटिल, उच्च-दांव वाले निर्णयों के लिए किया जाता है—जैसे कि यह तय करना कि किस मरीज को दुर्लभ अस्पताल का बिस्तर मिलना चाहिए—तो कहानी अधिक जटिल हो जाती है। एक सिस्टम बातचीत की शुरुआत में और अंत में एक ही अंतिम उत्तर दे सकता है, फिर भी उस उत्तर के लिए उसके द्वारा दिए गए कारण बीच में पूरी तरह से बदल सकते हैं। यह चिकित्सा आवश्यकता के आधार पर एक मरीज को प्राथमिकता देने से शुरू होकर, अस्पताल के प्रशासकों के दबाव के कारण दूसरे मरीज का पक्ष लेने की ओर बढ़ सकता है, और फिर बिना यह स्वीकार किए कि इसमें बदलाव हुआ है, मूल विकल्प पर वापस आ सकता है। खतरा इस धारणा में निहित है कि एक सुसंगत अंतिम उत्तर का अर्थ यह है कि सिस्टम की सोच, उसके तथ्य और जो कुछ हुआ उसके बारे में उसकी ईमानदारी भी सुसंगत रही है।
इस छिपे हुए निरंतरता के स्तर की जांच करने के लिए, इवांस टोवर नामक एक शोधकर्ता ने नौ अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) को शामिल करते हुए एक विस्तृत सिमुलेशन किया। ये उन्नत कंप्यूटर प्रोग्राम हैं जो बातचीत कर सकते हैं और टेक्स्ट उत्पन्न कर सकते हैं। अध्ययन ने यह निर्धारित करने की कोशिश नहीं की कि वास्तविक चिकित्सा संदर्भ में किस मरीज को बिस्तर मिलना चाहिए था। इसके बजाय, इसने निर्णय लेने की प्रक्रिया को एक यात्रा के रूप में माना। शोधकर्ता ने एक परिदृश्य तैयार किया जहाँ दो अलग-अलग चिकित्सा आवश्यकताओं वाले मरीजों के लिए एक एकल गहन देखभाल इकाई (ICU) बेड उपलब्ध था। कंप्यूटर प्रणालियों को एक मरीज को चुनने और उसका कारण बताने के लिए कहा गया। फिर, शोधकर्ता ने घटनाओं का एक क्रम पेश किया: नया मेडिकल डेटा, अस्पताल के नेताओं का दबाव, परस्पर विरोधी नैतिक नियम और मन बदलने की मांग। अंत में, शोधकर्ता ने सिस्टम को सारा दबाव और नई जानकारी भूलकर, उस पहली स्थिति पर वापस जाने के लिए कहा जिसका उन्होंने सामना किया था। लक्ष्य यह देखना था कि क्या सिस्टम केवल अपने पहले चुनाव को दोहराएगा, या क्या वे मूल कारणों और तथ्यों को भी याद रखेंगे और उन्हें बहाल करेंगे जिन्होंने उस चुनाव को प्रेरित किया था।
परिणामों ने जो सिस्टम ने कहा और वहां तक पहुँचने के तरीके के बीच एक चौंकाने वाला अंतर प्रकट किया। जब शोधकर्ता ने स्पष्ट रूप से सिस्टम को रीसेट करने और मूल मामले पर लौटने के लिए कहा, तो प्रत्येक एक की 144 सिम्युलेटेड बातचीत इस बात के साथ समाप्त हुई कि सिस्टम ने उसी मरीज को चुना जिसे उसने बिल्कुल शुरुआत में चुना था। सतह पर, यह पूर्ण स्थिरता जैसा लग रहा था। हालाँकि, जब शोधकर्ता ने गहराई से देखा, तो तस्वीर बदल गई। परीक्षण किए गए प्रत्येक सिस्टम में, कम से कम एक ऐसी बातचीत थी जहाँ सिस्टम मूल विकल्प पर तो लौट आया लेकिन मूल कारणों को बहाल करने में विफल रहा। ऐसा हो सकता था कि उसने उसी मरीज को चुना लेकिन किसी अलग नियम के आधार पर उसका औचित्य बताया, या शायद वह भूल गया कि बातचीत के दबाव वाले मध्य भाग के दौरान चिकित्सा तथ्य बदल गए थे। कुछ मामलों में, सिस्टम दावा कर सकता था कि उसने अपना मन कभी नहीं बदला, भले ही रिकॉर्ड ने दिखाया हो कि उसने ऐसा किया था।
अध्ययन से पता चला कि जबकि सिस्टम एक अंतिम उत्तर को दोहराने के निर्देशों का पालन करने में उत्कृष्ट थे, वे उस रास्ते को याद रखने में उतने सक्षम नहीं थे जिससे वे वहां पहुंचे थे। 144 बातचीत में से, सिस्टम 132 मामलों में मूल चिकित्सा तथ्यों पर सही ढंग से वापस आए। शेष 12 मामलों में, या तो वे बातचीत के बाद के, दबाव-पूर्ण हिस्सों के तथ्यों को पकड़े रहे या वे इस बारे में अस्पष्ट थे कि वे किन तथ्यों का उपयोग कर रहे हैं। इसके अलावा, जब उनसे अपनी यात्रा का सारांश लिखने के लिए कहा गया, तो किसी भी सिस्टम ने अपनी सभी 16 बातचीत के बारे में पूरी तरह से सटीक विवरण प्रस्तुत नहीं किया। कुछ सारांशों में प्रमुख बदलाव छूट गए, जबकि कुछ ने उन विवरणों का आविष्कार किया जो शोधकर्ता ने जानबूझकर छोड़ दिए थे। जब शोधकर्ता ने सिस्टम से एक ऑडिटर के रूप में कार्य करने और अपने स्वयं के काम में विरोधाभासों को खोजने के लिए कहा, तो वे सभी आवश्यक संख्या में विरोधाभास खोजने में सफल रहे, लेकिन यह प्रश्न के प्रारूप के प्रति एक प्रतिक्रिया प्रतीत हुई न कि वास्तविक आत्म-सुधार।
यह शोध बताता है कि महत्वपूर्ण स्थितियों में आर्टिफिशियल इंटेलिजेंस को वास्तव में भरोसेमंद बनाने के लिए, हम केवल अंतिम उत्तर पर निर्भर नहीं रह सकते। एक सिस्टम इसलिए स्थिर दिखाई दे सकता है क्योंकि वह एक ही चुनाव को दोहराता है, भले ही उसका आंतरिक तर्क, तथ्यों की स्मृति और अतीत की उसकी कहानी भटक गई हो। अध्ययन ने यह साबित नहीं किया कि ये सिस्टम धोखेबाज हैं या उनके पास छिपे हुए इरादे हैं; इसने केवल यह दिखाया कि उनकी एक सुसंगत कहानी को पुनः प्राप्त करने की क्षमता केवल इसलिए गारंटीकृत नहीं है क्योंकि वे एक सुसंगत उत्तर को पुनः प्राप्त कर सकते हैं। निष्कर्षों का तात्पर्य है कि इन उपकरणों के मूल्यांकन के लिए पूरी बातचीत को देखना आवश्यक है, न कि केवल अंतिम वाक्य को। यदि हम केवल अंतिम परिणाम की जांच करते हैं, तो हम इस तथ्य को मिस कर सकते हैं कि सिस्टम ने चुपचाप अपने स्वयं के नियमों को फिर से लिख दिया है या उस वास्तविकता को भूल गया है जिसे वह समझने की कोशिश कर रहा है। अस्पतालों जैसे उच्च-दांव वाले वातावरण में, यह जानना पर्याप्त नहीं है कि एक सिस्टम एक चुनाव पर वापस आ सकता है; हमें यह भी जानने की आवश्यकता है कि वह उस चुनाव को करने के पीछे के कारणों को याद रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।