DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue
यह शोध पत्र DiagFlowBench पेश करता है, जो औद्योगिक नैदानिक फ्लोचार्ट से प्राप्त एक नया बेंचमार्क डेटासेट है, ताकि यह मूल्यांकन किया जा सके कि भाषा मॉडल प्रक्रिया-बाह्य (off-procedure) इनपुट को कैसे संभालते हैं और यह प्रकट करता है कि मॉडल अक्सर परहेज करने के बजाय प्रशंसनीय लेकिन प्रासंगिक रूप से गलत सलाह देते हैं, जो ग्राउंडेड डायग्नोस्टिक सिस्टम की एक गंभीर भेद्यता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, मददगार रोबोटिक सहायक है जिसे जटिल मशीनों को ठीक करने के लिए बनाया गया है। इस रोबोट को एक सख्त, चरण-दर-चरण निर्देश पुस्तिका (एक फ्लोचार्ट) दी गई है और इसे कहा गया है: "केवल इन सटीक चरणों का पालन करें। यदि आप उत्तर नहीं जानते हैं, तो कहें 'मुझे नहीं पता'।"
इस शोध पत्र के पीछे के शोधकर्ताओं ने DIAGFLOWBENCH के माध्यम से यह देखना चाहा कि क्या यह रोबोट वास्तव में नियमों का पालन कर सकता है जब एक मानव ऑपरेटर मरम्मत कार्य के बीच में अजीब, अप्रत्याशित या विषय से हटकर प्रश्न पूछता है।
यहाँ उन्होंने जो पाया, उसका विवरण सरल भाषा में दिया गया है:
1. सेटअप: एक सख्त GPS
रोबोट की निर्देश पुस्तिका को एक GPS नेविगेशन सिस्टम की तरह समझें।
- लक्ष्य: रोबोट को एक इंसान को टूटी हुई मशीन को ठीक करने के लिए एक विशिष्ट मार्ग (डायग्नोस्टिक फ्लोचार्ट) के माध्यम से मार्गदर्शन करना चाहिए।
- नियम: रोबोट को अगला मोड़ तभी सुझाना चाहिए जब ड्राइवर (ऑपरेटर) ठीक वही कहे जिसकी GPS अपेक्षा करता है।
- समस्या: वास्तविक ड्राइवर हमेशा GPS की भाषा नहीं बोलते। कभी-कभी वे कहते हैं, "अरे, मुझे किनारे पर एक अजीब खरोंच दिख रही है," या "क्या आप जानते हैं कि निकटतम कॉफी शॉप कहाँ है?" ये ऑफ-प्रोसीजर इनपुट हैं—ऐसी चीजें जिनके लिए मानचित्र में कोई मार्ग नहीं है।
2. परीक्षण: "ट्रैप" बातचीत
शोधकर्ताओं ने DIAGFLOWBENCH नामक एक विशाल परीक्षण सेट बनाया।
- उन्होंने एक कारखाने के 50 वास्तविक दुनिया के मरम्मत मैनुअल लिए और उन्हें 1,676 बातचीत में बदल दिया।
- आधी बातचीतएँ एकदम सही थीं: इंसान ने सही सवाल पूछे, और रोबोट ने मानचित्र का पालन किया।
- दूसरी आधी बातचीत "ट्रैप" (जाल) थीं: शोधकर्ताओं ने बातचीत के बीच में गुप्त रूप से अजीब सवाल डाले।
- उदाहरण: रोबोट इंजन ऑयल के बारे में पूछ रहा है, लेकिन इंसान अचानक कहता है, "वैसे, दरवाजे का पेंट उखड़ रहा है।" (उखड़ते पेंट के लिए मैनुअल में कोई चरण नहीं है)।
उन्होंने 10 अलग-अलग AI मॉडल (बड़े व्यावसायिक मॉडल जैसे GPT-4 और ओपन-सोर्स जैसे Llama दोनों) का परीक्षण किया कि वे इन ट्रैप्स को कैसे संभालते हैं।
3. बड़ा आश्चर्य: "नकली विशेषज्ञ"
शोधकर्ता उम्मीद कर रहे थे कि रोबट या तो:
- मनगढ़ंत बातें बनाएगा: एक ऐसा नकली चरण आविष्कार करेगा जो मैनुअल में मौजूद नहीं है (जैसे "अदृश्य गोब्लिन की जाँच करें")।
- "मुझे नहीं पता" कहेगा: सही ढंग से स्वीकार करेगा कि प्रश्न मैनुअल के बाहर का है।
वास्तव में क्या हुआ?
अधिकांश रोबोटों ने इनमें से कुछ भी नहीं किया। इसके बजाय, वे एक जाल में फंस गए जिसे शोधकर्ता "फोर्स्ड मैपिंग" (Forced Mapping) कहते हैं।
उपमा:
कल्पना कीजिए कि आप चॉकलेट केक की रेसिपी का पालन कर रहे हैं।
- प्रश्न: आप पूछते हैं, "मैं जले हुए टोस्ट को कैसे ठीक करूँ?" (यह विषय से हटकर है)।
- "मनगढ़ंत बात" वाली विफलता: रोबोट कहता है, "बैटर में एक ड्रैगन डालें।" (यह स्पष्ट रूप से गलत है)।
- "मुझे नहीं पता" वाली सफलता: रोबोट कहता है, "मुझे नहीं पता कि टोस्ट को कैसे ठीक किया जाए; मैं केवल केक के बारे में जानता हूँ।"
- "फोर्स्ड मैपिंग" वाली विफलता (असली समस्या): रोबोट आपके जले हुए टोस्ट के सवाल को देखता है, सोचता है, "'जला हुआ' शब्द 'जरना' जैसा लगता है... मुझे पता है कि क्या करना है!" और कहता है, "केक में और चीनी डालें।"
रोबोट ने कोई नकली चरण नहीं बनाया। उसने मैनुअल से एक वास्तविक, वैध चरण चुना (चीनी डालना), लेकिन उसने इसे गलत स्थिति पर लागू कर दिया। वह आत्मविश्वासी था, मददगार लग रहा था, और वह चरण वास्तव में किताब में मौजूद था, लेकिन वह वर्तमान समस्या के लिए बेकार था।
4. यह खतरनाक क्यों है
शोध पत्र का तर्क है कि यह मनगढ़ंत बातें बनाने से भी अधिक खतरनाक है।
- यदि रोबोट एक नकली चरण आविष्कार करता है, तो इंसान उसे पकड़ सकता है और कह सकता है, "रुको, यह मैनुअल में नहीं है।"
- लेकिन यदि रोबोट एक वास्तविक चरण देता है जो बस वर्तमान स्थिति के अनुकूल नहीं है, तो इंसान सोच सकता है, "ओह, मैनुअल कहता है कि ऐसा करना चाहिए, इसलिए मैं इसे करूँगा।" रोबोट इंसान को एक वैध पथ का पालन करने के लिए धोखा दे देता है जो कहीं नहीं ले जाता।
5. परिणाम: आकार मायने नहीं रखता
शोधकर्ताओं ने छोटे, सस्ते मॉडल से लेकर विशाल, महंगे सुपर-मॉडल तक सब कुछ टेस्ट किया।
- निष्कर्ष: बड़े, स्मार्ट मॉडल इन ट्रैप्स को पहचानने में बेहतर नहीं थे। वास्तव में, कुछ "रीज़निंग" (तर्क करने वाले) मॉडल (जो अधिक गहराई से सोचने के लिए डिज़ाइन किए गए हैं) वास्तव में "मुझे नहीं पता" कहने में बदतर थे। उन्होंने मदद करने की बहुत अधिक कोशिश की और वहां एक संबंध जबरदस्ती बनाया जहाँ कोई संबंध नहीं था।
- रिकवरी: एक बार जब रोबोट ने यह गलती कर दी, तो वह पूरी तरह से भटक गया। वह वापस पटरी पर नहीं आ सका, जैसे एक GPS जो गलत मोड़ सुझा देता है और फिर मुख्य सड़क पर वापस आना भूल जाता है।
6. निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि केवल एक AI को मैनुअल देना और उसे "भ्रमित न होने" (hallucinate न होने) के लिए कहना पर्याप्त नहीं है। AI अभी भी "भ्रमित" हो सकता है, यानी किसी ऐसे प्रश्न पर वास्तविक उत्तर थोपकर जो उसका हकदार नहीं है।
इसे ठीक करने के लिए, हम केवल AI के आकार या बुद्धिमत्ता पर भरोसा नहीं कर सकते। हमें एक सुरक्षा की दूसरी परत (जैसे एक मानव पर्यवेक्षक या एक अलग सॉफ़्टवेयर चेक) की आवश्यकता है जो यह देखे कि AI ने वह चरण क्यों चुना, न कि केवल यह कि उसने क्या चरण चुना। हमें रोबोट को तब पकड़ने की जरूरत है जब वह गलत सवाल का सही जवाब देने में अत्यधिक आत्मविश्वासी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।