PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

तकनीकी सारांश: PSEBench

समस्या विवरण (Problem Statement)
पेशेंट सेफ्टी इवेंट (PSE) ट्राइएज में यह निर्धारित करना शामिल है कि क्या कोई क्लिनिकल घटना विशिष्ट क्षेत्राधिकार नीतियों (जैसे, मिनेसोटा की 29 रिपोर्ट करने योग्य प्रतिकूल स्वास्थ्य घटनाएं, MN29) के तहत रिपोर्ट करने योग्य है। यह एक उच्च-जोखिम वाला कार्य है जिसमें विशेषज्ञों को कानूनी नीति के आधार पर निर्णय लेने, लुप्त महत्वपूर्ण तथ्यों की पहचान करने और नीति अस्पष्ट होने पर बाइनरी निर्णय लेने से बचने की आवश्यकता होती है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) स्वचालन (automation) के लिए क्षमता प्रदान करते हैं, मौजूदा बेंचमार्क उन्हें पर्याप्त रूप से मूल्यांकित करने में विफल रहते हैं। पिछला कार्य आइसोलेटेड वर्णनात्मक वर्गीकरण (जैसे, घटना का प्रकार, गंभीरता) पर केंद्रित है, न कि उस जटिल, नीति-आधारित तर्क पर जो ट्राइएज के लिए आवश्यक है। इसके अलावा, इस डोमेन के लिए विश्वसनीय बेंचमार्क बनाना चुनौतीपूर्ण है क्योंकि इसमें सख्त नीति निष्ठा (policy faithfulness), मल्टी-टर्न सूचना खोजने की आवश्यकता और बिना महंगे पोस्ट-हॉक मानव एनोटेशन के अपरिहार्य रूप से अस्पष्ट मामलों को संभालने की आवश्यकता होती है।

कार्यप्रणाली (Methodology)
लेखक PSEBench का प्रस्ताव करते हैं, जो एक नियंत्रित और सत्यापन योग्य बेंचमार्क है जिसे क्लॉज कार्ड्स (clause cards) पर केंद्रित एक नीति-आधारित पद्धति के माध्यम से बनाया गया है।

1. क्लॉज कार्ड निर्माण (Clause Card Construction):

   • मुख्य नवाचार "क्लॉज कार्ड" है, जो एक संरचित निर्णय विनिर्देश (decision specification) है जो नियामक पाठ को ऑडिट करने योग्य चरों में विभाजित करता है: घटना का प्रकार ($s$), सीमा स्थितियाँ ($B$), घटना के तत्व ($E$), स्थितियों से तत्वों का एक मैपिंग $\rho$, इच्छित निर्णय ($y$), कानूनी आधार ($G$), और इंस्टेंसिएशन बाधाएं ($\Phi$)।
   • ये कार्ड एक LLM-सहायता प्राप्त, ह्यूमन-इन-द-लूप प्रोटोकॉल के माध्यम से बनाए जाते हैं। LLMs नीति पाठ का "वफादार निष्कर्षण" (loyal extraction) और उम्मीदवार कार्डों का "संरचित प्रारूपण" (structured drafting) करते हैं, जिनका बाद में मानव विशेषज्ञों द्वारा कड़ाई से ऑडिट किया जाता है ताकि यह सुनिश्चित हो सके कि सीमा स्थितियाँ निर्णय के लिए आवश्यक और संयुक्त रूप से पर्याप्त हैं।

2. नियंत्रित और सत्यापन योग्य जनरेशन पाइपलाइन (Controllable and Verifiable Generation Pipeline):

   • एंकर-ड्रिवन इंस्टेंसिएशन (Anchor-Driven Instantiation): क्लिनिकल यथार्थवाद और विविधता को इंजेक्ट करने के लिए वास्तविक दुनिया की डी-आइडेंटिफाइड घटना रिपोर्ट (जापान काउंसिल फॉर क्वालिटी हेल्थ केयर से) "एंकर सामग्री" के रूप में उपयोग की जाती है।
   • चरण I (तथ्यात्मक इंस्टेंसिएशन): एक LLM एंकर सामग्री से घटना के तत्वों ($E$) को एक संरचित तथ्यात्मक रिकॉर्ड में स्थापित करता है। एक स्वचालित सत्यापनकर्ता यह जांचता है कि क्या ये तथ्य क्लॉज कार्ड के सीमा स्थितियों ($B$) और बाधाओं ($\Phi$) को संतुष्ट करते हैं।
   • चरण II (नैरेटिव वर्बलाइजेशन): दूसरा LLM सत्यापित तथ्यों को एक मुक्त-पाठ क्लिनिकल नैरेटिव में परिवर्तित करता है।
   • क्लोज्ड-लूप वेरिफिकेशन (Closed-Loop Verification): एक एक्सट्रैक्टर उत्पन्न नैरेटिव से अंतर्निहित तथ्यों को पुनः प्राप्त करने के लिए पार्स करता है, जिनकी मूल संरचित रिकॉर्ड के विरुद्ध नैरेटिव वेरिफायर द्वारा क्रॉस-चेक की जाती है। यह सुनिश्चित करता है कि नैरेटिव इच्छित तथ्यों को बिना किसी "साइलेंट लेबल ड्रिफ्ट" (ऐसी मतिभ्रम/hallucinations जो निर्णय बदल देती हैं) के निष्ठापूर्वक एनकोड करता है।

3. बेंचमार्क वेरिएंट्स (Benchmark Variants):

   • पूर्ण मामले (Complete Cases): सभी निर्णय-महत्वपूर्ण तथ्य मौजूद हैं।
   • लुप्त-सूचना वाले मामले (Missing-Information Cases): निर्णय-महत्वपूर्ण तथ्यों का एक उपसमुच्चय ($E'$) नैरेटिव से हटा दिया जाता है, जिसके लिए एजेंट को सक्रिय रूप से उनके लिए पूछने की आवश्यकता होती है। ग्राउंड ट्रुथ स्पष्ट रूप से ट्रैक करता है कि कौन से क्षेत्र गायब हैं।
   • अनिश्चित (ग्रे-ज़ोन) मामले (Uncertain/Gray-Zone Cases): सभी तथ्य ज्ञात हैं, लेकिन नीति मौन या विरोधाभासी है, जिसके लिए एजेंट को बाइनरी निर्णय थोपने के बजाय मामला एस्केलेट (escalate) करने की आवश्यकता होती है।

4. एजेंटिक इवैल्यूएशन एनवायरनमेंट (Agentic Evaluation Environment):

   • मूल्यांकन एक मूल्यांकित LLM ($A_{eval}$) और एक स्वचालित सूचना प्रदाता ($A_{info}$) के बीच मल्टी-टर्न इंटरेक्शन का अनुकरण करता है।
   • $A_{info}$ एक स्टेटलेस ओरेकल के रूप में कार्य करता है जो कैनोनिकल तथ्यों को रखता है, केवल ज्ञात तथ्यों के अनुरूप प्रश्नों का उत्तर देता है और अन्यथा "अज्ञात" घोषित करता है।
   • $A_{eval}$ को यह तय करना होता है कि कब प्रश्न पूछना है (ASK) और कब निर्णय पर प्रतिबद्ध होना है (ANSWER)।

प्रमुख योगदान (Key Contributions)

• PSEBench डेटासेट: 5,074 मामलों (3,455 पूर्ण, 1,362 लुप्त-सूचना, 257 अनिश्चित) का एक डेटासेट जो MN29 नीति पर आधारित है। प्रत्येक मामले में मल्टी-डायमेंशनल ग्राउंड ट्रुथ (निर्णय, क्लॉज, कानूनी आधार, सीमा स्थितियाँ और रोके गए क्षेत्र) शामिल है जो निर्माण द्वारा प्राप्त किया गया है, जिससे मैन्युअल एनोटेशन की आवश्यकता समाप्त हो जाती है।
• मेथोडोलॉजिकल फ्रेमवर्क: क्लॉज कार्ड और क्लोज्ड-लूप वेरिफिकेशन का उपयोग करके एक स्केलेबल, नीति-आधारित निर्माण पाइपलाइन जो उच्च-फिडेलिटी, ऑडिट करने योग्य बेंचमार्क बनाती है।
• एजेंटिक इवैल्यूएशन: विशेष रूप से सक्रिय सूचना खोजने और अनिश्चितता के तहत सिद्धांततः बचाव (principled abstention) का आकलन करने के लिए डिज़ाइन किया गया एक दो-भूमिका वाला वातावरण, जो स्टैटिक क्लासिफिकेशन मेट्रिक्स से आगे जाता है।

परिणाम (Results)
लेखकों ने 15 प्रतिनिधि LLMs (क्लोज्ड-सोर्स फ्रंटियर, ओपन-सोर्स फ्रंटियर, छोटे मॉडल, और मेडिकल-स्पेशलिटी मॉडल) का मूल्यांकन किया।

• निर्णय सटीकता बनाम एजेंटिक तत्परता (Verdict Accuracy vs. Agentic Readiness): जबकि शीर्ष-स्तरीय क्लोज्ड-सोर्स मॉडल्स (जैसे, GPT-5.5, Gemini 3.1 Pro) पूर्ण मामलों पर उच्च निर्णय सटीकता (>90%) प्राप्त करते हैं, इंटरैक्टिव व्यवहारों में महत्वपूर्ण अंतराल देखे गए।
• सूचना खोजना (Information Seeking): मॉडल्स ने अलग-अलग व्यवहार प्रदर्शित किए। कुछ (जैसे, GPT-5.5) लुप्त तथ्यों की पहचान करते हैं और लक्षित प्रश्न पूछते हैं। अन्य (जैसे, Llama-3.1-8B) बिना सोचे-समझे प्रश्न पूछते हैं, और मेडिकल-स्पेशलिटी मॉडल्स (जैसे, HuatuoGPT-o1) लगभग कभी नहीं पूछते, बल्कि "बिना पूछे प्रतिबद्ध होने" (commit-without-asking) पर डिफ़ॉल्ट करते हैं।
• अनिश्चितता हैंडलिंग (Uncertainty Handling): अस्पष्ट मामलों को सही ढंग से एस्केलेट करने की क्षमता सबसे ध्रुवीकृत क्षमता थी। केवल सबसे मजबूत मॉडल्स (GPT-5.5, Gemini 3.1 Pro) ने सार्थक अनिश्चितता जागरूकता प्रदर्शित की। अधिकांश मॉडल्स, जिनमें मेडिकल-स्पेशलिटी मॉडल्स भी शामिल हैं, "ओवर-रिपोर्टिंग" पूर्वाग्रह प्रदर्शित करते हैं, जो अनिश्चित मामलों पर भी "रिपोर्ट करने योग्य" (Reportable) निर्णय थोपते हैं (जैसे, MedGemma ने 98.4% अनिश्चित मामलों को Reportable की ओर रूट किया)।
• साक्ष्य ग्राउंडिंग (Evidence Grounding): उच्च निर्णय सटीकता अक्सर साक्ष्य ग्राउंडिंग की विफलताओं को छिपा लेती है; मॉडल्स अक्सर गलत या मतिभ्रम (hallucinated) कारणों से सही निर्णय का अनुमान लगाते हैं, जैसा कि साक्ष्य उद्धरण (evidence citation) और सीमा स्थिति हिट रेट में कम स्कोर से प्रमाणित होता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि PSEBench पहला व्यापक बेंचमार्क प्रदान करता है जो नीति-आधारित PSE ट्राइएज के लिए है जो निर्णय, कानूनी साक्ष्य ग्राउंडिंग, लक्षित सूचना खोजना और अनिश्चितता पहचान को संयुक्त रूप से मूल्यांकित करता है। परिणाम बताते हैं कि वर्तमान LLMs, फ्रंटियर मॉडल्स होने के बावजूद, वास्तविक दुनिया के पेशेंट सेफ्टी ट्राइएज में स्वायत्त तैनाती के लिए अभी तैयार नहीं हैं। स्टैटिक क्लासिफिकेशन प्रदर्शन और इंटरैक्टिव, नीति-संरेखित तर्क (विशेष रूप से लुप्त जानकारी और नीति अस्पष्टता को संभालने) की कठोर मांगों के बीच का अंतर काफी बड़ा बना हुआ है। लेखक PSEBench को क्लिनिकल सेफ्टी वर्कफ़्लो के लिए सुरक्षित, अधिक नीति-संरेखित LLM अनुप्रयोगों के विकास के मार्गदर्शन के लिए एक स्केलेबल, सत्यापन योग्य टेस्टबेड के रूप में प्रस्तुत करते हैं।

स्वीकृत सीमाएँ (Limitations Acknowledged)
लेखक नोट करते हैं कि हालांकि एंकर सामग्री यथार्थवाद में सुधार करती है, लेकिन नैरेटिव सिंथेटिक रूप से उत्पन्न किए गए हैं और कच्चे EHR नोट्स की संरचनात्मक अव्यवस्था को पूरी तरह से कैप्चर नहीं कर सकते हैं। इसके अतिरिक्त, मूल्यांकन सूचना खोजने को एक संवादात्मक प्रोटोकॉल में संक्षिप्त करता है, जो यह परीक्षण नहीं करता है कि एक एजेंट लाइव, अनस्ट्रक्चर्ड EHR सिस्टम में नेविगेट करने में सक्षम है या नहीं। अंत में, बेंचमार्क वर्तमान में MN29 नीति पर आधारित है, हालांकि निर्माण पद्धति को अन्य नियामक ढांचों के लिए सामान्यीकरण योग्य (generalizable) होने का दावा किया गया है।