Examining Tools for Assessing Technical Skills in Robotic Surgery: A Validity- Focused Systematic Review

तकनीकी सारांश: रोबोटिक सर्जरी में तकनीकी कौशल के मूल्यांकन के उपकरणों का परीक्षण

समस्या विवरण
ऑपरेटिव प्रदर्शन का वस्तुनिष्ठ मूल्यांकन, सक्षमता-आधारित शल्य चिकित्सा शिक्षा का एक आधार स्तंभ है। जबकि ओपन और लैप्रोस्कोपिक प्रशिक्षण के लिए स्ट्रक्चर्ड टूल्स जैसे कि 'ऑब्जेक्टिव स्ट्रक्चर्ड असेसमेंट ऑफ टेक्निकल स्किल्स' (OSATS) अच्छी तरह से स्थापित हैं, रोबोटिक सर्जरी के लिए समकक्ष मूल्यांकन विधियाँ खंडित बनी हुई हैं। रोबोटिक सर्जरी के लिए विशिष्ट संज्ञानात्मक और साइकोमोटर क्षमताओं की आवश्यकता होती है—जैसे कि कंसोल एर्गोनॉमिक्स, रिस्टेड इंस्ट्रूमेंट कंट्रोल, और प्रत्यक्ष हैप्टिक फीडबैक के बिना नेविगेशन—जो पारंपरिक लैप्रोस्कोपी से भिन्न हैं। रोबोटिक सर्जरी के प्रशिक्षण में तेजी से एकीकरण के बावजूद, तकनीकी दक्षता को अक्सर वस्तुनिष्ठ रूप से प्रदर्शित कौशल के बजाय केस वॉल्यूम (मामलों की संख्या) से अनुमानित किया जाता है। इसके अलावा, मौजूदा रोबोटिक मूल्यांकन उपकरणों का समर्थन करने वाले वैधता साक्ष्य (validity evidence) व्यापक रूप से स्पष्ट नहीं हैं। वैधता के समकालीन एकात्मक ढांचे (unitary framework) के तहत, किसी उपकरण के स्कोर को पांच डोमेन में साक्ष्य द्वारा समर्थित होना चाहिए: सामग्री (content), प्रतिक्रिया प्रक्रिया (response process), आंतरिक संरचना (internal structure), अन्य चरों के साथ संबंध (relationships to other variables), और परिणाम (consequences)। यह अध्ययन रोबोटिक तकनीकी मूल्यांकन के वर्तमान परिदृश्य और इन उपकरणों के लिए वैधता साक्ष्य की मजबूती को समझने के अंतराल को संबोधित करता है।

कार्यप्रणाली (Methodology)
लेखकों ने वर्तमान रोबोटिक सर्जिकल तकनीकी कौशल मूल्यांकन उपकरणों की पहचान करने के लिए PubMed सर्च के माध्यम से एक व्यवस्थित समीक्षा (systematic review) आयोजित की। खोज में "Objective," "Assessment," "Tool," "Skill," "Evaluation," "Proficiency," और "Robot" जैसे कीवर्ड्स का उपयोग किया गया, जिन्हें प्रक्रिया-विशिष्ट शब्दों के साथ जोड़ा गया।

• फ्रेमवर्क मैपिंग: अध्ययन ने पहचाने गए उपकरणों को अमेरिकन कॉलेज ऑफ सर्जन्स (ACS) और एसोसिएशन ऑफ प्रोग्राम डायरेक्टर्स इन सर्जरी (APDS) के 45 प्रक्रियात्मक मॉड्यूल के साथ मैप किया। विशेष रूप से, इन मॉड्यूल्स के 23 रोबोटिक समकक्षों की पहचान की गई; जिन मॉड्यूल्स के लिए मान्यता प्राप्त रोबोटिक समकक्ष नहीं थे, उन्हें अनstudied (अध्ययन न किए गए) डोमेन के रूप में वर्गीकृत किया गया।
• वैलिडिटी रेटिंग: गाडेरी एट अल (Ghaderi et al.) से अनुकूलित एक स्थापित रेटिंग स्केल का उपयोग, वैधता के पांच स्रोतों के आधार पर प्रत्येक अध्ययन के साक्ष्य की मजबूती को रेट करने के लिए किया गया:
  • सामग्री (Content): कंस्ट्रक्ट और डोमेन का प्रतिनिधित्व।
  • प्रतिक्रिया प्रक्रिया (Response Process): रेटर (rater) के कार्यों और स्कोरिंग का कंस्ट्रक्ट के साथ संरेखण।
  • आंतरिक संरचना (Internal Structure): घटकों का सांख्यिकीय संरेखण (विश्वसनीयता, फैक्टर एनालिसिस)।
  • अन्य चरों के साथ संबंध (Relationships to Other Variables): बाहरी चरों के साथ सहसंबंध (जैसे, नौसिखिया बनाम विशेषज्ञ भेदभाव)।
  • परिणाम (Consequences): मूल्यांकन के उपयोग के इच्छित लाभ और अनपेक्षित नुकसान।
  • स्कोर 0 (कोई साक्ष्य नहीं) से 3 (व्यापक साक्ष्य) तक थे।
• डेटा विश्लेषण: दो स्वतंत्र समीक्षकों ने प्रत्येक अध्ययन को स्कोर किया, जिससे एक सहमति बनी। इंटररेटर रिलायबिलिटी (IRR) की गणना वेटेड कोहेन $\kappa$ (weighted Cohen's $\kappa$) और इंट्राक्लास कोरिलेशन कोएफिशिएंट (ICC) का उपयोग करके की गई।

प्रमुख योगदान

1. व्यवस्थित मैपिंग: अध्ययन मौजूदा रोबोटिक मूल्यांकन उपकरणों को मानक ACS/APDS 45-मॉड्यूल पाठ्यक्रम के विरुद्ध एक संरचित मैपिंग प्रदान करता है, जिससे यह स्पष्ट होता है कि कौन से कौशल डोमेन में संबंधित साहित्य मौजूद है और कौन से अनstudied रह गए हैं।
2. वैलििटी एविडेंस का परिमाणीकरण: यह रोबोटिक मूल्यांकन उपकरणों के लिए वैधता साक्ष्य की मजबूती का मूल्यांकन करने वाला पहला अध्ययन है जो एकात्मक ढांचे (unitary framework) का उपयोग करता है, जो पहचाने गए साहित्य में पांच वैधता स्रोतों को संख्यात्मक स्कोर प्रदान करता है।
3. विश्वसनीयता मेट्रिक्स: यह अध्ययन समीक्षा प्रक्रिया की अपनी विश्वसनीयता स्थापित करता है, जो वैधता साक्ष्य स्कोर करने में पर्याप्त इंटररेटर समझौता प्रदर्शित करता है।

परिणाम

• मॉड्यूल कवरेज: 45 ACS/APDS स्किल मॉड्यूल्स में से केवल 13 (28.9%) के ही संबंधित प्रकाशित पेपर थे। पहचाने गए अधिकांश पेपर पहले से अध्ययन किए गए मूल्यांकन उपकरणों का उपयोग करते हैं, जिनमें सबसे प्रमुख ग्लोबल इवैल्यूएटिव असेसमेंट ऑफ रोबोटिक स्किल्स (GEARS) और OSATS हैं।
• वैलििटी एविडेंस की मजबूती:
  • उच्चतम साक्ष्य: "आंतरिक संरचना" और "प्रतिक्रिया प्रक्रिया" ने उच्चतम स्तर के साक्ष्य प्रदर्शित किए (औसत स्कोर क्रमशः 2.53 और 2.63)।
  • मध्यम साक्ष्य: "सामग्री" और "अन्य चरों के साथ संबंध" ने मध्यम से मजबूत सहायक साक्ष्य दिखाए (औसत स्कोर 2.47)।
  • न्यूनतम साक्ष्य: "परिणाम" ने सबसे कमजोर साक्ष्य प्रदर्शित किया (औścić स्कोर 1.32), जो इस बात का संकेत है कि मूल्यांकन परिणामों या निर्णय लेने की प्रक्रिया को कैसे प्रभावित करते हैं, इस पर डेटा की कमी है।
• इंटररेटर रिलायबिलिटी (IRR): समग्र IRR पर्याप्त था, जिसमें वेटेड $\kappa$ 0.754 और ICC 0.757 था। विश्वसनीयता "सामग्री" ($\kappa=0.746$) के लिए उच्चतम और "परिणाम" ($\kappa=0.510$) तथा "प्रतिक्रिया प्रक्रिया" ($\kappa=0.514$) के लिए सबसे कम थी।

महत्व और दावे
लेखक दावा करते हैं कि निष्कर्ष दर्शाते हैं कि रोबोटिक सर्जरी के लिए उपलब्ध मूल्यांकन उपकरणों की भारी कमी है, क्योंकि अधिकांश स्किल मॉड्यूल्स के लिए कोई संबंधित पेपर नहीं है। समीक्षा इस बात पर प्रकाश डालती है कि हालांकि GEARS और OSATS जैसे टूल्स व्यापक रूप से उपयोग किए जाते हैं, वे अक्सर नवीन, प्रक्रिया-विशिष्ट विकास के बजाय अनुकूलन (adaptation) पर निर्भर करते हैं।

पेपर निष्कर्ष निकालता है कि इन उपकरणों का मूल्यांकन करने वाला साहित्य सीमित है, और बहुत कम अध्ययनों ने वैधता के समकालीन एकात्मक ढांचे का उपयोग करके रोबोटिक सर्जिकल स्किल असेसमेंट का परीक्षण किया है। फलस्वरूप, रोबोटिक सर्जिकल प्रशिक्षण में वर्तमान में उपयोग किए जाने वाले कई उपकरणों के पास उनके स्कोर की व्याख्या और उचित अनुप्रयोग के समर्थन में केवल आंशिक साक्ष्य हैं। लेखक जोर देते हैं कि भविष्य के कार्यों को वैश्विक और प्रक्रिया-विशिष्ट मूल्यांकन उपकरणों को विकसित करने और प्रमाणित करने पर ध्यान केंद्रित करना चाहिए, विशेष रूप से जैसे-जैसे रोबोटिक सर्जरी का अभ्यास में एकीकरण बढ़ रहा है। वे इस बात पर जोर देते हैं कि प्रशिक्षण, फीडबैक और सक्षमता मूल्यांकन के लिए इन उपकरणों का आत्मविश्वास से उपयोग करने हेतु वैधता साक्ष्य को मजबूत करना आवश्यक है, ताकि केस वॉल्यूम से आगे बढ़कर कौशल के वस्तुनिष्ठ प्रदर्शन की ओर बढ़ा जा सके।