💻 computer science

Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

यह शोध पत्र 2025 के सर्जिकल टैटूज़ इन इन्फ्रारेड चैलेंज (STIRC2025) के परिणामों और प्रतिभागी विधियों को प्रस्तुत करता है, जो MICCAI EndoVis 2025 में आयोजित किया गया था, जिसमें सेगमेंटेशन और 3D पुनर्निर्माण जैसे सर्जिकल अनुप्रयोगों को आगे बढ़ाने के लिए STIR डेटासेट का उपयोग करते हुए पॉइंट ट्रैकिंग सटीकता और अनुमान दक्षता पर सात टीमों का मूल्यांकन किया गया।

मूल लेखक: Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlae

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlaefer, Xinkai Zhao, Yuichiro Hayashi, Masahiro Oda, Takayuki Kitasaka, Kensaku Mori, Peng Liu, Chenyang Li, Stefanie Speidel, Aoife Gardiner, Agostino Stilli, Danail Stoyanov, Francisco Vasconcelos, Anwesa Choudhuri, Meng Zheng, Zhongpai Gao, Benjamin Planche, Van Nguyen Nguyen, Terrence Chen, Ziyan Wu, Alexander Ladikos, Omid Mohareri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उच्च-दांव वाला वीडियो गेम देख रहे हैं, जहाँ पात्र लचीली, डगमगाती जेली से बने हैं, और कैमरा तेजी से घूमते हुए ज़ूम इन और ज़ूम आउट कर रहा है। आपका काम? उस जेली पर चमकते हुए सात विशिष्ट ग्लिटर के कणों पर अपनी उंगली चिपकाए रखना, चाहे वह कितना भी खिंच जाए, मुड़ जाए या किसी विशाल हाथ से ढंक जाए। यदि आप एक भी कण का पीछा करने से चूक जाते हैं, तो खेल समाप्त हो जाता है।

यह बिल्कुल वही चुनौती है जिसका सामना 2025 के STIR चैलेंज (सर्जिकल टैटू इन इन्फ्रारेड) को करना पड़ रहा है। यह एक ऐसी प्रतियोगिता है जहाँ कंप्यूटर वैज्ञानिक "डिजिटल उंगलियां" बनाने की दौड़ में लगे हैं जो सर्जरी के दौरान चलते हुए ऊतकों (tissue) पर छोटे बिंदुओं को ट्रैक कर सकें। लक्ष्य केवल उन बिंदुओं को देखना नहीं है; बल्कि यह जानना है कि वे 3D स्पेस में ठीक कहाँ हैं, भले ही ऊतक किसी गीले नूडल की तरह इधर-उधर पिचक रहे हों।

सेटअप: अदृश्य स्याही और अदृश्य आँखें

इसे निष्पक्ष बनाने के लिए, आयोजकों ने STIRC2025 नामक एक विशेष डेटासेट बनाया। उन्होंने केवल रैंडम वीडियो का उपयोग नहीं किया; उन्होंने "सर्जिकल टैटू" तकनीक का उपयोग किया। इसे ऐसे समझें जैसे कि सूअर की त्वचा (लाइव परीक्षणों के लिए) या विभिन्न ऊतकों (मृत परीक्षणों के लिए) पर एक विशेष स्याही का उपयोग करके छोटे बिंदु बनाना, जो इन्फ्रारेड लाइट के तहत चमकते हैं लेकिन नग्न आंखों से अदृश्य होते हैं।

यहाँ बताया गया है कि डेटा कैसे काम करता है:

शुरुआत: कैमरा इन्फ्रारेड में चमकते बिंदुओं को देखता है।
एक्शन: कैमरा सामान्य सफेद रोशनी (white light) पर स्विच करता है, और सर्जन (या रोबोट) ऊतक को इधर-उधर घुमाते हैं।
अंत: कैमरा वापस इन्फ्रारेड पर स्विच होता है ताकि देखा जा सके कि बिंदु कहाँ समाप्त हुए।

चैलेंज ने टीमों को 32 वीडियो क्लिप दिए (प्रत्येक औसतन लगभग 7.7 सेकंड लंबी) जिनमें ट्रैक करने के लिए कुल 234 बिंदु थे। टीमों को ऐसे एल्गोरिदम लिखने थे जो इन बिंदुओं का फ्रेम-दर-फ्रेम पीछा कर सकें, जैसे कि "फॉलो द लीडर" का कोई सुपर-फास्ट गेम हो।

खेल के नियम

निर्णायक दो चीजों को मापते हैं:

सटीकता (Accuracy): एल्गोरिदम का अनुमान बिंदु की वास्तविक अंतिम स्थिति के कितने करीब था? उन्होंने इसे विभिन्न "टॉलरेंस लेवल" पर जांचा। 2D ट्रैकिंग के लिए, उन्होंने पिक्सेल (जैसे 4, 8, 16, 32, 64 पिक्सेल) में त्रुटियों को मापा। 3D ट्रैकिंग के लिए, उन्होंने मिलीमीटर (2, 4, 8, 16, 32 मिमी) में मापा।
दक्षता (Efficiency): एल्गोरिदम कितना तेज़ था? सर्जरी में, आप कंप्यूटर के सोचने का इंतज़ार नहीं कर सकते। उन्होंने "लेटेंसी" (एक फ्रेम को प्रोसेस करने में लगने वाला समय) को मापा और यह सुनिश्चित करने के लिए 95वें और 99वें पर्सेंटाइल को देखा कि सिस्टम में कोई "धीमा क्षण" न आए जिससे क्रैश हो सकता है।

प्रतियोगी और परिणाम

सात टीमों ने अखाड़े में प्रवेश किया। यहाँ हुआ:

2D ट्रैकिंग रेस (फ्लैट स्क्रीन)
लक्ष्य एक सपाट 2D स्क्रीन पर बिंदुओं को ट्रैक करना था।

चौंकाने वाला विजेता: सबसे सटीक तरीका कोई फैंसी नई खोज नहीं थी; बल्कि यह एक बेसलाइन विधि जिसे MFT (मल्टी-फ्रेम ट्रैकर) कहा जाता है, जिसे आयोजकों ने शुरुआती बिंदु के रूप में प्रदान किया था। इसने औसतन 83.50 का स्कोर किया।
मानवीय टीमें: सबसे अच्छी मानवीय टीम, CCG DGIST, 82.99 के स्कोर के साथ दूसरे स्थान पर आई। उन्होंने एक "हाइब्रिड" दृष्टिकोण का उपयोग किया, जिसमें दो अलग-अलग ट्रैकिंग शैलियों (एक छोटी गतिविधियों के लिए अच्छी, दूसरी लंबी गतिविधियों के लिए अच्छी) को मिलाया गया और उनके बीच स्विच किया गया, जैसे कोई ड्राइवर गियर बदलता है।
"कंट्रोल" ग्रुप: एक टीम थी जिसने हर बिंदु के लिए "शून्य मूवमेंट" का अनुमान लगाया। उन्होंने 50.00 स्कोर किया, जिससे साबित हुआ कि कुछ न करना, कोशिश करने से निश्चित रूप से बदतर है।

3D ट्रैकिंग रेस (डेप्थ)
यह कठिन था। टीमों को अंतरिक्ष में गहराई (depth) का पता लगाना था।

विजेता: सबमिशन में टीम NCT TSO ने 68.46 के स्कोर के साथ शीर्ष स्थान प्राप्त किया। उन्होंने "कलमन फ़िल्टर" (एक गणितीय उपकरण जो गति की भविष्यवाणी करता है) का उपयोग करने वाली एक चतुर तकनीक का उपयोग किया और गलतियों को पकड़ने के लिए अपने काम की स्वयं के विरुद्ध जांच की।
रनर-अप: टीम MFTIQProb 57.09 के साथ दूसरे स्थान पर रही।
बेसलाइन: आयोजकों की अपनी 3D बेसलाइन (जिसने 2D ट्रैकिंग को स्टीरियो कैमरा के साथ जोड़ा था) ने 58.80 स्कोर किया। इसका मतलब है कि विजेता टीम (NCT TSO) ने बेसलाइन को पछाड़ दिया, लेकिन दूसरे स्थान वाली टीम (MFTIQProb) वास्तव में बेसलाइन से कम स्कोर कर पाई।

स्पीड रेस (दक्षता)
गति मायने रखती है। यदि आपका एल्गोरिदम बहुत धीमा है, तो सर्जन इसका उपयोग नहीं कर पाएगा।

सबसे तेज़: टीम NCT TSO ने स्पीड कॉन्टेस्ट में भी जीत हासिल की। उनके एल्गोरिदम ने एक फ्रेम को मात्र 26.25 मिलीसेकंड में प्रोसेस किया।
अंतर: अगली सबसे तेज़ टीम 5 गुना धीमी थी, जिसे 140.52 मिलीसेकंड लगे।
कट-ऑफ: स्पीड रेस में शामिल होने के लिए, एक टीम की सटीकता सबसे अच्छी सटीकता के कम से कम 90% होनी चाहिए। दो टीमें (SRV और BlueJays) इतनी गलत थीं कि वे स्पीड कैटेगरी में प्रतिस्पर्धा ही नहीं कर सकीं।

पेपर क्या कहता है (और क्या नहीं कहता)

लेखक कुछ बातें स्पष्ट रूप से बताते हैं:

कोई मैजिक बुलेट नहीं: तथ्य यह है कि बेसलाइन MFT विधि सबसे सटीक थी, यह सुझाव देता है कि टीमें शायद "ओवर-फिटिंग" (टेस्ट डेटा को बहुत अधिक याद करना) कर रही थीं या बेसलाइन वास्तव में बहुत ठोस है। लेखक सुझाव देते हैं कि भविष्य की टीमों को मजबूत क्रॉस-वैलिडेशन पर ध्यान केंद्रित करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि उनकी विधियाँ केवल टेस्ट सेट पर ही नहीं, बल्कि नए डेटा पर भी काम करें।
3D अभी भी कठिन है: पेपर नोट करता है कि किसी भी टीम ने शुरुआत से "पूरी तरह से 3D में" बिंदुओं को ट्रैक नहीं किया। सभी ने 2D ट्रैकिंग और स्टीरियो कैमरा गणित का मिश्रण उपयोग किया। लेखकों को संदेह है कि एक ऐसा मॉडल बनाना जो स्वाभाविक रूप से 3D गहराई को समझता हो, अभी बहुत जटिल है।
"कंट्रोल" चेक: "कंट्रोल" विधि (शून्य गति का अनुमान लगाना) को यह सुनिश्चित करने के लिए शामिल किया गया था कि सभी लोग डेटा का सही उपयोग कर रहे हैं। यदि आप "कुछ न करने" वाली टीम को नहीं हरा सकते, तो आप गलत कर रहे हैं।

निष्कर्ष

2025 के STIR चैलेंज ने दिखाया कि हालांकि हमारे पास ऊतकों को ट्रैक करने के लिए बहुत तेज़ और सटीक उपकरण हैं, लेकिन "परफेक्ट" समाधान अभी भी बनाया जा रहा है। सबसे अच्छे परिणाम उन टीमों से आए जिन्होंने पुराने जमाने की विश्वसनीयता को नए ट्रिक्स के साथ जोड़ा, जैसे कि 2D में टीम CCG DGIST और 3D एवं स्पीड में टीम NCT TSO।

लेखक सुझाव देते हैं कि अगला कदम केवल बड़े मॉडल बनाना नहीं है, बल्कि स्मार्ट मॉडल बनाना है जो सीमित डेटा से सीख सकें, "स्यूडो-लेबल्स" (AI को उसके अपने अनुमानों से सिखाना) का उपयोग कर सकें, और बिना भ्रमित हुए वास्तविक सर्जरी की अजीब रोशनी और लचीलेपन को संभाल सकें। यह एक प्रगतिशील कार्य है, लेकिन "डिजिटल उंगलियां" काफी स्थिर होती जा रही हैं।

तकनीकी सारांश: सर्जरी में पॉइंट ट्रैकिंग – 2025 सर्जिकल टैटूज इन इन्फ्रारेड (STIR) चैलेंज

समस्या विवरण
सर्जिकल वातावरण में सटीक पॉइंट ट्रैकिंग, सेगमेंटेशन, 3D पुनर्निर्माण (reconstruction), वर्चुअल टिश्यू लैंडमार्किंग, ऑटोनॉमस प्रोब-आधारित स्कैनिंग और सबटास्क ऑटोनॉमी जैसे डाउनस्ट्रीम मेडिकल कंप्यूटर विजन कार्यों के लिए एक मौलिक आवश्यकता है। जबकि ऊतक (tissue) की गति और स्थान का ज्ञान स्वचालित दक्षता और ऑटोनॉमस स्कैनिंग के लिए महत्वपूर्ण है, मौजूदा विधियाँ अक्सर सर्जिकल वीडियो की विशिष्ट चुनौतियों, जैसे कि टिश्यू विरूपण (deformation), अवरोध (occlusion) और परिवर्तनशील प्रकाश स्थितियों से जूझती हैं। 2025 STIR चैलेंज (STIRC2025) को 2D और 3D दोनों स्थानों में पॉइंट ट्रैकिंग के लिए एल्गोरिदम का मूल्यांकन करने और उन्हें उन्नत करने के लिए इन कमियों को दूर करने हेतु आयोजित किया गया था।

कार्यप्रणाली और डेटासेट
चैलेंज में STIR चैलेंज 2025 (STIRC2025) डेटासेट का उपयोग किया गया, जिसमें da Vinci 5 सिस्टम का उपयोग करके एकत्र किए गए 32 स्टीरियो वीडियो सीक्वेंस शामिल हैं। डेटासेट में in vivo (पोर्सिन विषय) और ex vivo (मिश्रित ऊतक) दोनों मामले शामिल हैं।

एनोटेशन प्रोटोकॉल: ग्राउंड ट्रुथ लेबल जनरेट करने के लिए ऊतकों पर इंडोसाइनिन ग्रीन (ICG) इंक से टैटू बनाया गया था। एंडोस्कोप ने एक्शन की शुरुआत और अंत में पॉइंट लोकेशन को परिभाषित करने के लिए इन्फ्रारेड (IR) इमेज कैप्चर की, जबकि बीच के वीडियो को व्हाइट लाइट में रिकॉर्ड किया गया था।
डेटा फॉर्मेट: प्रत्येक सीक्वेंस में स्टार्ट और एंड IR इमेज, IR इंक के बाइनरी सेगमेंटेशन मास्क और संबंधित व्हाइट-लाइट स्टीरियो वीडियो (1280 × 1024 पिक्सल) शामिल हैं।
3D पुनर्निर्माण: 3D ग्राउंड ट्रुथ पोजीशन को सेगमेंटेड पॉइंट्स पर नॉर्मलाइज्ड क्रॉस-कोरिलेशन का उपयोग करके एपिपोलर सर्च के माध्यम से निकाला गया, जिसके बाद कैलिब्रेटेड कैमरा पैरामीटर्स (बेसलाइन, फोकल लेंथ और प्रिंसिपल पॉइंट्स) का उपयोग करके बैक-प्रोजेक्शन किया गया।

मूल्यांकन मेट्रिक्स
प्रतिभागियों का मूल्यांकन दो प्राथमिक घटकों पर किया गया:

सटीकता (Accuracy): इसे आउटलायर-रेसिस्टेंट मेट्रिक $\delta_{avg}$ $δ_{a v g}$ (TAP-Vid में पेश किया गया) का उपयोग करके मापा गया, जो अंतिम फ्रेम में विशिष्ट दूरी थ्रेशोल्ड ( $l_i$ $l_{i}$ ) के भीतर आने वाले ट्रैक किए गए पॉइंट्स के प्रतिशत की गणना करता है।
- 2D थ्रेशोल्ड: 4, 8, 16, 32, और 64 पिक्सल।
- 3D थ्रेशोल्ड: 2, 4, 8, 16, और 32 मिलीमीटर।
- पॉइंट्स को अंतिम फ्रेम में उनके निकटतम ग्राउंड ट्रुथ लेबल से मैच किया गया।
दक्षता (Efficiency): इसे इन्फरेंस लेटेंसी (inference latency) द्वारा मापा गया। मूल्यांकन में 95वें और 99वें पर्सेंटाइल लेटेंसी, साथ ही मीन (mean) पर ध्यान केंद्रित किया गया, ताकि रियल-टाइम सर्जिकल अनुप्रयोगों के लिए महत्वपूर्ण 'वर्स्ट-केस' प्रदर्शन को कैप्चर किया जा सके। एक सबमिशन दक्षता रैंकिंग के लिए तभी पात्र था यदि उसकी सटीकता शीर्ष प्रदर्शन करने वाली विधि के 90% से अधिक थी।

प्रमुख योगदान और सबमिशन
चैलेंज में सात टीमों ने भाग लिया, जिनमें से सभी ने 2D समाधान सबमिट किए और दो टीमों (NCT TSO और MFTIQProb) ने 3D समाधान सबमिट किए। पेपर में कई अलग-अलग कार्यप्रणाली दृष्टिकोणों का विवरण दिया गया है:

बेसलाइन विधियाँ: इसमें कंट्रोल (जीरो मोशन), RAFT, CSRF, MFT (मल्टी-फ्रेम ट्रैकिंग), और RAFT-Stereo के साथ संयुक्त एक 3D बेसलाइन शामिल थी।
प्रतिभागी नवाचार:
- BlueJays: इन्होंने ऑक्लूजन को संभालने के लिए कंट्रास्टिव रैंडम वॉक और ग्लोबल मैचिंग (GMFlow) के साथ एक सेल्फ-सुपरवाइज्ड विधि प्रस्तावित की।
- CCG DGIST: इन्होंने लोकल एक्यूरेसी और लॉन्ग-टर्म रोबस्टनेस के बीच संतुलन बनाने के लिए डेंस ऑप्टिकल फ्लो और कीपॉइंट-आधारित ट्रैकिंग (SuperPoint, ALIKED, LightGlue, RoMA) को संयोजित करने वाला एक हाइब्रिड फ्रेमवर्क विकसित किया।
- MFTIQProb: इन्होंने कैंडिडेट पॉइंट्स के लिए गॉसियन डिस्ट्रीब्यूशन और विजिबिलिटी हैंडलिंग के लिए बेयसियन अपडेट का उपयोग करते हुए एक प्रोबेबिलिस्टिक मल्टी-पॉइंट ट्रैकिंग पाइपलाइन पेश की।
- MoriLabNU: इन्होंने सर्जिकल टेक्सचर पर फीचर एक्सट्रैक्टर्स को फाइन-ट्यून करते समय कैटास्ट्रोफिक फॉरगेटिंग को रोकने के लिए इलास्टिक वेट कंसोलिडेशन (EWC) का उपयोग करके लैप्रोस्कोपिक ट्रैकिंग के लिए MFT को अनुकूलित किया।
- NCT TSO: इन्होंने मोशन मॉडलिंग के लिए कलमन फिल्टर और ड्रिफ्ट को कम करने के लिए कीफ्रेम फीचर बफ़र्स को शामिल करते हुए LiteTracker (CoTracker3 से व्युत्पन्न) पर आधारित एक पाइपलाइन बनाई।
- SRV: इन्होंने बड़े कॉस्ट वॉल्यूम से बचने के लिए MFT में ऑप्टिकल फ्लो घटक को WAFT (वॉर्मिंग-अलॉन्ग फील्ड ट्रांसफॉर्म्स) से बदल दिया।
- UII VRI: इन्होंने टेम्पोरल अटेंशन और कलमन स्मूथिंग के साथ एक फ्रोजन, जनरल-डोमेन डेंस पॉइंट ट्रैकर (AllTracker) का उपयोग किया, जिससे सर्जिकल-डोमेन फाइन-ट्यूनिंग से बचा जा सके।

परिणाम

2D सटीकता: समग्र रूप से सर्वश्रेष्ठ प्रदर्शन करने वाली विधि बेसलाइन MFT ( $\delta_{avg} = 83.50$ ) थी। प्रतिभागी सबमिशन में, CCG DGIST पहले स्थान ( $\delta_{avg} = 82.99$ ) पर रहा, उसके बाद MFTIQProb ( $\delta_{avg} = 82.91$ ) और MoriLabNU ( $\delta_{avg} = 82.74$ ) आए।
3D सटीकता: टीम NCT TSO ने उच्चतम सटीकता ( $\delta_{avg} = 68.46$ ) प्राप्त की, जिसने सभी बेसलाइन्स को पीछे छोड़ दिया। MFTIQProb दूसरे स्थान ( $\delta_{avg} = 57.09$ ) पर रहा। लेखक नोट करते हैं कि शीर्ष 3D विधियां नेटिव 3D ट्रैकिंग आर्किटेक्चर के बजाय 2D ट्रैकिंग और स्टीरियो ट्रायंगुलेशन के फिल्टर्ड संयोजन पर निर्भर थीं।
दक्षता: टीम NCT TSO ने 26.25 ms (95वां पर्सेंटाइल) की प्रति-फ्रेम लेटेंसी के साथ दक्षता श्रेणी जीती, जो अगले सबसे तेज़ प्रतियोगी (UII VRI - 140.52 ms) से काफी बेहतर थी।

महत्व और दावे
यह पेपर STIRC2025 चैलेंज और इसके संबंधित डेटासेट को सर्जिकल रोबोटिक्स और कंप्यूटर विजन समुदायों के लिए एक महत्वपूर्ण संसाधन के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि यह चैलेंज निम्नलिखित के महत्व को रेखांकित करता है:

मजबूत क्रॉस-वैलिडेशन: यह तथ्य कि एक बेसलाइन (MFT) कई विशिष्ट सबमिशन से बेहतर रही, सामान्यीकरण (generalization) की कठिनाई और रिलीज़ किए गए टेस्ट सेट्स पर ओवरफिटिंग के जोखिम को उजागर करती है।
दक्षता बनाम सटीकता ट्रेड-ऑफ: दक्षता श्रेणी यह प्रदर्शित करती है कि उच्च सटीकता वास्तविक समय की व्यवहार्यता (real-time feasibility) में बाधा नहीं है, जहाँ NCT TSO ने शीर्ष-स्तरीय 3D सटीकता और सबसे कम लेटेंसी दोनों हासिल की।
भविष्य की दिशाएँ: लेखक विनम्रतापूर्वक सुझाव देते हैं कि भविष्य के कार्य को स्यूडो-लेबलिंग, सर्जिकल फीचर्स के साथ सेल्फ-सुपरवाइज्ड ट्रेनिंग, और कम-विलंबता वाले मॉडल्स के विकास पर ध्यान केंद्रित करना चाहिए जो पूरी तरह से 3D नेटिव आर्किटेक्चर पर निर्भर हुए बिना लॉन्ग-टर्म ट्रैकिंग और रिलोकेलाइजेशन करने में सक्षम हों, क्योंकि ये अभी भी एक खुला चैलेंज हैं।

यह चैलेंज ऊतक ट्रैकिंग के लिए एल्गोरिदम के परीक्षण, तुलना और पुनरावृत्ति (iteration) के लिए एक बेंचमार्क के रूप में कार्य करता है, जिसका अंतिम लक्ष्य रोबोटिक-असिस्टेड सर्जरी के अनुप्रयोगों का समर्थन करना है।

सेटअप: अदृश्य स्याही और अदृश्य आँखें

खेल के नियम

प्रतियोगी और परिणाम

पेपर क्या कहता है (और क्या नहीं कहता)

निष्कर्ष

इसी तरह के और पेपर