APEX-VW: A Document-Level English-Spanish Post-Editing Dataset in the Healthcare Domain

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर मानव भाषाएँ सीखने की कोशिश कर रहे हैं, लेकिन वे अभी भी थोड़े अनाड़ी हैं। यह मशीन ट्रांसलेशन (MT) का क्षेत्र है, जहाँ गूगल ट्रांसलेट या डीपएल (DeepL) जैसे सॉफ़्टवेयर एक भाषा के वाक्य को दूसरी भाषा में बदलने का प्रयास करते हैं। कभी-कभी, कंप्यूटर इसे सही कर देता है, लेकिन अक्सर, यह गलतियाँ करता है—विशेष रूप से कठिन शब्दों या चिकित्सा जैसे विशिष्ट विषयों के साथ। इसे ठीक करने के लिए, इंसान पोस्ट-एडिटर्स (Post-Editors) के रूप में हस्तक्षेप करते हैं। उन्हें "प्रूफरीडर" के रूप में सोचें जो कंप्यूटर के कच्चे मसौदे को लेकर उसे तब तक पॉलिश करते हैं जब तक कि वह एकदम सटीक न हो जाए।

लंबे समय तक, शोधकर्ताओं ने इन गलतियों का अध्ययन एकल वाक्यों को एक-एक करके देखते हुए किया, जैसे मेज पर रखे पहेली के व्यक्तिगत टुकड़ों का परीक्षण करना। लेकिन वास्तविक दुनिया में, अनुवादक अलग-थले वाक्यों पर काम नहीं करते; वे पूरे दस्तावेज़ों पर काम करते हैं, जैसे कि पूरी किताब या एक मेडिकल रिपोर्ट। इन लंबे दस्तावेज़ों में, वही कठिन शब्द बार-बार दिखाई देते हैं। यदि कंप्यूटर एक चिकित्सा शब्द को पहली बार गलत करता है, तो वह दसवीं बार भी उसे गलत ही करेगा। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं: क्या हम कंप्यूटर को यह सिखा सकते हैं कि वह एक इंसान के पहले सुधार से सीखे और दस्तावेज़ में उसी गलती को स्वचालित रूप से ठीक करे, ठीक वैसे ही जैसे एक इंसान करेगा? यह पेपर उसी समस्या में गहराई से उतरता है, जो एकल वाक्यों से हटकर यह देखता है कि सुधार एक पूरी कहानी में कैसे "यात्रा" करते हैं।

---

अनुवाद का "वर्चुअल वार्ड" (Virtual Ward)

APEX-VW से मिलिए, जो शोधकर्ताओं की एक टीम द्वारा बनाया गया एक नया, खुला खजाना (डेटासेट) है। एक विशाल पुस्तकालय की कल्पना करें जहाँ हर किताब "वर्चुअल वार्ड्स" के बारे में एक चिकित्सा दस्तावेज़ है—जो अस्पतालों के आधुनिक तरीके हैं जिनसे वे मरीजों का इलाज अस्पताल के बजाय घर पर करते हैं। ये दस्तावेज़ अंग्रेजी में लिखे गए हैं, और शोधकर्ता यह देखना चाहते थे कि कंप्यूटर उनका स्पेनिश में अनुवाद कितनी अच्छी तरह कर सकता है, और अधिक महत्वपूर्ण बात यह है कि मानव संपादकों ने उन अनुवादों को कैसे सुधारा।

टीम ने केवल रैंडम वाक्य नहीं उठाए। उन्होंने सात पूर्ण दस्तावेज़ (कुल 42,108 शब्द) लिए और उन्हें चार अलग-अलग अनुवाद इंजन (DeepL, ModernMT, Language Weaver, और एक OpenAI-आधारित सिस्टम) में डाला। फिर, उन्होंने पेशेवर मानव अनुवादकों को "संपादक" के रूप में काम करने के लिए नियुक्त किया। इन इंसानों ने केवल टाइपो (लिखने की गलती) को ठीक नहीं किया; उन्हें यह सुनिश्चित करना था कि यदि एक विशिष्ट चिकित्सा शब्द को पहले पैराग्राफ में एक तरीके से अनुवादित किया गया है, तो वह अंतिम पैराग्राफ में भी उसी तरह रहे।

"कॉपी-पेस्ट" की समस्या बनाम "स्मार्ट मेमोरी"

यही वह मुख्य समस्या है जिसे यह पेपर संबोधित करता है। कल्पना कीजिए कि आप एक लंबी कहानी को एडिट कर रहे हैं। पेज 1 पर, कंप्यूटर "virtual ward" का अनुवाद "virtual room" के रूप में करता है। आप जानते हैं कि यह गलत है, इसलिए आप इसे बदलकर "virtual hospital unit" कर देते हैं। आप पढ़ते रहते हैं, और पेज 5 पर, कंप्यूटर फिर से "virtual room" कहता है। आप आह भरते हैं और इसे फिर से बदलते हैं। पेज 10 पर, यह तीसरी बार होता है।

वास्तविक दुनिया में, पेशेवर उपकरण (जैसे कि इस अध्ययन में उपयोग किया गया उपकरण, Trados Studio) की एक "मेमोरी" होती है। यदि आप एक शब्द बदलते हैं, तो टूल उसे याद रखता है और बाकी जगहों पर उसे बदलने का प्रस्ताव देता है। लेकिन अधिकांश कंप्यूटर अनुसंधान डेटासेट केवल एकल वाक्यों को देखते हैं, इसलिए वे इस "मेमोरी" को क्रिया में नहीं देख पाते। वे इस तथ्य को मिस कर देते हैं कि इंसानों को अक्सर एक ही दस्तावेज़ में दर्जनों बार एक ही सुधार करना पड़ता है।

APEX-VW डेटासेट विशेष है क्योंकि यह पूरे दस्तावेज़ को एक साथ रखता है। यह पेजों के क्रम और अनुवाद टूल के संदर्भ (context) को सुरक्षित रखता है। यह शोधकर्ताओं को "करेक्शन प्रोपेगेशन" (correction propagation) का अध्ययन करने की अनुमति देता है, जो एक फैंसी तरीका है यह कहने का कि: एक गलती को ठीक करने से बाकी दस्तावेज़ को ठीक करने में कितनी मदद मिलती है?

उन्होंने क्या पाया (और क्या नहीं पाया)

शोधकर्ताओं ने डेटा का विश्लेषण किया और कुछ दिलचस्प पैटर्न पाए, हालांकि वे सावधानी बरतते हुए कहते हैं कि यह एक शुरुआत है, अंतिम उत्तर नहीं।

• पुनरावृत्ति वास्तविक है: दस्तावेज़ दोहराव वाले शब्दों से भरे थे। विभिन्न दस्तावेज़ों में "रिपिटिशन रेट" (शब्दों के दोहराव का माप) 0.07 से 0.21 के बीच था। इसका मतलब है कि कुछ टेक्स्ट बहुत दोहराव वाले थे, जबकि अन्य अधिक विविध थे, जिससे शोधकर्ताओं को अध्ययन के लिए अलग-अलग प्रकार की चुनौतियाँ मिलीं।
• सभी कंप्यूटर समान नहीं हैं: चार अनुवाद प्रणालियों ने अलग-अलग प्रदर्शन किया। उदाहरण के लिए, DeepL और ModernMT ने अपने सौंपे गए टेक्स्ट पर कम गलतियाँ कीं (त्रुटि दर, जिसे TER कहा जाता है, 6.35 और 9.66 जितनी कम थी)। हालाँकि, Language Weaver और OpenAI सिस्टम ने बहुत अधिक गलतियाँ कीं, जहाँ TER स्कोर क्रमशः 55.47 और 39.32 तक पहुँच गया।
• इंसान सिर्फ शब्द नहीं बदलते: जब इंसानों ने टेक्स्ट को ठीक किया, तो उन्होंने केवल एक शब्द को दूसरे से नहीं बदला। उन्होंने बहुत सारी सामग्री जोड़ी, हटाई और बदली। कुल मिलाकर, उन्होंने 6,790 इंसर्शन (जोड़ना), 1,285 डिलीशन (हटाना) और 9,523 रिप्लेसमेंट (बदलना) किए। प्रति वाक्य औसत बदलाव 6.49 एडिट्स था। यह सुझाव देता है कि मशीन ट्रांसलेशन को ठीक करना केवल सही शब्द चुनने के बारे में नहीं है; यह अक्सर पूरे वाक्यों को अर्थपूर्ण बनाने के लिए फिर से लिखने के बारे में है।
• दो प्रकार की गलतियाँ: टीम ने दो मुख्य परिदृश्यों की पहचान की जहाँ इंसानों को कड़ी मेहनत करनी पड़ी:
  1. "सुसंगत लेकिन गलत" परिदृश्य: कंप्यूटर ने एक शब्द को हर बार एक ही तरह से अनुवादित किया, लेकिन वह शब्द गलत था। इंसान को हर बार इसे मैन्युअल रूप से ठीक करना पड़ा (एक दस्तावेज़ में "virtual ward" शब्द के लिए 35 बार)।
  2. "असंगत" परिदृश्य: कंप्यूटर ने एक ही शब्द को एक ही दस्तावेज़ में अलग-अलग तरीकों से अनुवादित किया (जैसे, "virtual room," "virtual unit," "virtual service")। इंसान को एक जासूस की तरह काम करना पड़ा, सभी अलग-अलग संस्करणों को ढूँढना पड़ा और उन्हें एक समान बनाना पड़ा।

यह क्यों मायने रखता है (और क्या नहीं है)

यह डेटासेट एक बेंचमार्क है, भविष्य के शोधकर्ताओं के लिए एक मानक परीक्षण सेट। यह सुझाव देता है कि बेहतर AI अनुवादक बनाने के लिए, हमें वाक्यों को अलग-थलग देखने के बजाय पूरे दस्तावेज़ों को देखना शुरू करना होगा। यह सुझाव देता है कि भविष्य के उपकरणों को एक इंसान के पहले सुधार से "सीखने" में सक्षम होना चाहिए और दस्तावेज़ के बाकी हिस्सों में इसे स्वचालित रूप से लागू करना चाहिए, जिससे अनुवादकों का समय बचे और तनाव कम हो।

हालाँकि, लेखक बहुत स्पष्ट हैं कि यह डेटासेट क्या नहीं है। यह कोई जादुई समाधान नहीं है जो सभी अनुवाद समस्याओं को हल कर देता है। यह अंग्रेजी-से-स्पेनिश तक सीमित है और केवल स्वास्थ्य सेवा (healthcare) के दस्तावेज़ों को कवर करता है। यह एक विशिष्ट समय का स्नैपशॉट (विशेष रूप से अप्रैल 2026 में AI की स्थिति) का प्रतिनिधित्व करता है और यह नहीं दिखाता है कि वर्षों में चीजें कैसे बदलती हैं। साथ ही, क्योंकि अलग-अलग कंप्यूटरों के साथ अलग-अलग दस्तावेज़ों का परीक्षण किया गया था, आप इस डेटा का उपयोग सख्ती से यह रैंक करने के लिए नहीं कर सकते कि कौन सा कंप्यूटर समग्र रूप से "सबसे अच्छा" है; यह यह अध्ययन करने के लिए बेहतर है कि इंसान वास्तविक वर्कफ़्लो में चीज़ों को कैसे ठीक करते हैं।

"स्मार्ट" एडिटिंग का भविष्य

पेपर इस निष्कर्ष पर निकलता है कि यह संसाधन नए प्रकार के शोध के द्वार खोलता है। कल्पना कीजिए कि आपका अनुवाद टूल एक मददगार को-पायलट की तरह है। यदि आप एक चिकित्सा शब्द को एक बार ठीक करते हैं, तो टूल फुसफुसाता है, "हे, मैंने देखा कि आपने इसे पहले ठीक किया था। क्या मैं इसे इस दस्तावेज़ में हर जगह ठीक कर दूँ?"

लेखकों का सुझाव है कि APEX-VW जैसे डेटा के साथ, हम ऐसे सिस्टम बना सकते हैं जो निरंतरता (consistency) और प्रसार (propagation) को समझ सकें। उन्हें उम्मीद है कि इससे ऐसे उपकरण विकसित होंगे जो न केवल शब्दों का अनुवाद करेंगे, बल्कि पूरे दस्तावेज़ के प्रवाह को समझेंगे, जिससे इंसानों को तेज़ी से और कम सिरदर्द के साथ काम करने में मदद मिलेगी। लेकिन फिलहाल, यह डेटासेट केवल पहला कदम है—एक सावधानीपूर्वक तैयार किया गया नक्शा जिससे शोधकर्ता मानव और मशीन के मिलकर कहानी कहने के जटिल परिदृश्य को एक्सप्लोर कर सकें।