ICDAR 2026 HIPE-OCRepair Competition on LLM-Assisted OCR Post-Correction for Historical Documents

एक विशाल, धूल भरी लाइब्रेरी की कल्पना करें जहाँ लाखों पुराने समाचार पत्रों और किताबों को कंप्यूटर में स्कैन कर लिया गया है। समस्या क्या है? टेक्स्ट को पढ़ने वाली मशीनें (जिन्हें OCR कहा जाता है) 1990 के दशक के थके हुए, कम दृष्टि वाले पुस्तकालयाध्यक्षों (librarians) जैसी हैं। वे धुंधली स्याही, पुराने जमाने के फोंट और फटे हुए कागज को देखकर जूझ रही हैं, और वास्तविक शब्दों के बजाय अक्सर अर्थहीन शब्द (gibberish) टाइप कर देती हैं। दशकों तक, इसे ठीक करने का मतलब या तो पूरी लाइब्रेरी को फिर से स्कैन करना था (जो असंभव है) या हर गलती को मैन्युअल रूप से ठीक करना था (जो बहुत धीमा है)।

यहाँ आता है HIPE-OCRepair-2026 प्रतियोगिता, एक उच्च-दांव वाला चैलेंज जहाँ AI विशेषज्ञों की टीमों ने अपने नवीनतम "सुपर-लाइब्रेरियन" लाने के लिए अपने नए "लार्ज लैंग्वेज मॉडल्स" (LLMs) का उपयोग किया। ये बुद्धिमान, संदर्भ-पसंद (context-hungry) AI हैं जो एक वाक्य को पढ़ सकते हैं और अविश्वसनीय प्रवाह के साथ अनुमान लगा सकते हैं कि आगे क्या आएगा। लक्ष्य क्या था? यह देखना कि क्या ये डिजिटल जीनियसज़ बिखरे हुए, गलतियों से भरे ट्रांसक्रिप्ट्स को बिना कुछ बिगाड़े साफ कर सकते हैं।

बड़ी परीक्षा: क्या AI चीज़ों को बिगाड़े बिना उन्हें ठीक कर सकता है?

आयोजकों ने एक पेचीदा खेल तैयार किया। उन्होंने AI टीमों को अंग्रेजी, फ्रेंच और जर्मन में ऐतिहासिक दस्तावेजों से प्राप्त शोर-श la वाले, टूटे-फूटे टेक्स्ट दिए, जो 1600 के दशक तक पुराने थे। शर्त यह थी कि AI को मूल पृष्ठ की तस्वीर देखे बिना टेक्स्ट को ठीक करना था। यह एक फटे हुए पत्र को केवल उसकी धुंधली फोटोकॉपी को पढ़कर ठीक करने जैसा था, जिसमें तुलना करने के लिए कोई मूल प्रति उपलब्ध नहीं थी।

टीमों को बेहद सावधान रहना था। यदि किसी AI ने "हैलुसिनेशन" (hallucination) किया—यानी उसने आत्मविश्वास के साथ ऐसा शब्द बना दिया जो वहाँ था ही नहीं, या इसे आज के दौर के हिसाब से दिखाने के लिए किसी पुराने वर्तनी (spelling) को "आधुनिक" बना दिया—तो वह टेस्ट में फेल हो जाती थी। लक्ष्य इतिहास को फिर से लिखना नहीं था; बल्कि लेखक द्वारा लिखे गए सटीक शब्दों को वापस पाना था, बस स्कैनर की गलतियों के बिना।

परिणाम: एक टीम का दबदबा, लेकिन यह कोई जादुई छड़ी नहीं है

जब धूल जमी, तो परिणाम स्पष्ट लेकिन सूक्ष्म थे।

विजेता: BnF-Mistral टीम ने शीर्ष स्थान प्राप्त किया, और उन्होंने केवल जीत हासिल नहीं की; उन्होंने दबदबा बनाया। उनका "सीक्रेट सॉस" केवल एक स्मार्ट AI का उपयोग करना नहीं था; बल्कि यह ऐसा था जैसे उस AI को एक विशाल, विशेष प्रशिक्षण शिविर में भेजा गया हो। उन्होंने एक 24-बिलियन-पैरामीटर मॉडल (एक विशाल मस्तिष्क) लिया और उसे 1900 से पहले के ऐतिहासिक फ्रांसीसी दस्तावेजों के अरबों टोकन्स पर प्रशिक्षित किया, फिर उसे विशेष रूप से प्रतियोगिता के डेटा पर फाइन-ट्यून किया। उन्होंने एक "जज-एंड-रिट्राय" (judge-and-retry) लूप भी बनाया, जहाँ AI अपने काम की जाँच करता है, पता लगाता है कि क्या वह गलत जानकारी (hallucinating) दे रहा है, और तीन बार तक फिर से प्रयास करता है।

संख्याएँ दिखाती हैं कि यह कितना प्रभावी था। टेस्ट सेट्स पर, BnF-Mistral टीम ने त्रुटि दर (जिसे cMER कहा जाता है) को काफी कम कर दिया। उदाहरण के लिए, एक शोर वाले जर्मन डेटासेट पर, उन्होंने त्रुटि दर को 0.0546 से घटाकर 0.0082 कर दिया। एक फ्रांसीसी डेटासेट पर, वे 0.0184 से 0.0040 पर पहुँच गए। सरल भाषा में कहें तो, उन्होंने एक ऐसे टेक्स्ट को जो मुश्किल से पठनीय था, लगभग पूर्ण बना दिया।

रनर-अप्स: अन्य टीमों ने अलग-अलग रणनीतियाँ आजमाईं। एक टीम, BLOCR ने "जीरो-शॉट" दृष्टिकोण अपनाया, जिसका अर्थ है कि उन्होंने बिना किसी विशेष प्रशिक्षण के, केवल चतुर निर्देशों पर भरोसा करते हुए, एक पूर्व-प्रशिक्षित AI से टेक्स्ट को ठीक करने के लिए कहा। उन्होंने विशेष रूप से अंग्रेजी टेक्स्ट पर अच्छा प्रदर्शन किया, लेकिन वे भारी प्रशिक्षित BnF-Mistral टीम का मुकाबला नहीं कर सके। दूसरी टीम, L3i ने एक छोटे मॉडल को फाइन-ट्यून करने की कोशिश की, लेकिन इसका प्रदर्शन उतना अच्छा नहीं रहा जितना भारी-भरकम मॉडल्स का।

"नो-चेंज" बेसलाइन: एक "कुछ न करने वाला" (do nothing) टीम भी था। उन्होंने बस बिखरे हुए टेक्स्ट को वैसा ही वापस दे दिया जैसा वह था। आश्चर्यजनक रूप से, सबसे साफ, कम शोर वाले दस्तावेजों पर, कुछ न करना वास्तव में एक अच्छी रणनीति थी। क्यों? क्योंकि फैंसी AI कभी-कभी बहुत अधिक उत्साही हो जाते थे। जब टेक्स्ट पहले से ही 99% सही था, तो AI कभी-कभी "ओवर-करेक्ट" कर देता था, यानी एक सही पुराने जमाने के शब्द को आधुनिक शब्द में बदल देता था, या एक शब्द जिसे वह गलती समझता था, उसे हटा देता था। इसने शोधकर्ताओं को एक महत्वपूर्ण सबक सिखाया: अधिक AI हमेशा बेहतर नहीं होता यदि AI बहुत अधिक आत्मविश्वासी हो जाए।

यह पेपर किन बातों को खारिज करता है (और क्या नहीं)

यह पेपर बहुत स्पष्ट है कि इस प्रतियोगिता ने क्या सिद्ध नहीं किया।

• यह कोई "सब कुछ ठीक करने वाला" समाधान नहीं है: पेपर स्पष्ट रूप से कहता है कि जबकि LLMs महान हैं, वे हर समस्या को तुरंत हल करने वाली जादुई छड़ी नहीं हैं। प्रदर्शन भाषा, दस्तावेज़ के प्रकार और मूल स्कैन की गंदगी के आधार पर बहुत भिन्न होता है।
• यह पूर्ण ऐतिहासिक संरक्षण के बारे में नहीं है: स्कोरिंग सिस्टम खोजने की क्षमता (searchability) के लिए बनाया गया था, न कि हर छोटी ऐतिहासिक बारीकी (जैसे अजीब पुराने विराम चिह्न या लाइन ब्रेक) को बनाए रखने के लिए। पेपर तर्क देता है कि लाइब्रेरी में दस्तावेजों को खोजने के लिए, शब्दों को सही करना लेआउट को एकदम सटीक रखने से अधिक महत्वपूर्ण है। इसलिए, यदि किसी AI ने एक शब्द को खोजने योग्य बनाने के लिए एक अजीब हाइफ़न को सुधारा, तो वह एक जीत थी, भले ही वह मूल पृष्ठ के प्रति "राजनयिक" रूप से वफादार न हो।
• यह अभी हल नहीं हुआ है: लेखक इस बात पर जोर देते हैं कि साफ टेक्स्ट पर "ओवर-करेक्शन" अभी भी एक आवर्ती चुनौती है। उन्हें ऐसा कोई तरीका नहीं मिला जिससे वे AI को तब भी रचनात्मक होने से पूरी तरह रोक सकें जब उन्हें नहीं होना चाहिए।

एक जिज्ञासु किशोर के लिए सीख

इस प्रतियोगिता को एक कार मरम्मत प्रतियोगिता की तरह समझें। "कारें" लाखों पुराने, टूटे-फूटे टेक्स्ट ट्रांसक्रिप्ट्स थे। "मैकेनिक" AI मॉडल्स थे।

• BnF-Mistral टीम उस मैकेनिक की तरह थी जिसने पुराने इंजनों का वर्षों तक अध्ययन किया और एक पूरा टूलकिट साथ लाया। उन्होंने कारों को इतनी अच्छी तरह से ठीक किया कि वे लगभग नई जैसी हो गईं।
• Zero-Shot टीमें उन मैकेनिकों की तरह थीं जो बस एक सामान्य मैनुअल लेकर आए और कहा, "मैं इसे ठीक करने की कोशिश करूँगा।" उन्होंने अच्छा काम किया, लेकिन वे विशेषज्ञ का मुकाबला नहीं कर सके।
• बेसलाइन उस मैकेनिक की तरह था जिसने कहा, "यह इतना भी खराब नहीं है, मैं इसे ऐसे ही छोड़ दूँगा।" और सबसे कम खराब कारों पर, वे सही थे!

मुख्य निष्कर्ष यह है कि विशेष रूप, अच्छी तरह से प्रशिक्षित AI हमारे इतिहास तक पहुँच को काफी बेहतर बना सकता है, जिससे अपठनीय स्कैन को खोजने योग्य टेक्स्ट में बदला जा सकता है। लेकिन पेपर हमें चेतावनी देता है: हमें सावधान रहना होगा। यदि हम इन AI को बेकाबू छोड़ देंगे, तो वे चीजों को "ठीक" करने लग सकते हैं जो खराब नहीं थीं, और इस प्रक्रिया में इतिहास को बदल सकते हैं। डिजिटल लाइब्रेरी का भविष्य इस संतुलन को खोजने पर निर्भर करता है जहाँ AI इतना स्मार्ट हो कि वह गलतियों को ठीक कर सके, लेकिन इतना विनम्र भी हो कि इतिहास को अकेला छोड़ दे।