AtlasOCR: Building the First Open-Source Darija OCR Model with Vision Language Models
यह शोध पत्र AtlasOCR को प्रस्तुत करता है, जो मोरक्कन दारीजा बोली के लिए पहला ओपन-सोर्स ऑप्टिकल कैरेक्टर रिकग्निशन मॉडल है, जो एक अद्वितीय सिंथेटिक और वास्तविक दुनिया के डेटासेट के साथ-साथ कुशल प्रशिक्षण तकनीकों का उपयोग करके 3B-पैरामीटर वाले विजन लैंग्वेज मॉडल को फाइन-ट्यून करके अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, जादुई पुस्तकालय है जो किताबों, हस्तलिखित नोट्स और सोशल मीडिया पोस्टों से भरा है, जो दरीजा (Darija) में लिखे गए हैं—मोरक्कन अरबी का एक अनूठा, जीवंत बोली। वर्षों से, कंप्यूटर इस पुस्तकालय को पढ़ने में बहुत खराब रहे हैं। वे मानक अरबी (जैसे कि एक औपचारिक पाठ्यपुस्तक) को पढ़ सकते हैं, लेकिन जब वे दरीजा देखते हैं (जो स्लैंग, फ्रेंच ऋणशब्दों और हस्तलेखन की विविधताओं से भरा है), तो वे भ्रमित हो जाते हैं, जैसे कोई पर्यटक जिसे केवल बुनियादी भाषा आती हो और वह मेनू पढ़ने की कोशिश कर रहा हो।
AtlasIA की टीम ने इसे ठीक करने का निर्णय लिया। उन्होंने AtlasOCR बनाया, एक नया "डिजिटल लाइब्रेरियन" जिसे विशेष रूप से दरीजा पढ़ने के लिए डिज़ाइन किया गया है।
यहाँ यह कहानी है कि उन्होंने इसे कैसे बनाया, जिसे सरल शब्दों में समझाया गया है:
1. समस्या: "अनुवाद में खोया हुआ" पुस्तकालय
दरीजा मोरक्को में हर जगह है—सड़क के संकेतों पर, पुरानी पारिवारिक रेसिपी में, और इंस्टाग्राम पर। लेकिन क्योंकि यह एक औपचारिक लिखित भाषा के बजाय एक बोली है, इसलिए इस टेक्स्ट की तस्वीरों को डिजिटल शब्दों में बदलने के लिए कोई अच्छे उपकरण नहीं थे। इसका मतलब था:
- पुराने इतिहास की किताबें ऑनलाइन खोजी नहीं जा सकती थीं।
- स्क्रीन रीडर दृष्टिबाधित लोगों को मोरक्कक्कन सोशल मीडिया पढ़ने में मदद नहीं कर सकते थे।
- शोधकर्ता यह विश्लेषण नहीं कर सकते थे कि मोरक्को के लोग ऑनलाइन कैसे बात करते हैं।
2. समाधान: एक "सुपर-स्टूडेंट" बनाना (AtlasOCR)
शून्य से एक विशाल, महंगा सुपरकंप्यूटर बनाने के बजाय, टीम ने एक स्मार्ट शॉर्टकट लिया। उन्होंने एक बहुत ही बुद्धिमान, प्री-ट्रेन्ड छात्र Qwen2.5-VL (एक "विज़न लैंग्वेज मॉडल") से शुरुआत की। इस छात्र को एक ऐसे व्यक्ति के रूप में सोचें जो पहले से ही अंग्रेजी, फ्रेंच और मानक अरबी जानता है, और एक तस्वीर देख सकता है और उसका वर्णन कर सकता है।
लेकिन इस छात्र को दरीजा नहीं पता था। इसलिए, टीम ने उसे एक क्रैश कोर्स दिया।
3. प्रशिक्षण: "नकली" और "असली" का मिश्रण
छात्र को दरीजा सिखाने के लिए, उन्हें उदाहरणों के एक विशाल पुस्तकालय की आवश्यकता थी। चूंकि स्कैन करने के लिए पर्याप्त वास्तविक किताबें नहीं थीं, इसलिए उन्होंने दो-तरफा दृष्टिकोण अपनाया:
- "नकली" पुस्तकालय (सिंथेटिक डेटा): उन्होंने OCRSmith नामक एक रोबोट फैक्ट्री बनाई। यह रोबक दरीजा टेक्स्ट की हजारों नकली छवियां तुरंत बना सकता था। यह विभिन्न फोंट में शब्द प्रिंट कर सकता था, कागज पर कॉफी के दाग डाल सकता था, कागज को तिरछा कर सकता था, या लिखावट को गंदा बना सकता था। यह एक वीडियो गेम लेवल जनरेटर की तरह था, जो अभ्यास के लिए अनंत परिदृश्य बना रहा था।
- "असली" पुस्तकालय: उन्होंने वास्तविक दुनिया के उदाहरण भी एकत्र किए: स्कैन की गई पुरानी किताबें, ड्राइविंग लाइसेंस परीक्षा के पेपर की तस्वीरें, मोरक्कन रेसिपी कार्ड, और लिंक्डइन पोस्ट के स्क्रीनशॉट। इससे यह सुनिश्चित हुआ कि छात्र वास्तविक दुनिया की उन बारीकियों को सीख सके कि लोग वास्तव में कैसे लिखते हैं।
परिणाम: 30,000 से अधिक छवियों का एक प्रशिक्षण डेटासेट, जो ज्यादातर रोबोट द्वारा बनाया गया था लेकिन जिसमें वास्तविक दुनिया का स्वाद मिला हुआ था।
4. प्रशिक्षण विधि: "लाइटवेट" वर्कआउट
आमतौर पर, एक विशाल AI मॉडल को सिखाने के लिए एक बहुत बड़े, महंगे सुपरकंप्यूटर (जैसे दिग्गजों के लिए जिम) की आवश्यकता होती है। टीम इसे सुलभ बनाना चाहती थी, इसलिए उन्होंने QLoRA तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि आप एक पेशेवर एथलीट (AI) को एक नया खेल सिखाना चाहते हैं। उनके पूरे शरीर को फिर से बनाने के बजाय (जिसमें बहुत समय लगता है और भारी लागत आती है), आप बस उन्हें एक विशेष सेट वजन और एक नया कोच देते हैं। आप उनके केवल एक बहुत छोटे हिस्से की मांसपेशियों को ट्यून करते हैं।
- परिणाम: वे इस शक्तिशाली मॉडल को एक डेटा सेंटर के बजाय एक मानक कंप्यूटर (जैसे कि एक हाई-एंड गेमिंग पीसी) पर प्रशिक्षित कर सके, जिससे यह तकनीक सभी के लिए खुली और उपलब्ध हो गई।
5. परीक्षण: "दरीजा ओलंपिक्स"
यह देखने के लिए कि क्या उनके छात्र ने वास्तव में सीखा है, उन्होंने AtlasOCRBench नामक एक नया टेस्ट बनाया। यह मोरक्कन टेक्स्ट पढ़ने के लिए एक विशेष ओलंपिक की तरह है। उन्होंने मानक अरबी पर भी परीक्षण किया ताकि यह देखा जा सके कि क्या छात्र भ्रमित हुआ।
परिणाम:
- दरीजा: AtlasOCR ने प्रतियोगिता को पछाड़ दिया। इसने किसी भी अन्य ओपन-सोर्स टूल से बेहतर दरीजा पढ़ा, यहाँ तक कि बड़े और अधिक महंगे मॉडलों को भी पीछे छोड़ दिया।
- मानक अरबी: आश्चर्यजनक रूप से, छात्र ने मानक अरबी पढ़ना नहीं भुलाया। वास्तव में, यह और भी बेहतर हो गया, जिससे पता चला कि दरीजा सीखने से इसे सामान्य अरबी समझने में मदद मिली।
6. यह क्यों महत्वपूर्ण है
यह केवल टेक्स्ट पढ़ने के बारे में नहीं है; यह संस्कृति को संरक्षित करने के बारे में है।
- डिजिटल संरक्षण: पुरानी मोरक्कन पांडुलिपियों को आखिरकार खोजने योग्य टेक्स्ट में बदला जा सकता है।
- पहुंच (Accessibility): दृष्टिबाधित लोग अब मोरक्कन सोशल मीडिया और दस्तावेजों को "सुन" सकते हैं।
- लोकतंत्रीकरण: यह दिखाकर कि आप एक छोटी टीम और एक मानक कंप्यूटर के साथ विश्व स्तरीय उपकरण बना सकते हैं, उन्होंने अन्य अफ्रीकी बोलियों जैसी अन्य कम-संसाधन वाली भाषाओं के लिए अपना स्वयं का "डिजिटल लाइब्रेरियन" पाने का एक ब्लूप्रिंट प्रदान किया है।
संक्षेप में
AtlasIA की टीम ने एक स्मार्ट, सामान्य-उद्देश्य वाले AI को लिया, उसे रोबोट-जनरेटेड और वास्तविक दुनिया के मोरक्कन टेक्स्ट का मिश्रण खिलाया, और उसे एक विशेष, कुशल वर्कआउट दिया। परिणाम AtlasOCR है: एक मुफ्त, ओपन-सोर्स टूल जो अंततः मोरक्को की अव्यवस्थित, सुंदर और जटिल लिखित भाषा को पढ़ सकता है, यह साबित करते हुए कि बड़ी भाषाई समस्याओं को हल करने के लिए आपको अरबों डॉलर के बजट की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।