FireRed-OCR Technical Report
FireRed-OCR एक नवीन फ्रेमवर्क है जो एक "ज्यामिति + अर्थविज्ञान" (Geometry + Semantics) डेटा फैक्ट्री और एक तीन-चरणीय प्रगतिशील प्रशिक्षण रणनीति का लाभ उठाकर सामान्य-उद्देश्य वाले VLMs को उच्च-प्रदर्शन, पिक्सेल-सटीक दस्तावेज़ पार्सिंग विशेषज्ञों में बदल देता है, ताकि संरचनात्मक मतिभ्रम (structural hallucinations) को दूर किया जा सके और जटिल दस्तावेज़ बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
FireRed-OCR: एक "जनरलिस्ट" को "डॉक्यूमेंट सर्जन" बनाना
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान और विद्वान मित्र है जो किसी पेंटिंग की तस्वीर देखकर आपको उसके रंगों और कलाकार के इरादों के बारे में एक सुंदर कहानी सुना सकता है। आज के लार्ज विजन-लैंग्वेज मॉडल्स (VLMs) भी ऐसे ही हैं। वे स्मार्ट, रचनात्मक और सामान्य कार्यों में बेहतरीन हैं।
लेकिन, यदि आप इस मित्र से एक जटिल वित्तीय रिपोर्ट, गणित की हाथ से लिखी परीक्षा, या अलग-अलग दिशाओं में चलते कॉलम वाले समाचार पत्र को पढ़ने के लिए कहते हैं, तो वे अपनी ओर से चीजें बनाने लगते हैं। वे एक ऐसा टेबल बना सकते हैं जो अस्तित्व में ही नहीं है, पैराग्राफ का क्रम गलत कर सकते हैं, या एक ऐसा गणितीय सूत्र लिख सकते हैं जो दिखने में तो सही लगता है लेकिन वास्तव में निरर्थक होता है। तकनीकी दुनिया में, हम इसे "स्ट्रक्चरल हैलुसिनेशन" (Structural Hallucination) कहते हैं। यह एक ऐसे शेफ की तरह है जो एक बेहतरीन स्टेक बनाना तो जानता है, लेकिन बार-बार फ्राइज़ पर नमक डालना भूल जाता है।
FireRed-OCR एक नया फ्रेमवर्क है जिसे Xiaohongshu (एक लोकप्रिय चीनी सोशल मीडिया ऐप) की टीम द्वारा इसी समस्या को ठीक करने के लिए बनाया गया है। उन्होंने एक सामान्य "स्मार्ट" मॉडल (जो Qwen3-VL पर आधारित है) लिया और उसे एक पिक्सेल-परफेक्ट डॉक्यूमेंट सर्जन बनने के लिए प्रशिक्षित किया। उन्होंने यह कैसे किया, इसका सरल विवरण यहाँ दिया गया है।
1. समस्या: "जनरलिस्ट" बनाम "स्पेशलिस्ट"
एक सामान्य VLM को एक "ऑल-राउंडर" (Jack-of-all-trades) की तरह समझें। वह थोड़ा बहुत सब कुछ कर सकता है, लेकिन जब बात दस्तावेज़ के फॉर्मेटिंग के सख्त नियमों की आती है (जैसे यह सुनिश्चित करना कि टेबल में कॉलम की सही संख्या हो या गणित का समीकरण पूरी तरह संतुलित हो), तो वह ढीला पड़ जाता है।
वास्तविक दुनिया में, यदि किसी बैंक का सॉफ्टवेयर किसी चेक को गलत पढ़ लेता है क्योंकि मॉडल ने "हैलुसिनेशन" करके एक शून्य (zero) बना दिया, तो यह एक आपदा है। उन्हें एक ऐसे विशेषज्ञ की आवश्यकता है जो नियमों का सख्ती से पालन करे।
2. समाधान: "ज्यामिति + सिमेंटिक्स" डेटा फैक्ट्री
इस विशेषज्ञ को प्रशिक्षित करने के लिए, आप केवल रैंडम दस्तावेज़ उसके सामने नहीं फेंक सकते। यदि आप उसे 1,000 साधारण उपन्यास देते हैं और केवल 1 जटिल टैक्स फॉर्म, तो वह केवल उपन्यास पढ़ना ही सीख पाएगा।
टीम ने दो विशेष मशीनों के साथ एक "डेटा फैक्ट्री" बनाई:
- ज्यामिति स्कैनर (The Geometry Scanner): शब्दों को पढ़ने के बजाय, यह मशीन पेज के आकार को देखती है। क्या यह एक सिंगल कॉलम है? क्या यह एक अस्त-व्यस्त टेबल है? क्या यह बॉक्स वाला कोई फॉर्म है? यह दस्तावेजों को इस आधार पर समूहबद्ध करती है कि वे दिखते कैसे हैं, न कि इस आधार पर कि वे क्या कहते हैं। यह सुनिश्चित करता है कि मॉडल कई अजीब और कठिन लेआउट्स (लॉन्ग-टेल समस्याओं) का सामना करे।
- सिमेंटिक टैगर (The Semantic Tagger): यह मशीन सामग्री को लेबल करती है (जैसे, "गणित," "कानूनी," "हस्तलेखन")।
इन दोनों को मिलाकर, उन्होंने प्रशिक्षण डेटा का एक पूरी तरह से संतुलित आहार तैयार किया। उन्होंने केवल रैंडम सैंपलिंग नहीं की; उन्होंने डेटा को इस तरह क्यूरेट (curate) किया कि मॉडल सबसे कठिन पहेलियों पर पहले अभ्यास कर सके।
3. प्रशिक्षण: तीन चरणों वाला "बूट कैंप"
टीम ने मॉडल पर केवल डेटा नहीं डाला। उन्होंने तीन-चरणीय प्रगतिशील प्रशिक्षण (Three-Stage Progressive Training) रणनीति का उपयोग किया, जैसे एक मार्शल आर्ट्स मास्टर अपने छात्र को सिखाता है।
चरण 1: "आंखों और हाथों" का अभ्यास (Pre-alignment)
इससे पहले कि छात्र निबंध लिखना सीखे, उसे चीजों की ओर इशारा करना सीखना होगा।
- क्या होता है: मॉडल को पेज पर विशिष्ट शब्दों की ओर इशारा करने और यह बताने के लिए प्रशिक्षित किया जाता है कि वे क्या हैं (Detection & OCR)।
- उपमा: कल्पना कीजिए कि एक बच्चा पढ़ना सीख रहा है। पहले, वह एक शब्द की ओर इशारा करना और कहना सीखता है "बिल्ली"। वह अभी कहानी नहीं लिख रहा है; वह बस अक्षरों के आकार को ध्वनि से जोड़ने की कोशिश कर रहा है। यह मॉडल को वास्तविकता में स्थापित करता है ताकि वह अनुमान लगाना बंद करे।
चरण 2: "सख्त संपादक" का अभ्यास (Specialized SFT)
अब जब मॉडल शब्दों की ओर इशारा कर सकता है, तो उसे व्याकरण और फॉर्मेटिंग के नियम सीखने होंगे।
- क्या होता है: मॉडल को उच्च गुणवत्ता वाले दस्तावेज़ दिखाए जाते हैं और उन्हें Markdown (टेक्स्ट के लिए एक सरल कोडिंग भाषा) में पूरी तरह से फिर से लिखने के लिए सिखाया जाता है।
- उपमा: मॉडल अब एक कॉपी एडिटर है। वह सीखता है कि यदि वह एक हेडर देखता है, तो उसे
#का उपयोग करना चाहिए। यदि वह एक टेबल देखता है, तो उसे पाइप|का उपयोग करना चाहिए। वह सीखता है कि एक टेबल को ठीक से बंद होना चाहिए, अन्यथा पूरा दस्तावेज़ टूट जाएगा। वह रचनात्मक होना बंद कर देता है और सटीक बनना शुरू कर देता है।
चरण 3: "रेफरी" का अभ्यास (Format-Constrained GRPO)
यही असली जादू है। यहाँ तक कि स्मार्ट मॉडल भी कभी-कभी धोखाधड़ी या लापरवाही करते हैं।
- क्या होता है: वे GRPO (Group Relative Policy Optimization) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि मॉडल एक दस्तावेज़ के 5 अलग-अलग संस्करण बनाता है। एक "रेफरी" (सख्त नियमों का एक सेट) उनकी जांच करता है:
- क्या गणितीय सूत्र कंपाइल हुआ? (यदि नहीं, तो -10 अंक)।
- क्या टेबल में हर पंक्ति में कॉलम की संख्या समान थी? (यदि नहीं, तो -10 अंक)।
- क्या सभी ब्रैकेट बंद हुए? (यदि नहीं, तो -10 अंक)।
- उपमा: यह एक वीडियो गेम की तरह है जहाँ मॉडल को उच्च स्कोर तभी मिलता है जब वह नियमों का पूरी तरह से पालन करता है। यदि वह एक नकली टेबल बनाकर सिस्टम को "हैक" करने की कोशिश करता है, तो रेफरी उसे तुरंत पकड़ लेता है। मॉडल सीखता है कि सामग्री जितनी महत्वपूर्ण है, संरचना भी उतनी ही महत्वपूर्ण है।
4. परिणाम: दिग्गजों को मात देना
टीम ने अपने नए मॉडल, FireRed-OCR का परीक्षण OmniDocBench नामक एक कठिन बेंचमार्क पर किया।
- आश्चर्य: FireRed-OCR एक अपेक्षाकृत छोटा मॉडल है (केवल 2 बिलियन पैरामीटर्स)। इसकी तुलना Qwen3-VL-235B (235 बिलियन पैरामीटर्स) या Gemini जैसे दिग्गजों से करें, जो बहुत विशाल हैं।
- परिणाम: FireRed-OCR जीत गया। इसने 92.94% स्कोर किया, और विशाल जनरल मॉडल्स और यहाँ तक कि उन विशिष्ट "पाइपलाइन" सिस्टमों को भी पीछे छोड़ दिया जो काम करने के लिए कई अलग-अलग टूल्स का उपयोग करते हैं।
- यह क्यों मायने रखता है: यह साबित करता है कि दस्तावेज़ों को पूरी तरह से पढ़ने के लिए आपको सुपर-कंप्यूटर के आकार के दिमाग की आवश्यकता नहीं है। आपको बस सही प्रशिक्षण डेटा और सही "बूट कैंप" रणनीति की आवश्यकता है।
सारांश: "FireRed" का जादू
FireRed-OCR को एक प्रतिभाशाली लेकिन अव्यवस्थित कलाकार को एक सटीक आर्किटेक्ट (वास्तुकार) में बदलने के रूप में देखें।
- ज्यामिति फैक्ट्री: उन्होंने आर्किटेक्ट को हर संभव इमारत के ब्लूप्रिंट की लाइब्रेरी दी, न कि केवल आसान वाले।
- तीन-चरणीय प्रशिक्षण: उन्होंने आर्किटेक्ट को पहले मापना, फिर ड्राफ्ट बनाना, और अंत में, एक सख्त बिल्डिंग कोड निरीक्षण पास करना सिखाया।
- परिणाम: एक ऐसा मॉडल जो केवल यह "अनुमान" नहीं लगाता कि दस्तावेज़ क्या कहता है, बल्कि उसे पिक्सेल-परफेक्ट सटीकता के साथ पुनर्गठित करता है, यह सुनिश्चित करता है कि प्रत्येक टेबल, सूत्र और पैराग्राफ बिल्कुल वहीं हो जहाँ उसे होना चाहिए।
उन्होंने अपना कोड और मॉडल ओपन-सोर्स कर दिया है, जिसका अर्थ है कि अब कोई भी इस "आर्किटेक्ट" का उपयोग करके अस्त-व्यस्त स्कैन को पूर्ण, उपयोगी डिजिटल दस्तावेज़ों में बदल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।