Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production
यह शोध पत्र बड़े पैमाने पर डॉक्यूमेंट एआई (document AI) पाइपलाइनों को तैनात करने के लिए एक माइक्रोसर्विस आर्किटेक्चर और परिचालन अनुभव प्रस्तुत करता है, जो GPU और CPU कार्यों को अलग करने जैसे डिज़ाइन निर्णयों पर प्रकाश डालता है और यह प्रकट करता है कि मॉडल की जटिलता या वर्कर की संख्या के बजाय, OCR विलंबता (latency) और साझा GPU क्षमता उत्पादन (production) में प्राथमिक बाधाएं हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-स्पीड मेल सॉर्टिंग फैसिलिटी चलाते हैं। हर दिन, हजारों जटिल दस्तावेज़ आते हैं—कुछ मुड़े-तुड़े हैं, कुछ धुंधले हैं, कुछ बहु-पृष्ठीय अनुबंध (contracts) हैं, और कुछ सिर्फ रसीदों की तस्वीरें हैं। आपका लक्ष्य उन सबको पढ़ना, समझना कि वे क्या हैं, और उनसे विशिष्ट विवरण (जैसे तारीख, नाम, या राशि) निकालकर एक व्यवस्थित डिजिटल स्प्रेडशीट में डालना है।
यह पेपर बताता है कि कैसे Kungfu.ai की टीम ने ठीक यही करने के लिए एक "फैक्ट्री" बनाई, लेकिन एक ट्विस्ट के साथ: उन्हें एहसास हुआ कि सब कुछ एक विशाल मशीन (मोनोलिथ) के साथ करने की कोशिश करना धीमा, महंगा और टूटने के प्रति संवेदनशील था। इसके बजाय, उन्होंने एक माइक्रोसर्विस आर्किटेक्चर बनाया, जो उस फैक्ट्री को विशेषज्ञ श्रमिकों की एक टीम में बदलने जैसा है, जिनमें से प्रत्येक का अपना विशिष्ट कार्य है और वे एक कन्वेयर बेल्ट के माध्यम से दस्तावेज़ों को आगे बढ़ाते हैं।
यहाँ बताया गया है कि उनका सिस्टम कैसे काम करता है, इसे सरल रूप में समझाया गया है:
1. तीन विशिष्ट टीमें (माइक्रोसर्विसेज)
एक ही रोबोट द्वारा स्कैन करने, पढ़ने और सोचने का सारा काम एक साथ करने के बजाय, उन्होंने काम को तीन अलग-अलग टीमों में विभाजित किया है:
- द गेटवे (रिसेप्शनिस्ट):
यह मुख्य द्वार है। इसका एकमात्र काम बाहरी दुनिया से दस्तावेज़ लेना, तस्वीरों को एक डिजिटल गोदाम (ऑब्जेक्ट स्टोरेज) में सुरक्षित रूप से स्टोर करना, और एक क्यू (queue) में एक "टिकट" डालना है जिसमें लिखा हो, "हे, हमारे पास प्रोसेस करने के लिए एक नया दस्तावेज़ है!" यह कोई भारी काम नहीं करता; यह केवल प्रवाह का प्रबंधन करता है। यदि रिसेप्शनिस्ट बीमार हो जाता है, तो कोई नया मेल अंदर नहीं आता, लेकिन अंदर के कर्मचारी उनके पास पहले से मौजूद काम को करते रहते हैं। - द वर्कर्स (मैनेजर्स):
ये CPU-पावर्ड मैनेजर हैं। वे क्यू से टिकट उठाते हैं, दस्तावेज़ को देखते हैं, और तय करते हैं कि आगे क्या करने की आवश्यकता है। वे व्यवस्थित करने, उत्तरों का इंतजार करने और डेटा को इधर-उधर ले जाने में माहिर हैं, लेकिन वे भारी "सोचने" या "देखने" वाले कार्यों में बहुत अच्छे नहीं हैं। वे एक ऑर्केस्ट्रा के कंडक्टर की तरह कार्य करते हैं, विशेषज्ञों को बताते हैं कि कब बजना है। - द इन्फरेंस सर्विस (भारी काम करने वाले):
यह महंगी, सुपर-फास्ट GPU (ग्राफिक्स कार्ड) वाली टीम है। केवल उन्हें ही कठिन दृश्य कार्य करने की अनुमति है: OCR (धुंधली छवियों को टेक्स्ट में बदलना) और LLM पार्सिंग (टेक्स्ट को समझने और विशिष्ट फील्ड निकालने के लिए एक विशाल AI मस्तिष्क का उपयोग करना)। क्योंकि ये मशीनें महंगी हैं, टीम उन्हें अलग रखती है ताकि जब वर्कर्स केवल इंतजार कर रहे हों, तो उन्हें उनके लिए भुगतान न करना पड़े।
2. असेंबली लाइन (द पाइपलाइन)
जब एक दस्तावेज़ आता है, तो वह एक कार की असेंबली लाइन की तरह विशिष्ट चरणों के क्रम से गुजरता है:
- क्लासिफिकेशन (सॉर्टर):
सबसे पहले, सिस्टम को यह जानने की आवश्यकता है कि वह किस प्रकार का दस्तावेज़ है (जैसे, क्या यह एक इनवॉइस है या मेडिकल फॉर्म?)।- ट्रिक: वे एक "हाइब्रिड रणनीति" का उपयोग करते हैं। पहले, वे एक सस्ते, तेज़, स्थानीय AI (CLIP-KNN) का उपयोग करके प्रकार का अनुमान लगाते हैं। यह 92% सटीक है और मुफ्त है। यदि AI अनिश्चित है (70% से कम आत्मविश्वास), तब वे महंगे, सुपर-स्मार्ट AI (Claude Sonnet) को दोबारा जांच करने के लिए भेजते हैं। यह बहुत सारा पैसा बचाता है क्योंकि सस्ता AI अपने आप में 96% बार सही होता है।
- OCR (अनुवादक):
दस्तावेज़ एक छवि है। सिस्टम उस छवि को शब्द दर शब्द वास्तविक टेक्स्ट में बदलने के लिए GPU टीम का उपयोग करता है।- सरप्राइज: लेखकों ने पाया कि यह चरण सबसे बड़ा बॉटलनेक (रुकावट) है। इसमें सबसे अधिक समय लगता है। भले ही "सोचने वाला" AI (LLM) जटिल है, वह पूरे दस्तावेज़ के लिए केवल एक बार टेक्स्ट पढ़ता है। इसके विपरीत, OCR को हर एक पेज को व्यक्तिगत रूप से देखना पड़ता है। यह एक पूरी किताब पढ़ने (तेज़) बनाम एक-एक शब्द का अनुवाद करने (धीमा) के बीच के अंतर जैसा है।
- टेक्स्ट स्टिचिंग (ग्लूअर/चिपकाने वाला):
यदि किसी दस्तावेज़ में 10 पृष्ठ हैं, तो सिस्टम पृष्ठ 1 से टेक्स्ट लेता है, फिर पृष्ठ 2 से, और इसी तरह, उन्हें एक लंबी कहानी में चिपका देता है। - स्ट्रक्चर्ड पार्सिंग (एक्सट्रैक्टर):
अंत में, "सोचने वाला AI" (LLM) चिपकाए गए टेक्स्ट को पढ़ता है और एक डिजिटल फॉर्म (जैसे JSON फ़ाइल) भरता है जिसमें विशिष्ट डेटा होता है (जैसे, "इनवॉइस डेट: 2023-10-01")।
3. सीक्रेट सॉस: वे कैसे स्केल करते हैं
पेपर उन दो प्रमुख "अहा!" क्षणों को उजागर करता है जो उन्हें इस सिस्टम को चलाते समय मिले:
- बॉटलनेक 'आंखें' हैं, 'दिमाग' नहीं:
सभी ने माना था कि "सोचने वाला AI" (LLM) धीमा हिस्सा होगा। वे गलत थे। "आंखें" (OCR) धीमी हिस्सा थीं। चूंकि OCR बॉटलनेक है, इसलिए उन्हें एहसास हुआ कि उन्हें केवल मैनेजर (वर्कर्स) जोड़ने के बजाय विशेष रूप से OCR के लिए GPU टीम को स्केल करने की आवश्यकता है। यदि आप अधिक मैनेजर जोड़ते हैं लेकिन अधिक "आंखें" नहीं, तो मैनेजर बस इंतजार करते हुए बैठे रहेंगे। - क्यू (Queue) एक सुरक्षा जाल है:
वे एक मैसेज क्यू (एक डिजिटल वेटिंग रूम की तरह) का उपयोग करते हैं। यदि "भारी काम करने वाले" व्यस्त हैं, तो दस्तावेज़ लाइन में प्रतीक्षा करते हैं। यह सिस्टम को क्रैश होने से रोकता है। इसका मतलब यह भी है कि यदि एक वर्कर क्रैश हो जाता है, तो दस्तावेज़ बस लाइन में वापस चला जाता है ताकि उसे किसी और द्वारा उठाया जा सके, जिससे यह सुनिश्चित होता है कि कुछ भी खो न जाए।
4. परिणाम
इस आर्किटेक्चर का उपयोग करके, उन्होंने दो अद्भुत चीजें हासिल कीं:
- लागत: उन्होंने एक पेज को प्रोसेस करने की लागत 0.001 (10 गुना कमी) कर दी। उन्होंने यह किया क्योंकि उन्होंने अधिकांश कार्यों के लिए सस्ते AI का उपयोग किया और केवल तभी महंगे AI के लिए भुगतान किया जब वास्तव में आवश्यक था।
- विश्वसनीयता: उन्होंने प्रति घंटे हजारों पृष्ठों को प्रोसेस करते हुए 96% सटीकता बनाए रखी।
सारांश
पेपर यह तर्क देता है कि प्रोडक्शन AI सिस्टम बनाना केवल सबसे स्मार्ट मॉडल रखने के बारे में नहीं है; यह इंजीनियरिंग के बारे में है। आपको "सोचने" को "व्यवस्थित करने" से अलग करना होगा, ट्रैफ़िक प्रबंधित करने के लिए क्यू का उपयोग करना होगा, और यह समझना होगा कि आपके प्रोसेस का सबसे धीमा हिस्सा (इस मामले में, टेक्स्ट पढ़ना) वह है जिसे आपको अनुकूलित (optimize) करने की आवश्यकता है, न कि वह हिस्सा जिसे आप सबसे जटिल समझते हैं।
उन्होंने एक अराजक, महंगी प्रक्रिया को एक सुव्यवस्थित, लागत प्रभावी फैक्ट्री में बदल दिया जहाँ प्रत्येक कार्यकर्ता जानता है कि उसे क्या करना है और महंगी मशीनों का उपयोग केवल तभी किया जाता है जब वास्तव में उनकी आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।