LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4

तकनीकी सारांश: क्रॉस-लिंगुअल हस्तलिखित OCR के लिए LLM-संचालित AutoML

समस्या विवरण
विभिन्न लिपियों, जैसे कि अरबी, अंग्रेजी और फारसी, में हस्तलिखित पाठ पहचान (HTR) मशीन लर्निंग में एक महत्वपूर्ण चुनौती बनी हुई है, जिसका कारण अद्वितीय दृश्य जटिलताएं, जटिल स्ट्रोक पैटर्न और लेखन शैलियों में उच्च परिवर्तनशीलता है। पारंपरिक दृष्टिकोण काफी हद तक विशेषज्ञ-निर्देशित मॉडल डिजाइन, व्यापक मैनुअल प्रीप्रोसेसिंग और पुनरावृत्ति हाइपरपैरामीटर ट्यूनिंग पर निर्भर करते हैं। ये विधियाँ अक्सर समय लेने वाली, नई लिपियों के लिए स्केल करने में कठिन और असंगत परिणामों के प्रति संवेदनशील होती हैं। जबकि न्यूरल आर्किटेक्चर सर्च (NAS) और लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति ने उत्साहजनक संकेत दिखाए हैं, विशेष रूप से क्रॉस-लिंगुअल हस्तलिखित OCR के लिए डीप लर्निंग आर्किटेक्चर उत्पन्न करने और उन्हें परिष्कृत करने के लिए स्वतंत्र, क्लोज्ड-लूप एजेंटों के रूप में उनका अनुप्रयोग काफी हद तक अनछुआ रहा है।

कार्यप्रणाली
लेखक एक पूर्णतः स्वचालित, एंड-टू-एंड पाइपलाइन का प्रस्ताव करते हैं जो लार्ज लैंग्वेज मॉडल्स (विशेष रूप से GPT-5, GPT-4o, और Claude Sonnet 4) को स्वायत्त "AI आर्किटेक्ट्स" के रूप में उपयोग करती है। यह प्रणाली एक चार मुख्य चरणों वाले क्लोज्ड-लूप पुनरावृत्ति प्रक्रिया के माध्यम से संचालित होती है:

1. डेटा संग्रह और ऑग्मेंटेशन: पाइपलाइन EMNIST (अंग्रेजी), SADRI (फारसी), और AHCD (अरबी) डेटासेट्स का उपयोग करती है। डेटा को स्ट्रैटिफाइड सैंपलिंग के साथ टेंसर फॉर्मेट में मानकीकृत किया जाता है। प्रशिक्षण के दौरान कंप्यूटेशनल ओवरहेड को बढ़ाए बिना सामान्यीकरण (generalization) को बेहतर बनाने के लिए एक लाइटवेट ऑग्मेंटेशन रणनीति (रैंडम रोटेशन, शिफ्ट, ज़ूम) लागू की जाती है।
2. LLM-संचालित आर्किटेक्चर प्रस्ताव: प्रत्येक ट्रायल के प्रारंभ में, सिस्टम LLMs को डेटासेट मेटाडेटा (क्लास काउंट, इमेज डाइमेंशन) और, बाद के इटरेशन में, पिछले ट्रायल्स के प्रदर्शन मेट्रिक्स के साथ प्रॉम्प्ट करता है। LLMs एक संरचित JSON स्पेसिफिकेशन के साथ प्रतिक्रिया देते हैं जिसमें न्यूरल नेटवर्क आर्किटेक्चर (जैसे, Conv2D, BatchNorm, Dropout, Transformer ब्लॉक्स) और हाइपरपैरामीटर (ऑप्टिमाइज़र, लर्निंग रेट, बैच साइज) का विवरण होता है।
3. स्वचालित मॉडल निर्माण और प्रशिक्षण: JSON स्पेसिफिकेशन को पार्स किया जाता है और स्वचालित रूप से निष्पादन योग्य Keras मॉडल्स में परिवर्तित किया जाता है। इन मॉडल्स में मानक CNN से लेकर विजन ट्रांसफार्मर घटकों को शामिल करने वाले हाइब्रिड आर्किटेक्चर तक की रेंज शामिल है। मॉडल्स को कैटेगोरिकल क्रॉस-एन्ट्रॉपी लॉस के साथ कंपाइल किया जाता है और बिना मानवीय हस्तक्षेप के प्रशिक्षित किया जाता है।
4. मूल्यांकन और फीडबैक लूप: प्रशिक्षण पूरा होने पर, सिस्टम टेस्ट, वैलिडेशन और ट्रेनिंग सेट्स पर मॉडल का मूल्यांकन करता है, और सटीकता (accuracy), पैरामीटर काउंट, और इन्फरेंस लेटेंसी को रिकॉर्ड करता है। इन मेट्रिक्स को एक संरचित सारांश के रूप में LLM में वापस फीड किया जाता है। LLM अगले इटरेशन में अपने आर्किटेक्चरल प्रस्तावों को परिष्कृत करने के लिए इस फीडबैक का उपयोग करता है, जिससे एक स्व-सुधार (self-improving) लूप बनता है जो प्रत्येक विशिष्ट लिपि के लिए इष्टतम डिज़ाइन की ओर अग्रसर होता है।

प्रमुख योगदान

• एकीकृत क्रॉस-स्क्रिप्ट फ्रेमवर्क: यह कार्य एक एकल फ्रेमवर्क पेश करता है जो अरबी, अंग्रेजी और फारसी लिपियों को पहचानने में सक्षम है, जो बिना किसी मैनुअल पुनर्गठन के प्रत्येक की विशिष्ट संरचनात्मक और दृश्य जटिलताओं के अनुकूल होता है।
• जेनरेटिव एजेंट के रूप में LLM: उन कार्यों के विपरीत जहाँ LLMs का उपयोग केवल पहचान (recognition) या स्थिर उपकरणों के रूप में किया जाता है, यह दृष्टिकोण GPT-5, GPT-4o, और Claude Sonnet 4 को मॉडल डिस्कवरी के पूरे जीवनचक्र—प्रस्ताव से लेकर शोधन तक—के लिए स्टैंडअलोन एजेंट के रूप में नियोजित करता है।
• क्लोज्ड-लूप इटरेटिव रिफाइनमेंट: सिस्टम एक डायनेमिक फीडबैक लूप लागू करता है जहाँ LLMs ट्रायल-दर-ट्रायल परिणामों से सीखकर लेयर के प्रकार, गहराई, चौड़ाई और हाइपरपैरामीटर को समायोजित करते हैं, जिससे मैनुअल ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
• पारदर्शिता और पुनरुत्पादकता (Reproducibility): पाइपलाइन प्रत्येक ट्रायल का कड़ाई से दस्तावेजीकरण करती है, आर्किटेक्चर कॉन्फ़िगरेशन और प्रदर्शन मेट्रिक्स को संरचित प्रारूपों (JSON, CSV) में सहेजती है ताकि पूर्ण पुनरुत्पादकता सुनिश्चित की जा सके।

प्रायोगिक परिणाम
पाइपलाइन का मूल्यांकन तीनों लिपियों और तीन LLMs के लिए तीस स्वतंत्र ट्रायल्स में किया गया। मुख्य निष्कर्ष निम्नलिखित हैं:

• सटीकता (Accuracy): सिस्टम ने लगातार उच्च टेस्ट सटीकता वाले मॉडल्स की खोज की। GPT-4o ने अरबी के लिए उच्चतम औसत सटीकता (0.959) प्राप्त की, जबकि Claude Sonnet 4 फारसी के लिए अग्रणी रहा (0.946)। GPT-5 ने अरबी के लिए सर्वश्रेष्ठ-मामले की ट्रायल सटीकता 0.981 प्राप्त की। सभी मॉडल्स और लिपियों के लिए औसत सटीकता आम तौर पर 93% से अधिक रही।
• दक्षता और लेटेंसी: GPT-5 ने सबसे कॉम्पैक्ट आर्किटेक्चर (0.88M से 1.35M पैरामीटर्स) उत्पन्न किए, जबकि Claude Sonnet 4 ने बड़े मॉडल्स (9.28M पैरामीटर्स तक) बनाए। पैरामीटर काउंट में महत्वपूर्ण भिन्नता के बावजूद, इन्फरेंस लेटेंसी स्थिर और रियल-टाइम के अनुकूल (लगभग 40–44 ms) रही, जो यह सुझाव देती है कि रनटाइम लागत कच्चे पैरामीटर आकार के बजाय आर्किटेक्चरल डेप्थ द्वारा संचालित होती है।
• सामान्यीकरण (Generalization): वैलिडेशन कर्व्स ट्रेनिंग कर्व्स का बारीकी से पालन करते हैं (अंतर आमतौर पर 1–2% के भीतर), जो मजबूत सामान्यीकरण और ओवरफिटिंग के बिना प्रभावी रेगुलराइजेशन को दर्शाता है।
• तुलना: पूर्व कार्य (जैसे, Cerescu & Bumbu, 2024) की तुलना में, जिसने LLMs को लो-रिसोर्स लिपियों के लिए प्रत्यक्ष रिकग्निशन टूल के रूप में माना था, यह फ्रेमवर्क LLMs को ऑटोमेटेड मॉडल डिजाइन के लिए जेनेरेटिव एजेंट के रूप में उपयोग करता है, जिससे उच्च सटीकता और कई भाषाओं में पूर्ण स्वचालन प्राप्त होता है।

महत्व और दावे
पेपर का दावा है कि यह कार्य इस क्षमता को प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स अपने पारंपरिक भाषा प्रसंस्करण की भूमिका से ऊपर उठकर मशीन लर्निंग सिस्टम के स्वतंत्र डिजाइनरों के रूप में कार्य कर सकते हैं। क्रॉस-लिंगुअल हस्तलिखित OCR के लिए न्यूरल आर्किटेक्चर की खोज को स्वचालित करके, यह फ्रेमवर्क एक स्केलेबल, स्क्रिप्ट-एग्नोस्टिक और पूर्णतः स्वचालित समाधान प्रदान करता है। लेखक का तर्क है कि यह दृष्टिकोण OCR मॉडल विकास को काफी सरल बनाता है, डोमेन-विशिष्ट ह्यूरिस्टिक्स और विशेषज्ञ हस्तक्षेप पर निर्भरता को हटाता है, और विविध भाषाओं एवं डोमेन में OCR तकनीक के तीव्र, अनुकूलन योग्य परिनियोजन (deployment) के द्वार खोलता है। परिणाम यह प्रमाणित करते हैं कि LLM-संचालित आर्किटेक्चर सर्च प्रभावी रूप से प्रेडिक्टिव परफॉरमेंस, इन्फरेंस एफिशिएंसी और मॉडल कॉम्प्लेक्सिटी के बीच संतुलन बना सकता है।