💬 NLP

ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law

यह शोध पत्र ImmigrationQA प्रस्तुत करता है, जो अमेरिकी आव्रजन नियमों से प्राप्त 17,000 से अधिक प्रश्न-उत्तर युग्मों का एक स्रोत-आधारित डेटासेट है, और यह प्रदर्शित करता है कि इस डेटा पर एक छोटे 3B-पैरामीटर वाले Llama 3.2 मॉडल को फाइन-ट्यून करने से बड़े बेस मॉडल्स की तुलना में प्रक्रियात्मक आव्रजन प्रश्नों पर इसके प्रदर्शन में काफी सुधार होता है, और वह भी कम कम्प्यूटेशनल लागत बनाए रखते हुए।

मूल लेखक: Nazarii Shportun

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nazarii Shportun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि अमेरिकी आव्रजन (immigration) प्रणाली एक विशाल, निरंतर बदलती हुई लाइब्रेरी की तरह है। इसके अंदर हजारों किताबें, नियम पुस्तिकाएं और पर्चे हैं जो बहुत ही विशिष्ट और जटिल भाषा में लिखे गए हैं। यदि आप अमेरिका जाना चाहते हैं, तो आपको ठीक उसी पन्ने को ढूंढना होगा जो आपको बताता है कि कौन सा फॉर्म भरना है, कितनी राशि देनी है, और उसे कब भेजना है। लेकिन यह लाइब्रेरी बहुत बड़ी है, नियम अक्सर बदलते रहते हैं, और अधिकांश लोगों के पास रास्ता दिखाने के लिए कोई लाइब्रेरियन (वकील) नहीं होता।

यह शोध पत्र एक स्मार्ट, जेब में रखे जाने वाले गाइडबुक के निर्माण के बारे में है जो लोगों को उस लाइब्रेरी में रास्ता खोजने में मदद करेगा, लेकिन इसमें एक बहुत ही महत्वपूर्ण चेतावनी है: यह एक सहायक है, वकील नहीं।

यहाँ बताया गया है कि शोधकर्ताओं ने इसे कैसे बनाया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. कच्चा माल इकट्ठा करना (द "लाइब्रेरी क्रॉल")

शोधकर्ताओं ने केवल अनुमान नहीं लगाया। वे वास्तव में आधिकारिक नियम पुस्तकें एकत्र करने के लिए बाहर निकले।

स्रोत: उन्होंने 11 अलग-अलग प्रकार के दस्तावेज़ जुटाए, जो भारी, आधिकारिक "संविधान-शैली" के कानूनों (जैसे USCIS पॉलिसी मैनुअल) से लेकर सामुदायिक मंचों (forums) तक थे जहाँ लोग एक-दूसरे से प्रश्न पूछते हैं।
सफाई: उन्होंने 10,000 से अधिक दस्तावेज़ पाए। उन्होंने उन्हें साफ किया, डुप्लिकेट हटाए (जैसे एक ही किताब की दो प्रतियां मिलना), और उन्हें छोटे, प्रबंधनीय "टुकड़ों" (chunks) में काट दिया (जैसे एक लंबे उपन्यास को व्यक्तिगत अध्यायों में काटना)।
परिणाम: उनके पास 18,000 छोटे टेक्स्ट स्निपेट्स (snippets) थे, जिन्हें ठीक से टैग किया गया था कि वे कहाँ से आए हैं।

2. रोबोट को सिखाना (द "प्रश्न और उत्तर फैक्ट्री")

अब उनके पास टेक्स्ट का ढेर था, लेकिन प्रश्न नहीं थे। उन्हें कंप्यूटर को यह सिखाना था कि उसने जो पढ़ा है उसके आधार पर ही प्रश्न कैसे पूछे और उत्तर कैसे दिए जाएँ।

शिक्षक: उन्होंने एक बहुत ही स्मार्ट AI (Claude Sonce) का उपयोग एक शिक्षक के रूप में किया। उन्होंने स्मार्ट AI को एक टेक्स्ट का टुकड़ा दिया और कहा, "इसे पढ़ो और केवल इसी टेक्स्ट के आधार पर एक प्रश्न और एक सही उत्तर बनाओ।"
सुरक्षा जांच: उन्होंने एक सख्त फिल्टर लगाया। यदि स्मार्ट AI ने ऐसा उत्तर बनाया जो वास्तव में टेक्स्ट में मौजूद नहीं था (एक "भ्रम" या hallucination), तो उन्होंने उस जोड़ी को फेंक दिया। उन्होंने यह सुनिश्चित करने के लिए इसे 22 बार किया कि डेटा ईमानदार रहे।
डेटासेट: इस प्रक्रिया ने आव्रजन के 13 विभिन्न क्षेत्रों (जैसे पारिवारिक वीज़ा, शरण, या यात्रा दस्तावेज़) को कवर करने वाले 17,058 प्रश्नों और उत्तरों का एक विशाल फ्लैशकार्ड डेक तैयार किया।

3. "पॉकेट गाइड" को प्रशिक्षित करना (द "छोटा छात्र")

उन्होंने एक विशाल, महंगे सुपर-कंप्यूटर को प्रशिक्षित करने की कोशिश नहीं की। इसके बजाय, उन्होंने एक छोटे, हल्के मॉडल (Llama 3.2 3B) को प्रशिक्षित किया। इसे एक स्मार्ट हाई स्कूल छात्र को प्रशिक्षित करने के बजाय एक पीएचडी प्रोफेसर को प्रशिक्षित करने के रूप में समझें।

विधि: उन्होंने LoRA तकनीक का उपयोग किया। कल्पना कीजिए कि आप छात्र को उसके पूरे मस्तिष्क को फिर से लिखने के लिए मजबूर करने के बजाय, उसे नए आव्रजन नियमों के साथ "स्टिक नोट्स" का एक सेट दे रहे हैं। यह सस्ता और तेज़ है।
लागत: पूरी प्रक्रिया में क्लाउड कंप्यूटिंग शुल्क के रूप में लगभग $29 खर्च हुए। यह दो लोगों के रात्रिभोज से भी कम है।

4. टेस्ट ड्राइव (द "रिपोर्ट कार्ड")

उन्होंने प्रशिक्षित "पॉकेट गाइड" को 101 छिपे हुए प्रश्नों के विरुद्ध टेस्ट किया।

प्रतिस्पर्धी:
1. अप्रशिक्षित छात्र: वही छोटा मॉडल जिसे कुछ भी सीखने से पहले प्रशिक्षित नहीं किया गया था (स्कोर: 0.85/3)।
2. बड़ा प्रोफेसर: एक बहुत बड़ा, अप्रशिक्षित मॉडल (Llama 3 8B) (स्कोर: 0.85/3)।
3. विशेषज्ञ: एक शीर्ष स्तर का AI (Claude Sonnet) जिसने विशिष्ट कार्डों का अध्ययन नहीं किया था लेकिन केवल अपनी सामान्य बुद्धिमत्ता का उपयोग किया (स्कोर: 1.52/3)।
4. हमारा प्रशिक्षित छात्र: वह छोटा मॉडल जिसने 17,000 फ्लैशकार्ड्स का अध्ययन किया (स्कोर: 1.08/3)।

परिणाम:

प्रशिक्षित छात्र अपने ही अप्रशिक्षित संस्करण की तुलना में 27% बेहतर प्रदर्शन कर रहा था।
इसने 16.8% उत्तरों को "पूरी तरह से सही" पाया, जबकि अप्रशिक्षित संस्करण के लिए यह केवल 4% था।
जहाँ यह चमका: यह "प्रक्रियात्मक" (procedural) प्रश्नों में बहुत अच्छा था, जैसे "मैं यात्रा दस्तावेज़ के लिए कौन सा फॉर्म उपयोग करता हूँ?" या "मैं अपनी स्थिति कैसे बदलूँ?" ये किसी रेसिपी (विधि) का पालन करने जैसा है।
जहाँ इसे संघर्ष करना पड़ा: यह अभी भी जटिल कानूनी तर्क (जैसे "इस विशिष्ट अदालती मामले ने इस तरह से निर्णय क्यों लिया?") या बहुत हालिया सांख्यिकी के बारे में प्रश्नों पर कमजोर था। यह कभी-कभी "मानवीय" या "शरण" (asylum) के मामलों में भी भ्रमित हो जाता था, जिनमें एक साधारण रेसिपी की तुलना में अधिक सूक्ष्मता (nuance) की आवश्यकता होती है।

बड़ी चेतावनियाँ (द "फाइन प्रिंट")

लेखक इस बारे में बहुत स्पष्ट हैं कि यह उपकरण क्या नहीं है:

यह वकील नहीं है। यह आपकी विशिष्ट स्थिति के लिए कानूनी सलाह नहीं दे सकता।
यह एकदम ताज़ा (up-to-the-minute) नहीं है। नियमों की लाइब्रेरी जिसका उन्होंने उपयोग किया था, वह एक विशिष्ट तिथि पर "फ्रीज" थी। यदि सरकार कल कोई शुल्क या फॉर्म नंबर बदल देती है, तो यह गाइड उसे नहीं जान पाएगा।
यह गलतियाँ कर सकता है। टेस्ट में, इसने कभी-कभी ऐसी तारीख या संख्या का अनुमान लगाया जो सुनने में सही लगी लेकिन गलत थी (जैसे युद्ध समाप्त होने की तारीख को किसी विशिष्ट कानून में बदलाव की तारीख के साथ मिला देना)।

निचोड़ (The Bottom Line)

शोधकर्ताओं ने एक सार्वजनिक रूप से उपलब्ध, कम लागत वाला टूलकिट बनाया है जो दिखाता है कि आप एक छोटे, सस्ते कंप्यूटर को जटिल आव्रजन नियमों को समझने के लिए प्रशिक्षित कर सकते हैं, यदि आप उसे आधिकारिक स्रोतों से सही "फ्लैशकार्ड्स" दें। यह कानूनी जानकारी को अधिक सुलभ बनाने की दिशा में एक बड़ा कदम है, लेकिन यह एक अध्ययन सहायता (study aid) है, न कि एक योग्य वकील का विकल्प।

सारा कोड, डेटा और मॉडल डाउनलोड करने और उपयोग करने के लिए सभी के लिए मुफ्त है, बिल्कुल एक सार्वजनिक लाइब्रेरी की किताब की तरह।

तकनीकी सारांश: ImmigrationQA और लघु-मॉडल अनुकूलन (Small-Model Adaptation) अमेरिकी आप्रवासन कानून के लिए

समस्या विवरण
अमेरिकी आप्रवासन कानून एक प्रक्रियात्मक रूप से सघन क्षेत्र है जिसके याचिकाकर्ताओं, विशेष रूप से उन लोगों के लिए उच्च व्यावहारिक निहितार्थ होते हैं जिनके पास कानूनी प्रतिनिधित्व का अभाव है। प्रासंगिक जानकारी आधिकारिक नीति (USCIS पॉलिसी मैनुअल), संघीय विनियमों (8 CFR), केस लॉ (BIA मिसालें), और बार-बार बदलते प्रक्रियात्मक मार्गदर्शन के हजारों पृष्ठों में बिखरी हुई है। सामान्य-उद्देश्य वाले लार्ज लैंग्वेज मॉडल्स (LLMs) इस डोमेन में संघर्ष करते हैं, जो अक्सर फॉर्म नंबरों को भ्रमित करते हैं, समय-सीमाओं को गलत बताते हैं, और विभिन्न वीज़ा श्रेणियों के आवश्यकताओं को आपस में मिला देते हैं। पहचाना गया मुख्य कठिनाई डेटा की कमी है: जबकि आधिकारिक मार्गदर्शन सार्वजनिक रूप से उपलब्ध है, यह अधिकांश LLMs के प्रीट्रेनिंग कॉर्पोरा में इसकी प्रक्रियात्मक जटिलता के सापेक्ष विरल है, जिससे मतिभ्रम (hallucinations) और तथ्यात्मक त्रुटियां होती हैं।

कार्यप्रणाली
यह शोध पत्र एक दो-भाग वाली कार्यप्रणाली के माध्यम से इस अंतर को संबोधित करता है: एक स्रोत-आधारित (source-grounded) डेटासेट का निर्माण और एक लघु भाषा मॉडल का पैरामीटर-कुशल फाइन-ट्यूनिंग (parameter-efficient fine-tuning)।

कॉर्पस निर्माण (ImmigrationQA):
- स्रोत: डेटासेट को 11 प्राथमिक और माध्यमिक स्रोतों से संकलित किया गया था, जिसमें USCIS पॉलिसी मैनुअल, 8 CFR, BIA मिसाल निर्णय, और सामुदायिक फ़ोरम (गैर-प्राधिकृत के रूप में लेबल किए गए) शामिल हैं। इससे 10,056 वैध कैनोनिकल दस्तावेज़ और 18,308 टेक्स्ट चंक्स (text chunks) प्राप्त हुए।
- जनरेशन (Generation): इन चंक्स से संरचित प्रश्न-उत्तर (QA) जोड़े Amazon Bedrock के माध्यम से Claude Sonnet 4.6 का उपयोग करके बनाए गए। स्रोत प्रकार के आधार पर पांच जनरेशन मोड (जैसे, faq, rule, form, precedent, statistics) को परिभाषित किया गया था, जिनमें से प्रत्येक के लिए अलग-अलग प्रॉम्प्ट थे।
- वैधीकरण (Validation): एक कठोर फ़िल्टरिंग प्रक्रिया ने उन जोड़ों को खारिज कर दिया जहाँ उत्तर का स्रोत स्पैन (source span) के साथ कोई लेक्सिकल ओवरलैप नहीं था (मतिभ्रम को कम करने के लिए) या जो बहुत छोटा था। इसके परिणामस्वरूप 13 आप्रवासन उप-डोमेन में 17,058 QA जोड़े प्राप्त हुए। प्रत्येक जोड़े को मेटाडेटा के साथ एनोटेट किया गया है जिसमें उत्तर का प्रकार, उप-विषय, अधिकार स्तर और समय-संवेदनशीलता फ्लैग शामिल है।
मॉडल अनुकूलन (Model Adaptation):
- आर्किटेक्चर: एक Llama 3.2 3B Instruct मॉडल को लो-रैंक एडाप्टेशन (LoRA) का उपयोग करके फाइन-ट्यून किया गया।
- कॉन्फ़िगरेशन: प्रशिक्षण में रैंक ( $r$ ) 32 और अल्फा 64 का उपयोग किया गया, जिसका लक्ष्य सभी चार अटेंशन प्रोजेक्शन मैट्रिसेस को लक्षित करना था। प्रशिक्षण AWS SageMaker ml.g5.2xl2xarge इंस्टेंस पर 5e-5 लर्निंग रेट के साथ 2 एपोच (epochs) के लिए आयोजित किया गया।
- लागत दक्षता: डेटा जनरेशन और मॉडल प्रशिक्षण सहित संपूर्ण पाइपलाइन की क्लाउड कंप्यूट लागत लगभग $29 आई।
मूल्यांकन:
- सेटअप: फाइन-ट्यून किए गए मॉडल का मूल्यांकन 993 जोड़ों के होल्ड-आउट स्प्लिट (विस्तृत स्कोरिंग के लिए 101-उदाहरण स्ट्रैटिफाइड सैंपल का उपयोग करते हुए) के विरुद्ध किया गया।
- बेसलाइन: प्रदर्शन की तुलना Llama 3 8B बेस मॉडल (जीरो-शॉट) और एक जीरो-शॉट Claude Sonnet 4.6 बेसलाइन से की गई।
- मीट्रिक: एक "LLM-as-judge" प्रतिमान का उपयोग किया गया, जहाँ Claude Sonnet 4.6 ने तथ्यात्मक शुद्धता और पूर्णता के आधार पर 0–3 के रूब्रिक पर भविष्यवाणियों को स्कोर किया।

मुख्य परिणाम

प्रदर्शन लाभ: फाइन-ट्यून किए गए 3B मॉडल ने 1.08/3.0 का औसत स्कोर प्राप्त किया, जो Llama 3 8B बेस मॉडल (0.85/3.0) की तुलना में 27% का सापेक्ष सुधार है। पूरी तरह से सही दर (स्कोर 3) 4% से बढ़कर 16.8% हो गई।
उप-डोमेन भिन्नता: सुधार प्रक्रियात्मक उप-डोमेन जैसे कि ट्रैवल डॉक्यूमेंट्स (+1.00 औसत स्कोर), एडजस्टमेंट ऑफ स्टेटस, और नॉन-इमिग्रेंट वीज़ा में केंद्रित थे। इन क्षेत्रों में, फाइन-ट्यून किया गया मॉडल बेस मॉडल की तुलना में काफी बेहतर प्रदर्शन करता है, जो अक्सर शून्य के करीब स्कोर करता था।
सीमाएं: फाइन-ट्यून किया गया मॉडल उन जटिल उप-डोमेन में बेस मॉडल से खराब प्रदर्शन करता है जिनमें बहु-चरणीय कानूनी तर्क या विशिष्ट नियामक उद्धरणों की आवश्यकता होती है, जैसे कि रिमूवल (removal), मानवीय (humanitarian), प्रवेश निषेध (admissibility), और शरण (asylum)। यह समय-संवेदनशील सांख्यिकी और संख्यात्मक तथ्यों के लिए भी संघर्ष करता है, और अक्सर प्रशंसनीय लेकिन गलत मानों को प्रतिस्थापित करता है।
बेसलाइन तुलना: हालांकि फाइन-ट्यून किए गए मॉडल ने अपने बेस परिवार में सुधार किया, लेकिन यह जीरो-शॉट Claude Sonnet 4.6 बेसलाइन (1.52/3.0) को पार करने में सक्षम नहीं रहा, जो पैरामीटर काउंट और प्रीट्रेनिंग में अंतर को दर्शाता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसका प्राथमिक योगदान ImmigrationQA डेटासेट और पुनरुत्पादक (reproducible) पाइपलाइन है, जो कमोडिटी क्लाउड लागत पर आधिकारिक सरकारी स्रोतों से डोमेन-विशिष्ट, स्रोत-आधारित QA डेटा बनाने के लिए है। यह कार्य प्रदर्शित करता है कि:

10,000 से अधिक आप्रवासन दस्तावेजों का एक उच्च-गुणवत्ता वाला, ऑडिट योग्य कॉर्पस $30 से कम में संकलित और संरचित प्रशिक्षण डेटा में परिवर्तित किया जा सकता है।
इस डेटा पर एक छोटे (3B पैरामीटर) मॉडल को फाइन-ट्यून करने से बड़े, अन-ट्यून्ड बेस मॉडल्स की तुलना में प्रक्रियात्मक सटीकता में महत्वपूर्ण सुधार होता है, विशेष रूप से असतत (discrete), नियम-आधारित प्रश्नों के लिए।
यह दृष्टिकोण लघु-मॉडल कानूनी अनुकूलन के लिए एक आधार प्रदान करता है, हालांकि लेखक स्पष्ट रूप से कहते हैं कि परिणामी मॉडल कानूनी परामर्श का विकल्प नहीं है।

लेखक इस बात पर जोर देते हैं कि सिस्टम अपने स्टैटिक कॉर्पस (क्रॉल डेट पर फ्रीज किया गया) और अपनी पैरामेट्रिक प्रकृति (रिट्रीवल ऑग्मेंटेशन का अभाव) द्वारा सीमित है, जो इसे समय-संवेदनशील कानूनी सलाह या जटिल, बहु-चरणीय कानूनी तर्क के लिए अनुपयुक्त बनाता है। इस डोमेन में आगे के अनुसंधान का समर्थन करने के लिए डेटासेट, मॉडल, कोड और प्रॉम्प्ट सार्वजनिक रूप से जारी किए गए हैं।