Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study
यह शोध पत्र एक संयुक्त अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि एक एकल Apple M5 Max पर Qwen3.6-27B मॉडल के ऑन्टोलॉजी-एम्प्लीफाइड डिस्टिलेशन से प्राप्त वियतनामी वित्तीय कार्य ग्राउंडिंग, GPT-5 बेसलाइन के तुलनीय है लेकिन श्रेष्ठता सिद्ध करने के लिए इसमें सांख्यिकीय शक्ति का अभाव है, जबकि एक समवर्ती कॉन्टेक्सचुअलिटी-ऑडिट पायलट नकारात्मक परिणाम देता है जो शून्य अवशिष्ट कॉन्टेक्सचुअलिटी को इंगित करता है, जो सामूहिक रूप से संप्रभु उद्यम भाषा मॉडलों के लिए तैनात करने योग्यता, सुरक्षा या सांख्यिकीय समानता स्थापित करने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप वियतनाम में एक बहुत ही सख्त बैंक चला रहे हैं। नियम कहते हैं कि आप अपने ग्राहकों की गुप्त अकाउंट फाइलें किसी दूसरे देश के विशाल, सुपर-स्मार्ट एआई क्लाउड सर्वर को नहीं भेज सकते। आपको सब कुछ अपनी ही इमारत के अंदर रखना होगा। लेकिन समस्या यह है कि आपके अपने कंप्यूटरों पर चलने वाला "लोकल" एआई आमतौर पर उस विशाल क्लाउड एआई जितना स्मार्ट नहीं होता है।
यह शोध पत्र एक बड़ा सवाल पूछता है: क्या हम अपने स्थानीय, छोटे एआई को बैंक की विशिष्ट नियमावली (rulebook) का पालन करने में एक विशाल क्लाउड एआई जितना ही अच्छा बनने के लिए प्रशिक्षित कर सकते हैं?
शोधकर्ताओं ने "ऑन्टोलॉजी-एम्प्लीफाइड डिस्टिलेशन" (Ontology-Amplified Distillation) नामक एक चतुर तरकीब आजमाई। इसे ऐसे सोचिए: कल्पना कीजिए कि विशाल क्लाउड एआई एक मास्टर शेफ है जो सब कुछ बनाना जानता है। लोकल एआई एक जूनियर शेफ है। केवल जूनियर शेफ को यह बताने के बजाय कि "मास्टर की नकल करो," उन्होंने जूनियर शेफ को एक विशेष, हाइलाइट किया हुआ रेसिपी कार्ड (ऑन्टोलॉजी) दिया जिसमें ठीक से सूचीबद्ध किया गया था कि एक विशिष्ट व्यंजन के लिए किन सामग्रियों (शब्दों) का उल्लेख किया जाना अनिवार्य है। फिर उन्होंने जूनियर शेफ को मास्टर के जवाबों के साथ और मास्टर के जवाबों के बिना (रेसिपी कार्ड के बिना) दिखाकर प्रशिक्षित किया, और जूनियर शेफ को केवल तभी पुरस्कृत किया जब उसने कार्ड का सही ढंग से उपयोग किया।
परिणाम: जीत नहीं, बल्कि बराबरी
जब उन्होंने जूनियर शेफ (एक मॉडल जिसे Qwen3.6-27B कहा जाता है) को एक एकल एप्पल एम5 मैक्स (Apple M5 Max) कंप्यूटर पर केवल 47 काल्पनिक अभ्यास प्रश्नों पर प्रशिक्षित किया, तो उन्होंने उसका परीक्षण किया। उन्होंने उसे वियतनामी भाषा में 40 वास्तविक बैंकिंग प्रश्न दिए।
यहाँ स्कोर है:
- लोकल जूनियर शेफ: 40 में से 36 सवालों के सही जवाब दिए (यानी इसने आवश्यक नियम पुस्तिका के शब्दों का उल्लेख किया)।
- विशाल क्लाउड शेफ (GPT-5): यह भी 40 में से 36 सवालों के सही जवाब दे पाया।
वे बराबर रहे! लोकल मॉडल इस विशिष्ट परीक्षण पर विशाल मॉडल के बराबर पहुँचने में सफल रहा।
लेकिन रुकिए, अभी जश्न न मनाएं
यह शोध पत्र बहुत सावधानी से कहता है कि इसे "जीत" या "बड़ी सफलता" नहीं कहना चाहिए। इसके कारण यहाँ दिए गए हैं:
- यह एक छोटा नमूना है: परीक्षण में केवल 40 प्रश्न थे। लेखक कहते हैं कि यह साबित करने के लिए बहुत कम है कि वे बिल्कुल समान हैं। यह एक सिक्का 40 बार उछालने और 20 बार हेड और 20 बार टेल आने जैसा है; यह समान दिखता है, लेकिन आप 100% सुनिश्चित नहीं हो सकते कि सिक्का निष्पक्ष है। गणित बताता है कि वास्तविक अंतर 4 सवालों के अंतर तक कुछ भी हो सकता है।
- परीक्षण आसान था: परीक्षण यह नहीं पूछ रहा था कि उत्तर सही या पूर्ण हैं या नहीं। इसने केवल यह पूछा: "क्या आपने नियम पुस्तिका के जादू वाले शब्दों में से कम से कम एक का उल्लेख किया?" यह एक छात्र को केवल इस आधार पर ग्रेड देने जैसा है कि क्या उसने फल के बारे में निबंध में "सेब" शब्द लिखा है, न कि इस आधार पर कि निबंध का कोई अर्थ है या नहीं।
- प्रशिक्षण नकली था: जूनियर शेफ को सिखाने के लिए उपयोग किए गए अभ्यास प्रश्न कंप्यूटर द्वारा बनाए गए थे, अंग्रेजी में लिखे गए थे, और स्वास्थ्य सेवा एवं बीमा के बारे में थे—न कि उन वास्तविक बैंकिंग प्रश्नों के बारे में जिनका परीक्षण किया गया था। पेपर स्वीकार करता है कि यह एक "प्रूफ ऑफ मैकेनिज्म" (यह दिखाना कि विचार सिद्धांत रूप में काम करता है) है, न कि "डिप्लॉयमेंट क्लेम" (यह साबित करना कि यह वास्तविक जीवन के लिए तैयार है)।
- कोई "सुपर" शक्ति नहीं: अध्ययन से पहले, शोधकर्ताओं को उम्मीद थी कि स्थानीय मॉडल वास्तव में विशाल मॉडल को पछाड़ देगा क्योंकि नियम पुस्तिका बड़े मॉडलों की तुलना में छोटे मॉडलों की अधिक मदद करती है। ऐसा नहीं हुआ। वे बस बराबर रहे।
दूसरा भाग: "कन्फ्यूजन" (भ्रम) डिटेक्टर
पेपर ने एक दूसरे विचार का भी परीक्षण किया: एक "कॉन्टेक्स्टुअलिटी ऑडिट" (Contextuality Audit)। कल्पना कीजिए कि आप एआई से एक ही सवाल पूछते हैं लेकिन उसकी भूमिका बदल देते हैं (जैसे, "एक रिस्क मैनेजर के रूप में कार्य करें" बनाम "एक सेल्सपर्सन के रूप में कार्य करें")। कभी-कभी उत्तर बदल जाता है। क्या यह इसलिए है क्योंकि एआई भ्रमित और अविश्वसनीय है? या यह सिर्फ नई भूमिका के प्रति प्रतिक्रिया दे रहा है?
शोधकर्ताओं ने 576 आउटपुट के साथ एक पायलट टेस्ट चलाया। उन्होंने पाया कि जिसे "भ्रम" समझा जा रहा था, वह वास्तव में एआई की नई भूमिका या प्रश्न पूछने के तरीके के प्रति प्रतिक्रिया थी। एक बार जब उन्होंने इसके लिए गणना कर ली, तो कोई बचा हुआ "भ्रम" या अजीब क्वांटम-जैसे व्यवहार नहीं बचा।
- निष्कर्ष: पेपर इस विचार को खारिज करता है कि एआई गुप्त रूप से "कॉन्टेक्स्टुअल" या डरावने, अप्रत्याशित तरीके से काम कर रहा है।
- सबक: यदि एआई अलग उत्तर देता है, तो घबराएं नहीं और तुरंत इंसान को न बुलाएं। पहले देखें कि क्या बदलाव केवल भूमिका या शब्दों के कारण था। यदि ऐसा था, तो यह सामान्य है। केवल तभी इंसान को बुलाएं जब उन चीजों को ठीक करने के बाद भी उत्तर अजीब बना रहे।
मुख्य निष्कर्ष
यह पेपर एक "प्रूफ ऑफ कॉन्सेप्ट" रिपोर्ट है। यह कहता है: "हे, हमने दिखाया है कि एक छोटा, स्थानीय एआई एक विशेष नियम पुस्तिका पद्धति का उपयोग करके एक विशिष्ट, संकीर्ण परीक्षण पर एक विशाल एआई के बराबर होने के लिए प्रशिक्षित किया जा सकता है। हमने यह भी दिखाया है कि हम एआई के उत्तरों में 'सामान्य प्रतिक्रिया' और 'वास्तविक भ्रम' के बीच अंतर कर सकते हैं।"
हालाँकि, लेखक बहुत स्पष्ट हैं: यह अभी वास्तविक दुनिया के लिए तैयार नहीं है। उन्होंने यह साबित नहीं किया है कि एआई सुरक्षित है, उन्होंने यह साबित नहीं किया है कि यह कठिन सवालों पर काम करता है, उन्होंने यह साबित नहीं किया है कि यह उन छोटे मॉडलों पर काम करता है जिन्हें वे वास्तव में उपयोग करना चाहते हैं, और उन्होंने यह भी साबित नहीं किया है कि यह वास्तविक मानव विशेषज्ञों के साथ काम करता है। यह एक पायलट द्वारा पहली बार विमान उड़ाने और सुरक्षित लैंडिंग करने जैसा एक आशाजनक पहला कदम है, लेकिन इससे पहले कि आप इसमें यात्री बैठाएं, आपको बहुत अधिक परीक्षणों की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।