Test Before You Deploy: Governing Updates in the LLM Supply Chain
यह शोध पत्र साइलेंट रिग्रेशन (silent regressions) को रोकने और आपूर्ति श्रृंखला विश्वसनीयता सुनिश्चित करने के लिए प्रोडक्शन कॉन्ट्रैक्ट्स, जोखिम-आधारित परीक्षण और कम्पैटिबिलिटी गेट्स के माध्यम से अपारदर्शी लार्ज लैंग्वेज मॉडल अपडेट को प्रबंधित करने हेतु एक डिप्लॉयमेंट-साइड गवर्नेंस फ्रेमवर्क प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने रेस्तरां के किचन को चलाने के लिए एक अत्यधिक कुशल शेफ को काम पर रखा है। आप उन्हें एक रेसिपी बुक (आपका सॉफ़्टवेयर कोड) और नियमों का एक सेट देते हैं: "सूप नमकीन होना चाहिए, स्टेक मीडियम-रेयर होना चाहिए, और बिल एक विशिष्ट प्रारूप में प्रिंट किया जाना चाहिए।"
पुराने दिनों में, यदि शेफ रेसिपी बदलता था, तो वे आपको एक नई, स्पष्ट रूप से लेबल की गई किताब (एक "वर्जन अपडेट") सौंप देते थे। आप नया बुक देने से पहले उसे चेक कर सकते थे।
लेकिन आधुनिक AI (लार्ज लैंग्वेज मॉडल्स या LLMs) के साथ, शेफ एक ऐसे क्लाउड किचन में काम कर रहा है जिसे आप देख नहीं सकते। रेस्तरां का मालिक (AI प्रदाता) गुप्त रूप से मसालों को बदल देता है, खाना पकाने का तापमान बदल देता है, या सुरक्षा नियमों में बदलाव कर देता है—और यह सब बिना आपको नई किताब दिए या आपको बताए भी नहीं कि उन्होंने क्या बदला है। वे बस कहते हैं, "शेफ अभी भी वही व्यक्ति है।"
यह लेख तर्क देता है कि यह खतरनाक है। यदि शेफ अचानक बहुत नमकीन सूप परोसने लगे, या बिल में गलतियाँ (typos) प्रिंट करने लगे, तो आपका रेस्तरां नुकसान उठाएगा। लेखक इसे "बिहेवियरल ड्रिफ्ट" (behavioral drift) कहते हैं—जब AI चुपचाप अपना व्यवहार बदल देता है, जिससे आपकी अपेक्षाएं टूट जाती हैं।
यहाँ उनके समाधान का सरल विवरण दिया गया है, जो रेस्तरां के उदाहरण का उपयोग करता है:
1. समस्या: "मौन" शेफ
लेख बताता है कि नियमित सॉफ़्टवेयर के विपरीत, AI मॉडल पर्दे के पीछे लगातार अपडेट होते रहते हैं।
- मुद्दा: आप आज एक ऐसा मॉडल उपयोग कर रहे होंगे जो बेहतरीन कोड लिखता है, और कल वही मॉडल (उसी नाम के साथ) ऐसा कोड लिख सकता है जो आपके सिस्टम को क्रैश कर दे या गलत फॉर्मेट प्रिंट कर दे।
- प्रमाण: लेखक उन वास्तविक उदाहरणों का उल्लेख करते हैं जहाँ AI मॉडल्स ने अचानक उन कार्यों को करने से मना करना शुरू कर दिया जो वे पहले कर सकते थे, या बिना किसी "वर्जन 2.0" घोषणा के टेक्स्ट में अजीब कैरेक्टर्स डालना शुरू कर दिया।
2. समाधान: एक "सर्व करने से पहले परीक्षण करें" फ्रेमवर्क
लेखक एक नया तरीका प्रस्तावित करते हैं जिससे रेस्तरां का मालिक (सॉफ्टवेयर कंपनी) क्लाउड किचन पर आँख मूँदकर भरोसा करने के बजाय नियंत्रण ले सके। वे तीन-चरणीय सुरक्षा प्रणाली का सुझाव देते हैं:
स्टेप A: "प्रोडक्शन कॉन्ट्रैक्ट" (नियम पुस्तिका)
इस उम्मीद के बजाय कि शेफ अच्छा होगा, आप ठीक से लिखते हैं कि क्या अनुमति है।
- उदाहरण: "यदि मैं एक JSON फ़ाइल मांगता हूँ, तो वह वैध JSON होनी चाहिए। यदि मैं कोड मांगता हूँ, तो उसे इन विशिष्ट सुरक्षा परीक्षणों को पास करना चाहिए।"
- क्यों: यह अस्पष्ट आशाओं को सख्त, मापने योग्य नियमों में बदल देता है।
स्टेप B: "रिस्क-कैटेगरी" स्वाद परीक्षण
केवल यह पूछने के बजाय कि, "क्या खाना अच्छा है?" (जो बहुत अस्पष्ट है), आप विशिष्ट उच्च-जोखिम वाले क्षेत्रों का अलग से परीक्षण करते हैं।
- उपमा: आप केवल पूरे भोजन का स्वाद नहीं लेते। आपके पास नमक (सुरक्षा) के लिए एक विशिष्ट टेस्टर है, प्लेटिंग (फॉर्मेटिंग) के लिए एक विशिष्ट टेस्टर है, और खाना पकाने के समय (लॉजिक) के लिए एक विशिष्ट टेस्टर है।
- पेपर का निष्कर्ष: जब उन्होंने इस तरह से विभिन्न AI मॉडल्स का परीक्षण किया, तो उन्होंने पाया कि जबकि "कुल स्वाद" ठीक लग रहा था, विशिष्ट "रिस्क कैटेगरीज़" (जैसे फॉर्मेटिंग या सुरक्षा) विफल हो गई थीं। एक मॉडल कहानियाँ लिखने में बेहतरीन हो सकता है लेकिन सख्त फॉर्मेटिंग नियमों का पालन करने में बहुत खराब हो सकता है, और एक सामान्य परीक्षण इसे पकड़ नहीं पाएगा।
C: "कम्पैटिबिलिटी गेट" (बाउंसर)
इससे पहले कि आप शेफ को अपने ग्राहकों को भोजन का नया बैच परोसने दें, आप उसे एक बाउंसर के माध्यम से गुजारते हैं।
- यह कैसे काम करता है: सिस्टम नए बैच को आपके "नियम पुस्तिका" (स्टेप A) और "स्वाद परीक्षणों" (स्टेप B) के विरुद्ध जांचता है।
- परिणाम: यदि नया बैच एक भी विशिष्ट नियम (जैसे, JSON थोड़ा सा भी टूटा हुआ है) में विफल रहता है, तो गेट अपडेट को ब्लॉक कर देता है। आप उस नए वर्जन को अपने प्रोडक्शन सिस्टम में तब तक नहीं आने देते जब तक कि आप समस्या को ठीक न कर लें या यह तय न कर लें कि यह सुरक्षित है।
3. उन्होंने वास्तव में क्या टेस्ट किया
लेखकों ने यह देखने के लिए कि क्या यह काम करता है, कुछ अलग-अलग AI मॉडल्स (जैसे क्लॉड) के साथ इसका परीक्षण किया।
- उन्होंने क्या किया: उन्होंने AI को सुरक्षा कोड लिखने, ईमेल वैलिडेट करने, या JSON फाइलें बनाने जैसे विशिष्ट कार्य दिए।
- उन्होंने क्या पाया: उन्होंने पाया कि मॉडल्स वास्तव में चुपचाप अपना व्यवहार बदलते हैं। उदाहरण के लिए, एक मॉडल ने सुरक्षा कारणों से अचानक खाली फाइलें लौटाना शुरू कर दिया, जबकि दूसरे ने कोड-ओनली मांगते समय अतिरिक्त स्पष्टीकरण टेक्स्ट जोड़ना शुरू कर दिया।
- मुख्य बात: उनके "रिस्क-कैटेगरी" परीक्षण ने इन विशिष्ट विफलताओं को खोज निकाला जिन्हें एक सामान्य "क्या यह काम कर रहा है?" चेक मिस कर देता।
4. शेष चुनौतियाँ (लेकिन...)
लेख स्वीकार करता है कि यह अभी तक एक पूर्ण उत्पाद नहीं है। उन्हें कुछ कठिन समस्याओं का सामना करना पड़ा:
- टेस्ट लिस्ट बनाना: परीक्षण के लिए प्रश्नों की एक आदर्श सूची बनाना कठिन है। नियमित सॉफ़्टवेयर में, आपके पास परीक्षण के लिए गणितीय नियम होते हैं; AI के साथ, आपको अनुमान लगाना पड़ता है कि क्या गलत हो सकता है।
- "शायद" की समस्या: AI अप्रत्याशित है। कभी-कभी यह एक परीक्षण पास करता है, और अगली बार जब आप बिल्कुल वही सवाल पूछते हैं, तो यह विफल हो जाता है। जब उत्तर हर बार बदल जाता है, तो आप नियम कैसे निर्धारित करते हैं?
- ब्लैक बॉक्स: चूंकि AI प्रदाता आपको यह नहीं बताता कि उन्होंने क्या बदला है, इसलिए आप हमेशा यह नहीं जान सकते कि भोजन का स्वाद अलग क्यों है। आप बस इतना जानते हैं कि वह अलग है।
सारांश
यह पेपर तर्क देता है कि हमें AI अपडेट को जादू की तरह नहीं, बल्कि सप्लाई चेन जोखिमों की तरह देखना चाहिए। जिस तरह एक फैक्ट्री कार बनाने से पहले आने वाले पुर्जों का निरीक्षण करती है, उसी तरह सॉफ़्टवेयर कंपनियों को अपने व्यवसाय को चलाने से पहले अपने विशिष्ट नियमों के विरुद्ध AI अपडेट का परीक्षण करने के लिए अपने स्वयं के "निरीक्षण गेट्स" बनाने की आवश्यकता है। यदि AI अपना व्यवहार बदलता है, तो गेट को इसे आपके ऐप को तोड़ने से पहले पकड़ लेना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।