🤖 AI

SAGE: Scalable AI Governance & Evaluation

SAGE एक स्केलेबल AI गवर्नेंस फ्रेमवर्क है जो नीति (policy), मिसाल (precedent) और LLM सरोगेट जजों के द्विआयामी अंशांकन लूप (bidirectional calibration loop) के माध्यम से उच्च-गुणवत्ता वाले मानवीय निर्णय को कार्यान्वित करता है, जिसमें लिंक्डइन सर्च में नीति-अनुरूप मॉडल मूल्यांकन को सक्षम करने के लिए लागत प्रभावी डिस्टिलेशन का उपयोग किया गया है, जिसने अंततः दैनिक सक्रिय उपयोगकर्ताओं को 0.25% तक बढ़ा दिया।

मूल लेखक: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muth

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल समाचार पत्र (LinkedIn) के संपादक-इन-चीफ हैं जो हर दिन लाखों लेख (नौकरियां और प्रोफाइल) प्रकाशित करता है। आपका लक्ष्य यह सुनिश्चित करना है कि जब कोई पाठक किसी विशिष्ट चीज़ की खोज करे, जैसे कि "एंट्री-लेवल डेटा एनालिस्ट," तो उन्हें केवल वे शब्द वाले कोई भी रैंडम लेख न मिलें, बल्कि उन्हें बिल्कुल सही लेख मिले।

समस्या क्या है? आपके पास बहुत अधिक लेख और बहुत अधिक पाठक हैं। आप हर एक सर्च रिजल्ट को चेक करने के लिए मानव संपादक का उपयोग नहीं कर सकते कि वह अच्छा है या नहीं। यदि आप सरल गणित (जैसे कि कितने लोगों ने लिंक पर क्लिक किया, इसे गिनना) का उपयोग करने की कोशिश करते हैं, तो आपको अप्रासंगिक लेकिन लोकप्रिय लेखों द्वारा धोखा दिया जा सकता है।

यह SAGE की कहानी है, एक नया सिस्टम जिसे LinkedIn ने इस समस्या को हल करने के लिए बनाया है। SAGE को एक "सुपर-एडिटर" के रूप में समझें जो एक मानव विशेषज्ञ की तरह सोचना सीखता है, लेकिन एक रोबोट की गति से काम करता है।

यह कैसे काम करता है, इसके सरल चरण यहाँ दिए गए हैं:

1. समस्या: "मानव बनाम रोबोट" का अंतर

आमतौर पर, जब कंपनियाँ सर्च इंजन बनाती हैं, तो वे दो चीजों पर निर्भर करती हैं:

मानव संपादक: वे गुणवत्ता का निर्णय लेने में माहिर होते हैं, लेकिन वे धीमे और महंगे होते हैं। वे लाखों परिणामों को नहीं पढ़ सकते।
एंगेजमेंट मेट्रिक्स (Engagement Metrics): वे क्लिक और व्यूज को गिनते हैं। लेकिन यह एक फिल्म को उसके बॉक्स ऑफिस कलेक्शन से आंकने जैसा है; एक बुरी फिल्म भी लोकप्रिय हो सकती है यदि लोग गलती से उस पर क्लिक कर देते हैं। यह आपको यह नहीं बताता कि फिल्म वास्तव में अच्छी है या नहीं।

LinkedIn को मानव की गुणवत्ता निर्णय क्षमता और मशीन की गति दोनों की आवश्यकता थी।

2. समाधान: "SAGE" फ्रेमवर्क

SAGE का अर्थ है स्केलेबल AI गवर्नेंस एंड इवैल्यूएशन (Scalable AI Governance & Evaluation)। यह तीन भागों वाली एक टीम है जो मिलकर सर्च परिणामों को परखने के लिए एक आदर्श "नियम पुस्तिका" बनाती है।

भाग A: पॉलिसी (नियम पुस्तिका)

यह साधारण अंग्रेजी में लिखे गए नियमों का एक सेट है। यह केवल "कीवर्ड मैच" करने के बजाय यह कहता है जैसे, "यदि कोई उपयोगकर्ता एंट्री-लेवल नौकरी मांगता है, तो परिणाम के लिए 10 साल का अनुभव आवश्यक नहीं होना चाहिए।" यह परिभाषित करता है कि "अच्छा" वास्तव में क्या है।

भाग B: प्रीसीडेंट (नमूना उत्तर)

कल्पना करें कि एक शिक्षक छात्र को कुछ नमूना निबंध दे रहा है जिनमें पूर्ण अंक और स्पष्टीकरण दिए गए हैं। SAGE मानव विशेषज्ञों द्वारा सावधानीपूर्वक चुने गए "गोल्ड स्टैंडर्ड" उदाहरणों के एक छोटे से सेट का उपयोग करता है। ये उदाहरण AI को दिखाते हैं कि कठिन स्थितियों में नियम पुस्तिका को ठीक से कैसे लागू किया जाए।

भाग C: सरोगेट जज (छात्र)

यह एक AI (एक लार्ज लैंग्वेज मॉडल) है जो जज के रूप में कार्य करता है। यह सर्च परिणामों को पढ़ता है और उनकी तुलना नियम पुस्तिका (Rulebook) और नमूना उत्तरों (Sample Answers) से करता है।

3. सीक्रेट सॉस: "टू-वे ट्रेनिंग"

अतीत में, आप बस AI को नियम बताते थे और उम्मीद करते थे कि वह समझ जाएगा। SAGE एक टू-वे कैलिब्रेशन लूप (Two-Way Calibration Loop) का उपयोग करता है।

मानव से AI तक: मनुष्य AI को नियम सिखाते हैं और उसे उदाहरण दिखाते हैं।
AI से मानव तक: AI वास्तव में मनुष्यों की आलोचना करता है!
- यदि AI देखता है कि एक मानव विशेषज्ञ ने गलती की है (जैसे कि एक लंबे जॉब डिस्क्रिप्शन में छिपी हुई बारीकी को मिस कर दिया), तो वह उसे फ्लैग करता है।
- यदि AI भ्रमित होता है क्योंकि नियम अस्पष्ट हैं, तो वह मनुष्यों को बताता है, "हे, आपकी नियम पुस्तिका इस विशिष्ट मामले को कवर नहीं करती है।"

यह एक चक्र बनाता है जहाँ नियम पुस्तिका, उदाहरण और AI जज तीनों मिलकर स्मार्ट होते हैं। वे एक-दूसरे की गलतियों को सुधारते हैं जब तक कि वे लगभग पूरी तरह से सहमत न हो जाएं (मानव विशेषज्ञों के साथ लगभग 77% सहमति, जिसे इस क्षेत्र में "पर्याप्त" माना जाता है)।

4. स्पीड ट्रिक: "डिस्टिलेशन" (शिक्षक से छात्र तक)

"टीचर" AI (वह जिसने मनुष्यों से सीखा है) बहुत स्मार्ट है लेकिन धीमा और महंगा है। यह एक जीनियस प्रोफेसर की तरह है जो एक पेपर को ग्रेड करने में घंटों लगा देता है। LinkedIn को प्रति सेकंड लाखों पेपर्स को ग्रेड करने की आवश्यकता है।

इसलिए, उन्होंने डिस्टिलेशन (Distillation) नामक तकनीक का उपयोग किया।

कल्पना करें कि टीचर (जीनियस प्रोफेसर) अपनी सोचने की प्रक्रिया को एक स्टूडेंट (एक तेज़, कुशल इंटर्न) को समझाता है।
स्टूडेंट टीचर के तर्क की नकल करना सीखता है लेकिन बहुत छोटा और तेज़ बन जाता है।
परिणाम: स्टूडेंट जज, टीचर की तुलना में 92 गुना सस्ता और तेज़ है, लेकिन फिर भी वह लगभग उतनी ही बार सही उत्तर देता है जितनी बार मानव विशेषज्ञ देते हैं।

5. इसने LinkedIn को कैसे बदला

एक बार जब उन्होंने इस तेज़, स्मार्ट स्टूडेंट जज को बना लिया, तो उन्होंने इसका तीन शक्तिशाली तरीकों से उपयोग किया:

सेफ्टी नेट (ऑफलाइन टेस्टिंग): कोई भी नया सर्च फीचर लॉन्च करने से पहले, वे इसे स्टूडेंट जज के माध्यम से चलाते हैं। यदि AI कहता है, "यह नया फीचर खराब परिणाम दिखा रहा है," तो वे इसे तुरंत रोक सकते हैं। उन्हें वास्तविक उपयोगकर्ताओं की शिकायत का इंतजार करने की आवश्यकता नहीं होती। इससे उनका टेस्टिंग समय 2 सप्ताह से घटकर 3 दिन रह गया।
रियल-टाइम गेटकीपर (ऑनलाइन सर्विंग): उन्होंने AI को और भी छोटा बना दिया ताकि यह रियल-टाइम में चल सके। अब, जब भी आप सर्च करते हैं, तो इस AI का एक छोटा संस्करण तुरंत परिणामों की जांच करता है कि क्या वे नियमों का पालन करते हैं।
अर्ली वार्निंग सिस्टम (पूर्व चेतावनी प्रणाली): उन्होंने सिस्टम को 24/7 निगरानी करने के लिए AI का उपयोग किया। कभी-कभी, एक सर्च अपडेट क्लिक्स के आधार पर ठीक लग सकता है, लेकिन AI नोटिस करता है कि क्वालिटी गिर रही है। इसने एक ऐसी समस्या को पकड़ा जिसे मानव मेट्रिक्स मिस कर गए थे, जिससे उपयोगकर्ताओं का बुरा अनुभव होने से बच गया।

निचोड़

इस सिस्टम का उपयोग करके, LinkedIn ने केवल अपने सर्च को "तेज़" ही नहीं बनाया; बल्कि इसे स्मार्ट और अधिक भरोसेमंद बनाया।

पेपर का दावा है कि उच्च-गुणवत्ता वाले नियमों को लागू करने के लिए SAGE का उपयोग करने से, उन्होंने LinkedIn पर डेली एक्टिव यूजर्स (Daily Active Users) में 0.25% की वृद्धि देखी। सैकड़ों मिलियन उपयोगकर्ताओं वाले प्लेटफॉर्म की दुनिया में, यह छोटा सा प्रतिशत उन लोगों की एक बड़ी संख्या का प्रतिनिधित्व करता है जिन्हें जो चाहिए था वह मिला, वे साइट पर रुके, और वापस आते रहे।

संक्षेप में: SAGE ने "यह तय करने" के बिखरे हुए और व्यक्तिपरक काम को—कि एक अच्छा सर्च रिजल्ट क्या है—एक स्पष्ट, स्वचालित और स्केलेबल प्रक्रिया में बदल दिया जो अपनी गलतियों से सीखती है और लगातार बेहतर होती रहती है।

तकनीकी सारांश: SAGE (स्केलेबल AI गवर्नेंस और इवैल्यूएशन)

समस्या विवरण
औद्योगिक-स्तर के सर्च सिस्टम, विशेष रूप से वे जो बहुआयामी इरादे (जैसे LinkedIn जॉब सर्च और पीपल सर्च) वाले प्राकृतिक भाषा प्रश्नों को संभालते हैं, एक महत्वपूर्ण "गवर्नेंस गैप" का सामना करते हैं। जबकि सिमेंटिक मॉडल्स ने अभिव्यक्ति को विस्तृत किया है, उन्होंने प्रासंगिकता मानकों को निर्दिष्ट और लागू करने को जटिल बना दिया है। पारंपरिक गवर्नेंस दो उप-इष्टतम प्रॉक्सी पर निर्भर करती है:

मैनुअल एडिटोरियल रिव्यू: उच्च-फिडेलिटी (high-fidelity) लेकिन प्राकृतिक भाषा के प्रश्नों की कॉम्बिनेटरियल विविधता को बड़े पैमाने पर कवर करने में असमर्थ।
एंगेजमेंट मेट्रिक्स: विलंबित फीडबैक प्रदान करते हैं और व्यवस्थित पूर्वाग्रहों (जैसे लोकप्रियता का प्रसार) से ग्रस्त होते हैं, जो अक्सर उच्च-प्रभाव वाली प्रासंगिकता विफलताओं या "साइलेंट" रिग्रेशन को पकड़ने में विफल रहते हैं।

मूल चुनौती एक सरोगेट जज ( $J$ ) का निर्माण करना है जो न्यूनतम एलाइनमेंट डाइवर्जेंस ( $\Delta$ ) के साथ लेटेंट ह्यूमन यूटिलिटी फंक्शन ( $H$ ) का अनुमान लगा सके और अनबाउंडेड सिमेंटिक स्पेस में कवरेज ( $C$ ) को अधिकतम कर सके।

कार्यप्रणाली: SAGE फ्रेमवर्क
SAGE मानव उत्पाद निर्णय को तीन रचनाओं के माध्यम से संचालित करता है: पॉलिसी (P), प्रिसिडेंट (E), और एक LLM सरोगेट जज (J)। यह फ्रेमवर्क तीन डिजाइन सिद्धांतों पर आधारित है:

द्विदिश अंशांकन (Bidirectional Calibration): स्टेटिक इवैल्यूएशन सिस्टम के विपरीत, SAGE एक डायनेमिक लूप का उपयोग करता है जहाँ पॉलिसी, प्रिसिडेंट और जज सह-विकसित होते हैं।
- मानव $\to$ पॉलिसी/प्रिसिडेंट: विशेषज्ञ पॉलिसी अंतर्ज्ञान अंतराल और अस्पष्टताओं को चिह्नित करते हैं।
- जज $\to$ प्रिसिडेंट: जज एक एडवरसेरियल ऑडिटर के रूप में कार्य करता है, जो मानव-क्यूरेटेड "गोल्डन" डेटासेट्स में त्रुटियों को उजागर करता है (जैसे, उन साक्ष्यों की पहचान करना जिन्हें मनुष्यों द्वारा मिस कर दिया गया था)।
- जज $\to$ पॉलिसी: जज पॉलिसी अंडर-स्पेसिफिकेशन को उजागर करता है जब वह बिना समर्थित बाधाएं पेश करता है या असंगत तर्क लागू करता है।
- परिणाम: यह लूप सिमेंटिक अस्पष्टताओं को व्यवस्थित रूप से हल करता है, जिससे व्यक्तिपरक निर्णय को निष्पादन योग्य, बहु-आयामी रूब्रिक्स में बदल दिया जाता है।
व्याख्या योग्य बहु-विशेषता प्रासंगिकता (Interpretable Multi-Attribute Relevance): "ब्लैक-बॉक्स" अपारदर्शिता को समाप्त करने के लिए, जज प्रासंगिकता को एक मोनोलिथिक स्कोर के बजाय ऑर्थोगोनल एट्रिब्यूट्स (जैसे टाइटल, सीनियरिटी, कंपनी) में विभाजित करता है। यह अंशांकन के दौरान लक्षित विफलता एट्रिब्यूशन को सक्षम बनाता है। सिस्टम ग्रेडेड 5-पॉइंट स्केल (0–4) का उपयोग करता है न कि पेयरवाइज रैंकिंग का, ताकि स्पष्ट गुणवत्ता थ्रेसहोल्ड (जैसे, ग्रेड 0–1 को दबाना) लागू किया जा सके।
डिस्टिलेशन के माध्यम से हाई-थ्रूपुट: फ्रंटियर मॉडल रीजनिंग और औद्योगिक इन्फरेंस लागत के बीच के अंतर को पाटने के लिए, SAGE टीचर-स्टूडेंट डिस्टिलेशन का उपयोग करता है।
- टीचर जज: एक्सपर्ट प्रिसिडेंट के विरुद्ध कैलिब्रेटेड एक फ्रंटियर LLM (GPT-o3)।
- स्टूडेंट जज: एक 8B पैरामीटर मॉडल जिसे टीचर से डिस्टिल किया गया है। इसे स्ट्रैटिफाइड प्रोडक्शन ट्रैफिक और एस्पिरेशनल क्वेरीज पर प्रशिक्षित किया गया है, जिसमें अंडर-रिप्रेजेंटेड स्कोर क्लासेस (0–3) को हाई-रेलेवेंस प्रेडिक्शन की ओर कोलैप्स होने से रोकने के लिए री-बैलेंस किया गया है।
- ऑनलाइन मॉडल: स्टूडेंट जज को रियल-टाइम सर्विंग के लिए एक अल्ट्रा-कॉम्पैक्ट (0.6B) आर्किटेक्चर में और अधिक डिस्टिल किया जाता है। इसमें स्ट्रक्चरल प्रूनिंग, रीजनिंग इंटरनलाइजेशन (चेन-ऑफ-थॉट को 1-टोकन प्रेडिक्शन में बदलना), और ऑफलाइन समराइजेशन के माध्यम से कॉन्टेक्स्ट मिनिमाइजेशन शामिल है।

प्रमुख योगदान
यह पेपर उद्योग-स्तर के मानव-केंद्रित मूल्यांकन के लिए तीन प्राथमिक योगदान प्रस्तुत करता है:

इंटेंट एलाइनमेंट के लिए द्विदिश अंशांकन: एक तंत्र जो विषम मानव निर्णय को वर्जन्ड इवैल्यूएशन मानदंडों में बदल देता है, जिससे मूल्यांकन प्रणाली मानव निर्णय के साथ सह-विकसित हो सकती है और पॉलिसी अस्पष्टताओं को उजागर कर सकती है।
व्याख्या योग्य बहु-विशेषता प्रासंगिकता मूल्यांकन: प्रासंगिकता का ऑर्थोगोनल एट्रिब्यूट्स में विखंडन जो अपारदर्शिता को समाप्त करता है, सटीक विफलता एट्रिब्यूशन को सक्षम करता है और मानव-स्तर की सहमति के करीब पहुंचता है।
डिस्टिलेशन के माध्यम से हाई-थ्रूपुट मूल्यांकन: एक पाइपलाइन जो फ्रंटियर LLM रीजनिंग को कुशल स्टूडेंट सरोगेट्स में संकुचित करती है, जिससे बड़े पैमाने पर ऑफलाइन मूल्यांकन ( $>10^7$ एनोटेशन/दिन) और कम-लेटेंसी ऑनलाइन मूल्यांकन ( $>10^4$ QPS) कम लागत पर संभव होता है।

परिणाम
LinkedIn सर्च इकोसिस्टम में तैनात, SAGE ने निम्नलिखित प्राप्त किया:

एलाइनमेंट क्वालिटी: द्विदिश अंशांकन के माध्यम से, टीचर जज ने एक्सपर्ट ह्यूमन जजमेंट्स के विरुद्ध 0.77 का लीनियर वेटेड कोहेन का कप्पा (Cohen's kappa) प्राप्त किया, जो पर्याप्त सहमति के लिए 0.7 के थ्रेसहोल्ड को पार करता है और एक्सपर्ट प्रोडक्ट ओनर्स (0.83) के व्यावहारिक सीलिंग के करीब है।
डिस्टिलेशन फिडेलिटी: स्टूडेंट जज ने उच्च फिडेलिटी बनाए रखी, मानव विशेषज्ञों के विरुद्ध क्रमशः 0.72 (जॉब सर्च) और 0.73 (पीपल सर्च) का कप्पा स्कोर प्राप्त किया।
लागत दक्षता: स्टूडेंट जज टीचर जज की तुलना में 92 $\times$ कम लागत पर और न्यूनतम-बाउंड मानव लेबलिंग की तुलना में 154 $\times$ कम लागत पर संचालित होता है।
प्रोडक्शन इम्पैक्ट: सिमुलेशन-ड्रिवन डेवलपमेंट और पॉलिसी-आधारित ओवरसाइट को सक्षम करके, SAGE ने उन रिग्रेशन्स का पता लगाने में मदद की जो एंगेजमेंट मेट्रिक्स में अदृश्य थे। पॉलिसी-अलाइन्ड ऑनलाइन मॉडल को एकीकृत करने वाले दो क्रमिक ऑनलाइन A/B प्रयोगों के परिणामस्वरूप LinkedIn डेली एक्टिव यूजर्स (DAU) में 0.25% की वृद्धि हुई, जो जॉब सर्च प्रोडक्ट के लिए ग्रोथ में एक महत्वपूर्ण स्टेप-फंक्शन परिवर्तन का प्रतिनिधित्व करता है।

महत्व और दावे
पेपर दावा करता है कि SAGE ने औद्योगिक AI सिस्टम के लिए आवश्यक पैमाने पर मानव-केंद्रित गवर्नेंस को सफलतापूर्वक औपचारिक रूप दिया है। यह तर्क देता है कि:

हाई-फिडेलिटी क्यूरेशन > हाई-वॉल्यूम एनोटेशन: विशेषज्ञों द्वारा क्यूरेट किए गए प्रिसिडेंट्स का एक छोटा सेट बड़े पैमाने पर लेबलिंग की तुलना में अधिक उत्तोलन (leverage) प्रदान करता है, जिससे मानव प्रयास लेबल बनाने से हटकर अस्पष्टता को सुलझाने की ओर स्थानांतरित हो जाता है।
जज ग्राउंड ट्रुथ का ऑडिट कर सकता है: कैलिब्रेटेड LLMs मानव-क्यूरेटेड डेटासेट्स में त्रुटियों की पहचान कर सकते हैं, जिससे स्वयं सुपरविजन की गुणवत्ता में सुधार होता है।
वर्जन्ड आर्टिफैक्ट के रूप में पॉलिसी: पॉलिसी को वर्जन्ड सॉफ्टवेयर स्पेसिफिकेशन के रूप में मानने से स्थिर दीर्घकालिक गवर्नेंस की अनुमति मिलती है, जो परिभाषा परिवर्तनों के कारण होने वाले मेट्रिक शिफ्ट को वास्तविक मॉडल विफलताओं से अलग करती है।
सिमेंटिक इवैल्यूएशन व्यवहार संबंधी प्रॉक्सी का पूरक है: जबकि एंगेजमेंट सिग्नल मानक बने हुए हैं, वे अक्सर "साइलेंट" प्रासंगिकता गिरावट को मिस कर देते हैं। SAGE प्रदर्शित करता है कि संचालित उत्पाद निर्णय पारिस्थितिकी तंत्र के स्वास्थ्य के लिए एक अधिक स्थिर और नैदानिक संकेतक प्रदान करता है, जो सीधे दीर्घकालिक उपयोगकर्ता विकास (DAU) के साथ सह-संबंधित है।