← नवीनतम पेपर
💬 NLP

ASSERT: A Measurement Pipeline for GenAI Audits

यह शोध पत्र ASSERT को प्रस्तुत करता है, जो GenAI ऑडिट के लिए एक विनिर्देश-संचालित (specification-driven) मापन पाइपलाइन है जो रिपोर्ट किए गए अनुपालन दरों को उनके अंतर्निहित मापन विकल्पों से स्पष्ट रूप से जोड़ता है, जिससे यह स्पष्ट होता है कि ऑडिट डिज़ाइन में भिन्नताएं—जैसे कि संवाद सेटअप या मूल्यांकन मानदंड—सिस्टम रैंकिंग और व्याख्यात्मकता को कैसे महत्वपूर्ण रूप से प्रभावित करती हैं।

मूल लेखक: Riccardo Fogliato, Abhinav Palia, Xiawei Wang, Emily Sheng, Chad Atalla, Jean Garcia-Gathright, Nicholas Pangakis, Sharman Tan, Dan Vann, Hannah Washington, P. Alex Dow, Heba Elfardy, Hanna Wallach, S
प्रकाशित 2026-08-17
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Riccardo Fogliato, Abhinav Palia, Xiawei Wang, Emily Sheng, Chad Atalla, Jean Garcia-Gathright, Nicholas Pangakis, Sharman Tan, Dan Vann, Hannah Washington, P. Alex Dow, Heba Elfardy, Hanna Wallach, Sandeep Atluri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए, अत्यंत बुद्धिमान रोबोट को ग्रेड दे रहे हैं जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और आपसे चैट कर सकता है। आप यह जानना चाहते हैं: "क्या यह रोबोट ईमानदार है?" या "क्या यह सुरक्षित है?" आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, वैज्ञानिक अक्सर इस सवाल का जवाब एक टेस्ट चलाकर और रोबोट को एक एकल स्कोर देकर देते हैं, जैसे कि "85% ईमानदार।" यह सरल लगता है, जैसे कि एक रिपोर्ट कार्ड। लेकिन यहाँ एक पेच है: वह स्कोर केवल रोबol के बारे में नहीं बताता; वह उस टेस्ट के बारे में भी बताता है। यदि आप प्रश्न बदलते हैं, उत्तरों को ग्रेड देने वाले व्यक्ति को बदलते हैं, या यहाँ तक कि इस बात के नियमों को भी बदलते हैं कि "झूठ" किसे माना जाए, तो स्कोर बहुत अधिक बदल सकता है। यह एक छात्र के निबंध को ग्रेड देने जैसा है: यदि आप उनसे "बिल्लियों" के बारे में लिखने को कहते हैं, तो वे 'A' प्राप्त कर सकते हैं, लेकिन यदि आप उनसे "क्वांटम फिजिक्स" के बारे में पूछते हैं, तो उन्हें 'C' मिल सकता है। छात्र नहीं बदला; टेस्ट बदला है। यह शोध पत्र उस जटिल वास्तविकता की गहराई में जाता है, जो हमें दिखाता है कि रोबोट के व्यवहार को आंकने के लिए एक एकल संख्या पर्याप्त नहीं है। हमें यह जानने की आवश्यकता है कि टेस्ट को वास्तव में कैसे बनाया गया था ताकि हम समझ सकें कि उस स्कोर का वास्तव में क्या अर्थ है।

यहाँ आता है ASSERT, माइक्रोसॉफ्ट के शोधकर्ताओं द्वारा इस ग्रेडिंग समस्या को ठीक करने के लिए बनाया गया एक नया टूल। ASSERT को एक एकल टेस्ट के रूप में नहीं, बल्कि टेस्ट बनाने के लिए एक "रेसिपी बुक" (व्यंजनों की किताब) के रूप में समझें। आमतौर पर, जब लोग AI का परीक्षण करते हैं, तो वे अपने ग्रेडिंग नियमों को छिपा कर रख सकते हैं या बिना बताए उन्हें बदल सकते हैं। ASSERT सभी को पहले अपनी रेसिपी लिखने के लिए मजबूर करता है। यह शोधकर्ताओं से पूछता है कि वे सरल भाषा में स्पष्ट रूप से परिभाषित करें कि "धोखाधड़ी" या "सुरक्षा" कैसी दिखती है, फिर उस परिभाषा के आधार पर चुनौतियों (टेस्ट केस) का एक विशिष्ट सेट तैयार करें, और अंत में उस AI को उन चुनौतियों के माध्यम से चलाएं। ASSERT का जादू यह है कि यह प्रत्येक स्कोर को उपयोग की गई विशिष्ट रेसिपी से जोड़ देता है। यदि स्कोर बदलता है, तो आप रेसिपी बुक को देख सकते हैं और देख सकते हैं कि कौन सा घटक (इंक्रीडिएंट) बदला गया था।

इसकी शक्ति देखने के लिए, शोधकर्ताओं ने एक विशिष्ट AI मॉडल (GPT-5.5) का कन्वर्सेशनल डसेप्शन (संवादात्मक धोखाधड़ी)—यानी, जब AI चैट में उपयोगकर्ता को गुमराह करता है या झूठ बोलता है—पर ASSERT का उपयोग किया। उन्होंने केवल एक टेस्ट नहीं चलाया; उन्होंने टेस्ट का एक "मल्टीवर्स" (बहु-ब्रह्मांड) चलाया। कल्पना कीजिए कि उन्होंने एक ही रोबोट का सौ अलग-अलग परिदृश्यों में परीक्षण किया: कभी रोबोट एक मिलनसार उपयोगकर्ता के साथ बात कर रहा था, कभी एक चालाक उपयोगकर्ता के साथ; कभी रोबोट को एक सख्त AI जज द्वारा आंका जा रहा था, कभी एक अधिक उदार जज द्वारा; और कभी झूठ पकड़ने के नियम बहुत सख्त थे, और अन्य बार वे ढीले थे।

परिणाम आंखें खोल देने वाले थे। जब उन्होंने रेसिपी के केवल एक हिस्से को बदला, तो रोबोट का "ईमानदारी स्कोर" बहुत अधिक ऊपर-नीचे हुआ।

  • जज मायने रखता है: जब उन्होंने उत्तरों को ग्रेड देने वाले AI को बदला, तो एक ही रोबोट के चैट लॉग के लिए ईमानदारी का स्कोर 80% से 95% तक घूम गया। यह एक बहुत बड़ा अंतर है! एक ग्रेडर को लगा कि रोबोट काफी ईमानदार था, जबकि दूसरे को लगा कि वह लगभग हर समय झूठ बोल रहा था।
  • नियम मायने रखते हैं: जब उन्होंने झूठ पकड़ने के नियमों को सख्त बनाया (स्पष्ट, निर्विवाद प्रमाण की आवश्यकता), तो स्कोर बढ़कर 90% से ऊपर चला गया। जब उन्होंने नियमों को ढीला किया (झूठ के किसी भी संकेत को स्वीकार करना), तो स्कोर गिरकर लगभग 73% हो गया।
  • उपयोगकर्ता मायने रखता है: जब उन्होंने रोबोट के साथ चैट करने वाले "सिम्युलेटेड यूजर" को एक मानक चरित्र से बदलकर एक अधिक जटिल चरित्र में बदला, तो स्कोर 82% से उछलकर 90% से ऊपर चला गया।

पेपर सुझाव देता है कि क्योंकि ये स्कोर शोधकर्ताओं द्वारा किए गए विकल्पों के आधार पर बहुत अधिक चलते हैं, इसलिए हम एक एकल संख्या पर भरोसा नहीं कर सकते कि कौन सा AI "बेहतर" है। यदि एक AI 82% स्कोर करता है और दूसरा 85%, तो यह मामूली अंतर केवल इसलिए हो सकता है क्योंकि उन्होंने अलग-अलग जज या अलग-अलग नियमों का उपयोग किया था, न कि इसलिए कि एक रोबोट वास्तव में अधिक स्मार्ट या सुरक्षित है। वास्तव में, शोधकर्ताओं ने पाया कि जज को बदलने से रैंकिंग तक पलट सकती है, जिससे एक "खराब" रोबोट केवल इसलिए विजेता दिखने लगता है क्योंकि उसे ग्रेड देने वाला व्यक्ति बदल गया था।

तो, निष्कर्ष क्या है? यह पेपर यह नहीं कहता कि AI टूटा हुआ है या हम इसका परीक्षण नहीं कर सकते। इसके बजाय, यह सुझाव देता है कि हमें बहुत अधिक पारदर्शी होने की आवश्यकता है। हम केवल यह नहीं कह सकते कि "यह AI 82% सुरक्षित है।" हमें कहना होगा, "यह AI 82% सुरक्षित है जब इसे इन विशिष्ट नियमों, इस विशिष्ट जज और इन विशिष्ट प्रश्नों के साथ परखा गया।" ASSERT जैसे टूल का उपयोग करके हर चरण की रेसिपी लिखने से, शोधकर्ता और कंपनियां एक एकल संख्या के पीछे छिपना बंद कर सकती हैं और उनके AI सिस्टम क्या कर सकते हैं और क्या नहीं कर सकते, इसके बारे में ईमानदार बातचीत शुरू कर सकती हैं। यह एक जादू के खेल को एक स्पष्ट, निरीक्षण योग्य प्रक्रिया में बदल देता है, जिससे हमें यह समझने में मदद मिलती है कि क्या रोबोट वास्तव में सच बोल रहा है, या हमने बस उससे गलत सवाल पूछा था।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →