LLMORPH: Automated Metamorphic Testing of Large Language Models
यह शोध पत्र LLMORPH को प्रस्तुत करता है, जो एक स्वचालित मेटाबॉर्फिक टेस्टिंग टूल है जो मानव-लेबल वाले डेटा पर निर्भर रहे बिना आउटपुट की विसंगतियों का पता लगाने के लिए मेटाबॉर्फिक रिलेशंस के माध्यम से फॉलो-अप इनपुट्स उत्पन्न करके विभिन्न NLP कार्यों में लार्ज लैंग्वेज मॉडल्स की मजबूती का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा अनिश्चित व्यवहार वाला रोबोट सहायक है जिसका नाम "LLM" (लार्ज लैंग्वेज मॉडल) है। यह रोबोट कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और भाषाओं का अनुवाद कर सकता है। लेकिन आप कैसे जानेंगे कि वह सच बोल रहा है या बस मनगढ़ंत बातें बना रहा है?
आमतौर पर, एक रोबोट का परीक्षण करने के लिए, आपको एक "शिक्षक" (एक विशेषज्ञ मानव) की आवश्यकता होती है जो उसके उत्तरों की जाँच कर सके। लेकिन यदि आपके पास पूछने के लिए लाखों प्रश्न हैं, तो लाखों शिक्षकों को काम पर रखना बहुत महंगा और धीमा होगा। यही बड़ी समस्या है: बिना किसी शिक्षक के आप एक रोबोट का परीक्षण कैसे करें?
पेश है LLMORPH, एक नया टूल जिसे शोधकर्ताओं द्वारा बनाया गया है जो इन AI रोबोटों के लिए एक "लॉजिक डिटेक्टिव" (तर्क जासूस) की तरह काम करता है।
मुख्य विचार: "मैजिक मिरर" टेस्ट
यह पूछने के बजाय कि, "क्या यह उत्तर सही है?" (जिसके लिए एक शिक्षक की आवश्यकता होती है), LLMORPH पूछता है, "क्या यह उत्तर सवाल के थोड़े से बदले हुए संस्करण की तुलना में तर्कसंगत है?"
इस तकनीक को मेटामॉर्फिक टेस्टिंग कहा जाता है। इसे एक मैजिक मिरर टेस्ट की तरह समझें:
- मूल प्रश्न: आप रोबोट से पूछते हैं, "वृत्त (circle) क्या है?"
- रोबोट का उत्तर: "एक गोल आकार।"
- जादुई मोड़ (The Transformation): आप उसी सवाल को थोड़ा सा मोड़ देते हैं, जैसे अक्षरों के बीच अतिरिक्त स्थान जोड़ना या उसे नए तरीके से लिखना।
- नया प्रश्न: "व ् ह ा त इ स अ स ि र् क ल ?" (अर्थ वही है, बस थोड़ा अस्त-व्यस्त)।
- लॉजिक चेक: आप रोबकौट से ट्विस्ट किया हुआ सवाल पूछते हैं।
- रोबोट का उत्तर: "मुझे नहीं पता।"
डिटेक्टिव का निष्कर्ष: यदि रोबोट ने साफ-सुथरे सवाल का सटीक उत्तर दिया लेकिन उलझे हुए सवाल पर भ्रमित हो गया, तो रोबोट खराब है! वह लॉजिक टेस्ट में विफल रहा। आपको यह बताने के लिए किसी शिक्षक की आवश्यकता नहीं थी कि उत्तर क्या है; आपको बस यह देखने की आवश्यकता थी कि रोबोट का व्यवहार असंगत था।
LLMORPH कैसे काम करता है (एक असेंबली लाइन)
कल्प laइए एक फैक्ट्री असेंबली लाइन जहाँ रोबोट एक वर्कर है:
- इनपुट बिन: आप इसमें हजारों प्रश्न डालते हैं (जैसे "फ्रांस की राजधानी क्या है?" या "क्या यह वाक्य खुश है या दुखी?")। आपको पहले से उनके उत्तर जानने की आवश्यकता नहीं है।
- ट्विस्ट स्टेशन: एक मशीन प्रत्येक प्रश्न को लेती है और उस पर एक "मेटामॉर्फिक रिलेशन" (MR) लागू करती है। यह सवाल को बदलने का बस एक फैंसी नियम है।
- नियम 1: रैंडम स्पेस (खाली जगह) जोड़ें।
- नियम 2: पर्यायवाची शब्दों को बदलें (जैसे "खुश" को "प्रसन्न" में बदलना)।
- नियम 3: शब्दों का क्रम बदलें।
- डबल-चेक: रोबोट मूल प्रश्न और ट्विस्ट किए गए संस्करण दोनों के उत्तर देता है।
- जज (न्यायाधीश): LLMORPH दोनों उत्तरों की तुलना करता है।
- यदि उत्तर सुसंगत हैं (जैसे दोनों "पेरिस" कहते हैं), तो टेस्ट पास (PASS) हो जाता है।
- यदि उत्तर एक-दूसरे का खंडन करते हैं (जैसे एक "पेरिस" कहता है और दूसरा "मुझे नहीं पता"), तो टेस्ट फेल (FAIL) हो जाता है, और टूल इसे एक बग के रूप में चिह्नित करता है।
यह क्यों शानदार है?
- कोई होमवर्क की आवश्यकता नहीं: आपको उत्तर कुंजी (लेबल किया गया डेटा) बनाने में वर्षों बिताने की आवश्यकता नहीं है। आप किसी भी टेक्स्ट का उपयोग करके रोबोट का परीक्षण कर सकते हैं जो आपको इंटरनेट पर मिलता है।
- स्केल (व्यापकता): शोधकर्ताओं ने तीन प्रसिद्ध रोबोटों (GPT-4, LLAMA3, और HERMES 2) का 560,000 से अधिक टेस्ट के साथ परीक्षण किया। उन्होंने पाया कि सबसे स्मार्ट रोबोट भी लगभग 18% बार गलती करते हैं जब आप उनके इनपुट को ट्विस्ट करते हैं।
- छिपे हुए बग ढूंढना: कभी-कभी रोबोट सामान्य सवालों पर ठीक से काम करते हैं लेकिन ट्रिकी होने पर टूट जाते हैं। LLMORPH उन "छिपी हुई दरारों" को ढूंढ निकालता है जिन्हें सामान्य परीक्षण मिस कर देता है।
वह "टूल" स्वयं
LLMORPH डेवलपर्स के लिए एक स्विस आर्मी नाइफ की तरह है।
- यह मॉड्यूलर है: यदि आप किसी नए प्रकार के सवाल (जैसे चिकित्सा सलाह) का परीक्षण करना चाहते हैं, तो आप बस "प्रॉम्ट कार्ड" (रोबोट को दिए गए निर्देश) को बदल सकते हैं।
- यह लचीला है: आप इसे अलग-अलग "ट्विस्ट रूल्स" का उपयोग करने के लिए कह सकते हैं, जो इस बात पर निर्भर करता है कि आप क्या टेस्ट कर रहे हैं।
- यह ओपन है: इसका कोड मुफ्त है ताकि समुदाय इसे उपयोग कर सके और और भी अधिक बग पकड़ने के लिए और अधिक "ट्विस्ट रूल्स" जोड़ सके।
निचोड़ (The Bottom Line)
LLMORPH एक तरीका है AI रोबोटों का स्ट्रेस-टेस्ट करने का, जिसमें उन्हीं समस्याओं के थोड़े अलग संस्करण उनके सामने फेंके जाते हैं। यदि रोबोट अपने ही प्रतिबिंब (reflection) से भ्रमित हो जाता है, तो हमें पता चल जाता है कि वह उतना विश्वसनीय नहीं है जितना हमने सोचा था। यह एक सस्ता, तेज़ और स्वचालित तरीका है यह सुनिश्चित करने का कि हमारे AI दोस्त सच बोल रहे हैं, बिना हर टेस्ट को ग्रेड करने के लिए किसी इंसान की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।