Automated Concept Discovery for LLM-as-a-Judge Preference Analysis
यह शोध पत्र 'एलएलएम-एज़-ए-जज' (LLM-as-a-judge) की प्राथमिकताओं का विश्लेषण करने के लिए स्पार्स ऑटोएनकोडर्स (sparse autoencoders) का उपयोग करते हुए एक स्वचालित अवधारणा खोज ढांचे (automated concept discovery framework) को प्रस्तुत करता है, जो मॉडल व्यवहार के व्याख्यात्मक चालकों—जैसे कि मूर्तता (concreteness), सहानुभूति (empathy) और औपचारिकता (formality) के प्रति पूर्वाग्रह—को प्रकट करता है, जो पूर्व-निर्धारित पूर्वाग्रह वर्गीकरणों से परे हैं और मानवीय मूल्यांकनों से भिन्न हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी रहस्यमय, रोबोट जज है। आप उससे दो विकल्पों में से सबसे अच्छा उत्तर चुनने के लिए कहते हैं। कभी-कभी, वह रोबोट वही चुनता है जो इंसान चुनते। लेकिन अक्सर, उसके चुनाव के पीछे अजीब, छिपे हुए कारण होते हैं जिन्हें कोई समझा नहीं पाता। शायद उसे बहुत लंबे उत्तर पसंद हैं, या वह कुछ विषयों से डर जाता है और जवाब देने से मना कर देता है, भले ही एक इंसान ऐसा न करता।
यह शोध पत्र इस बारे में है कि शोधकर्ताओं की एक टीम यह पता लगाना चाहती थी कि यह रोबोट जज अपने चुनाव क्यों करता है, बिना केवल अनुमान लगाए। वे केवल यह नहीं कहना चाहते थे कि, "ओह, शायद इसे लंबे उत्तर पसंद हैं।" वे रोबोट के दिमाग के अंदर जाकर देखना चाहते थे कि वास्तव में उसके भीतर कौन से गियर घूम रहे हैं।
उन्होंने इसे कैसे किया, इसके लिए यहाँ कुछ मजेदार उपमाओं का उपयोग किया गया है:
1. समस्या: रोबोट का गुप्त मसाला (Secret Sauce)
रोबोट जज (एक AI) को एक ऐसे शेफ के रूप में सोचें जो एक गुप्त सॉस बनाता है। आप सॉस का स्वाद तो ले सकते हैं (अंतिम निर्णय), लेकिन आप उसके सामग्रियां (ingredients) नहीं जानते। पिछले शोधकर्ताओं ने कुछ ज्ञात मसालों (जैसे "पोजीशन बायस" या "वर्बोसिटी") का परीक्षण करके सामग्रियों का अनुमान लगाने की कोशिश की। लेकिन क्या होगा अगर रोबक एक ऐसा गुप्त मसाला इस्तेमाल कर रहा हो जिसका नाम अभी तक किसी ने नहीं रखा है?
शोधकर्ता एक ऐसा तरीका चाहते थे जिससे वे बिना किसी संदिग्धों की सूची के इन गुप्त मसालों की स्वचालित रूप से खोज कर सकें।
2. उपकरण: "कॉन्सेप्ट एक्स-रे" (The Concept X-Ray)
रोबोट के दिमाग के अंदर देखने के लिए, उन्होंने स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs) नामक तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि आपके पास लेगो ब्रिक्स (Lego bricks) का एक विशाल, बिखरा हुआ ढेर है (रोबोट के आंतरिक विचार)। अधिकांश समय, ये ब्रिक्स इस तरह से आपस में उलझे होते हैं जो हमारे लिए कोई अर्थ नहीं रखते।
- विधि: शोधकर्ताओं ने एक विशेष "लेगो सॉर्टर" (एक SAE) बनाया। यह सॉर्टर उस बिखरे हुए ढेर को देखता है और ब्रिक्स को उनके वास्तविक कार्यों के आधार पर अलग-अलग, स्पष्ट ढेरों में विभाजित करता है।
- एक ढेर "लाल ब्रिक्स" का हो सकता है (जो "जवाब देने से मना करने" का संकेत देते हैं)।
- दूसरा ढेर "नीले ब्रिक्स" का हो सकता है (जिसका अर्थ है "बहुत औपचारिक होना")।
- एक अन्य "हरे ब्रिक्स" का हो सकता है (जिसका अर्थ है "सहानुभूति दिखाना")।
ब्रिक्स को छाँटकर, वे कह सकते थे, "आह! रोबोट ने इस उत्तर को इसलिए चुना क्योंकि इसमें 'सहानुभूति' के बड़े ढेर वाले ब्रिक्स थे और 'मना करने' वाले ब्रिक्स बहुत कम थे।"
3. प्रयोग: विभिन्न सॉर्टर्स का परीक्षण करना
उन्होंने ब्रिक्स को छाँटने के विभिन्न तरीके आजमाए:
- पुराना तरीका (PCA): लेगो को केवल उनके सामान्य आकार के आधार पर छाँटने जैसा। यह ठीक है, लेकिन यह बहुत से विवरणों को छोड़ देता है।
- नया तरीका (SAE): रंग, आकार और कार्य के आधार पर छाँटने वाले एक सुपर-प्रिसिजन स्कैनर जैसा।
- परिणाम: "नया तरीका" (SAE) एक बड़ा विजेता था। इसने रोबोट के चुनावों के लिए पुराने तरीके की तुलना में कहीं अधिक समझने योग्य कारण खोजे, और यह भविष्यवाणी करने में भी उतना ही सक्षम था कि रोबोट आगे क्या चुनेगा। यह एक ऐसे खजाने के नक्शे जैसा था जो वास्तव में सोने तक ले जाता है, बजाय उस नक्शे के जो केवल एक पत्थर तक ले जाता है।
4. खोज: रोबोट के दिमाग में क्या था?
एक बार जब उनके पास "कॉन्सेप्ट ब्रिक्स" के व्यवस्थित ढेर आ गए, तो उन्होंने देखा कि रोबोट वास्तव में क्या पसंद करता है। उन्होंने कुछ आश्चर्यजनक चीजें पाईं:
- "सुरक्षा प्रथम" वाला रोबोट: संवेदनशील सवालों के जवाब देने से मना करने की संभावना इस रोबोट की इंसानों की तुलना में बहुत अधिक थी। यह एक घबराए हुए माता-पिता की तरह था जो हर चीज़ के लिए "नहीं!" कहता है, भले ही एक मानव माता-पिता कहें, "खैर, चलो इस बारे में सावधानी से बात करते हैं।"
- "ठोस/कंक्रीट" वाला रोबोट: रोबोट को वे उत्तर बहुत पसंद थे जो विशिष्ट, मापने योग्य और ठोस (concrete) थे। हालाँकि, इंसान अक्सर उन उत्तरों को पसंद करते हैं जो लचीले हों, अनिश्चितता स्वीकार करते हों, या व्यक्तिगत विकास के बारे में बात करते हों। रोबोट को सटीक माप के साथ एक रेसिपी चाहिए थी; इंसानों को खाना बनाने का एक "वाइब" (vibe) चाहिए था।
- "वकील" रोबोट (कानूनी क्षेत्र में): जब कानूनी सलाह के लिए पूछा गया, तो रोबोट ने उन सुझावों को नापसंद किया जो लोगों को कार्रवाई करने के लिए कहते थे (जैसे पुलिस को बुलाना या मुकदमा दायर करना)। यह उन उत्तरों को पसंद करता था जो केवल यह कहते थे, "जाकर कानून के बारे में एक किताब पढ़ें।" दूसरी ओर, इंसान उन उत्तरों को बहुत पसंद करते थे जो स्पष्ट, कार्रवाई योग्य कदम देते थे।
- "अकादमिक" रोबोट: स्कूल से संबंधित सवालों में, रोबोट को लंबे, फैंसी और औपचारिक उत्तर पसंद थे। इंसान? वे छोटे, अनौपचारिक और मिलनसार कमेंट्स पसंद करते थे।
5. यह क्यों महत्वपूर्ण है
इस शोध पत्र से पहले, यदि आप जानना चाहते थे कि एक AI जज पक्षपाती क्यों था, तो आपको अनुमान लगाना पड़ता था और फिर अपने अनुमान का परीक्षण करना पड़ता था। यह कार के इंजन को ठीक करने के लिए उसे हथौड़े से बेतरतीब ढंग से मारने जैसा था।
अब, उनके पास एक ऐसा उपकरण है जो स्वचालित रूप से इंजन के पुर्जों की सूची बनाता है और आपको बताता है कि कौन सा हिस्सा खराब है। इसका मतलब है कि हम:
- छिपे हुए पूर्वाग्रहों (biases) को ढूंढ सकते हैं जिन्हें हम जानते भी नहीं थे।
- रोबोट को सुधार सकते हैं उसे वह चीजें पसंद करने के लिए सिखाकर जो इंसान पसंद करते हैं (जैसे कार्रवाई योग्य सलाह या लचीलापन)।
- रोबोट को बेहतर ढंग से समझ सकते हैं, ताकि जब वह हमारे काम का निर्णय ले रहा हो, तो हम उस पर अधिक भरोसा कर सकें।
संक्षेप में: शोधकर्ताओं ने एक "कॉन्सेप्ट माइक्रोस्कोप" बनाया जिसने उन्हें AI जजों की अदृश्य प्राथमिकताओं को देखने की अनुमति दी। उन्होंने पाया कि ये रोबोट अक्सर इंसानों से बहुत अलग सोचते हैं—लचीलेपन के बजाय कठोरता और कार्रवाई के बजाय सावधानी को प्राथमिकता देते हैं—और अब हमारे पास यह समझने के लिए एक नक्शा है कि वे ऐसा क्यों करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।