Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation
22 चिकित्सकों (प्रैक्टिशनर्स) के साक्षात्कारों पर आधारित यह शोध पत्र डेटासेट निर्माण और मूल्यांकन की सामाजिक-तकनीकी प्रथाओं का परीक्षण करके LLM रेड टीमिंग के वर्तमान तकनीकी फोकस की आलोचना करता है, जो यह प्रकट करता है कि जोखिम की अवधारणा अक्सर संदर्भ और उपयोगकर्ता विशिष्टता की अनदेखी करती है, और साथ ही HCI अनुसंधान के लिए नए दिशा-निर्देश प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही समझदार, बहुत ही विनम्र रोबोट सहायक बनाया है। आप यह सुनिश्चित करना चाहते हैं कि वह कभी भी कोई बुरी, खतरनाक या मूर्खतापूर्ण बात न कहे। इसकी जांच करने के लिए, आप "डिजिटल हैकर्स" (जिन्हें रेड टीमर्स कहा जाता है) का एक समूह किराए पर लेते हैं, जिनका एकमात्र काम रोबोट को अपने नियमों को तोड़ने के लिए बहकाना है।
यह शोध पत्र इस बात का एक पर्दे के पीछे का दृश्य है कि ये रेड टीमर्स वास्तव में अपना काम कैसे करते हैं। इसके लेखक, जो मानव-कंप्यूटर इंटरेक्शन (HCI) के शोधकर्ता हैं, ने इन परीक्षकों के 22 लोगों का साक्षात्कार लिया ताकि यह समझा जा सके कि वे "चालाकी भरे सवाल" (डेटासेट) कैसे बनाते हैं और वे कैसे तय करते हैं कि रोबोट विफल रहा।
यहाँ उनके निष्कर्षों की कहानी दी गई है, जिसे कुछ रोजमर्रा के उपमाओं (analogies) के साथ समझाया गया है।
1. सोचने के दो तरीके: खजाने की खोज बनाम स्पेलचेकर
शोधकर्ताओं ने पाया कि रेड टीमर्स अपनी पृष्ठभूमि के आधार पर अपने काम को दो बहुत अलग तरीकों से देखते हैं:
- खजाना खोजने वाले (Reinforcement Learning वाले लोग): ये लोग रोबोट के दिमाग को एक विशाल, अंधेरी गुफा के रूप में देखते हैं। उनका लक्ष्य बेतहाशा घूमना, हर संभव सवाल फेंकना है, बस यह देखने के लिए कि क्या होता है। वे कवरेज (coverage) पर ध्यान देते हैं।
- उपमा: कल्पना कीजिए कि एक विशाल जंगल में छिपा हुआ खजाना खोजने की कोशिश करना। आपको पेड़ के प्रकार की परवाह नहीं है; आप बस हर रास्ते पर चलना चाहते हैं ताकि आप सोना मिस न कर दें। वे रोबोट को तोड़ने का कोई भी तरीका ढूंढना चाहते हैं।
- स्पेलचेकर्स (NLP वाले लोग): ये लोग काम को एक वर्गीकरण (classification) कार्य के रूप में देखते हैं। उनके पास "बुरे शब्दों" या "बुरे विषयों" (जैसे नफरत भरी भाषा या हिंसा) की एक सूची होती है और वे यह देखने की कोशिश करते हैं कि क्या रोबोट उन विशिष्ट वस्तुओं पर फिसल जाता है।
- उपमा: कल्पना कीजिए कि एक शिक्षक टेस्ट को ग्रेड दे रहा है। उनके पास गलतियों को देखने के लिए एक रूब्रिक (rubric) है (वर्तनी, व्याकरण, गणित की गलतियाँ)। वे पूरे जंगल की खोज नहीं कर रहे हैं; वे बस यह देख रहे हैं कि क्या छात्र ने सूची में दी गई विशिष्ट गलतियाँ की हैं।
समस्या: "खजाना खोजने वाले" सूक्ष्म सांस्कृतिक अपमानों को मिस कर सकते हैं क्योंकि वे बड़े विस्फोटों को खोजने में बहुत व्यस्त हैं। "स्पेलचेकर्स" नए, अजीब तरीकों को मिस कर सकते हैं जिनसे रोबोट को चकमा दिया जा सकता है, क्योंकि वे केवल अपनी पहले से लिखी सूची को देख रहे हैं।
2. रेसिपी बुक की समस्या (डेटा बनाना)
रोबोट का परीक्षण करने के लिए, आपको चालाकी भरे सवालों की एक सूची की आवश्यकता होती है। शोध पत्र में पाया गया कि रेड टीमर्स इन सूचियों को प्राप्त करने के तीन तरीके हैं:
- "कॉपी-पेस्ट" विधि: वे किसी और द्वारा बनाई गई बुरे सवालों की सूची लेते हैं।
- जोखिम: यदि मूल सूची किसी एक देश के लोगों द्वारा लिखी गई थी, तो इसमें उन समस्याओं को मिस किया जा सकता है जो दूसरे देश में होती हैं। यह जापान में परिवार के लिए भोजन पकाने के लिए इटली की रेसिपी बुक का उपयोग करने जैसा है; आप स्थानीय सामग्री या स्वाद को मिस कर सकते हैं।
- "शून्य से शुरुआत" (From Scratch) विधि: वे शून्य से अपने स्वयं के प्रश्न लिखते हैं।
- जोखिम: इसमें बहुत समय लगता है, इसलिए वे केवल उन सवालों के बारे में लिख सकते हैं जो उनके अनुसार महत्वपूर्ण हैं, जिससे वे उन चीजों को मिस कर देते हैं जिनकी अन्य लोगों को परवाह है।
- "वास्तविक जीवन" विधि: वे ऑनलाइन लोगों को रोबकों के साथ चैट करते हुए देखते हैं और उन चालाकी भरे सवालों को चुरा लेते हैं जिनका लोग वास्तव में उपयोग कर रहे हैं।
- लाभ: यह सबसे वास्तविक है, लेकिन इसे व्यवस्थित करना कठिन है।
बड़ी अंतर्दृष्टि: शोध पत्र का तर्क है कि प्रश्नों की सूची (डेटासेट) तटस्थ नहीं है। यह एक कैमरा लेंस की तरह है। यदि लेंस गंदा है या गलत चीज़ पर केंद्रित है, तो फोटो (सुरक्षा परीक्षण) धुंधली होगी। यदि रेड टीमर्स केवल अंग्रेजी के सवालों को देखते हैं, तो वे यह नहीं देख पाएंगे कि स्पेनिश या कोरियाई में रोबोट कैसा व्यवहार करता है।
3. "वन-शॉट" बनाम "लंबी बातचीत"
अधिकांश रेड टीमर्स रोबोट के साथ एक वेंडिंग मशीन की तरह व्यवहार करते हैं: आप एक सिक्का (एक सवाल) डालते हैं, और आपको एक स्नैक (एक जवाब) मिलता है। यदि स्नैक खराब है, तो रोबोट विफल हो गया।
लेकिन शोधकर्ताओं ने पाया कि वास्तविक जीवन एक दोस्त के साथ लंबी बातचीत की तरह है।
- उपमा: कल्पना कीजिए कि एक दोस्त जो आमतौर पर अच्छा है। यदि आप उससे एक बार पूछते हैं, "क्या मैं आपका बटुआ ले सकता हूँ?" तो वह कहता है "नहीं।" लेकिन यदि आप उससे एक घंटे तक बात करते हैं, विश्वास कायम करते हैं, और फिर फिर से पूछते हैं, तो शायद वह आपको दे दे।
- अंतराल (Gap): अधिकांश परीक्षण केवल "वन-शॉट" सवाल पूछते हैं। वे उस खतरे को मिस कर देते हैं जहाँ एक लंबी, 20 मिनट की बातचीत के बाद उपयोगकर्ता धीरे-धीरे रोबोट के बचाव को कम कर देता है और उसे चकमा दे देता है।
4. "रोबोट किसके लिए है?" की अनदेखी
शोधकर्ताओं ने देखा कि रेड टीमर्स अक्सर रोबोट के साथ ऐसे व्यवहार करते हैं जैसे कि वह एक सामान्य "औसत व्यक्ति" के लिए होगा।
- उपमा: कल्पना कीजिए कि एक नई कार का परीक्षण केवल एक चिकनी, खाली हाईवे पर करना। आप सोच सकते हैं कि कार सुरक्षित है। लेकिन आपने कभी इसे कीचड़ भरे रास्ते पर, या पीछे की सीट पर बच्चे के साथ, या एक थके हुए ड्राइवर के साथ टेस्ट नहीं किया है।
- वास्तविकता: एक रोबोट एक वयस्क इंजीनियर के लिए सुरक्षित हो सकता है लेकिन एक अकेले किशोर या एक भ्रमित बुजुर्ग व्यक्ति के लिए खतरनाक हो सकता है। वर्तमान परीक्षण अक्सर इन विशिष्ट समूहों को अनदेखा करते हैं।
5. "जज" (न्यायाधीश) की समस्या
अंत में, आपको कैसे पता चलेगा कि रोबोट विफल रहा?
- रोबोट जज: क्योंकि बहुत सारे सवाल होते हैं जिन्हें चेक करना होता है, रेड टीमर्स अक्सर पहले AI को ग्रेड देने के लिए दूसरे AI का उपयोग करते हैं।
- जोखिम: यह एक छात्र द्वारा अपना होमवर्क खुद ग्रेड करने के लिए पूछने जैसा है। "जज" AI में वही ब्लाइंड स्पॉट हो सकते हैं जो "स्टूडेंट" AI में हैं।
- मानव जज: इंसान बेहतर होते हैं, लेकिन वे महंगे और धीमे होते हैं। साथ ही, जज कौन बनेगा? अमेरिका के एक वैज्ञानिक को लग सकता है कि एक मजाक मजेदार है, जबकि दूसरे संस्कृति के व्यक्ति को यह अपमानजनक लग सकता है।
यह क्यों मायने रखता है ( "तो क्या?" )
शोध पत्र निष्कर्ष निकालता है कि सुरक्षा केवल एक तकनीकी बग नहीं है; यह एक सामाजिक विकल्प है।
अभी, हम सुरक्षा परीक्षण बना रहे हैं जो एक कारखाने के चेकलिस्ट की तरह हैं। वे यह जांचते हैं कि मशीन काम करती है या नहीं, लेकिन वे यह नहीं पूछते: इसे कौन उपयोग कर रहा है? वे कहाँ हैं? वे क्या महसूस कर रहे हैं?
भविष्य के लिए लेखकों की सलाह:
- "अज्ञेयवादी" (Agnostic) होना बंद करें: केवल रोबोट पर यादृच्छिक (random) सवाल न फेंकें। वास्तविक लोगों (जैसे बच्चों या बुजुर्गों) और वास्तविक स्थितियों के आधार पर परीक्षण डिजाइन करें।
- विशेषज्ञों को शामिल करें: केवल कंप्यूटर वैज्ञानिकों को यह तय न करने दें कि क्या "हानिकारक" है। समाजशास्त्रियों, मनोवैज्ञानिकों और सामुदायिक नेताओं से पूछें।
- पूरी फिल्म देखें, केवल ट्रेलर नहीं: केवल एक सवाल का परीक्षण न करें। लंबी बातचीत का परीक्षण करें कि समय के साथ रोबोट कैसा व्यवहार करता है।
संक्षेप में: हम एक सुरक्षित AI बनाने की कोशिश कर रहे हैं, लेकिन हमारे वर्तमान सुरक्षा परीक्षण एक आंखों पर पट्टी बांधकर कार चलाने जैसे हैं, जो केवल सीधे रास्ते पर गड्ढों की जांच करते हैं। हमें आंखों से पट्टी हटाने, यात्रियों को देखने और मानव जीवन की वास्तविक, जटिल सड़कों पर गाड़ी चलाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।