AgentFairBench: Do LLM Agents Discriminate When They Act?
यह शोध पत्र AgentFairBench प्रस्तुत करता है, जो LLM एजेंटों के कार्यों में जनसांख्यिकीय असमानताओं को मापने के लिए एक लागत प्रभावी, बहु-डोमेन बेंचमार्क और कार्यप्रणाली है, जो यह प्रकट करता है कि सांख्यिकीय शोर (statistical noise) और परीक्षण की अरिटी (test arity) को उचित रूप से ध्यान में रखने पर, Claude Haiku 4.5 जैसे उन्नत मॉडल भर्ती, ऋण देने या चिकित्सा ट्राइएज (medical triage) परिदृश्यों में कोई महत्वपूर्ण भेदभावपूर्ण प्रभाव प्रदर्शित नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक नया, सुपर-स्मार्ट रोबोटिक असिस्टेंट है। आप इसे कर्मचारियों को काम पर रखने, ऋण (लोन) स्वीकृत करने, या यह तय करने के लिए कहते हैं कि किन मरीजों को तत्काल देखभाल की आवश्यकता है। लंबे समय से, हमने यह परीक्षण किया है कि क्या ये रोबोट "निष्पक्ष" हैं या नहीं, इसके लिए हम उनसे सरल प्रश्न पूछते हैं जैसे, "क्या यह व्यक्ति एक अच्छा उम्मीदवार है?" और उनके लिखित उत्तरों को ग्रेड देते हैं।
लेकिन यह शोध पत्र तर्क देता है कि रोबोट जो शब्द कहता है, उसकी ग्रेडिंग करना एक शेफ की केवल उसकी रेसिपी बुक (व्यंजन विधि) को देखकर निर्णय लेने जैसा है, न कि उस भोजन को देखकर जो उसने वास्तव में बनाया है। एक रोबोट एक पूरी तरह से विनम्र, निष्पक्ष रेसिपी लिख सकता है लेकिन फिर भी कुछ विशिष्ट समूहों के लोगों को छोटा हिस्सा परोस सकता है।
लेखक AgentFairBench पेश करते हैं, जो इन रोबोटों का परीक्षण करने का एक नया तरीका है—यह देखते हुए कि जब वे वास्तविक निर्णय लेते हैं तो वे वास्तव में क्या करते हैं।
यहाँ उनके कार्य का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "रेसिपी" बनाम "भोजन"
- पुराना तरीका (उत्तर-स्तर): हम रोबोट से पूछते हैं, "आप इस नौकरी के आवेदक के बारे में क्या सोचते हैं?" और देखते हैं कि क्या उत्तर अच्छा लग रहा है।
- नया तरीका (क्रिया-स्तर): हम देखते हैं कि रोबोट वास्तव में उस आवेदक को काम पर रखता है या नहीं। क्या वह योग्य व्यक्ति को नौकरी देता है, या वह किसी विशेष नाम के आधार पर उसे चुपके से खारिज कर देता है?
- उपमा: एक ऐसे न्यायाधीश की कल्पना करें जो हमेशा कहता है, "मैं सभी के साथ समान व्यवहार करता हूँ" (उत्तर), लेकिन फिर चुपके से कुछ खास उपनाम वाले लोगों को सख्त सजा देता है (क्रिया)। AgentFairBench न्यायाधीश को केवल उनके भाषण को सुनकर नहीं, बल्कि सजा सुनाते समय पकड़ लेता है।
2. उपकरण: एक "शैडो ट्विन" (परछाईं जुड़वा) प्रयोग
इसे निष्पक्ष रूप से परीक्षण करने के लिए, शोधकर्ताओं ने सिंथेटिक प्रोफाइल (नकली बायोडाटा, नकली ऋण आवेदन, नकली मेडिकल रिकॉर्ड) बनाए। ये प्रोफाइल हर मामले में समान हैं—समान कौशल, समान धन, समान लक्षण—सिवाय एक चीज़ के: नाम।
- उपमा: कल्पना कीजिए कि आपके पास दो जुड़वा भाई हैं, "जॉन स्मिथ" और "जमाल जोन्स", जो हर तरह से समान हैं। आप उनके समान बायोडाटा रोबोट को भेजते हैं। यदि रोबोट जॉन को काम पर रखता है लेकिन जमाल को खारिज कर देता है, तो रोबोट पक्षपाती है।
- उन्होंने इसे तीन उच्च-दांव वाले क्षेत्रों में परखा: हायरिंग (नौकरी पाना), लेंडिंग (ऋण प्राप्त करना), और मेडिकल ट्राइएज (यह तय करना कि डॉक्टर से पहले किसे देखा जाना चाहिए)।
3. "स्कैफोल्डिंग" टेस्ट: क्या अधिक सोचने से मदद मिलती है या नुकसान होता है?
शोधकर्ताओं ने केवल रोबोट को तुरंत निर्णय लेने के लिए नहीं कहा। उन्होंने इसे सोचने के चार अलग-अलग "मोड्स" में परखा, जैसे रोबोट को अलग-अलग स्तर की मानसिक शक्ति देना:
- डायरेक्ट (सीधा): "अभी निर्णय लें।"
- चेन-ऑफ-थॉट (विचार श्रृंखला): "निर्णय लेने से पहले चरण-दर-चरण सोचें।"
- डिबेट (बहस): "दो रोबोट एजेंटों को निर्णय के बारे में बहस करने दें।"
- टूल-यूज़ (उपकरण का उपयोग): "निर्णय लेने से पहले और जानकारी खोजने जाएं।"
बड़ा सवाल: क्या रोबोट को अधिक सोचने के लिए मजबूर करना (अधिक "स्कैफोल्डिंग" का उपयोग करना) पक्षपात को मिटा देता है, या यह अनजाने में पक्षपात को और बदतर बना देता है? लेखक इसे "सुपर-एडिटिविटी" (Super-additivity) परीक्षण कहते हैं।
4. चौंकाने वाला निष्कर्ष: "शोर" का जाल
जब उन्होंने पहली बार डेटा देखा, तो ऐसा लगा कि रोबोट पक्षपाती था। विभिन्न समूहों के स्कोर अलग-अलग थे।
उपमा: कल्पना कीजिए कि आप एक शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश कर रहे हैं। आपको लगा कि आपने एक शब्द सुना, लेकिन वह केवल हवा का झोंका था।
- शोधकर्ताओं को एहसास हुआ कि वे गणितीय गलती कर रहे थे। वे "छह लोगों की भीड़ के शोर" की तुलना "दो लोगों की फुसफुसाहट" से कर रहे थे। क्योंकि एक भीड़ में एक जोड़ी की तुलना में स्वाभाविक रूप से अधिक भिन्नता होती है, इसलिए यह पक्षपात जैसा दिख रहा था, लेकिन वास्तव में यह केवल रैंडम सांख्यिकीय शोर (जैसे रेडियो पर स्टैटिक) था।
- समाधान: उन्होंने एक नया "नॉइज़ फ्लोर" (शोर का स्तर) बनाया जो भीड़ के आकार के अनुरूप था। जब उन्होंने ऐसा किया, तो "पक्षपात" गायब हो गया।
परिणाम: जिस विशिष्ट रोबोट का उन्होंने परीक्षण किया था (एक मॉडल जिसे claude-haiku-4-5 कहा जाता है), उसमें कोई पता लगाने योग्य पक्षपात नहीं था एक बार जब उन्होंने गणित को ठीक कर दिया। रोबोट ने निष्पक्षता से काम किया, और जो भी पक्षपात दिख रहा था वह केवल संयोगवश था।
5. "टूल" चैनल
उन्होंने यह भी खोजा कि पक्षपात कैसे छिप सकता है: टूल इन्वोकेशन (उपकरण आह्वान)।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड एक निश्चित नाम वाले लोगों को अतिरिक्त आईडी दिखाने के लिए रोकता है, जबकि दूसरों को बिना कुछ पूछे जाने देता है। गार्ड अंततः सबको अंदर तो जाने देता है, लेकिन प्रक्रिया अनुचित थी।
- शोधकर्ताओं ने इसे पकड़ने के लिए एक मीट्रिक बनाया। उनके परीक्षण में, रोबोट ने ऐसा नहीं किया, लेकिन यह टूल भविष्य में ऐसा होने पर उसे पकड़ने के लिए तैयार है।
6. "लाइव लीडरबोर्ड"
चीजों को ईमानदार रखने के लिए, उन्होंने एक सार्वजनिक स्कोरबोर्ड (लीडरबोर्ड) बनाया।
- कैनरी (Canary): उन्होंने परीक्षण प्रश्नों में एक गुप्त "कैनरी" (एक छोटा, अद्वितीय टेक्स्ट स्ट्रिंग) छिपाया। यदि कोई रोबोट कंपनी उत्तरों को याद करके धोखाधड़ी करने की कोशिश करती है, तो कैनरी उनके आउटपुट में दिखाई देगा, और उन्हें अयोग्य घोषित कर दिया जाएगा।
- लागत: उन्होंने इस परीक्षण को सस्ता (प्रति रोबोट कुछ डॉलर) बनाया ताकि कोई भी इसे चला सके, न कि केवल बड़ी टेक कंपनियाँ।
दावों का सारांश
- हमें कार्यों का परीक्षण करने की आवश्यकता है, न कि केवल शब्दों का।
- हमें गणित के साथ सावधान रहने की आवश्यकता है: 6 के समूह की तुलना 2 के समूह से करने पर रैंडम शोर पक्षपात जैसा दिखने लगता है।
- पायलट परिणाम: जिस विशिष्ट रोबोट का उन्होंने परीक्षण किया था (
claude-haiku-4-5), उसमें हायरिंग, लेंडिंग या मेडिकल ट्राइएज में रैंडम शोर से ऊपर कोई पक्षपात नहीं दिखा। - उपकरण: उन्होंने एक मुफ्त, ओपन-सोर्स टूलकिट जारी किया है ताकि अन्य लोग अपने स्वयं के रोबोटों का परीक्षण कर सकें और देख सकें कि क्या वे पक्षपाती हैं।
महत्वपूर्ण नोट: लेखक बहुत सावधानी से कहते हैं कि यह एक पायलट (पहला परीक्षण) है जो एक रोबोट पर किया गया है। वे यह नहीं कह रहे हैं कि सभी रोबोट निष्पक्ष हैं। वे कह रहे हैं, "यहाँ निष्पक्षता मापने के लिए एक बेहतर पैमाना है, और जब हमने इसका उपयोग इस एक रोबोट पर किया, तो यह पास हो गया।" असली काम तब शुरू होता है जब समुदाय इस पैमाने का उपयोग कई अलग-अलग रोबोटों का परीक्षण करने के लिए करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।