Comparing Developer and LLM Biases in Code Evaluation
यह शोध पत्र TRACE को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो तीन मोडैलिटीज़ में कोड मूल्यांकन के दौरान LLM जजों और मानव डेवलपर्स के बीच महत्वपूर्ण मिसअलाइनमेंट (असमानता) को प्रकट करता है, यह दर्शाते हुए कि सबसे अच्छे मॉडल भी अधिकांश मौजूदा कोड गुणवत्ता आयामों पर मनुष्यों से 12-23% पीछे रह जाते हैं और लंबी व्याख्याओं को प्राथमिकता देने जैसे व्यवस्थित पूर्वाग्रह प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक रोबोट को खाना बनाना सिखाने की कोशिश कर रहे हैं। आप रोबोट से एक सैंडविच बनाने के लिए कहते हैं, और वह आपको दो विकल्प देता है। आप उस विकल्प को चुनते हैं जिसमें ताज़ा, कुरकुरी लेटस (सलाद पत्ता) है। लेकिन रोबोट का "टेस्ट टेस्टर" (एक अन्य AI) उस विकल्प को चुनता है जिसमें मुरझाई हुई, गीली लेटस है क्योंकि वह सोचता है कि "ज़्यादा लेटस = बेहतर सैंडविच।"
यह उस शोध पत्र का मुख्य मुद्दा है जिसका शीर्षक है "Comparing Developer and LLM Biases in Code Evaluation" (कोड मूल्यांकन में डेवलपर और LLM पूर्वाग्रहों की तुलना)।
यहाँ शोधकर्ताओं द्वारा पाए गए निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. समस्या: रोबोट जज वास्तविकता से दूर है
जैसे-जैसे हम कोड लिखने के लिए AI का उपयोग कर रहे हैं, हमें उस कोड को ग्रेड देने के लिए एक तरीके की आवश्यकता है। हर एक लाइन की जांच करने के लिए मानव को काम पर रखने के बजाय, हम एक "जज AI" का उपयोग करते हैं जो कहता है, "यह कोड अच्छा है, वह कोड बुरा है।"
शोधकर्ताओं ने पूछा: क्या ये जज AI वास्तव में मानव डेवलपर्स की तरह सोचते हैं?
उन्होंने पाया कि नहीं, वे नहीं सोचते। यहाँ तक कि सबसे स्मार्ट AI जज भी लक्ष्य से चूक जाते हैं। वे एक मानव द्वारा दूसरे मानव द्वारा पसंद किए जाने वाले कोड को चुनने की तुलना में लगभग 12% से 23% खराब होते हैं। यह एक ऐसे खाद्य आलोचक की तरह है जो जला हुआ टोस्ट पसंद करता है क्योंकि उसे लगता है कि यह "रस्टिक" (देहाती) दिखता है, जबकि बाकी सभी बस एक ताज़ा स्लाइस चाहते हैं।
2. टूल: TRACE ("रुब्रिक डिटेक्टिव")
यह पता लगाने के लिए कि रोबोट गलत क्यों हैं, लेखकों ने TRACE नामक एक टूल बनाया।
TRACE को एक डिटेक्टिव के आवर्धक लेंस (magnifying glass) के रूप में सोचें।
- चरण 1: यह एक कोडिंग कार्य को देखता है जहाँ एक मानव ने "विकल्प A" चुना और AI जज ने "विकल्प B" चुना।
- चरण 2: यह दोनों विकल्पों को "रुब्रिक आइटम्स" (एक स्कोरकार्ड की तरह) की एक चेकलिस्ट में तोड़ देता है। ये आइटम ऐसे हो सकते हैं जैसे "क्या कोड तेज़ है?", "क्या इसमें कमेंट्स हैं?", या "क्या इसे पढ़ना आसान है?"
- चरण 3: यह स्कोरकार्ड की तुलना करता है। यह पूछता है: "क्या मानव को गति (speed) की अधिक चिंता थी? क्या AI को कमेंट्स की अधिक चिंता थी?"
इससे पता चला कि AI जज और मानव डेवलपर्स के बीच 35 विशिष्ट तरीके हैं जिनसे वे असहमत होते हैं।
### 3. तीन परिदृश्य (किचन सेटिंग्स)
शोधकर्ताओं ने AI जजों का परीक्षण तीन अलग-अलग "रसोईघरों" (कोडिंग परिदृश्यों) में किया, और रोबोट प्रत्येक में अलग-अलग तरीकों से भ्रमित हुए:
A. ऑटोकम्प्लीट शेफ (कोड कम्प्लीशन)
- दृश्य: आप कोड टाइप कर रहे हैं, और AI अगले कुछ शब्द सुझा रहा है।
- मानव प्राथमिकता: मनुष्य चाहते हैं कि सुझाव उस फ़ाइल के संदर्भ (context) में स्पष्ट और पढ़ने में आसान हो जिस पर वे पहले से काम कर रहे हैं।
- रोबोट का पूर्वाग्रह: AI जज उन सुझावों को पसंद करते थे जो कार्यात्मक रूप से सही (functionally correct) थे लेकिन अव्यवस्थित या पढ़ने में कठिन थे। उन्होंने इस तथ्य को नज़रअंदाज़ कर दिया कि कोड को मौजूदा फ़ाइल में सुचारू रूप से फिट होना चाहिए।
- उपमा: मानव एक ऐसा सैंडविच चाहता है जो उसकी प्लेट पर पूरी तरह से फिट हो। रोबोट जज उस सैंडविच को चुनता है जो तकनीकी रूप से खाने योग्य तो है लेकिन 3 फीट ऊँचा है और हर तरफ बिखर रहा है।
B. एडिटर (कोड एडिटिंग)
- दृश्य: आप कोड का एक टूटा हुआ हिस्सा हाइलाइट करते हैं और AI को कहते हैं, "इसे ठीक करो।"
- मानव प्राथमिकता: मनुष्य चाहते हैं कि सुधार सटीक और स्पष्ट हो। वे नहीं चाहते कि AI पूरी फ़ाइल को फिर से लिख दे या अनावश्यक चीज़ें जोड़ दे।
- रोबोट का पूर्वाग्रह: AI जज अक्सर उन उत्तरों को पसंद करते थे जो अस्पष्ट थे या जिनमें बहुत अधिक "व्याख्या" वाला टेक्स्ट जोड़ा गया था, बजाय एक साफ और सटीक सुधार के।
- उपमा: आप रोबोट से एक टूटा हुआ बल्ब बदलने के लिए कहते हैं। मानव एक नया बल्ब चाहता है। रोबोट जज उस उत्तर को चुनता है जहाँ रोबोट ने बल्ब बदला भी है और पूरे घर की वायरिंग भी बदल दी है और एक 10 पन्नों का मैनुअल भी लिख दिया है, जबकि आपको बस लाइट जलानी थी।
C. चैटबॉट (चैट-आधारित कोडिंग)
- दृश्य: आप एक प्रश्न पूछते हैं जैसे, "मैं इस लिस्ट को कैसे सॉर्ट करूँ?"
- मानव प्राथमिकता: मनुष्य एक स्मार्ट, संदर्भ-जागरूक (context-aware) उत्तर चाहते हैं जो दिखाता है कि AI विशिष्ट समस्या को समझता है।
- रोबोट का पूर्वाग्रह: AI जज सामान्य, लंबी-चौड़ी व्याख्याओं को पसंद करते थे। उन्हें लगा कि "ज़्यादा शब्द = बेहतर उत्तर," भले ही उत्तर उबाऊ था और विशिष्ट समस्या को हल नहीं कर रहा था।
- उपमा: आप पूछते हैं, "मैं टायर का पंचर कैसे ठीक करूँ?" मानव चरण-दर-चरण निर्देश चाहता है। रोबोट जज उस उत्तर को चुनता है जो रबर के टायरों के इतिहास पर 500 शब्दों का निबंध लिखता है, क्योंकि यह "प्रभावशाली" लगता है।
4. बड़ा आश्चर्य: "विशेष" रोबोट भी विफल होते हैं
शोधकर्ताओं ने 13 अलग-अलग AI मॉडल का परीक्षण किया। कुछ सामान्य-उद्देश्य वाले (जैसे स्विस आर्मी नाइफ) थे, और कुछ "विशेषज्ञ जज" (Specialized Judges) थे जिन्हें विशेष रूप से कोड को ग्रेड करने के लिए प्रशिक्षित किया गया था।
परिणाम: विशेषज्ञ जज सामान्य जजों से बहुत बेहतर नहीं थे।
- उपमा: यह एक बर्गर का निर्णय करने के लिए एक पेशेवर खाद्य आलोचक को काम पर रखने जैसा है। आप उम्मीद करेंगे कि वे बहुत अच्छे होंगे। लेकिन इस मामले में, "पेशेवर" आलोचक भी उतना ही भ्रमित था जितना कि "अमेच्योर" आलोचक। वे दोनों उन सूक्ष्म चीजों को समझने में विफल रहे जो एक बर्गर (या कोड) को वास्तव में मानव के लिए अच्छा बनाती हैं।
5. निष्कर्ष: हमें बेहतर प्रशिक्षण की आवश्यकता है
लेख का निष्कर्ष है कि हम अभी केवल AI को AI को ग्रेड करने के लिए भरोसा नहीं कर सकते। "रुब्रिक्स" (नियम जिनका वे उपयोग करते हैं) उन नियमों से अलग हैं जिनका उपयोग मानव करते हैं।
- मानव पर ध्यान देते हैं: पठनीयता (readability), संदर्भ (context), सटीकता (precision), और "सही महसूस होना"।
- AI जज पर ध्यान देते हैं: लंबाई, सामान्य शुद्धता, और सतही विशेषताओं पर।
सीख:
यदि हम चाहते हैं कि AI हमें सॉफ़्टवेयर बनाने में मदद करे, तो हमें "जज AI" को मानव डेवलपर्स की तरह सोचना सिखाना होगा। हमें उन्हें केवल "सत्यता" (correctness) खोजने के लिए प्रशिक्षित करना बंद करना होगा और उन्हें संदर्भ, स्पष्टता और वास्तविक कार्य करने के मानवीय तरीके को समझने के लिए प्रशिक्षित करना शुरू करना होगा।
तब तक, AI जज एक ऐसे रोबोट की तरह है जो सोचता है कि एक अव्यवस्थित, अत्यधिक जटिल समाधान एक उत्कृष्ट कृति (masterpiece) है, जबकि मानव डेवलपर बस काम पूरा करना चाहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।