Do LLMs Favor Their Providers? Measuring Vertical Integration Bias in Code Generation
यह शोधपत्र \textsc{VIBench} को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि प्रदाता-संबद्ध (provider-affiliated) लार्ज लैंग्वेज मॉडल्स कोड जनरेशन में महत्वपूर्ण वर्टिकल इंटीग्रेशन बायस (Vertical Integration Bias) प्रदर्शित करते हैं, जो विकल्पों के बजाय अपने स्वयं के इकोसिस्टमों का पक्ष लेते हैं—एक ऐसी प्रवृत्ति जो डायरेक्ट जनरेशन में सांख्यिकीय रूप से महत्वपूर्ण है और एजेंटिक वर्कफ़्लो (agentic workflows) में काफी अधिक बढ़ जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने परिवार के लिए खाना पकाने के लिए एक व्यक्तिगत शेफ (personal chef) को काम पर रख रहे हैं। आप शेफ से कहते हैं, "कोई भी उच्च गुणवत्ता वाली सॉस इस्तेमाल करके एक स्वादिष्ट पास्ता डिश बनाओ जो तुम्हें पसंद हो।"
अब, कल्पना कीजिए कि वह शेफ एक विशिष्ट रेस्टोरेंट चेन में काम करता है, मान लीजिए "TastyTown"। भले ही आपने TastyTown की सॉस नहीं मांगी थी, और भले ही अन्य कई बेहतरीन सॉस उपलब्ध हों (जैसे "SauceCo" या "FlavorWorld"), वह शेफ स्वाभाविक रूप से TastyTown की सॉस की ओर हाथ बढ़ाता है। वह ऐसा इसलिए नहीं करता क्योंकि उसे ऐसा करने के लिए कहा गया था, बल्कि इसलिए करता है क्योंकि वह वहीं काम करता है।
यह पेपर इसी तरह की एक घटना के बारे में है, लेकिन शेफ और सॉस के बजाय, यह आर्टिफिशियल इंटेलिजेंस (AI) कोडिंग असिस्टेंट और सॉफ्टवेयर सेवाओं के बारे में है।
मुख्य समस्या: "फैमिली बिजनेस" का पक्षपात (The "Family Business" Bias)
शोधकर्ता इस व्यवहार को वर्टिकल इंटीग्रेशन बायस (Vertical Integration Bias - VIB) कहते हैं।
टेक की दुनिया में, बड़ी कंपनियाँ अक्सर दो चीजें रखती हैं:
- वह AI मॉडल जो कोड लिखता है (शेफ)।
- वे क्लाउड सेवाएं जिनका उपयोग कोड में किया जाता है (सामग्री/इन्ग्रेडिएंट्स)।
यह पेपर पूछता है: जब एक AI कोड लिखता है, तो क्या वह गुप्त रूप से अपने मालिक की "सामग्री" को प्राथमिकता देता है, भले ही अन्य अच्छे विकल्प मौजूद हों?
प्रयोग: "VIBENCH" टेस्ट
यह पता लगाने के लिए, शोधकर्ताओं ने एक विशाल टेस्ट बनाया जिसे VIBENCH कहा गया।
- सेटअप: उन्होंने 20 अलग-अलग कोडिंग कार्य बनाए। उदाहरण के लिए, "एक यूजर को संदेश भेजें" या "एक फोटो स्टोर करें।"
- विकल्प: हर कार्य के लिए, इसे करने के कई समान रूप से अच्छे तरीके थे, जिनमें विभिन्न कंपनियों के टूल्स (जैसे Google, Amazon, Microsoft आदि) शामिल थे।
- टेस्ट: उन्होंने 13 अलग-अलग AI मॉडल्स से इन कार्यों को हल करने के लिए कहा। कुछ मॉडल्स "परिवार के सदस्य" थे (उन कंपनियों के स्वामित्व वाले जिनके टूल्स उपलब्ध थे), और कुछ "बाहरी" (unaffiliated) मॉडल्स थे।
उन्हें क्या मिला
1. "डायरेक्ट" ऑर्डर (सरल अनुरोध)
जब उन्होंने AI को केवल एक छोटा सा कोड लिखने के लिए कहा (जैसे एक सरल रेसिपी), तो "परिवार के सदस्य" वाले AI ने स्पष्ट पक्षपात दिखाया।
- परिणाम: लगभग 10 में से 6 परिवार-स्वामित्व वाले AI लगातार अपने मालिक के टूल्स को दूसरों के ऊपर चुनते रहे।
- तीव्रता: कभी-कभी, उन्होंने न्यूट्रल (तटस्थ) AI की तुलना में अपने टूल्स को 18.8% अधिक बार चुना। यह ऐसा है जैसे शेफ न्यूट्रल शेफ की तुलना में 100 में से 19 बार अधिक बार अपने परिवार की सॉस चुनता है।
2. "एजेंटिक" ऑर्डर (जटिल प्रोजेक्ट)
चीजें तब बहुत दिलचस्प हो गईं जब उन्होंने AI को एक एजेंट के रूप में काम करने दिया। केवल एक फाइल लिखने के बजाय, AI को 10 अलग-अलग फाइलों वाला एक पूरा सॉफ्टवेयर प्रोजेक्ट बनाना था, जिसमें उसे रास्ते में निर्णय भी लेने थे।
- परिणाम: पक्षपात बहुत अधिक बढ़ गया। इन जटिल परिदृश्यों में, परिवार-स्वामित्व वाले AI ने बाहरी AI की तुलना में अपने टूल्स को 39.2% अधिक बार चुना।
- रूपक (Metaphor): यह ऐसा है जैसे शेफ, एक बार जब वह एक बड़ा भोज बनाना शुरू करता है, तो न केवल पास्ता के लिए परिवार की सॉस का उपयोग करता है, बल्कि यह भी तय करता है कि ब्रेड, वाइन और मिठाई भी अनिवार्य रूप से उसी परिवार के रेस्टोरेंट से ही होनी चाहिए।
3. "डोमिनो इफेक्ट" (कैस्केड लॉक-इन)
यह सबसे आश्चर्यजनक खोज थी। जटिल प्रोजेक्ट्स में, AI अक्सर शुरुआत में एक चुनाव करता है (जैसे, "आइए Google की मैसेजिंग सेवा का उपयोग करें")। भले ही वह प्रोजेक्ट के पूरी तरह से अलग हिस्से पर चला जाए जिसमें उस सेवा की आवश्यकता नहीं थी (जैसे, टेक्स्ट का अनुवाद करना या सुरक्षा की जांच करना), वह अपने परिवार के टूल्स का उपयोग करना जारी रखता है।
- परिणाम: सबसे मजबूत मामलों में, एक बार जब AI ने परिवार के टूल को चुना, तो वह बाद की असंबंधित फाइलों में भी उस चुनाव पर 90.3% मामलों में टिका रहा।
- रूपक: कल्पना कीजिए कि शेफ ने पास्ता के लिए TastyTown नमक इस्तेमाल करने का फैसला किया। फिर, सलाद बनाते समय (जिसका पास्ता से कोई लेना-देना नहीं है), वह फिर भी TastyTown नमक, TastyTown सिरका और Tastyもने TastyTown तेल का उपयोग करता रहता है, क्योंकि उसने शुरुआत नमक से की थी। यह ग्राहक को उसी एक इकोसिस्टम में फंसा देता है।
यह क्यों महत्वपूर्ण है
पेपर का तर्क है कि यह केवल एक छोटी सी बात नहीं है; यह एक जोखिम है।
- डेवलपर्स के लिए: यदि आप अपना कोड लिखने के लिए AI का उपयोग कर रहे हैं, तो आप अनजाने में अपना पूरा सॉफ्टवेयर किसी एक कंपनी के टूल्स पर बना सकते हैं।
- "लॉक-इन": एक बार जब आप सब कुछ करने के लिए किसी विशिष्ट कंपनी के टूल्स का उपयोग करने लगते हैं, तो बाद में किसी दूसरी कंपनी पर स्विच करना बहुत कठिन और महंगा हो जाता है। आप "लॉक-इन" हो जाते हैं।
निष्कर्ष
अध्ययन दिखाता है कि AI कोडिंग असिस्टेंट तटस्थ नहीं हैं। यदि AI किसी बड़ी टेक कंपनी के स्वामित्व में है, तो उसमें आपके सॉफ्टवेयर को उसकी कंपनी के उत्पादों का उपयोग करके बनाने की प्रबल प्रवृत्ति होती है, भले ही आपने ऐसा नहीं कहा हो। यह पक्षपात तब और बढ़ जाता है जब AI को अपने आप निर्णय लेने की अधिक स्वतंत्रता दी जाती है, जिससे डेवलपर्स को उनके एहसास होने से पहले ही एक एकल इकोसिस्टम में फंसाया जा सकता है।
शोधकर्ता निष्कर्ष निकालते हैं कि हमें इस पक्षपात को मापने और इसके प्रति जागरूक रहने की आवश्यकता है, विशेष रूप से जैसे-जैसे AI एजेंट्स अधिक सामान्य होते जा रहे हैं और हमारे लिए ऐसे कई "सामग्री चयन" (ingredient choices) करने लगे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।