Applied Mathematical Robustness Analysis of Maximum-Likelihood Pairwise Ranking for Comparison-Driven Intelligent Systems

आधुनिक निर्णय लेने की अदृश्य मशीनरी में, जो यह सुझाव देने से लेकर कि आपको अगला कौन सा गाना पसंद आ सकता है, नौकरी के लिए उम्मीदवारों को रैंक करने तक काम करती है, एक शांत लेकिन शक्तिशाली प्रक्रिया मौजूद है जिसे 'पेयरवाइज़ रैंकिंग' (pairwise ranking) कहा जाता है। कल्पना कीजिए कि एक ऐसी प्रणाली की जो आपसे हर वस्तु को एक से दस के पैमाने पर रेट करने के लिए नहीं कहती, बल्कि आपको दो के बीच चयन करने के लिए कहती है: "क्या आप इस फिल्म को पसंद करेंगे या उस एक को?" इन हजारों सरल, आमने-सामने के चुनावों को एकत्र करके, सिस्टम प्राथमिकताओं का एक मानचित्र बनाता है और सब कुछ एक वैश्विक क्रम में व्यवस्थित करता है। यह विधि अनुशंसा इंजन (recommendation engines) और प्रतिष्ठा प्रणालियों की रीढ़ है, जो एक सांख्यिकीय दृष्टिकोण पर निर्भर करती है जो इन चुनावों को प्रत्येक विकल्प के पीछे छिपी ताकत को उजागर करने वाले सुरागों के रूप में देखती है। हालाँकि, जिस तरह एक कमजोर नींव पर बना घर मामूली झटके से भी ढह सकता है, ये रैंकिंग सिस्टम एक महत्वपूर्ण प्रश्न का सामना करते हैं: इनपुट डेटा के साथ कितनी छेड़छाड़ की जा सकती है इससे पहले कि अंतिम सूची अविश्वसनीय हो जाए? यदि लोगों का एक छोटा समूह परिणामों को बदलने के लिए अपने चुनावों में समन्वय करता है, तो क्या सिस्टम इसे नोटिस करेगा, या यह चुपचाप एक झूठे वृत्तांत के अनुसार दुनिया को पुनर्व्यवस्थित कर देगा?

वाशिंगटन यूनिवर्सिटी इन सेंट लुइस के शोधकर्ताओं की एक टीम ने इन रैंकिंग सिस्टम की स्थिरता को एक गणितीय स्ट्रेस टेस्ट (stress test) के रूप में मानकर इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने इन प्रणालियों द्वारा अपने परिणामों की गणना करने के सबसे सामान्य तरीके पर ध्यान केंद्रित किया, जो एक ऐसी विधि है जो देखे गए विकल्पों के आधार पर शक्तियों के सबसे संभावित व्यवस्था को खोजती है। शोधकर्ताओं ने पूछा कि क्या होगा यदि एक विरोधी, जिसके पास डेटा को बदलने की बहुत सीमित क्षमता हो, अंतिम रैंकिंग में हेरफेर करने की कोशिश करे। उन्होंने किसी एक, सार्वभौमिक कमजोरी की तलाश नहीं की जो हर सिस्टम को समान रूप से प्रभावित करती हो। इसके बजाय, उन्होंने इस समस्या को डेटा की संरचना के भीतर विशिष्ट, छिपी हुई कमजोरियों की खोज के रूप में देखा। ऐसा करने के लिए, उन्होंने एक नई, कुशल खोज रणनीति विकसित की जिसे 'एडेप्टिव सबसेट सिलेक्शन अटैक' (Adaptive Subset Selection Attack) कहा गया। इस रणनीति को एक अत्यधिक कुशल जासूस के रूप में समझें जो, हर दरवाजे को बेतरतीब ढंग से चेक करने के बजाय, बुद्धिमानी से उन सबसे आशाजनक कमरों तक अपनी खोज को सीमित कर देता है जिन्हें खोलने पर सबसे अधिक व्यवधान उत्पन्न हो सकता है।

शोधकर्ताओं ने दो बहुत ही अलग प्रकार के डेटा का उपयोग करके इस दृष्टिकोण का परीक्षण किया। एक वास्तविक दुनिया का संग्रह था जिसमें एक सौ उम्मीदवारों की प्राथमिकताएं शामिल थीं, जबकि दूसरा एक सिंथेटिक, कंप्यूटर-जनित डेटासेट था जिसे प्राथमिकताओं के निर्माण के एक विशिष्ट गणितीय मॉडल की नकल करने के लिए डिज़ाइन किया गया था। उन्होंने अपने खोज पद्धति को, सरल, यादृच्छिक (random) और ग्रीडी (greedy) रणनीतियों के साथ लागू किया, यह देखने के लिए कि जब उन्हें कुल तुलनाओं के एक बहुत छोटे अंश को बदलने की अनुमति दी गई, तो अंतिम रैंकिंग कितनी बदल गई। परिणामों ने एक चौंकाने वाली वास्तविकता का खुलासा किया: सिस्टम की नाजुकता स्वयं गणित का एक निश्चित गुण नहीं है, बल्कि उस डेटा का एक लक्षण है जिसे इसे खिलाया जाता है। एक सौ उम्मीदवारों वाले वास्तविक दुनिया के डेटासेट पर, सिस्टम ने 0.01% के सबसे छोटे परीक्षण बजट पर भी एक मापने योग्य प्रतिक्रिया दिखाई, जहाँ रैंकिंग औसतन 2 स्थानों से बदल गई। जैसे-जैसे शोधकर्ताओं ने डेटा को बदलने की अनुमति दी गई मात्रा को बढ़ाकर 0.05% और 0.10% किया, रैंकिंग तेजी से अस्थिर होती गई, जहाँ औसत स्थिति परिवर्तन क्रमशः 5.0 और 14.0 तक बढ़ गया, जो यह दर्शाता है कि बड़े समन्वित परिवर्तनों के तहत शीर्ष उम्मीदवार वास्तव में सूची में नीचे जा रहे थे।

इसके विपरीत, सिंथेटिक डेटासेट ने एक अलग कहानी सुनाई। जब शोधकर्ताओं ने इस कंप्यूटर-जनित डेटा पर ठीक वही छोटे बदलाव लागू किए, तो रैंकिंग तब तक लगभग पूरी तरह से अप्रभावित रही जब तक कि वे उनके द्वारा परीक्षण किए गए सबसे बड़े बजट तक नहीं पहुँच गए। यह निष्कर्ष बताता है कि रैंकिंग पद्धति में कोई एक एकल "कमजोरी" नहीं है जो हर जगह लागू होती है। इसके बजाय, कुछ रैंकिंग संरचनाएं स्वाभाविक रूप से मजबूत होती हैं, जबकि अन्य आश्चर्यजनक रूप से नाजुक होती हैं, जो पूरी तरह से इस पर निर्भर करती हैं कि तुलनाएं कैसे जुड़ी हुई हैं और वितरित हैं। अध्ययन ने अपने उन्नत खोज पद्धति की तुलना सरल तरीकों से भी की। उन्होंने पाया कि हालांकि उनकी नई पद्धति सबसे अधिक नुकसानदेह बदलाव खोजने में थोड़ी अधिक प्रभावी थी, लेकिन अंतर अक्सर कम था। सबसे महत्वपूर्ण खोज यह थी कि एक बार जब सिस्टम एक नाजुक अवस्था में प्रवेश कर गया, तो बुनियादी, कम परिष्कृत तरीकों ने भी व्यवधान डालने के तरीके खोज लिए। जटिल खोज उपकरण इसलिए मूल्यवान नहीं था क्योंकि वह बहुत श्रेष्ठ था, बल्कि इसलिए क्योंकि उसने पुष्टि की कि अस्थिरता वास्तविक थी और उस विशिष्ट डेटा संरचना के भीतर व्यापक थी।

इन निष्कर्षों के उन इंजीनियरों के लिए गंभीर निहितार्थ हैं जो हमारे दैनिक निर्णयों को निर्देशित करने वाली प्रणालियों का निर्माण करते हैं। शोध यह प्रदर्शित करता है कि विश्वसनीयता केवल इसलिए अनुमानित नहीं की जा सकती क्योंकि एक प्रणाली सामान्य परिस्थितियों में सटीक परिणाम देती है। एक रैंकिंग सिस्टम महीनों के लिए पूरी तरह से काम कर सकता है, केवल एक छोटे, समन्वित सेट बदले हुए प्राथमिकताओं द्वारा पटरी से उतारा जा सकता है। अध्ययन सुझाव देता है कि ऐसे सिस्टम को महत्वपूर्ण निर्णय लेने के लिए तैनात करने से पहले, उन्हें एक विशिष्ट प्रकार के ऑडिट से गुजरना चाहिए। यह ऑडिट केवल सटीकता की जांच नहीं करेगा, बल्कि सक्रिय रूप से इन नाजुक व्यवस्थाओं की जांच करेगा कि सिस्टम छोटे, संरचित परिवर्तनों के प्रति कैसी प्रतिक्रिया देता है। शोधकर्ता निष्कर्ष निकालते हैं कि इन कमजोरियों को समझना किसी 'वर्स्ट-केस अटैक' (worst-case attack) के लिए तैयार होने के बारे में नहीं है, बल्कि यह सुनिश्चित करने के बारे में है कि हमारे बुद्धिमान प्रणालियों के गणितीय आधार उतने ही मजबूत हों जितने कि वे निर्णय जिनका वे समर्थन करते हैं। इन कमजोरियों का मानचित्र बनाकर, हम उन विकल्पों के लिए एक अधिक विश्वसनीय बुनियादी ढांचा बना सकते हैं जो हमारी दुनिया को आकार देते हैं।