A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation

तकनीकी सारांश: लीडरबोर्ड स्थिरता और हेरफेर के विश्लेषण के लिए एक एकीकृत विक्षोभ ढांचा (A Unified Perturbation Framework)

समस्या विवरण

मूल्यांकन लीडरबोर्ड, जैसे कि LMArena और Chatbot Arena, ब्रैडली-टेरी (BT) ढांचे का उपयोग करके युग्मवार मानवीय प्राथमिकताओं को रैंकिंग में एकत्रित करके लार्ज लैंग्वेज मॉडल्स (LLMs) के बेंचमार्किंग के लिए केंद्रीय भूमिका निभाते हैं। जबकि ये प्लेटफॉर्म मॉडल अपनाने और उद्योग मान्यता को प्रेरित करते हैं, संरचित डेटा संशोधनों के विरुद्ध उनकी मजबूती (robustness) की समझ अभी भी अत्यंत सीमित है। मौजूदा साहित्य ने अलग-थloch कमजोरियों की पहचान की है—जैसे कि वोट इंजेक्शन, डेटा लीकेज, या विशिष्ट तुलनाओं को हटाने के प्रति संवेदनशीलता—लेकिन इसमें एक एकीकृत औपचारिकता (formalism) का अभाव है जो यह विश्लेषण कर सके कि विभिन्न प्रकार के विक्षोभ (perturbations) रैंकिंग अनुमानक (estimator) के माध्यम से विविध उद्देश्यों (जैसे, top-k सदस्यता, वैश्विक निरंतरता, और सांख्यिकीय अनिश्चितता) को कैसे प्रभावित करते हैं। यह शोध पत्र इस प्रश्न को संबोधित करता है कि तुलनात्मक डेटासेट में छोटे, संरचित परिवर्तन विभिन्न आयामों में लीडरबोर्ड निष्कर्षों को कैसे प्रभावित करते हैं।

कार्यप्रणाली (Methodology)

लेखक ब्रैडली-टेरी लीडरबोर्ड के लिए एक एकीकृत प्रभाव-आधारित विक्षोभ ढांचे (unified influence-based perturbation framework) का प्रस्ताव करते हैं। विधि का मुख्य भाग प्रत्येक संभावित कार्रवाई के लिए पूरे मॉडल को पुन: फिट करने की आवश्यकता के बिना, मैच वेट्स (match weights) में संशोधन के स्थानीय प्रभाव को अनुमानित करने के लिए 'इन्फ्लुएंस फंक्शन्स' का उपयोग करना है।

1. प्रभाव प्रसार (Influence Propagation):
यह ढांचा डेटासेट संशोधनों को भारित BT अनुमानक पर संरचित हस्तक्षेप (structured interventions) के रूप में मानता है। यह एक मैच वेट $w_n$ में विक्षोभ के परिणामस्वरूप लेटेंट स्किल वेक्टर $\hat{\theta}$ में परिवर्तन को अनुमानित करने के लिए इन्फ्लुएंस फंक्शन्स का उपयोग करता है:
$$\frac{\partial \hat{\theta}(w)}{\partial w_n} \bigg|_{w=1} = -H^{-1} g_n$$
जहाँ $H$ लॉस का हेसियन (Hessian) है और $g_n$ मैच $n$ के लिए ग्रेडिएंट है। इन पैरामीटर संवेदनशीलताओं को स्केलर लीडरबोर्ड उद्देश्यों $f(\hat{\theta}, w)$ तक प्रसारित किया जाता है। परिमित विक्षोभों (अनंत नहीं) को ध्यान में रखते हुए, लेखक विक्षोभित उद्देश्य में वक्रता (curvature) परिवर्तनों को आंशिक रूप से ठीक करने के लिए वन-स्टेप न्यूटन (1sN) रिफाइनमेंट का उपयोग करते हैं।

2. एक्शन स्पेस (Action Space):
ढांचा तीन मौलिक मैच-स्तरीय विक्षोभ और एक प्लेयर-स्तरीय हस्तक्षेप को परिभाषित करता है:

• ड्रॉप (Drop): एक मौजूदा मैच को हटाना ($w_n: 1 \to 0$)।
• ऐड (Add): एक नया मैच पेश करना ($w_{new}: 0 \to 1$)। लेखक तीन संभावित स्पेस पर विचार करते हैं जिनमें नियंत्रण के बढ़ते स्तर हैं: all_pairs (परिणाम स्किल द्वारा निर्धारित), all_outcomes_weighted (परिणाम BT प्रायिकता द्वारा भारित), और all_outcomes (परिणाम पूरी तरह से नियंत्रित)।
• फ्लिप (Flip): एक मौजूदा मैच के परिणाम को उलटना ($y_n \to 1-y_n$), जिसे मूल मैच को ड्रॉप करने और विपरीत मैच को जोड़ने के रूप में मॉडल किया गया है।
• प्लेयर रिमूवल (Player Removal): किसी विशिष्ट खिलाड़ी से जुड़े सभी मैचों को हटाना, जिसका विश्लेषण ग्रुपड न्यूटन रिफाइनमेंट के माध्यम से किया जाता है।

3. मूल्यांकन उद्देश्य (Evaluation Objectives):
ढांचा तीन अलग-अलग वर्गों के उद्देश्यों के विरुद्ध विक्षोभों का मूल्यांकन करता है:

• Top-k सदस्यता (Gap Objective): शीर्ष-k सीमाओं के पार कौशल अंतर ($\theta_i - \theta_j$) को मापता है ताकि यह निर्धारित किया जा सके कि कोई मॉडल शीर्ष-k सेट में प्रवेश करता है या बाहर निकलता है।
• वैश्विक रैंकिंग निरंतरता (Kendall's $\tau$): मूल संदर्भ रैंकिंग के साथ सहसंबंध को मापने के लिए एक डिफरेंशिएबल tanh-आधारित सरोगेट का उपयोग करता है।
• सांख्यिकीय अनिश्चितता (Confidence Intervals): कौशल अनुमानों के विचरण (variance) का अनुमान लगाने के लिए स्थानीय सूचना सन्निकटन (इनवर्स फिशर इंफॉर्मेशन) का उपयोग करता है। इसमें एक विशिष्ट खिलाड़ी की अनिश्चितता को कम करना ($f_{CI-player}$) या वैश्विक ट्रेस अनिश्चितता ($f_{CI-trace}$) शामिल है।

प्रमुख योगदान

1. एकीकृत ढांचा: यह पेपर एक एकल औपचारिकता पेश करता है जो विक्षोभ तंत्र (Drop, Add, Flip) को ऑडिट किए गए उद्देश्य से अलग करता है, जिससे मजबूती की विफलताओं और लक्षित हस्तक्षेपों का एक साथ अध्ययन संभव होता है।
2. व्यवस्थित गैर-मजबूती (Systematic Non-Robustness): सात डेटासेट्स (Arena 55k, MT-Bench, और NBA/ATP जैसे स्पोर्ट्स रैंकिंग सहित) पर प्रयोगों के माध्यम से, लेखक प्रदर्शित करते हैं कि आधुनिक लीडरबोर्ड गैर-मजबूत (non-robust) हैं। शीर्ष-रैंक वाले मॉडल को बदलने, वैश्विक रैंकिंग निरंतरता को कम करने और कॉन्फिडेंस इंटरवल को बदलने के लिए 1% से कम लक्षित विक्षोभ पर्याप्त हैं।
3. कुशल लक्षित हेरफेर (Efficient Targeted Manipulation): समान प्रभाव स्कोर कुशल लक्षित हस्तक्षेपों को सक्षम करते हैं। यह ढांचा पिछले वोट-रिगिंग बेसलाइन्स (जैसे omni-rigging) की तुलना में कम क्रियाओं के साथ विशिष्ट मॉडल्स को बढ़ावा दे सकता है या घटा सकता है, और सक्रिय-सैंपलिंग बेसलाइन्स (जैसे Arena Active) की तुलना में लक्षित-मॉडल अनिश्चितता को अधिक प्रभावी ढंग से कम कर सकता है।
4. प्लेयर रिमूवल विश्लेषण: यह अध्ययन "लीडरबोर्ड इल्यूजन" को मात्रात्मक रूप से दर्शाता है कि प्रभावशाली खिलाड़ियों (जैसे, अत्यधिक जुड़े हुए मॉडल्स) को हटाने से शेष मॉडल्स के व्यापक पुनर्गठन को प्रेरित किया जा सकता है, जिससे रैंक बदल जाती है और शीर्ष-10 सदस्यता बदल जाती है।
5. सामान्यीकृत मजबूती स्कोर: लेखक प्रभाव-निर्देशित विफलताओं को विभिन्न लीडरबोर्ड स्थिरता दृश्यों में एक कॉम्पैक्ट ऑडिट प्रोफाइल प्रदान करने के लिए सामान्यीकृत डेटासेट-स्तरीय मजबूती स्कोर ($R_{Top-1}$, $R_{CI}$, $R_{\tau}$) में एकत्रित करते हैं।

परिणाम

• मजबूती (Robustness): प्रमुख LLM लीडरबोर्ड (जैसे, Arena 55k) पर, शीर्ष-1 मॉडल को बदलने के लिए 1% से कम लक्षित क्रियाएं (विशेष रूप से Flip या Drop) पर्याप्त हैं। उदाहरण के लिए, Arena 55k पर शीर्ष-1 को बदलने के लिए केवल 3 Flip क्रियाओं या 5 Drop क्रियाओं की आवश्यकता थी।
• उद्देश्य संवेदनशीलता (Objective Sensitivity):
  • रैंकिंग बदलने और केंडल के $\tau$ को कम करने के लिए Flip आम तौर पर सबसे कुशल विक्षोभ है।
  • Drop अधिक रूढ़िवादी है लेकिन फिर भी अत्यधिक प्रभावी है।
  • Add वेरिएंट रैंकिंग बदलने के लिए कम प्रभावी हैं लेकिन अनिश्चितता को कम करने के लिए सबसे प्रभावी हैं (रचनात्मक हस्तक्षेप)।
• CI-जागरूक मजबूती: जबकि कॉन्फिडेंस इंटरवल्स (CI) को ध्यान में रखने से रैंकिंग बदलने के लिए आवश्यक बजट बढ़ जाता है (पॉइंट एस्टीमेट की तुलना में औसतन 13$\times$), लीडरबोर्ड फिर भी असुरक्षित रहते हैं। लक्षित 'ड्रॉप' सख्त CI-जागरूक मानदंडों के तहत भी शीर्ष-k सदस्यता को बदल सकते हैं।
• डेटासेट भिन्नता: विशेषज्ञ-क्यूरेटेड डेटासेट्स (जैसे, MT-Bench) क्राउडसोर्स्ड एरिना-शैली के डेटासेट्स की तुलना में उच्च मजबूती प्रदर्शित करते हैं। स्पार्स ग्राफ (जैसे, ATP Top-10) सबसे कम वैश्विक रैंकिंग स्थिरता दिखाते हैं।
• प्लेयर रिमूवल: एक अत्यधिक प्रभावशाली खिलाड़ी को हटाने से 28 खिलाड़ियों तक की रैंक बदल सकती है और 6 शीर्ष-10 सदस्यताओं को बदला जा सकता है, जहाँ "डिग्री" (मैच की संख्या) एक खिलाड़ी के प्रभाव का सबसे मजबूत भविष्यवक्ता है।

महत्व और दावे

यह पेपर दावा करता है कि यह लीडरबोर्ड स्थिरता के ऑडिट के लिए एक व्यावहारिक और सहायक उपकरण प्रदान करता है। मजबूती विश्लेषण और एडवरसेरियल मैनिपुलेशन को जोड़कर, यह ढांचा वर्तमान मूल्यांकन प्रणालियों की मौलिक सीमाओं को प्रकट करता है। लेखक इस बात पर जोर देते हैं कि जिन तकनीकों का उपयोग मजबूती के ऑडिट के लिए किया जा सकता है, उनका उपयोग सैद्धांतिक रूप से रैंकिंग में हेरफेर के लिए भी किया जा सकता है, जो एक दोहरे उपयोग (dual-use) के तनाव को उजागर करता है।

इस कार्य का महत्व निम्नलिखित में निहित है:

1. वर्तमान प्रणालियों की नाजुकता को मात्रात्मक रूप से मापकर अधिक मजबूत मूल्यांकन प्रोटोकॉल को प्रेरित करना।
2. एक रक्षात्मक तंत्र प्रदान करना, जहाँ कम मजबूती स्कोर या अत्यधिक प्रभावशाली तुलनाएं रूढ़िवादी रिपोर्टिंग, लक्षित डेटा संग्रह, या विलंबित अपडेट को ट्रिगर कर सकती हैं।
3. एक एकीकृत दृष्टिकोण प्रदान करना जो एकल-विक्षोभ अध्ययनों से आगे बढ़कर, कई रैंकिंग उद्देश्यों के लिए मैच जोड़ना, हटाना और पलटना (flip) कवर करता है।

लेखक अपने दायरे के संबंध में विनम्र बने हुए हैं, यह स्वीकार करते हुए कि इन्फ्लुएंस अनुमान स्थानीय सन्निकटन (local approximations) हैं और उनके अनिश्चितता उद्देश्य ऐसे स्केलेबल प्रॉक्सी पर निर्भर हैं जो सभी प्रकार के एनोटेशन शोर या जज बायस को कैप्चर नहीं कर सकते हैं। वे सुझाव देते हैं कि भविष्य के कार्य उच्च-क्रम एट्रिब्यूशन विधियों और आउटलेयर-रोबस्ट एस्टीमेटर्स पर केंद्रित होने चाहिए।