Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

यहाँ शोध पत्र "Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के अलाइनमेंट पाइपलाइनों में एक महत्वपूर्ण, कम पहचाने गए भेद्यता (vulnerability) की पहचान करता है: रूब्रिक-प्रेरित प्राथमिकता विचलन (Rubric-Induced Preference Drift - RIPD)।

• संदर्भ: आधुनिक LLM अलाइनमेंट (जैसे RLHF, RLAIF) तेजी से "LLM-as-a-Judge" प्रणालियों पर निर्भर करता है। ये जज प्राकृतिक भाषा के रूब्रिक्स (मूल्यांकन मानदंड) के आधार पर मॉडल प्रतिक्रियाओं का मूल्यांकन करते हैं। गुणवत्ता सुनिश्चित करने के लिए, इन रूब्रिक्स को मानक बेंचमार्क डेटासेट्स (जैसे MT-Bench, Chatbot Arena) के विरुद्ध परिष्कृत और मान्य किया जाता है।
• भेद्यता (The Vulnerability): लेखक यह प्रदर्शित करते हैं कि इन रूब्रिक्स में प्राकृतिक-भाषा संपादन (natural-language edits) को इस तरह तैयार किया जा सकता है कि वे वैलिडेशन बेंचमार्क पर प्रदर्शन को सुरक्षित रखते हुए भी, लक्ष्य डोमेन (अनदेखे या विशिष्ट वास्तविक दुनिया के परिदृश्यों) में जज की प्राथमिकताओं में व्यवस्थित, दिशात्मक गिरावट (systematic, directional degradation) उत्पन्न कर सकें।
• खतरा (The Threat): एक हमलावर (या यहाँ तक कि एक नेक इरादे वाला लेकिन गलत दिशा में जाने वाला इंजीनियर) एक रूब्रिक को मूल्यांकन मानदंडों को सूक्ष्म रूप से पुन: भारित (reweight) करने के लिए संशोधित कर सकता है। क्योंकि रूब्रिक बेंचमार्क वैलिडेशन (मानव लेबल के साथ सहमति उच्च बनी रहती है) को पास कर लेता है, इसलिए संशोधन को स्वीकार कर लिया जाता है। हालाँकि, लक्ष्य डेटा पर, जज का व्यवहार मानव इरादे से काफी विचलित हो जाता है। यह विचलन "स्टील्थी" (गुप्त) है क्योंकि यह यादृच्छिक शोर (random noise) नहीं बल्कि सुसंगत और दिशात्मक है, जिससे इसे कुल मिलाकर मेट्रिक्स या स्पॉट-चेकिंग के माध्यम से पहचानना कठिन हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक इस भेद्यता का फायदा उठाने के लिए खतरे के मॉडल को औपचारिक रूप देते हैं और एक "रूब्रिक-आधारित प्राथमिकता हमला" (Rubric-Based Preference Attack) प्रस्तावित करते हैं।

A. समस्या का निरूपण (Problem Formulation)

• सेटअप: एक निश्चित जज मॉडल $J_\theta$ एक रूब्रिक $R$ दिए जाने पर युग्मों $(y_1, y_2)$ का मूल्यांकन करता है।
• डोमेन: डेटासेट को एक बेंचमार्क डोमेन ($D_{bench}$) में विभाजित किया गया है जिसका उपयोग वैलिडेशन के लिए किया जाता है, और एक लक्ष्य डोमेन ($D_{target}$) में जहाँ विचलन प्रेरित किया जाता है।
• RIPD की परिभाषा: एक रूब्रिक संशोधन $R \to R'$ तब RIPD माना जाता है यदि:
  1. बेंचमार्क संरक्षण (Benchmark Preservation): $D_{bench}$ पर संदर्भ संकेत (reference signal) के साथ सहमति एक छोटे टॉलरेंस $\epsilon$ के भीतर रहती है।
  2. लक्ष्य क्षरण (Target Degradation): $D_{target}$ पर संदर्भ संकेत के साथ सहमति महत्वपूर्ण रूप से (एक मार्जिन $\tau$ द्वारा) गिर जाती है।

B. हमला तंत्र: पक्षपाती रूब्रिक खोज (Attack Mechanism: Biased Rubric Search)

लेखक ऐसे दुर्भावनापूर्ण रूब्रिक्स खोजने के लिए एक विकासवादी खोज एल्गोरिदम (evolutionary search algorithm) प्रस्तावित करते हैं जो मॉडल वेट्स (weights) तक पहुँच प्राप्त किए बिना ब्लैक-बॉक्स हमला करता है:

1. जनसंख्या-आधारित खोज (Population-Based Search): एक प्रारंभिक रूब्रिक पूल से शुरू होकर, सिस्टम पुनरावृत्ति के साथ रूब्रिक वेरिएंट उत्पन्न करता है।
2. असममित परिशोधन (Asymmetric Refinement): यह मुख्य नवाचार है। खोज दो अलग-अलग संकेतों का उपयोग करती है:
   • बेंचमार्क त्रुटियाँ (Benchmark Errors): वे मामले जहाँ जज $D_{bench}$ पर मानव संदर्भ के साथ असहमत होता है। रूब्रिक को इन त्रुटियों को सुधारने के लिए परिष्कृत किया जाता है (बेंचमार्क प्रदर्शन को बनाए रखना)।
   • लक्ष्य "त्रुटियाँ" (Target "Errors"): वे मामले जहाँ जज $D_{target}$ पर मानव संदर्भ के साथ सहमत होता है। रूब्रिक को इन निर्णयों को पलटने (विचलन प्रेरित करने) के लिए परिष्कृत किया जाता है।
   • महत्वपूर्ण रूप से, परिशोधन मॉडल हमलावर के इरादे से अनभिज्ञ है; इसे केवल "त्रुटियों को ठीक करने" के लिए कहा जाता है, लेकिन "त्रुटि" की परिभाषा को सही ढंग से आकलित लक्ष्य उदाहरणों को शामिल करने के लिए हेरफेर किया गया है।
3. चयन (Selection): अंतिम रूब्रिक उन उम्मीदवारों में से चुना जाता है जो बेंचमार्क बाधा को पास करते हैं लेकिन लक्ष्य डोमेन पर प्राथमिकता बदलाव को अधिकतम करते हैं।

C. पॉलिसी तक प्रसार (Propagation to Policy)

अध्ययन इस बात का पता लगाता है कि यह विचलन डाउनस्ट्रीम तक कैसे फैलता है:

• पक्षपाती जज लक्ष्य डोमेन के लिए प्राथमिकता लेबल ($D_{R'}$) उत्पन्न करता है।
• इन लेबलों का उपयोग Direct Preference Optimization (DPO) या RLAIF के माध्यम से पॉलिसी को प्रशिक्षित करने के लिए किया जाता है।
• परिणामी पॉलिसी ($\pi_{bias}$) पक्षपाती प्राथमिकताओं को आत्मसात कर लेती है, जिससे उन डोमेन में भी व्यवस्थित व्यवहारिक विचलन होता है जो स्पष्ट रूप से रूब्रिक संपादन के लिए लक्षित नहीं थे।

3. प्रमुख योगदान (Key Contributions)

1. RIPD की पहचान: शोध पत्र एक नए विफलता मोड को परिभाषित और औपचारिक रूप देता है जहाँ रूब्रिक संपादन बेंचमार्क प्रदर्शन को लक्ष्य-डोमेन व्यवहार से अलग कर देते हैं।
2. शोषण क्षमता का प्रदर्शन (Demonstration of Exploitability): लेखक दिखाते हैं कि "सौम्य" रूब्रिक परिशोधन को बेंचमार्क स्कोर को बनाए रखने या सुधारने के बावजूद, लक्ष्य-डोमेन सटीकता को क्रमशः 9.5% (Helpfulness) और 27.9% (Harmlessness) तक कम करने के लिए हथियार बनाया जा सकता है।
3. प्रसार का प्रमाण (Propagation Proof): वे सिद्ध करते हैं कि यह विचलन केवल मूल्यांकन चरण तक सीमित नहीं है; यह अलाइनमेंट पाइपलाइन के माध्यम से प्रसारित होता है, जिससे प्रशिक्षित पॉलिसियाँ व्यवस्थित मिसअलाइनमेंट प्रदर्शित करती हैं।
4. स्टील्थनेस (Stealthiness): हमला मानक रक्षा उपायों के प्रति मजबूत है। संशोधित रूब्रिक्स को स्वतंत्र LLM मूल्यांकनकर्ताओं द्वारा अक्सर मूल सीड रूब्रिक्स की तुलना में बेहतर या समान रेट किया जाता है, और वे मानक बेंचमार्क वैलिडेशन को पास करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों में पाँच डेटासेट्स (UltraFeedback, ChatbotArena, RMB, Anthropic hh-rlhf, PKU-SafeRLHF) और कई जज मॉडल्स (Qwen3-14B, Gemma-3-27B, DeepSeek-V3) का उपयोग किया गया।

• बेंचमार्क बनाम लक्ष्य अंतर (Benchmark vs. Target Gap):
  • प्रस्तावित "पक्षपाती रूब्रिक खोज" ने लगातार बेंचमार्क और लक्ष्य सटीकता के बीच सबसे बड़ा अंतर ($\Delta$) उत्पन्न किया।
  • उदाहरण (Harmlessness, Qwen3-14B): बेंचमार्क सटीकता 0.686 से बढ़कर 0.706 हो गई, जबकि लक्ष्य सटीकता 0.826 से गिरकर 0.547 हो गई।
• क्रॉस-मॉडल स्थानांतरणीयता (Cross-Model Transferability): एक जज (जैसे Qwen3) पर अनुकूलित रूब्रिक्स ने अन्य जजों (Gemma, DeepSeek) पर लागू होने पर भी समान विचलन उत्पन्न किया, जिससे सिद्ध हुआ कि विचलन रूब्रिक के तर्क (logic) द्वारा संचालित है, न कि मॉडल-विशिष्ट विशेषताओं द्वारा।
• गुणवत्ता सत्यापन (Quality Validation): एक स्वतंत्र LLM द्वारा किए गए ब्लाइंड पेयरवाइज कंपैरिजन ने दिखाया कि पक्षपाती रूब्रिक्स को अक्सर मूल सीड रूब्रिक्स की तुलना में पसंद किया गया (कुछ मामलों में जीत की दर 1.00 थी), जो पुष्टि करता है कि हमला "खराब लिखे गए" रूब्रिक्स के कारण नहीं बल्कि मानदंडों के सूक्ष्म पुन: भारण के कारण है।
• पॉलिसी मिसअलाइनमेंट (Policy Misalignment):
  • पक्षपाती लेबल ($\pi_{bias}$) पर प्रशिक्षित पॉलिसियाँ तीसरे पक्ष के जजों द्वारा सीड लेबल ($\pi_{seed}$) पर प्रशिक्षित पॉलिसियों की तुलना में काफी कम पसंद की गईं (जीत की दर ~40% बनाम 50%+)।
  • यह क्षरण मिश्रित बेंचमार्क+लक्ष्य डेटा पर प्रशिक्षण के बावजूद बना रहा, जो दर्शाता है कि मानक डेटा-मिक्सिंग रणनीतियाँ इस पक्षपात को आसानी से कम नहीं कर सकतीं।

5. महत्व और निहितार्थ (Significance and Implications)

• सिस्टम-स्तरीय जोखिम (System-Level Risk): यह शोध पत्र ध्यान को "इवैल्यूएटर विश्वसनीयता" से बदलकर "इवैल्यूएशन इंटरफेस सुरक्षा" पर केंद्रित करता है। यह प्रकट करता है कि रूब्रिक स्वयं एक उच्च-स्तरीय नियंत्रण सतह (control surface) है जिसे मॉडल वेट्स या प्रशिक्षण डेटा को सीधे छुए बिना मॉडल व्यवहार को बदलने के लिए मैनिपुलेट किया जा सकता है।
• बेंचमार्क्स की सीमा (Limitation of Benchmarks): निष्कर्ष इस धारणा को चुनौती देते हैं कि मजबूत बेंचमार्क प्रदर्शन सामान्यीकरण (generalization) की गारंटी देता है। एक रूब्रिक "बेंचमार्क-सुरक्षित" हो सकता है लेकिन "लक्ष्य-खतरनाक" भी हो सकता है।
• रक्षा संबंधी सिफारिशें (Defense Recommendations):
  • रूब्रिक परिशोधन को केवल एक स्थिर विनिर्देश (static specification) के बजाय अलाइनमेंट पाइपलाइन के एक महत्वपूर्ण घटक के रूप में माना जाना चाहिए।
  • वैलिडेशन को केवल समग्र बेंचमार्क मेट्रिक्स से आगे बढ़कर विविध, आउट-ऑफ-डिस्ट्रीब्यूशन (out-of-distribution) लक्ष्य डोमेन परीक्षण को शामिल करना चाहिए।
  • भविष्य के अलाइनमेंट सिस्टम को केवल सटीकता में गिरावट ही नहीं, बल्कि रूब्रिक तर्क में "दिशात्मक विचलन" (directional drift) का पता लगाने के लिए तंत्र की आवश्यकता होगी।

निष्कर्षतः, यह शोध पत्र एक चेतावनी के रूप में कार्य करता है कि प्राकृतिक भाषा इंटरफ़ेस, जिसका उपयोग LLM जजों को निर्देशित करने के लिए किया जाता है, एक नाजुक और मैनिपुलेबल हमला सतह है, जो डाउनस्ट्रीम AI पॉलिसियों के अलाइनमेंट को चुपचाप भ्रष्ट करने में सक्षम है।