Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

यहाँ जुनियी ज़ौ (Junyi Zou) के शोध पत्र "Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) एडेप्टर्स, विशेष रूप से LoRA (Low-Rank Adaptation) की तैनाती में एक महत्वपूर्ण अंतर को संबोधित करता है।

• धारणा (The Assumption): एडेप्टर्स का चयन आमतौर पर नाममात्र लेबल (nominal labels) (जैसे, "इंस्ट्रक्शन-ट्यून्ड," "न्यूमेरिक-रीजनिंग-ट्यून्ड") के आधार पर किया जाता है। अभ्यासकर्ता यह मानते हैं कि ये लेबल उन विशिष्ट क्षमताओं की विश्वसनीय भविष्यवाणी करते हैं जो तैनाती के बाद सुधरेंगी।
• वास्तविकता (The Reality): लेखक यह परिकल्पना करते हैं कि नाममात्र के प्रशिक्षण उद्देश्य (nominal training objectives) आवश्यक रूप से वास्तविक क्रॉस-टास्क क्षमता लाभ (realized cross-task capability gains) के साथ संरेखित नहीं होते हैं। विशेष रूप से, एक एडेप्टर जिसे निर्देश (instructions) का पालन करने के लिए प्रशिक्षित किया गया है, वह वास्तव में सख्त, स्वचालित रूप से सत्यापन योग्य निर्देश पालन (strict, automatically verifiable instruction following) (कठोर बाधाओं का अनुपालन) में सुधार नहीं कर सकता है, और इसके बजाय अनचाहे कार्यों (जैसे, न्यूमेरिक रीजनिंग) में सुधार कर सकता है या प्रदर्शन को कम कर सकता है।
• मुख्य प्रश्न: क्या नाममात्र के प्रशिक्षण उद्देश्य विभिन्न कार्यों पर वास्तविक प्रदर्शन लाभ की विश्वसनीय भविष्यवाणी करते हैं, विशेष रूप से सत्यापन योग्य अनुपालन मेट्रिक्स (verifiable compliance metrics) पर?

2. कार्यप्रणाली (Methodology)

लेखक तंत्र संबंधी एट्रीब्यूशन (mechanistic attribution) या मेट्रिक नवाचार के बजाय एक अनुभवजन्य क्रॉस-टास्क डायग्नोसिस (empirical cross-task diagnosis) ढांचे का उपयोग करते हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

• बेस मॉडल (Base Models): निश्चित बेस मॉडल (जैसे, Qwen3-8B, Qwen3-14B, Llama3-8B-Instruct)।
• एडेप्टर्स (Adapters): दो प्राथमिक LoRA एडेप्टर जिन्हें अलग-अलग नाममात्र उद्देश्यों के साथ प्रशिक्षित किया गया है:
  1. instr: इंस्ट्रक्शन-ट्यून्ड।
  2. reason: न्यूमेरिक-रीजनिंग-ट्यून्ड।
• मूल्यांकन कार्य और मेट्रिक्स (Evaluation Tasks & Metrics):
  1. सत्यापन योग्य निर्देश पालन (लक्ष्य): इसे IFEval (इंस्ट्रक्शन फॉलोइंग इवैल्यूएशन) का उपयोग करके मापा गया है।
     • मेट्रिक्स: इंस्ट्रक्शन-लेवल एक्यूरेसी (ILA) और प्रॉम्प्ट-लेवल एक्यूरेसी (PLA)। प्राथमिक विश्लेषण के लिए PLA एक सख्त, एंड-टू-एंड मेट्रिक है।
  2. न्यूमेरिक रीजनिंग (ऑफ-टारगेट): इसे न्यूमेरिक मैच (NM) (अंतिम संख्यात्मक उत्तर का सटीक मिलान) द्वारा मापा गया है।
  3. डोमेन QA: इसे एक माध्यमिक सेटिंग के रूप में उपयोग किया गया है।

डायग्नोस्टिक मेट्रिक: ड्रिफ्ट स्कोर (Drift Score)

नाममात्र के लक्ष्यों और वास्तविक लाभों के बीच विसंगति को मापने के लिए, लेखक एक ड्रिफ्ट स्कोर (Drift Score) को परिभाषित करते हैं:
$$\text{DriftScore}(a \to b) = \text{OffTargetGain}(a, b) - \text{TargetGain}(a)$$

• जहाँ $a$ एडेप्टर है, $b$ ऑफ-टारगेट कार्य है, और $t(a)$ नाममात्र लक्ष्य कार्य है।
• व्याख्या: एक बड़ा सकारात्मक ड्रिफ्ट स्कोर यह दर्शाता है कि एक एडेप्टर ने एक ऑफ-टारगेट कार्य पर महत्वपूर्ण सुधार किया है जबकि अपने नाममात्र लक्ष्य कार्य पर विफल रहा (या प्रदर्शन कम हो गया) है।

मजबूती की जाँच (Robustness Checks)

अध्ययन निम्नलिखित के माध्यम से प्रदर्शन का मूल्यांकन करता है:

• कई रैंडम सीड्स (random seeds)।
• विभिन्न बेस मॉडल।
• विभिन्न LoRA हाइपरपैरामीटर (ranks, attention/MLP modules, learning rates)।
• बेंचमार्क विषमता (benchmark heterogeneity) का परीक्षण करने के लिए अतिरिक्त बेंचमार्क (FollowBench, IFBench)।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन संयमित, साक्ष्य-आधारित योगदान देता है:

1. तैनाती-प्रासंगिक डायग्नोस्टिक फ्रेमिंग: यह परीक्षण करने की एक विधि प्रस्तावित करता है कि क्या किसी एडेप्टर का नाममात्र लेबल वास्तविक क्रॉस-टास्क लाभ के साथ संरेखित है, जो सिंगल-टास्क मूल्यांकन से आगे बढ़ता है।
2. मजबूती का प्रमाण: यह प्रदर्शित करता है कि "नाममात्र-वास्तविक विसंगति" (nominal-realized mismatch) सीड्स और मॉडल्स में बार-बार होती है, लेकिन यह कॉन्फ़िगरेशन-संवेदनशील (configuration-sensitive) है। यह कोई सार्वभौमिक नियम नहीं है बल्कि एक बार-बार होने वाली घटना है, जिसमें ड्रिफ्ट स्कोर शून्य या नकारात्मक भी हो सकता है।
3. नियंत्रित काउंटर-एग्जांपल: एक ठोस मामला प्रदान करता है जहाँ एक इंस्ट्रक्शन-ट्यून्ड एडेप्टर काफी हद तक ऑफ-टारगेट न्यूमेरिक रीजनिंग प्रदर्शन में सुधार करता है, जबकि सख्त, सत्यापन योग्य निर्देश पालन (IFEval) में सुधार करने में विफल रहता है।

4. मुख्य परिणाम (Key Results)

"कैपेबिलिटी ड्रिफ्ट" की घटना (The "Capability Drift" Phenomenon)

लेखक एक पैटर्न देखते हैं जिसे वे कैपेबिलिटी ड्रिफ्ट (Capability Drift) कहते हैं: वह विसंगति जो इस बात के बीच है कि एक एडेप्टर को क्या करने के लिए लेबल किया गया है और वह वास्तव में किसमें सुधार करता है।

• सबसे मजबूत मामला (Table 1):

  • बेस मॉडल: NM = 0.133, IFEval PLA = 0.250।
  • इंस्ट्रक्शन-ट्यून्ड एडेप्टर:
    • NM (ऑफ-टारगेट): 0.133 से 0.632 तक नाटकीय रूप से सुधरा।
    • IFEval PLA (लक्ष्य): 0.250 से 0.143 तक घट गया।
    • IFEval ILA: 0.313 से घटकर 0.271 हो गया।
  • निष्कर्ष: एडेप्टर गणित में बहुत बेहतर हो गया लेकिन सख्त बाधाओं का पालन करने में कमजोर हो गया, बावजूद इसके कि इसे "इंस्ट्रक्शन-ट्यून्ड" लेबल किया गया था।

• मजबूती (Table 2 और Figure 2):

  • Qwen3-8B पर 5 सीड्स के माध्यम से, ड्रिफ्ट स्कोर सकारात्मक रहा (औसत ~0.511), जो पुष्टि करता है कि विसंगति केवल एक सिंगल-सीड आर्टिफैक्ट नहीं है।
  • विभिन्न मॉडलों (Qwen, Llama) और LoRA सेटिंग्स में, ड्रिफ्ट आम तौर पर सकारात्मक था लेकिन कॉन्फ़िगरेशन-संवेदनशीलता प्रदर्शित करता है। एक विशिष्ट मॉडल/सेटिंग ने थोड़ा नकारात्मक ड्रिफ्ट स्कोर (-0.040) दिया, जो सिद्ध करता है कि यह घटना सार्वभौमिक नहीं है बल्कि कॉन्फ़िगरेशन पर अत्यधिक निर्भर है।

• बेंचमार्क विषमता (Benchmark Heterogeneity):

  • परिणाम बेंचमार्क के अनुसार भिन्न थे। जबकि IFEval और IFBench (सख्त/सत्यापन योग्य) ने इंस्ट्रक्शन एडेप्टर के लिए कोई सुधार नहीं दिखाया, FollowBench (जो निर्देश पालन को अलग तरह से संचालित करता है) ने सुधार दिखाया। यह उजागर करता है कि "निर्देश पालन" एक अखंड क्षमता नहीं है; बेंचमार्क के बीच सहमति का अनुमान नहीं लगाया जा सकता है।

• चयनात्मक बदलाव (Selective Shifts - Figure 3):

  • IFEval में गिरावट समान नहीं थी। विशिष्ट बाधा प्रकारों (जैसे, language_constraints, detectable_format, keywords:existence) में भारी गिरावट देखी गई, जबकि अन्य में सुधार हुआ। यह सुझाव देता है कि एडेप्टर वैश्विक "रीजनिंग" शिफ्ट के बजाय विशिष्ट, स्थानीयकृत तरीकों से रिस्पॉन्स प्रायर्स (response priors) को बदल देता है।

5. महत्व और व्यावहारिक निष्कर्ष (Significance and Practical Takeaways)

• नाममात्र लेबल अविश्वसनीय प्रॉक्सी हैं: शोध पत्र तर्क देता है कि प्रशिक्षण लेबल (जैसे, "इंस्ट्रक्शन-ट्यून्ड") को क्षमता के विश्वसनीय संकेतक के रूप में नहीं माना जाना चाहिए। एक एडेप्टर जिसे एक कार्य के लिए लेबल किया गया है, वह अनजाने में पूरी तरह से अलग, ऑफ-टारगेट क्षमता के लिए अनुकूलित (optimize) हो सकता है।
• क्रॉस-टास्क मूल्यांकन की आवश्यकता: तैनाती से पहले, अभ्यासकर्ताओं को नियमित क्रॉस-टास्क मूल्यांकन करना चाहिए। केवल नाममात्र लक्ष्य कार्य के मूल्यांकन पर भरोसा करने से अनचाहे बदलाव (ड्रिफ्ट) छिप सकते हैं जो महत्वपूर्ण, सत्यापन योग्य बाधाओं पर प्रदर्शन को कम कर देते हैं।
• "हेल्पफुलनेस" और "वेरिफिएबिलिटी" के बीच अंतर: इंस्ट्रक्शन ट्यूनिंग सामान्य हेल्पफुलनेस या कन्वर्सेशनल फ्लो में सुधार करती है लेकिन यह सख्त, स्वचालित रूप से सत्यापन योग्य अनुपालन की गारंटी नहीं देती है। पेपर इस बात पर जोर देता है कि सत्यापन योग्य निर्देश पालन एक संकीर्ण, विशिष्ट क्षमता है जिसके लिए विशिष्ट, सख्त मूल्यांकन की आवश्यकता होती है।
• कोई सरल यांत्रिक स्पष्टीकरण नहीं: जांच प्रयोगों में कोई सरल स्थानीयकृत स्पष्टीकरण (जैसे, एक एकल मॉड्यूल जो ड्रिफ्ट का कारण बनता है) नहीं मिला, जिससे पता चलता है कि यह घटना मॉडल वेट्स के भीतर जटिल, वितरित इंटरैक्शन से उत्पन्न होती है।

अंतिम निष्कर्ष:
यह शोध पत्र LLM समुदाय के लिए एक चेतावनी के रूप में कार्य करता है: लेबल पर भरोसा न करें। एक एडेप्टर का नाममात्र उद्देश्य उसके वास्तविक क्रॉस-टास्क व्यवहार का एक खराब भविष्यवक्ता है। "कैपेबिलिटी ड्रिफ्ट" का पता लगाने और यह सुनिश्चित करने के लिए कि तैनात एडेप्टर वास्तव में उस सत्यापन योग्य अनुपालन को रखते हैं जिसका दावा किया गया है, कठोर, बहु-कार्य मूल्यांकन आवश्यक है।