🤖 AI

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

यह शोध पत्र फॉर्मेट सेंसिटिविटी इंडेक्स (FSI) और पारसेबिलिटी सेंसिटिविटी इंडेक्स (PSI) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि प्रॉम्प्ट रैपर्स में मामूली स्वरूपण अंतर महत्वपूर्ण, मॉडल-निर्भर स्कोर भिन्नता और अनुपालन विफलता का कारण बनते हैं, और यह तर्क दिया जाता है कि इस भिन्नता को ध्यान में रखे बिना बेंचमार्किंग सटीकता सांख्यिकीय रूप से नाजुक है।

मूल लेखक: Deep Pankajbhai Mehta

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Deep Pankajbhai Mehta

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं, लेकिन आपको गायकों को सुनने के बजाय केवल उनके बोल (lyrics) पढ़ने की अनुमति है। अब, कल्पना कीजिए कि कुछ गायकों को अपने बोल एक सादे कागज पर लिखने के लिए कहा जाता है, जबकि अन्य को एक फैंसी, कठोर JSON बॉक्स के अंदर लिखने के लिए मजबूर किया जाता है, और कुछ को तो अपने शब्दों को एक विशिष्ट "BEGIN/END" सैंडविच में लपेटना पड़ता है।

आप उम्मीद करेंगे कि गायक की प्रतिभा वही रहेगी, है ना? गाना इसलिए नहीं बदलना चाहिए क्योंकि कागज बदल गया। लेकिन एडोब के दीप पंकजभाई मेहता के इस अध्ययन के अनुसार, एआई (AI) मॉडल के साथ ऐसा ही होता है। "कागज" (प्रॉम्ट रैपर) इतना महत्वपूर्ण है कि यह पूरे लीडरबोर्ड को पलट सकता है, जिससे एक जीनियस को नौसिखिया और एक नौसिखिए को जीनियस बना सकता है।

महान फॉर्मेट का उलटफेर (The Great Format Shake-Up)
शोधकर्ताओं ने एक विशाल प्रयोग चलाया, जिसमें चार अलग-अलग एआई मॉडल (7 बिलियन से 72 बिलियन "मस्तिष्क कोशिकाओं" तक की रेंज वाले) से सात अलग-अलग प्रश्न-उत्तर कार्यों के लिए 140,000 उत्तर उत्पन्न किए गए। उन्होंने पांच अलग-अलग "रैपर" शैलियों का परीक्षण किया:

प्लेन (Plain): बस उत्तर।
JSON: सख्त कंप्यूटर कोड फॉर्मेट।
स्ट्रक्चर्ड (Structured): की-वैल्यू पेयर्स (Key-value pairs)।
डिलिमिटर्स के साथ स्ट्रक्चर्ड (Structured with Delimiters): विशेष टैग जैसे <BEGIN ANSWER> के साथ की-वैल्यू पेयर्स।
डेलिब्रेट (Deliberate): सोचने के लिए एक स्क्रैचपैड, उसके बाद उत्तर।

परिणाम? मॉडल इन फॉर्मेटिंग नियमों के प्रति अविश्वसनीय रूप से संवेदनशील थे। कुछ मॉडलों के लिए, रैपर बदलने से उनकी सटीकता (accuracy) में भारी उतार-चढ़ाव आया। एक मॉडल, Phi-4, एक पूर्ण ड्रामा क्वीन था: रैपर बदलने से इसकी सटीकता 0.763 (एक विशाल रेंज) तक उछल गई। इसके विपरीत, विशाल Qwen-2.5-72B एक शांत रॉकस्टार की तरह था, जो केवल 0.024 के मामूली बदलाव के साथ लगभग स्थिर रहा।

"क्या आप इसे पढ़ सकते हैं?" वाली समस्या
स्कोर क्यों बदले? शोध पत्र सुझाव देता है कि ऐसा इसलिए नहीं हुआ क्योंकि एआई अचानक वास्तविक प्रश्नों के मामले में स्मार्ट या डंब हो गया था। यह मुख्य रूप से एक अनुपालन (compliance) की समस्या थी।

इसे एक वेंडिंग मशीन की तरह समझें जो केवल सिक्कों को स्वीकार करती है। यदि आप इसमें एक डॉलर का नोट डालने की कोशिश करते हैं (भले ही वह वैध हो), तो मशीन उसे अस्वीकार कर देती है। अध्ययन में, जब एआई ने एक सख्त JSON नियम का पालन करने की कोशिश की लेकिन गलती से एक मार्कडाउन कोड फेंस (जैसे कि एक छोटा ``` प्रतीक) जोड़ दिया, तो मशीन (उत्तर निकालने वाला हिस्सा) उसे पढ़ नहीं सकी। इसे "अनपारसेबल" (unparseable - जिसे पढ़ा न जा सके) के रूप में चिह्नित किया गया, जिसे एक गलत उत्तर माना गया।

डेटा एक मजबूत संबंध दिखाता है: जब एआई "पारसेबल" (मशीन द्वारा पठनीय) होने में विफल रहा, तो उसकी सटीकता अक्सर शून्य के करीब गिर गई। सख्त JSON रैपर का उपयोग करने वाले Phi-4 मॉडल के लिए, इसने 85.3% जनरेशन में मार्कडाउन कोड फेंस के साथ शुरुआत की, जिससे केवल 2.8% की पारसेबिलिटी और 0.7% की सटीकता प्राप्त हुई। शोधकर्ताओं ने पाया कि "पारसेबिलिटी" सफलता का एक बड़ा भविष्यवक्ता थी, जिसने मॉडल और कार्य के कारण होने वाले स्कोर के अंतरों के लगभग 82% हिस्से की व्याख्या की।

भविष्य के लिए इसका क्या अर्थ है
शोध पत्र का तर्क है कि किसी एआई के लिए एक एकल सटीकता संख्या रिपोर्ट करना, एक तापमान रिपोर्ट करने जैसा है बिना यह बताए कि वह फारेनहाइट में है या सेल्सियस में—यह भ्रामक है। यदि एक रैपर का चुनाव स्कोर को 0.76 से बदल सकता है, तो वह एकल संख्या "सांख्यिकीय रूप से नाजुक" (statistically fragile) है।

लेखक सुझाव देते हैं कि जब हम एआई का परीक्षण करते हैं, तो हमें केवल एक रैपर चुनकर भाग्य के भरोसे नहीं रहना चाहिए। इसके बजाय, हमें:

विभिन्न रैपर्स के माध्यम से स्कोर की सीमा (जैसे कि एक "सेंसिटिविटी इंडेक्स") रिपोर्ट करनी चाहिए।
यह जांचना चाहिए कि क्या उत्तर वास्तव में पारसेबल हैं।
वास्तविक दुनिया के ऐप्स में सख्त फॉर्मेटिंग का उपयोग करने में सावधानी बरतनी चाहिए, जब तक कि एआई को उसके डिकोडर (वह हिस्सा जो टेक्स्ट बनाता है) द्वारा नियमों का पालन करने के लिए मजबूर न किया जाए, न कि केवल प्रॉम्ट द्वारा।

मुख्य निष्कर्ष (The Bottom Line)
यह अध्ययन यह नहीं कहता कि एआई टूटा हुआ है; यह कहता है कि हमारा मापने वाला टेप डगमगा रहा है। "फॉर्मेट सेंसिटिविटी इंडेक्स" (FSI) और "पारसेबिलिटी सेंसिटी इंडेक्स" (PSI) यह मापने के नए उपकरण हैं कि एक मॉडल का स्कोर रैपर पर कितना निर्भर करता है। निष्कर्ष बताते हैं कि कुछ मॉडलों के लिए, रैपर का चुनाव उनके वास्तविक दिमाग से भी अधिक महत्वपूर्ण है। जब तक हम इसे ठीक नहीं करते, लीडरबोर्ड पर "सर्वश्रेष्ठ" एआई केवल वही हो सकता है जिसे उस व्यक्ति के विशिष्ट फॉर्मेटिंग स्टाइल से लगाव था जिसने टेस्ट बनाया था।

तकनीकी सारांश: फॉर्मेट संवेदनशीलता सूचकांक (Format Sensitivity Index) और टोकन-नियंत्रित प्रॉम्प्ट रैपर्स

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क तेजी से प्रॉम्प्ट रैपर्स—जो डेलीमिटर्स (delimiters), JSON निर्देश, या स्टेप-बाय-स्टेप फॉर्मेटिंग वाले टेम्पलेट्स होते हैं—पर निर्भर होते जा रहे हैं ताकि मॉडल के आउटपुट को संरचित किया जा सके। हालांकि इनका उद्देश्य अर्थहीन (semantically irrelevant) होना है, ये रैपर्स शोध पत्रों, टूलकिट या वेंडरों के बीच मानकीकृत (standardized) नहीं हैं। यह मानकीकरण की कमी एक पद्धतिगत विफलता (methodological failure) पैदा करती है: किसी मॉडल का रिपोर्ट किया गया प्रदर्शन केवल उसके अंतर्निहित सामर्थ्य के बजाय पूरी तरह से रैपर के चुनाव के आधार पर काफी भिन्न हो सकता है।

मुख्य मुद्दा यह है कि कई बेंचमार्क पाइपलाइन प्रति मॉडल प्रति कार्य एक एकल सटीकता स्कोर (accuracy score) रिपोर्ट करती हैं, जो संरचित-आउटपुट विफलता मोड (जैसे, स्कीमा अनुपालन, टूल कॉल्स) को अनदेखा करती है जो वास्तविक दुनिया के डिप्लॉयमेंट में हावी होते हैं। जब कोई मॉडल बेंचमार्क के एक्सट्रैक्टर (जैसे, मार्काडाउन कोड फेंस या मिसिंग JSON कीज़ के कारण) के अनुसार आउटपुट को पार्स करने में विफल रहता है, तो उस रन को गलत माना जाता है। यह "अनुपालन समस्या" (compliance problem) एक मॉडल को सख्त JSON रैपर के तहत लगभग रैंडम दिखा सकती है, जबकि वह डेलीमिटर-आधारित रैपर के तहत अच्छा प्रदर्शन कर सकता है, जिससे संभावित रूप से लीडरबोर्ड के निष्कर्ष उलट सकते हैं।

कार्यप्रणाली

लेखक विशेष रूप से रैपर फॉर्मेटिंग के कारण होने वाली भिन्नता को अलग करने के लिए एक टोकन-नियंत्रित प्रोटोकॉल का प्रस्ताव करते हैं, जो प्रॉम्प्ट लंबाई और टोकन काउंट के अंतर को नियंत्रित करता है।

प्रयोगात्मक सेटअप

मॉडल: OpenRouter के माध्यम से एक्सेस किए गए चार इंस्ट्रक्ट-ट्यून्ड मॉडल, जो 7B से 72B पैरामीटर्स तक फैले हुए हैं: Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4, और Qwen-2.5-72B-Instruct।
कार्य: सात व्यापक रूप से उपयोग किए जाने वाले QA-शैली के बेंचमार्क (BoolQ, PIQA, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K), जिनमें प्रति कार्य 200 उदाहरण लिए गए हैं।
रैपर परिवार: पांच अलग-अलग मूल्यांकित किए गए रैपर प्रकार:
1. Plain (साधारण): न्यूनतम निर्देश।
2. JSON: answer फ़ील्ड के साथ सख्त JSON।
3. Structured (संरचित): की-वैल्यू (key-value) फ़ील्ड्स।
4. Structured Delim (संरचित डेलीमिटर): स्पष्ट डेलीमिटर टोकन (<BEGIN ANSWER>) के साथ की-वैल्यू फ़ील्ड्स।
5. Deliberate (सोचा-समझा): रीजनिंग के लिए एक स्क्रैचपैड और उसके बाद एक अंतिम उत्तर फ़ील्ड।
टोकन नियंत्रण: प्रॉम्प्ट लंबाई के कन्फाउंड (confound) को कम करने के लिए, प्रॉम्प्ट को प्रति कार्य एक निश्चित कैरेक्टर बजट तक पैड किया गया। वास्तविक टोकन काउंट को लॉग किया गया, और एक सापेक्ष टोकन स्प्रेड मेट्रिक ( $\Delta_{tok}$ ) की गणना की गई। परिणाम पूर्ण डेटासेट और एक मैच किए गए सबसेट पर रिपोर्ट किए गए जिसे $\Delta_{tok} \le 5\%$ के लिए फ़िल्टर किया गया था।
जेनरेशन: कुल 140,000 जेनरेशन उत्पन्न किए गए (4 मॉडल $\times$ 7 कार्य $\times$ 5 रैपर्स $\times$ 200 उदाहरण $\times$ 5 सीड्स)।

मेट्रिक्स

पेपर दो प्राथमिक संवेदनशीलता मेट्रिक्स पेश करता है:

फॉर्मेट संवेदनशीलता सूचकांक (FSI): एक दिए गए मॉडल और कार्य के लिए रैपर चयन द्वारा प्रेरित सटीकता की रेंज ( $FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$ )।
पारसेबिलिटी संवेदनशीलता सूचकांक (PSI): उत्तर पारसेबिलिटी (answer parseability) की संगत रेंज ( $PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$ )।

रेंज स्टैटिस्टिक्स की शोर संवेदनशीलता (noise sensitivity) को संबोधित करने के लिए, लेखक नॉर्मलाइज्ड FSI (nFSI) और बूटस्ट्रैप कॉन्फिडेंस इंटरवल भी रिपोर्ट करते हैं।

मुख्य परिणाम

1. मॉडलों के बीच अत्यधिक भिन्नता

फॉर्मेट संवेदनशीलता मॉडलों के बीच तेजी से बदलती है।

Qwen-2.5-72B ने लगभग फॉर्मेट इनवेरिएंस (invariance) प्रदर्शित किया, जिसका माध्य FSI 0.024 (95% CI [0.014, 0.035]) था।
Phi-4 ने उच्च संवेदनशीलता दिखाई, जिसका माध्य FSI 0.763 (95% CI [0.607, 0.872]) था।
परीक्षण किए गए मॉडलों के बीच माध्य FSI 30 गुना से अधिक भिन्न था।
नॉर्मलाइज्ड संवेदनशीलता (nFSI) ने इस कंट्रास्ट को और स्पष्ट किया, जिसमें Phi-4 का nFSI 2.37 था, जो दर्शाता है कि रैपर का चुनाव औसत स्कोर पर हावी हो सकता है।

2. पारसेबिलिटी एक प्राथमिक चालक के रूप में

सटीकता और पारसेबिलिटी के बीच गहरा संबंध है ( $r = 0.825$ )। एक फिक्स्ड-इफेक्ट्स रिग्रेशन विश्लेषण ( $A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$ ) ने खुलासा किया कि पारसेबिलिटी सटीकता का एक मजबूत भविष्यवक्ता है ( $\hat{\beta} = 0.819$ ), जो अवशिष्ट भिन्नता (residual variance) के एक बड़े हिस्से की व्याख्या करता है ( $R^2 = 0.82$ )।

केस स्टडी: सख्त JSON रैपर के तहत, Phi-4 ने 85.3% जेनरेशन में मार्काडाउन कोड फेंस के साथ आउटपुट दिए, जिसके परिणामस्वरूप पारसेबिलिटी 2.8% और सटीकता 0.7% रही।
यह सुझाव देता है कि कई रैपर-प्रेरित स्कोर परिवर्तन इस बात से संचालित होते हैं कि आउटपुट मशीन-उपभोग योग्य (machine-consumable) है या नहीं, न कि तर्क क्षमता की कमी से।

3. रैपर प्रदर्शन वितरण

कोई भी एक रैपर सार्वभौमिक रूप से इष्टतम नहीं है। हालांकि, डेलीमिटर-आधारित स्ट्रक्चर्ड रैपर्स सबसे अधिक बार जीते (28 मॉडल-कार्य संयोजनों में से 12), "deliberate" और "structured" रैपर्स भी गैर-तुच्छ (non-trivially) रूप से जीते। यह एक एकल "सर्वश्रेष्ठ" फॉर्मेट के बजाय रैपर्स के स्कोर वितरण को रिपोर्ट करने के तर्क का समर्थन करता है।

4. टोकन नियंत्रण स्थिरता

टोकन-पैडिंग प्रोटोकॉल ने टोकन स्प्रेड को कम तो किया लेकिन पूरी तरह समाप्त नहीं किया। मेडियन सापेक्ष टोकन स्प्रेड 4.1% था। महत्वपूर्ण रूप से, कम टोकन स्प्रेड ( $\Delta_{tok} \le 5\%$ ) के लिए फ़िल्टर करने पर निष्कर्ष स्थिर रहे, जिसमें माध्य FSI 0.391 से बदलकर 0.394 हो गया।

महत्व और सिफारिशें

पेपर तर्क देता है कि रैपर वेरिएंस और कंप्लायंस को ध्यान में रखे बिना सटीकता रिपोर्ट करना सांख्यिकीय रूप से नाजुक (statistically fragile) है। लेखक निम्नलिखित सिफारिशें प्रदान करते हैं:

बेंचमार्किंग के लिए: शोध पत्रों और लीडरबोर्ड को निम्नलिखित रिपोर्ट करना चाहिए:
1. विशिष्ट रैपर फैमिली का उपयोग।
2. प्रॉम्प्ट टोकन काउंट।
3. पारसेबिलिटी दरें।
4. अनिश्चितता-जागरूक संवेदनशीलता मेट्रिक (जैसे, CI के साथ FSI) या सटीकता अंतराल $[\min_f A, \max_f A]$ ।
स्ट्रक्चर्ड-आउटपुट डिप्लॉयमेंट के लिए: केवल प्रॉम्पटिंग अक्सर सख्त स्कीमा के लिए पर्याप्त नहीं होती है। यदि डाउनस्ट्रीम कंज्यूमर्स नाजुक (brittle) हैं, तो पारसेबिलिटी कोलैप्स (parseability collapse) मापी गई सटीकता पर हावी हो सकता है। लेखक सुझाव देते हैं कि यह निर्धारित करने के लिए कि कब डिकोडर-टाइम बाधाओं (जैसे, ग्रामर, स्कीमा-कंस्ट्रेंड डिकोडिंग, या वेंडर स्ट्रक्चर्ड-आउटपुट मोड्स) की आवश्यकता है, FSI और PSI का उपयोग डायग्नोस्टिक्स के रूप में किया जाना चाहिए।

सीमाएं

लेखक कई सीमाओं को स्वीकार करते हैं:

FSI एक रेंज स्टैटिस्टिक है जो आउटलेयर्स के प्रति संवेदनशील है, हालांकि बूटस्ट्रैपिंग द्वारा इसे कम किया गया है।
टोकन नियंत्रण कैरेक्टर पैडिंग के माध्यम से प्राप्त किया गया था, न कि सख्त टोकन इक्वलाइजेशन के माध्यम से।
मॉडल सेट छोटा है और इसमें विभिन्न स्केल्स का मिश्रण है, जिसका अर्थ है कि मजबूती (robustness) आर्किटेक्चर के साथ-साथ मॉडल आकार को भी दर्शा सकती है।
अध्ययन सिंगल-टर्न QA पर केंद्रित है; मल्टी-टर्न टूल यूज़ और कोड जनरेशन में अलग डायनेमिक्स हो सकते हैं।
पार्सर की सख्ती भिन्न होती है; अध्ययन सख्त और नॉर्मलाइज्ड एक्सट्रैक्शन की रिपोर्ट करता है लेकिन सीधे डिकोडिंग-टाइम एनफोर्समेंट मोड्स का बेंचमार्क नहीं करता है।

निष्कर्षतः, पेपर का तर्क है कि विश्वसनीय बेंचमार्किंग और स्ट्रक्चर्ड-आउटपुट सिस्टम के लिए फॉर्मेट संवेदनशीलता को मापना और अक्सर कम करना आवश्यक है, प्रॉम्प्ट रैपर्स को LLM मूल्यांकन में एक महत्वपूर्ण, कम रिपोर्ट किए गए कन्फाउंड (confound) के रूप में देखना चाहिए।