🤖 AI

Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

यह शोध पत्र एक 'एनीटाइम-वैलिड' (anytime-valid) एट्रिब्यूशन फ्रेमवर्क प्रस्तुत करता है जो एक निश्चित मानव-लेबल वाले 'एंकर सेट' और एक 'बेटिंग ई-प्रोसेस' (betting e-process) का उपयोग करके निरंतर मूल्यांकन पाइपलाइनों में उत्पाद क्षरण (product degradation) और एलएलएम जज ड्रिफ्ट (LLM judge drift) के बीच के अस्पष्टता को हल करता है, जिससे सिस्टम और जज की विफलताओं के बीच विश्वसनीय रूप से अंतर किया जा सके, और यह सटीकता एवं लागत-दक्षता में मानक सांख्यिकीय विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Yitao Li

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yitao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर का विवरण दिया गया है।

मुख्य समस्या: "टूटा हुआ पैमाना" (The Broken Ruler)

कल्पना कीजिए कि आप एक बेकरी चलाते हैं। आप जानना चाहते हैं कि क्या समय के साथ आपके केक खराब हो रहे हैं। इसकी जाँच करने के लिए, आप एक बहुत ही महंगे, उच्च प्रशिक्षित "मास्टर टेस्टर" (Strong Judge) को काम पर रखते हैं जो हर केक को चखता है और उसे एक स्कोर देता है।

हालाँकि, मास्टर टेस्टर हर केक को चखने के लिए बहुत महंगा है। इसलिए, आप एक सस्ते और तेज़ "असिस्टेंट टेस्टर" (Cheap Judge) को हर एक केक को चखने के लिए काम पर रखते हैं। आप मास्टर टेस्टर को केवल कुछ रैंडम केक चखने के लिए कहते हैं ताकि यह सुनिश्चित हो सके कि असिस्टेंट अपना काम ठीक से कर रहा है।

पेंच: मास्टर टेस्टर कोई इंसान नहीं है; वे एक API के पीछे का AI मॉडल है। कभी-कभी, मास्टर टेस्टर बनाने वाली कंपनी चुपचाप अपने सॉफ़्टवेयर को अपडेट करती है (एक "वर्जन बम्प") या उनके निर्देश बदल देती है। अचानक, मास्टर टेस्टर बहुत अधिक सख्त या बहुत अधिक उदार हो जाता है।

अब, आपके सामने एक संकट खड़ा हो जाता है:

यदि केक का स्कोर गिरता है, तो क्या बेकर ने खराब केक बनाया? (System Drift)
या क्या मास्टर टेस्टर ने बस एक "अच्छे" केक के बारे में अपनी राय बदल ली? (Judge Drift)

यदि आप बेकर को दोषी ठहराते हैं जबकि वास्तव में टेस्टर ने बदलाव किया था, तो आप एक अच्छे बेकर को नौकरी से निकाल सकते हैं। यदि आप बेकर को दोषी ठहराते हैं जबकि वास्तव में बेकर ने गड़बड़ी की थी, तो आप खराब केक बेचते रह सकते हैं। पेपर इसे "एम्बिग्युटी ऑफ द ड्रिफ्ट" (Ambiguity of the Drift) कहता है।

समाधान: "एंकर" सेट (The "Anchor" Set)

लेखक इस रहस्य को सुलझाने के लिए एक चतुर समाधान प्रस्तावित करते हैं। वे एक विशेष समूह पेश करते हैं जिसे "एंकर सेट" (Anchor Set) कहा जाता है।

द फ्रोजन एंकर (The Frozen Anchor): निगरानी शुरू करने से पहले, आप केक्स का एक विशिष्ट सेट लेते हैं और एक इंसान से उन्हें चखकर एक कागज पर "ट्रू स्कोर" (True Score) लिखवा लेते हैं। आप इन केक्स को एक फ्रीजर में लॉक कर देते हैं। ये कभी नहीं बदलते।
द रेस (The Race): समय-समय पर, आप इन फ्रीज किए गए केक्स में से एक निकालते हैं और वर्तमान मास्टर टेस्टर को उसे फिर से चखने के लिए कहते हैं।
- यदि इस फ्रीज किए गए केक पर मास्टर टेस्टर का स्कोर बदल जाता है, तो हमें पता चल जाता है कि टेस्टर बदल गया है। (केक नहीं बदला; टेस्टर बदला है)।
- यदि फ्रीज किए गए केक पर मास्टर टेस्टर का स्कोर वही रहता है, लेकिन नए केक्स के स्कोर गिर जाते हैं, तो हमें पता चल जाता है कि बेकर बदल गया है। (टेस्टर स्थिर है; उत्पाद खराब हो गया है)।

यह कैसे काम करता है: "गार्ड विंडो" (The "Guard Window")

सिस्टम एक ही समय में दो अलग-अलग अलार्म चलाता है:

अलार्म A (बेकर): नए केक्स पर नज़र रखता है। यदि स्कोर गिरता है, तो यह चिल्लाता है "खराब बेकर!"
अलार्म B (टेस्टर): फ्रीज किए गए एंकर केक्स पर नज़र रखता है। यदि स्कोर बदलता है, तो यह चिल्लाता "खराब टेस्टर!"

पेपर यह तय करने के लिए कि किसे दोष दिया जाए, एक "गार्ड विंडो" (Guard Window) नियम पेश करता है:

यदि अलार्म B (टेस्टर) पहले बजता है, या यदि अलार्म A बजता है लेकिन अलार्म B भी उसके तुरंत बाद बज जाता है, तो सिस्टम कहता है: "यह जज है।" (टेस्टर बदला है, इसलिए हम बेकर के अलार्म पर भरोसा नहीं कर सकते)।
यदि अलार्म A (बेकर) बजता है और अलार्म B (टेस्टर) कभी नहीं बजता (या बहुत देर से बजता है), तो सिस्टम कहता है: "यह सिस्टम है।" (टेस्टर स्थिर है; उत्पाद खराब है)।

"रेस" की अवधारणा

पेपर इसे एक रेस (दौड़) के रूप में वर्णित करता है।

"एंकर प्रोसेस" (फ्रीज किए गए केक्स पर नज़र रखना) इतना तेज़ होना चाहिए कि वह बेकर पर गलत आरोप लगाने से पहले टेस्टर के बदलने को पकड़ सके।
यदि एंकर बहुत धीमा है, तो मेन प्रोसेस (नए केक्स पर नज़र रखना) बेकर को झूठा दोषी ठहराने के लिए चिल्ला सकता है, इससे पहले कि एंकर यह समझ सके कि "रुको, टेस्टर अभी बदला है!"
पेपर गणितीय रूप से सिद्ध करता है कि यदि आप एंकर को सही ढंग से सेट करते हैं (पर्याप्त फ्रीज किए गए केक्स, उन्हें पर्याप्त बार चखना), तो एंकर हमेशा बदलते हुए टेस्टर के खिलाफ दौड़ जीत जाएगा।

उन्होंने क्या पाया (परिणाम)

लेखकों ने वास्तविक AI मॉडल्स (Google के Gemini) और वास्तविक डेटा (हेल्पफुल असिस्टेंट रिस्पॉन्स और समराइजेशन टास्क) के साथ इसका परीक्षण किया।

साइलेंट अपडेट्स (Silent Updates): उन्होंने एक "साइलेंट वर्जन बम्प" का अनुकरण किया जहाँ AI टेस्टर थोड़ा अधिक उदार हो गया।
- परिणाम: उनके सिस्टम ने इसे 100% समय "जज ड्रिफ्ट" के रूप में सही पहचाना। इसने कभी भी बेकर को गलत तरीके से दोषी नहीं ठहराया।
- पुराना तरीका विफल: उद्योग-मानक विधि (एक साधारण सांख्यिकीय परीक्षण) ने 75% बार "खराब बेकर!" चिल्लाया, जबकि वास्तव में कुछ भी बदला नहीं था। वह एक गलत अलार्म देने वाली मशीन थी।
स्ट्रिक्ट अपडेट्स (Strict Updates): उन्होंने एक ऐसे टेस्टर का अनुकरण किया जो अचानक बहुत सख्त हो गया।
- परिणाम: सिस्टम ने लगभग हर बार इसे "जज ड्रिफ्ट" के रूप में सही पहचाना।
- "रेस" एक्शन में: एक डेटासेट पर, टेस्टर इतना नाटकीय रूप से बदला कि एंकर्स ने इसे तुरंत पकड़ लिया, जिससे वे दौड़ में पूरी तरह जीत गए। दूसरे डेटासेट पर, बदलाव सूक्ष्म था, इसलिए एंकर्स को थोड़ा अधिक समय लगा, लेकिन "गार्ड विंडो" नियम ने स्थिति को संभाल लिया।
लागत (Cost):
- हर आइटम को महंगे मास्टर टेस्टर से चेक करना बहुत महंगा है।
- उनका तरीका हर चीज़ के लिए सस्ते असिस्टेंट का उपयोग करता है, कुछ रैंडम आइटम्स के लिए महंगे मास्टर का, और एंकर्स के लिए एक छोटा, स्थिर प्रवाह का उपयोग करता है।
- लागत: यह मास्टर टेस्टर के साथ सब कुछ चेक करने की कीमत का लगभग 64% खर्च करता है, लेकिन यह बहुत अधिक स्मार्ट है और गलत आरोप नहीं लगाता है। एक "सस्ता लेकिन बहरा" संस्करण भी है जो केवल 21% लागत लेता है लेकिन कुछ खराब केक्स को मिस कर सकता है।

सारांश

पेपर "कौन ड्रिफ्ट हुआ?" की समस्या को फ्रीज किए गए मानव-लेबल वाले उदाहरणों का उपयोग करके हल करता है।

यदि संदर्भ बिंदु (reference point) हिलता है, तो जज (Judge) बदला है।
यदि संदर्भ बिंदु स्थिर रहता है लेकिन नए उत्पाद बदलते हैं, तो सिस्टम (System) बदला है।

उन्होंने सिद्ध किया कि यह गणितीय रूप से काम करता है और यह वर्तमान उद्योग मानक से बेहतर है, जो गलत अलार्म देने के प्रति प्रवृत्त है। यह एक "ट्रुथ एंकर" (सत्य का लंगर) की तरह है जो आपकी गुणवत्ता नियंत्रण को ईमानदार रखता है, भले ही निर्णय लेने वाला व्यक्ति अपनी राय बदल दे।

तकनीकी सारांश: कौन विचलित हुआ? LLM मूल्यांकन पाइपलाइनों में एनीटाइम-वैलिड एट्रिब्यूशन (Attribution)

1. समस्या

लार्ज लैंग्वेज मॉडल (LLM) उत्पादों का निरंतर मूल्यांकन तेजी से "LLM-as-judge" पाइपलाइनों पर निर्भर करता है, जहाँ एक शक्तिशाली मॉडल इंटरैक्शन को स्कोर देता है ताकि प्रदर्शन में गिरावट आने पर अलर्ट ट्रिगर किया जा सके। इन प्रणालियों में मौलिक धारणा यह है कि जज एक स्थिर मापदंड (fixed yardstick) के रूप में कार्य करता है; अतः स्कोर में गिरावट उत्पाद में गिरावट का संकेत देती है। हालाँकि, जज स्वयं एक API-आधारित मॉडल है जो साइलेंट वर्जन अपडेट, प्रॉम्प्ट अपडेट या पॉलिसी परिवर्तनों के अधीन होता है।

जब कोई मॉनिटरिंग सिस्टम अलार्म ट्रिगर करता है, तो वह एक अस्पष्टता का सामना करता है: क्या उत्पाद की गुणवत्ता कम हुई है, या जज के स्कोरिंग व्यवहार में बदलाव आया है? गलत एट्रिब्यूशन (attribution) पर कार्रवाई करना महंगा हो सकता है: टीमें एक स्वस्थ उत्पाद को रोलबैक कर सकती हैं या किसी अलार्म को "जज ड्रिफ्ट" मानकर खारिज करके एक रिग्रेशन (regression) को शिप कर सकती हैं। शास्त्रीय सांख्यिकीय विधियाँ, जैसे कि रोलिंग z-टेस्ट, इस निरंतर निगरानी के संदर्भ में विफल रहती हैं क्योंकि उनमें एनीटाइम-वैलिडिटी (anytime-validity) की कमी होती है; प्रत्येक चरण पर एक निश्चित- $\alpha$ टेस्ट को बार-बार चलाने से गलत अलार्म की दर बढ़ जाती है, जिससे बिना किसी ड्रिफ्ट वाले स्ट्रीम्स पर भी स्प्यूरियस (spurious) डिटेक्शन होने लगते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एनीटाइम-वैलिड ई-प्रोसेस (anytime-valid e-processes) और एक ह्यूमन-एंकरड एट्रिब्यूशन रूल (human-anchored attribution rule) का उपयोग करके सिस्टम ड्रिफ्ट और जज ड्रिफ्ट के बीच अंतर करने के लिए एक फ्रेमवर्क प्रस्तावित करता है।

A. बजटयुक्त मुख्य मॉनिटर (सिस्टम ड्रिफ्ट डिटेक्शन)
सिस्टम गुणवत्ता रिग्रेशन का पता लगाने के लिए एक स्ट्रैटिफाइड, प्रेडिक्शन-पावर्ड मॉनिटर (Csillag et al., 2025b; Angelopoulos et al., 2023 के अनुसार) का उपयोग करता है:

आर्किटेक्चर: एक सस्ता जज ( $\mu$ ) प्रत्येक आइटम को स्कोर करता है, जबकि एक महंगा शक्तिशाली जज ( $y$ ) एक निश्चित बजट के तहत एक सैंपल किए गए सबसेट को स्कोर करता है।
तंत्र: प्रत्येक (rubric $\times$ stratum) सेल के लिए, एक प्रेडिक्शन-पावर्ड ई-प्रोसेस "वेल्थ" (wealth) संचित करता है ताकि इस शून्य परिकल्पना (null hypothesis) का परीक्षण किया जा सके कि औसत स्कोर एक स्वस्थ बेसलाइन से नीचे नहीं गिरा है।
लागत दक्षता: सिस्टम एक ई-वेल्थ एस्केलेशन (e-wealth escalation) ट्रिगर का उपयोग करता है। जैसे-जैसे ड्रिफ्ट के प्रमाण संचित होते हैं, शक्तिशाली जज के लिए सैंपलिंग प्रोबेबिलिटी बढ़ जाती है। यह सिस्टम को पूर्ण मूल्यांकन की लगभग एक-तिहाई लागत पर स्थानीयकृत ब्लाइंड-स्पॉट रिग्रेशन का पता लगाने की अनुमति देता है, जबकि एनीटाइम-वैलिडिटी बनाए रखता है (यह गारंटी देता है कि किसी भी स्टॉपिंग टाइम पर गलत-अलार्म दर सीमित रहती है)।

B. एंकर निर्माण (जज ड्रिफ्ट डिटेक्शन)
एट्रिब्यूशन की अस्पष्टता को हल करने के लिए, लेखक निश्चित मानव लेबल पर आधारित एक दूसरा, स्वतंत्र ई-प्रोसेस पेश करते हैं:

एंकर सेट ( $A$ ): स्थिर, होल्ड-आउट संग्रह जिसमें मानव लेबल ( $h$ ) हैं, जिसे निगरानी शुरू होने से पहले लिया गया था।
इंटरलीव (Interleave): एक स्थिर दर पर (उदाहरण के लिए, प्रत्येक $1/\rho$ आइटम्स के बाद), वर्तमान शक्तिशाली जज एक बेतरतीब ढंग से चुने गए एंकर आइटम को पुन: स्कोर करता है।
ई-प्रोसेस: एक बेटिंग ई-प्रोसेस एंकर पर जज के वर्तमान स्कोर और स्थिर मानव लेबल के बीच के अंतर को ट्रैक करता है।
असममितता (Asymmetry): क्योंकि एंकर आइटम्स और मानव लेबल निश्चित हैं, केवल जज में बदलाव ही गैप वितरण को बदल सकता है। सिस्टम ड्रिफ्ट आने वाले आइटम्स को प्रभावित करता है लेकिन एंकर गैप को अपरिवर्तित छोड़ देता है। यह एक "वन-वे मिरर" बनाता है जो विशेष रूप से जज ड्रिफ्ट का पता लगाता है।

C. एट्रिब्यूशन रूल (गार्ड विंडो)
सिस्टम वर्डिक्ट जारी करने के लिए मुख्य प्रक्रिया ( $\tau_{sys}$ ) और एंकर प्रक्रिया ( $\tau_{anc}$ ) के स्टॉपिंग टाइम्स को एक गार्ड विंडो ( $W$ ) का उपयोग करके जोड़ता है:

जज वर्डिक्ट: यदि एंकर प्रक्रिया पहले फायर होती है ( $\tau_{anc} < \infty$ ) और मुख्य प्रक्रिया गार्ड विंडो के भीतर फायर होती है ( $\tau_{sys} \le \tau_{anc} + W$ ), तो वर्डिक्ट जज (judge) होता है। तर्क यह है कि एक दूषित जज मुख्य अलार्म को अमान्य कर देता है।
सिस्टम वर्डिक्ट: यदि मुख्य प्रक्रिया पहले फायर होती है और एंकर प्रक्रिया गार्ड विंडो के भीतर फायर नहीं होती है, तो वर्डिक्ट सिस्टम (system) होता है।
रेस कंडीशन (Race Condition): यह डिज़ाइन एक "एट्रिब्यूशन रेस" पर निर्भर करता है। गलत एट्रिब्यूशन को रोकने के लिए, एंकर प्रक्रिया को मुख्य प्रक्रिया की तुलना में अधिक तेज़ी से जज ड्रिफ्ट का पता लगाने के लिए प्रावधानित किया जाना चाहिए।

3. प्रमुख योगदान

एंकर निर्माण और एट्रिब्यूशन नियम: जज ड्रिफ्ट को सिस्टम ड्रिफ्ट से स्पष्ट रूप से अलग करने के लिए मानव-एंकरड, एनीटाइम-वैलिड ई-प्रोसेस का उपयोग करने वाला एक नया तरीका, जो बाइनरी अलार्म के बजाय तीन-स्टेट वर्डिक्ट उत्सर्जित करता है।
सैद्धांतिक गारंटी:
- एनीटाइम-वैलिडिटी: एंकर परिवार किसी भी डेटा-डिपेंडेंट स्टॉपिंग टाइम पर एक सीमित गलत-अलार्म दर ( $\alpha_{judge}$ ) बनाए रखता है।
- वन-वे आइडेंटिफिकेशन: एंकर प्रक्रिया गणितीय रूप से सिस्टम ड्रिफ्ट के प्रति असंवेदनशील होने की गारंटी देती है; यह केवल जज के परिवर्तन से ही ट्रिगर हो सकती है।
- एट्रिब्यूशन रेस: पेपर एक डिजाइन कानून स्थापित करता है जहाँ एंकर प्रक्रिया को मुख्य प्रक्रिया से "तेज़ दौड़ने" के लिए प्रावधानित किया जाना चाहिए। गलत एट्रिब्यूशन (जज ड्रिफ्ट के दौरान गलत सिस्टम अलार्म) गार्ड चौड़ाई, एंकर दर और एंकर सेट के आकार का एक फलन (function) है।
- ऑर्थोगोनैलिटी (Orthogonality): एंकर बजट और मुख्य प्रक्रिया कॉन्फ़िगरेशन स्वतंत्र हैं, जिससे जज-लेटेंसी और सिस्टम-पावर के अलग-अलग ट्यूनिंग की अनुमति मिलती है।
वास्तविक ड्रिफ्ट पर अनुभवजन्य सत्यापन: इस पद्धति का परीक्षण दो वास्तविक दुनिया के जज परिवर्तनों (एक साइलेंट वर्जन बंप और एक स्ट्रिक्ट-प्रॉम्ट पॉलिसी अपडेट) पर दो डोमेन (HelpSteer2 और TL;DR समराइजेशन) में बिना री-ट्यूनिंग के किया गया।
परिचालन श्रेष्ठता: प्रस्तावित ई-प्रोसेस नैव रोलिंग z-टेस्ट और कैलिब्रेटेड पेज-हिंकले डिटेक्टर्स की तुलना में गलत-अलार्म नियंत्रण और सूक्ष्म ड्रिफ्ट का पता लगाने में काफी बेहतर प्रदर्शन करता है।

4. परिणाम

डिटेक्शन सटीकता:
- साइलेंट वर्जन बंप: इसे 60/60 रन में जज ड्रिफ्ट के रूप में पहचाना गया, जिसमें शून्य जज-टू-सिस्टम मिस-एट्रिब्यूशन हुआ।
- स्ट्रिक्ट-प्रॉम्ट चेंज: HelpSteer2 पर (गार्ड चौड़ाई $W=300$ पर) 110/120 रन में सही ढंग से एट्रिब्यूट किया गया। TL;DR डोमेन पर, जहाँ प्रॉम्प्ट शिफ्ट अधिक गंभीर था, एट्रिब्यूशन एकदम सटीक था (240/240)।
- मिस-एट्रिब्यूशन: जज ड्रिफ्ट के दौरान गलत सिस्टम अलार्म की दर गार्ड विंडो ( $W$ ) बढ़ने के साथ निरंतर घटती गई, जो "एट्रिब्यूशन रेस" सिद्धांत की पुष्टि करती है।
बेसलाइन तुलना:
- एक नैव रोलिंग z-टेस्ट (इंडस्ट्री डिफॉल्ट) ने ड्रिफ्ट-फ्री स्ट्रीम्स पर 75% मामलों में गलत अलार्म उत्पन्न किए।
- एक कैलिब्रेटेड पेज-हिंकले डिटेक्टर ने अपना गलत-अलार्म बजट तो बनाए रखा, लेकिन सूक्ष्म वर्जन बंप का पता लगाने में विफल रहा (HelpSteer2 पर केवल 8% डिटेक्शन) और इसे होल्ड-आउट कैलिब्रेशन डेटा की आवश्यकता थी।
लागत दक्षता: मॉनिटर प्रत्येक आइटम का स्ट्रॉन्ग-इवैल्यूएशन करने की लागत के लगभग 0.64 पर (या "चेपेर-बट-डीफर" शासन में 0.21 पर) संचालित होता है, जबकि वैध डिटेक्शन गारंटी बनाए रखता है।

5. महत्व और दावे

पेपर एक महत्वपूर्ण, अनसुलझे फेलियर मोड को हल करने का दावा करता है: निरंतर निगरानी में उत्पाद गिरावट और जज अस्थिरता के बीच अंतर करने में असमर्थता।

व्यावहारिक प्रभाव: यह निर्माण एक स्पष्ट गारंटी प्रदान करता है कि जज ड्रिफ्ट को एक परिभाषित एरर बजट ( $\alpha_{judge}$ ) से परे चुपचाप सिस्टम पर नहीं डाला जाएगा। यह टीमों को महंगे, गलत परिचालन निर्णय लेने (जैसे, स्वस्थ मॉडलों को रोलबैक करना) से बचाता है।
सैद्धांतिक योगदान: यह प्रदर्शित करता है कि एनीटाइम-वैलिडिटी केवल एक सैद्धांतिक अच्छाई नहीं है बल्कि निरंतर निगरानी के लिए एक व्यावहारिक आवश्यकता है, क्योंकि मानक फिक्स्ड-होराइजन विधियाँ अनुक्रमिक परीक्षण (sequential testing) के तहत विनाशकारी रूप से विफल हो जाती हैं।
डिजाइन लॉ (Design Law): पेपर स्थापित करता है कि एट्रिब्यूशन एक रेस कंडीशन है। यह एक ठोस "को-प्रोविजनिंग" रेसिपी प्रदान करता है: एंकर बजट को इस आकार का होना चाहिए कि एंकर प्रक्रिया, दूषित मुख्य प्रक्रिया द्वारा गलत सिस्टम अलार्म ट्रिगर करने से पहले जज ड्रिफ्ट का पता लगा सके।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि यह विधि मानती है कि मानव लेबल एक वैध संदर्भ बने रहते हैं (मानक विकसित होने पर समय-समय पर रिफ्रेश की आवश्यकता होती है) और यह बेटिंग रणनीतियों में इष्टतमता या निश्चित बजट पर न्यूनतम मिस-एट्रिब्यूशन का दावा नहीं करती है, बल्कि वैधता और पहचान (identification) का दावा करती है।

संक्षेप में, यह पेपर एक मजबूत, लागत-जागरूक फ्रेमवर्क प्रस्तुत करता है जो अस्पष्ट "ड्रिफ्ट अलार्म" को एक सत्यापन योग्य एट्रिब्यूशन में बदल देता है, यह सुनिश्चित करता है कि "मापक यंत्र" (yardstick) की उतनी ही कठोरता से निगरानी की जाती है जितनी कि उस "उत्पाद" की जिसे वह मापता है।