🤖 AI

AdaRubric: Task-Adaptive Rubrics for LLM Agent Evaluation

AdaRubric एक कार्य-अनुकूलित (task-adaptive) ढांचे को पेश करता है जो गतिशील रूप से विशिष्ट मूल्यांकन रूब्रिक्स (rubrics) उत्पन्न करता है और स्थिर LLM-as-Judge मूल्यांकन की सीमाओं को दूर करने के लिए एक नवीन DimensionAwareFilter का उपयोग करता है, जिससे मानव निर्णयों के साथ काफी उच्च सहसंबंध प्राप्त होता है और बिना किसी मैनुअल रूब्रिक इंजीनियरिंग के विविध बेंचमार्क पर एजेंट के प्रदर्शन में सुधार होता है।

मूल लेखक: Liang Ding

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Liang Ding

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जटिल काम करने के लिए AI सहायकों (AI assistants) की एक टीम को काम पर रख रहे हैं। कुछ को टूटा हुआ कोड ठीक करने की ज़रूरत है, कुछ को किसी वेबसाइट पर उड़ान बुक करने की, और कुछ को डेटाबेस व्यवस्थित करने की।

अतीत में, जब हमने यह जांचने की कोशिश की कि इन AI सहायकों ने अपना काम कितनी अच्छी तरह किया, तो हम एक "एक ही आकार का रिपोर्ट कार्ड" (one-size-fits-all report card) इस्तेमाल करते थे। हम एक अति-बुद्धिमान AI (जिसे "जज" कहा जाता है) से हर कार्य को बिल्कुल एक ही तीन प्रश्नों का उपयोग करके ग्रेड देने के लिए कहते थे:

क्या यह सहायक था?
क्या यह प्रवाहपूर्ण (सुनने में अच्छा) था?
क्या यह सुरक्षित था?

समस्या: यह एक सर्जन और एक शेफ को एक ही टेस्ट से ग्रेड देने जैसा है।

यदि एक सर्जन एक सटीक कट लगाता है लेकिन बोलते समय थोड़ा हकलाता है, तो "एक ही आकार का" जज उसे कम ग्रेड दे सकता है क्योंकि वह "प्रवाहपूर्ण" नहीं था।
यदि एक शेफ स्टेक जला देता है लेकिन उसके बारे में एक सुंदर कविता लिखता है, तो जज उसे उच्च स्कोर दे सकता है क्योंकि कविता "सहायक" और "प्रवाहपूर्ण" थी।

AI एजेंट इसलिए विफल हो रहे थे क्योंकि ग्रेडिंग सिस्टम को इस बात की परवाह नहीं थी कि उस विशिष्ट कार्य के लिए वास्तव में क्या महत्वपूर्ण है।

पेश है: ADARUBRIC (द "कैमेलियन" ग्रेडर)

यह पेपर ADARUBRIC को पेश करता है, जो एक नया सिस्टम है जो एक गिरगिट (chameleon) की तरह काम करता है। एक निश्चित रिपोर्ट कार्ड के बजाय, यह विशिष्ट जॉब डिस्क्रिप्शन को पढ़ता है और तुरंत एक नया, कस्टम ग्रेडिंग रूब्रिक (grading rubric) बनाता है।

यह कैसे काम करता है, यहाँ तीन सरल चरणों में दिया गया है:

1. कस्टम मेनू (अनुकूली रूब्रिक जनरेशन - Adaptive Rubric Generation)

AI के काम शुरू करने से पहले, ADARUBRIC जॉब डिस्क्रिप्शन को पढ़ता है और खुद से पूछता है: "यहाँ सफलता के लिए वास्तव में क्या मायने रखता है?"

एक कोड डीबगर के लिए: यह "क्या कोड चला?", "क्या इसने त्रुटियों को पकड़ा?", और "क्या यह कुशल था?" जैसे आयामों (dimensions) के साथ एक मेनू बनाता है।
एक वेब ब्राउज़र के लिए: यह "क्या इसने सही लिंक खोजा?", "क्या इसने सही बटन पर क्लिक किया?", और "क्या इसने परिणाम का सारांश दिया?" के साथ एक मेनू बनाता है।

यह एक ऐसे रेस्टोरेंट की तरह है जो केवल "भोजन" परोसता नहीं है। यदि आप सुशी ऑर्डर करते हैं, तो वह एक ताज़ा चाकू और वसाबी लेकर आता है। यदि आप पिज्जा ऑर्डर करते हैं, तो वह एक कटर और चीज़ लेकर आता है। यह कार्यों के अनुसार अपने उपकरणों को अनुकूलित करता है।

2. स्टेप-बाय-स्टेप स्कोरकार्ड (कॉन्फिडेंस-वेटेड इवैल्यूएशन - Confidence-Weighted Evaluation)

एक बार जब AI एजेंट काम करने की कोशिश करता है, तो ADARUBRIC केवल एक अंतिम "पास" या "फेल" नहीं देता। यह एजेंट की हर चाल पर नज़र रखता है।

यह हर कदम के लिए एक स्कोर देता है (1 से 5 स्टार)।
"कॉन्फिडेंस" वाला तरीका: कभी-कभी AI का एक कदम किसी विशिष्ट कार्य के लिए महत्वपूर्ण नहीं होता है। उदाहरण के लिए, यदि AI केवल "सोच" (reasoning) रहा है और उसने अभी तक "टूल एक्यूरेसी" (Tool Accuracy) आयाम को नहीं छुआ है, तो ADARUBUBRIC कहता है, "मैं इस कदम को सटीकता के लिए कैसे ग्रेड दूँ, इस बारे में 100% निश्चित नहीं हूँ, इसलिए मैं इसे कम वेटेज दूँगा।"
यह एक अजीब कदम को पूरे ग्रेड को खराब करने से, या एक भाग्यशाली अनुमान को बड़ी विफलता को छिपाने से रोकता है।

3. "छिपने का कोई रास्ता नहीं" फ़िल्टर (डायमेंशन-अवेयर फ़िल्टर - Dimension-Aware Filter)

यही इस पेपर का असली मंत्र (secret sauce) है। कल्पना कीजिए कि एक AI एजेंट जो लिंक खोजने में परफेक्ट है लेकिन पेज पर लिखे टेक्स्ट को पढ़ने में बहुत बुरा है।

एक सामान्य ग्रेडर कह सकता है: "वाह, उन्होंने 10 लिंक खोज लिए! वह 5 में से 4 है!" (लिंक्स पर उच्च स्कोर, पढ़ने की विफलता को छिपा देता है)।
ADARUBRIC का फ़िल्टर कहता है: "रुको। यदि वे 'रीडिंग' (पढ़ने) के आयाम में विफल रहे, तो वे पूरे कार्य में विफल माने जाएंगे, चाहे वे लिंक खोजने में कितने भी अच्छे क्यों न रहे हों।"
यह सुनिश्चित करता है कि कोई भी एक कमजोरी, एक अकेली ताकत द्वारा छिपाई न जा सके।

यह क्यों मायने रखता है? (परिणाम)

शोधकर्ताओं ने इसे तीन बड़े चुनौतियों पर परखा:

वेब ऑटोमेशन (वेब ब्राउज़ करना)।
ToolBench (डेटा प्राप्त करने के लिए API का उपयोग करना)।
AgentBench (कोडिंग और OS कार्य)।

परिणाम जादू की तरह थे:

बेहतर ग्रेडिंग: जब मनुष्यों ने ग्रेड की तुलना की, तो ADARUBRIC ने मानव विशेषज्ञों के साथ 79% बार मिलान किया, जबकि पुराने "एक ही आकार के" तरीकों ने केवल लगभग 64% बार मिलान किया।
बेहतर ट्रेनिंग: जब उन्होंने AI एजेंटों को प्रशिक्षित करने के लिए ADARUBRIC के ग्रेड का उपयोग किया (उन्हें सिखाने के लिए कि "अच्छा" क्या दिखता है), तो एजेंट अपने कामों में काफी बेहतर हो गए।
- वेब पर, उनमें 6.8% का सुधार हुआ।
- ToolBench पर, उनमें 8.5% का सुधार हुआ।
सामान्यीकरण (Generalization): यहाँ तक कि जब उन्होंने इसे एक पूरी तरह से नए कार्य पर आज़माया जिसे उन्होंने पहले नहीं देखा था (GitHub कोड बग्स को ठीक करना), तब भी यह बिना किसी मैनुअल ट्यूनिंग के बहुत अच्छा काम करता रहा।

बड़ा चित्र - एक सादृश्य (The Big Picture Analogy)

एक AI एजेंट को प्रशिक्षित करना एक रेस कार ड्राइवर को प्रशिक्षित करने जैसा है।

पुराना तरीका: आप उन्हें एक सामान्य टेस्ट देते हैं: "क्या आपने तेज़ गाड़ी चलाई? क्या आप कूल दिखे?" आप इस बात को नज़रअंदाज़ कर देते हैं कि क्या उन्होंने वास्तव में अपनी लेन में रहे या ब्रेक सही समय पर लगाया।
ADARUBRIC तरीका: आप उनके विशिष्ट ट्रैक को देखते हैं। क्या यह एक बरसाती ट्रैक है? तो आप उन्हें "ट्रैक्शन कंट्रोल" पर ग्रेड देते हैं। क्या यह एक घुमावदार पहाड़ी रास्ता है? तो आप उन्हें "कॉर्नरिंग" पर ग्रेड देते हैं। आप हर मोड़ को देखते हैं, सटीक फीडबैक देते हैं कि कहाँ गलत हुआ, और उन्हें बताते हैं, "आप एक अच्छे ड्राइवर नहीं बन सकते यदि आप तेज़ हैं लेकिन आप बार-बार गार्डरेल से टकराते रहते हैं।"

संक्षेप में: ADARUBRIC AI एजेंटों को एक सामान्य पैमाने से आंकना बंद करता है और हर काम के लिए एक कस्टम टेप मेजर (custom tape measure) का उपयोग करना शुरू करता है, जिससे AI अधिक स्मार्ट, सुरक्षित और बहुत अधिक विश्वसनीय बनता है।

यहाँ शोध पत्र "ADARUBRIC: TASK-ADAPTIVE RUBRICS FOR LLM AGENT EVALUATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों के मूल्यांकन के वर्तमान तरीके एक "स्टैटिक-रुब्रिक बॉटलनेक" (स्थिर-मानदंड बाधा) से ग्रस्त हैं।

निश्चित मेट्रिक्स की अपर्याप्तता: पारंपरिक मेट्रिक्स जैसे ROUGE-L या BERTScore सतही ओवरलैप को मापते हैं और लक्ष्य-निर्देशित तर्क (goal-directed reasoning) को पकड़ने में विफल रहते हैं।
"LLM-as-Judge" की सीमाएँ: मौजूदा LLM-आधारित मूल्यांकक (जैसे, Prometheus, G-Eval) पूर्व-निर्धारित आयामों (जैसे, उपयोगिता, प्रवाह, सुरक्षा) पर निर्भर करते हैं। ये आयाम चैट असिस्टेंट के लिए डिज़ाइन किए गए हैं, न कि जटिल कार्यों जैसे कोड डीबगिंग, API ऑर्केस्ट्रेशन, या वेब नेविगेशन करने वाले जटिल एजेंटों के लिए।
परिणाम: एक स्थिर रुब्रिक व्यवस्थित पूर्वाग्रह (systematic bias) पैदा करता है। उदाहरण के लिए, एक "प्रवाह" (fluency) आयाम उस एजेंट को दंडित कर सकता है जो एक जटिल API श्रृंखला को सही ढंग से निष्पादित करता है लेकिन संक्षिप्त, मशीन-पठनीय आउटपुट उत्पन्न करता है। इसके विपरीत, एक सामान्य "उपयोगिता" रुब्रिक टूल-यूज़ कार्यों के लिए विशिष्ट महत्वपूर्ण आयामों जैसे "त्रुटि सुधार" (Error Recovery) या "पैरामीटर शुद्धता" (Parameter Correctness) को पकड़ने में विफल रहता है। इससे मानव विशेषज्ञ निर्णयों के साथ कमजोर सहसंबंध और सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के लिए खराब प्रशिक्षण संकेत मिलते हैं।

2. कार्यप्रणाली: ADARUBRIC फ्रेमवर्क (Methodology: The ADARUBRIC Framework)

ADARUBRIC कार्य विवरणों से ऑन-द-फ्लाई (तत्काल) कार्य-विशिष्ट मूल्यांकन रुब्रिक्स उत्पन्न करके इन समस्याओं का समाधान करता है। यह फ्रेमवर्क रिवॉर्ड सिंथेसिस (पुरस्कार संश्लेषण) के बाद एक तीन-चरणीय पाइपलाइन के माध्यम से संचालित होता है (चित्र 2 देखें):

चरण 1: एडेप्टिव रुब्रिक जनरेशन (Adaptive Rubric Generation)

इनपुट: एक कार्य विवरण $T$ (निर्देश, डोमेन, संदर्भ, टूल्स)।
प्रक्रिया: एक LLM को $N$ ऑर्थोगोनल (एक दूसरे से स्वतंत्र) मूल्यांकन आयामों (डिफ़ॉल्ट $N=5$ ) से युक्त एक डायनेमिक रुब्रिक $R(T)$ उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है।
आउटपुट: प्रत्येक आयाम में शामिल है:
- एक नाम (जैसे, डीबगिंग के लिए "कोड दक्षता")।
- एक सापेक्ष महत्व भार ( $w_j$ )।
- ठोस उदाहरणों के साथ कैलिब्रेटेड 5-पॉइंट मौखिक स्कोरिंग मानदंड ( $\Gamma_j$ )।
अनुकूलन (Optimization): API लागत को 95% से अधिक कम करने के लिए रुब्रिक्स को प्रत्येक कार्य प्रकार के लिए कैश किया जाता है। स्वचालित सत्यापन सुनिश्चित करता है कि आयाम ओवरलैप न हों और भार (weights) का योग 1 हो।

चरण 2: कॉन्फिडेंस-वेटेड ट्राजेक्टरी इवैल्यूएशन (Confidence-Weighted Trajectory Evaluation)

सूक्ष्म स्कोरिंग (Granular Scoring): एक एजेंट ट्राजेक्टरी $\tau$ के प्रत्येक चरण $k$ के लिए, मूल्यांकक LLM प्रत्येक आयाम $j$ के विरुद्ध चरण को स्कोर करता है।
दोहरा आउटपुट: मॉडल एक स्कोर $s_{k,j} \in \{1..5\}$ और एक कॉन्फिडेंस वेट (विश्वास भार) $c_{k,j} \in [0,1]$ लौटाता है। यदि चरण सीधे विशिष्ट आयाम के साथ संलग्न नहीं होता है, तो कॉन्फिडेंस कम होता है (उदाहरण के लिए, एक रीजनिंग स्टेप का "टूल एक्यूरेसी" आयाम के लिए कम कॉन्फिडेंस हो सकता है)।
एकत्रीकरण (Aggregation): चरण स्कोर को वेटेड मीन (WM) (डिफ़ॉल्ट, हाल के चरणों को अधिक भार देना), ज्योमेट्रिक मीन (GM), या मिन स्कोर (सुरक्षा-महत्वपूर्ण कार्यों के लिए) जैसी रणनीतियों का उपयोग करके वैश्विक आयाम स्कोर में एकत्रित किया जाता है।

चरण 3: कॉन्फिडेंस-फिल्टर्ड सिलेक्शन और रिवॉर्ड सिंथेसिस (Confidence-Filtered Selection & Reward Synthesis)

DimensionAwareFilter: एक नवीन फ़िल्टरिंग तंत्र जो "मास्किंग" को रोकता है। एक ट्राजेक्टरी तब तक पास नहीं हो सकती जब तक कि कोई भी एकल महत्वपूर्ण आयाम थ्रेशोल्ड से नीचे न गिर जाए, भले ही कुल स्कोर उच्च हो। यह सुनिश्चित करता है कि अन्य क्षेत्रों में उच्च स्कोर द्वारा किसी आयाम-स्तर की विफलता को छिपाया न जा सके।
DPO पेयर कंस्ट्रक्शन: फ़िल्टर्ड ट्राजेक्टरीज को कुल स्कोर के आधार पर सॉर्ट किया जाता है। प्रेफरेंस पेयर्स $(\tau_{chosen}, \tau_{rejected})$ का निर्माण एक मार्जिन बाधा ( $S(\tau_i) - S(\tau_j) \ge \delta_{min}$ ) के साथ किया जाता है।
रिवॉर्ड सिग्नल: ये जोड़े डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) के लिए उच्च-गुणवत्ता वाले प्रशिक्षण डेटा के रूप में या PPO के लिए सघन रिवॉर्ड सिग्नल के रूप में कार्य करते हैं।

3. मुख्य योगदान (Key Contributions)

कार्य-अनुकूलित रुब्रिक जनरेशन: कार्य विवरणों से डायनेमिक रूप से ऑर्थोगोनल, कैलिब्रेटेड मूल्यांकन आयाम उत्पन्न करने वाला पहला फ्रेमवर्क, जो मैनुअल रुब्रिक इंजीनियरिंग की आवश्यकता को समाप्त करता है।
बहु-आयामी सघन पुरस्कार (Multi-Dimensional Dense Rewards): कॉन्फिडेंस वेटिंग के साथ चरण-स्तरीय, आयाम-स्तरीय स्कोरिंग तंत्र पेश करता है, जो RL/DPO के लिए सूक्ष्म क्रेडिट असाइनमेंट सक्षम करता है।
क. DimensionAwareFilter: उच्च-स्कोरिंग आयामों को विशिष्ट महत्वपूर्ण आयामों में विफलताओं को छिपाने से रोकने के लिए एक आवश्यक शर्त, जो मजबूत प्रेफरेंस पेयर चयन सुनिश्चित करता है।
विश्वसनीयता मात्रा निर्धारण: LLM-आधारित मूल्यांककों के लिए एक सिद्धांतगत परिनियोजन मानदंड के रूप में Krippendorff's $\alpha$ (लक्ष्य $\ge 0.80$ ) को स्थापित करता है, जो मूल्यांकन रन के बीच निरंतरता सुनिश्चित करता है।
एंड-टू-एंड पाइपलाइन: मूल्यांकन से प्रशिक्षण तक एक पूर्ण वर्कफ़्लो प्रदर्शित करता है, जो दिखाता है कि एडेप्टिव रुब्रिक्स प्रशिक्षण इंफ्रास्ट्रक्चर को बदले बिना डाउनस्ट्रीम एजेंट प्रदर्शन में महत्वपूर्ण सुधार करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन WebArena, ToolBench, और AgentBench पर किया गया था, और SWE-bench पर सामान्यीकरण (generalization) का परीक्षण किया गया।

मानव सहसंबंध (Human Correlation): ADARUBRIC ने WebArena पर मानव विशेषज्ञ रैंकिंग के साथ $r=0.79$ का पियर्सन सहसंबंध प्राप्त किया, जो सर्वश्रेष्ठ स्टैटिक बेसलाइन (GPT-4 Direct, $r=0.64$ ) की तुलना में +0.15 का महत्वपूर्ण सुधार है।
विश्वसनीयता: Krippendorff's $\alpha = 0.83$ प्राप्त किया, जो उच्च-विश्वसनीयता मूल्यांकन के लिए परिनियोजन मानदंड को पूरा करता है।
डाउनस्ट्रीम DPO प्रशिक्षण:
- ADARUBRIC प्रेफरेंस पेयर्स पर प्रशिक्षित एजेंटों ने Prometheus-प्रशिक्षित एजेंटों की तुलना में कार्य सफलता दर में +6.8 से +8.5 प्रतिशत अंक (pp) का सुधार दिखाया।
- SWE-bench (कोड रिपेयर) पर, ADARUBRIC ने बिना किसी रुब्रिक इंजीनियरिंग के सामान्यीकरण किया, $r=0.77$ प्राप्त किया और GPT-4 Direct पर +4.9 pp की बढ़त हासिल की।
PPO अभिसरण (Convergence): PPO के लिए रिवॉर्ड फंक्शन के रूप में उपयोग किए जाने पर, ADARUBRIC ने अभिसरण को तेज किया, स्कैलर रिवॉर्ड बेसलाइन्स की तुलना में 5,000 स्टेप्स पर +6.6 pp उच्च सफलता दर प्राप्त की।
एब्लेशन अध्ययन (Ablation Studies):
- अनुकूलनशीलता ही कुंजी है: स्टैटिक और एडेप्टिव रुब्रिक्स के बीच का अंतर (+0.15) विभिन्न बैकबोन मॉडल्स (GPT-4o बनाम Llama-3.1-8B) के बीच के अंतर से अधिक था, जो सिद्ध करता है कि रुब्रिक डिज़ाइन प्रदर्शन का प्राथमिक चालक है।
- इष्टतम आयाम: प्रदर्शन $N=5$ आयामों पर चरम पर था; बहुत कम होने पर कार्य कम कवर होते हैं, जबकि बहुत अधिक होने पर रेडंडेंसी (अनावश्यकता) बढ़ जाती है।

5. महत्व और प्रभाव (Significance and Impact)

मूल्यांकन अंतराल को पाटना: ADARUBRIC जेनेरिक चैट-असिस्टेंट मूल्यांकन मानदंडों और लक्ष्य-निर्देशित एजेंटों की विशिष्ट आवश्यकताओं के बीच मौलिक बेमेल को हल करता है।
स्केलेबिलिटी और ऑटोमेशन: रुब्रिक जनरेशन को स्वचालित करके, यह मैनुअल डायमेंशन इंजीनियरिंग की बाधा को हटा देता है, जिससे मूल्यांकन प्रणाली को नए डोमेन (जैसे, वेब नेविगेशन से कोड रिपेयर तक) में तुरंत स्केल करने की अनुमति मिलती है।
प्रशिक्षण दक्षता: उच्च-गुणवत्ता वाले, सघन रिवॉर्ड सिग्नल उत्पन्न करके, यह RL प्रशिक्षण की सैंपल कॉम्प्लेक्सिटी को काफी कम करता है, जिससे तेज़ अभिसरण और बेहतर अंतिम प्रदर्शन मिलता है।
सामान्यीकरण: डोमेन के बीच (जैसे, WebArena से SWE-bench) स्थानांतरित होने की फ्रेमवर्क की क्षमता यह सुझाव देती है कि लक्ष्य-निर्देशित तर्क को कैसे मूल्यांकित किया जाए, यह सीखना एक हस्तांतरणीय कौशल है, जो विशिष्ट कार्य डोमेन से स्वतंत्र है।

निष्कर्षतः, ADARUBRIC स्टैटिक, 'वन-साइज़-फिट्स-ऑल' मूल्यांकन से डायनेमिक, टास्क-अवेयर असेसमेंट की ओर एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है, जो विश्वसनीय और सक्षम अगली पीढ़ी के LLM एजेंटों के लिए एक मजबूत आधार प्रदान करता है।