← नवीनतम पेपर
🤖 AI

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

यह शोधपत्र Counsel को प्रस्तुत करता है, जो एजेंटिक कार्यों (agentic tasks) पर LLM-as-a-judge आलोचनाओं के लिए मानव-सत्यापित मेटा-मूल्यांकनों का पहला सार्वजनिक डेटासेट है, जो त्रुटि के स्थान और तर्क की गुणवत्ता पर मानव निर्णयों के साथ उनके संरेखण का विश्लेषण करके स्वचालित मूल्यांकनकर्ताओं के अंशांकन (calibration) और सुधार को सक्षम बनाता है।

मूल लेखक: Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

प्रकाशित 2026-06-23
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जटिल काम संभालने के लिए AI सहायकों (एजेंटों) की एक टीम बना रहे हैं, जैसे कि किसी ग्राहक के इत्र (perfume) के ऑर्डर को मैनेज करना या कंप्यूटर कोड लिखना। जैसे-जैसे ये काम कठिन होते जाते हैं, यह जांचना कि क्या AI अपना काम अच्छी तरह से कर रहा है, एक बहुत बड़ी सिरदर्दी बन जाता है।

समस्या: "मानवीय बाधा" (The Human Bottleneck)
एक AI एजेंट को एक लंबे, बहु-चरणीय (multi-step) एग्जाम देने वाले छात्र की तरह समझें। परीक्षा को पूरी तरह से ग्रेड करने के लिए, पहले एक मानव शिक्षक को छात्र द्वारा उठाए गए हर एक कदम को पढ़ना पड़ता था।

  • वास्तविकता: जटिल कार्यों के लिए, इसमें घंटों लग जाते हैं। यदि आपके पास 1,000 परीक्षाएं हैं, तो आपको हफ्तों तक काम करने के लिए शिक्षकों की एक छोटी सेना की आवश्यकता होगी।
  • शॉर्टकट: समय बचाने के लिए, कंपनियों ने "AI शिक्षकों" (जिसे LLM-as-a-Judge कहा जाता है) का उपयोग करके परीक्षाओं को स्वचालित रूप से ग्रेड करना शुरू कर दिया। ये AI शिक्षक टिप्पणियाँ लिखते हैं जैसे, "आप पहले उपयोगकर्ता की आईडी चेक करना भूल गए!" या "फाइल ढूंढने में अच्छा काम किया!"

नई समस्या: क्या ये AI शिक्षक विश्वसनीय हैं?
यहाँ पेंच यह है कि हमने इन AI शिक्षकों को उनकी ग्रेडिंग की गुणवत्ता की जांच किए बिना ही उन पर भरोसा करना शुरू कर दिया।

  • कभी-कभी एक AI शिक्षक वास्तविक गलती को पकड़ लेता है और उसका सटीक स्पष्टीकरण देता है।
  • कभी-कभी वह ऐसी गलती को पकड़ लेता है जो वास्तव में गलती नहीं थी (एक गलत अलार्म)।
  • कभी-कभी वह एक वास्तविक गलती को पकड़ लेता है लेकिन यह समझाने में भ्रमित या गलत होता है कि वह गलती क्यों थी।

अब तक, हमारे पास यह मापने का कोई तरीका नहीं था कि ये AI शिक्षक अपनी विशिष्ट कार्यक्षमता यानी आलोचना (critique) लिखने में कितने अच्छे थे। हम केवल यह जानते थे कि वे अंतिम "पास/फेल" को सही ढंग से पहचान पा रहे हैं या नहीं, लेकिन यह नहीं कि उनका तर्क (reasoning) सही था या नहीं।

समाधान: "Counsel"
लेखकों ने एक नया डेटासेट बनाया जिसे Counsel कहा जाता है। इसे एक "शिक्षक का भी शिक्षक" डेटासेट समझें।

  1. सेटअप: उन्होंने दो वास्तविक दुनिया के परिदृश्य लिए:
    • ग्राहक सेवा (Customer Service): एक AI जो ग्राहक को इत्र बदलने में मदद करने की कोशिश कर रहा है।
    • कोडिंग (Coding): एक AI जो वित्तीय डेटा फाइलों का विश्लेषण करने की कोशिश कर रहा है।
  2. पात्र (The Actors):
    • छात्र (The Student): एक AI एजेंट जो कार्य को पूरा करने की कोशिश कर रहा है।
    • AI शिक्षक (Judge): एक AI जो छात्र को देखता है और एक आलोचना लिखता है (जैसे, "त्रुटि! आपने एक चरण छोड़ दिया")।
    • मानव विशेषज्ञ (Human Expert/Meta-Evaluator): एक वास्तविक मानव जो AI शिक्षक की आलोचना को पढ़ता है और निर्णय लेता है:
      • "बिल्कुल सटीक" (Spot on): आपने सही गलती पकड़ी और उसका स्पष्टीकरण पूरी तरह से दिया। ✅
      • "स्थान सही, तर्क कमजोर" (Correct location, poor reasoning): आपने सही गलती पकड़ी, लेकिन आपका स्पष्टीकरण कमजोर या गलत था। ⚠️
      • "फ्लैग नहीं करना चाहिए था" (Should not have flagged): आपने सोचा कि कोई गलती है, लेकिन छात्र वास्तव में ठीक था। ❌

उन्होंने क्या पाया
AI शिक्षकों को ग्रेड करने के लिए मनुष्यों का उपयोग करके, उन्होंने पाया:

  • स्मार्ट होना बेहतर है: अधिक शक्तिशाली AI मॉडल बेहतर शिक्षक बनाते हैं।
  • गहराई से सोचना मदद करता है: जब AI शिक्षक को ग्रेड करने से पहले अधिक गहराई से और लंबे समय तक "सोचने" के लिए मजबूर किया जाता है, तो वह कम गलतियाँ करता है।
  • सबसे अच्छा शिक्षक: उनके द्वारा परीक्षण किए गए सबसे मजबूत AI शिक्षक इस बात पर मानव विशेषज्ञों के साथ 88% बार सहमति रखते थे कि त्रुटि कहाँ थी, और तर्क (reasoning) के मामले में 65% बार।

यह क्यों महत्वपूर्ण है
यह डेटासेट बेहतर AI शिक्षकों को बनाने के लिए एक "प्रशिक्षण नियमावली" (training manual) की तरह है। केवल इस उम्मीद में कि एक AI ग्रेडिंग में अच्छा होगा, इस डेटा का उपयोग हम निम्नलिखित के लिए कर सकते हैं:

  1. यह परीक्षण करने के लिए कि एक नया AI शिक्षक कितना अच्छा है।
  2. AI शिक्षकों को बेहतर, अधिक सटीक आलोचना लिखने के लिए प्रशिक्षित करने के लिए।
  3. खराब आलोचनाओं को फ़िल्टर करने के लिए ताकि डेवलपर्स केवल उच्च-गुणवत्ता वाली आलोचनाएं ही देख सकें।

संक्षेप में
यह पेपर ग्रेड करने वालों को ग्रेड करने का एक तरीका पेश करता है। जिस तरह आप ऐसे शिक्षक को काम पर नहीं रखेंगे जो यह नहीं समझा सकता कि छात्र ने किसी प्रश्न का उत्तर गलत क्यों दिया, उसी तरह AI समुदाय को यह सुनिश्चित करने के लिए एक तरीके की आवश्यकता है कि उसके स्वचालित मूल्यांकनकर्ता वास्तव में उपयोगी फीडबैक दे रहे हैं। Counsel इन "ग्रेड पर ग्रेड" का पहला सार्वजनिक पुस्तकालय प्रदान करता है ताकि अधिक विश्वसनीय AI सिस्टम बनाए जा सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →