Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents
यह शोध पत्र Harness-IF प्रस्तुत करता है, जो एक नया बेंचमार्क है जो 'अगेंस्ट-प्रायर एक्यूरेसी' (Against-Prior Accuracy - AP-Acc) नामक एक नए मीट्रिक का उपयोग करके संयोग से वास्तविक अनुपालन को अलग करते हुए, विविध सतहों पर कोडिंग एजेंटों की वास्तविक निर्देश-अनुपालन क्षमताओं का मूल्यांकन करता है, जिससे यह प्रकट होता है कि मौजूदा बेंचमार्क प्रदर्शन को बढ़ा-चढ़ाकर दिखाते हैं और नियम प्राथमिकता सख्ती से प्रॉम्प्ट गहराई का पालन नहीं करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट शेफ को एक जटिल व्यंजन बनाना सिखा रहे हैं। आप केवल अंत में "पास्ता बनाओ!" जैसा एक कमांड नहीं चिल्लाते। इसके बजाय, आपके पास निर्देशों का एक पूरा ढेर है: दीवार पर लगा एक नियम पुस्तिका (सिस्टम प्रॉम्प्ट), रेसिपी कार्ड पर एक नोट (प्रोजेक्ट फ़ाइल), चाकू के काम करने का एक विवरण (टूल डिस्क्रिप्शन), और अंत में, शेफ के लिए आपका विशिष्ट अनुरोध (यूज़र इंस्ट्रक्शन)। लंबे समय तक, इन AI शेफों का परीक्षण करने वाले वैज्ञानिकों ने केवल एक ही चीज़ पर ध्यान दिया: क्या शेफ ने पास्ता परोसा? यदि प्लेट अच्छी दिखती थी, तो वे उसे एक गोल्ड स्टार दे देते थे। लेकिन उन्होंने कभी यह जाँच नहीं की कि शेफ ने वास्तव में किन निर्देशों का पालन किया। हो सकता है कि शेफ ने "बिना लहसुन के" वाले नियम पुस्तिका को अनदेखा कर दिया हो क्योंकि उन्हें वैसे भी बिना लहसुन के पास्ता पसंद था। यह वह पेचीदा कोना है जिसे हम एक्सप्लोर कर रहे हैं: इंस्ट्रक्शन फॉलोइंग (निर्देशों का पालन करना)। यह केवल सही उत्तर प्राप्त करने के बारे में नहीं है; यह यह साबित करने के बारे में है कि रोबोट ने आपके द्वारा दिए गए विशिष्ट नियमों का पालन किया है, भले ही वे नियम उन नियमों के विरुद्ध हों जो रोबोट स्वाभाविक रूप से करता।
यह पेपर, जिसका शीर्षक "Harness-IF" है, AI शेफों के लिए एक जासूसी एजेंसी की तरह है। शोधकर्ताओं ने महसूस किया कि मौजूदा परीक्षण बहुत आसान थे क्योंकि वे केवल अंतिम व्यंजन को देखते थे। वे जानना चाहते थे कि क्या रोबोट वास्तव में नियमों का पालन कर रहा था या वह केवल भाग्यशाली था। इसलिए, उन्होंने एक नया, सुपर-विस्तृत परीक्षण बनाया जिसे Harness-IF कहा गया। केवल यह पूछने के बजाय कि, "क्या आपने पास्ता बनाया?", उन्होंने 60 यथार्थवादी कोडिंग परिदृश्य बनाए जहाँ AI को 256 अलग-अलग सूक्ष्म नियमों का पालन करना था। ये नियम रोबोट के "मस्तिष्क" के विभिन्न स्थानों में छिपे हुए थे—कुछ सिस्टम प्रॉम्प्ट में, कुछ प्रोजेक्ट फ़ाइलों में, कुछ टूल विवरणों में, और कुछ यूज़र के सीधे चैट में।
यहाँ वह बड़ा सरप्राइज है जो जासूसों ने पाया: AI मॉडल उन नियमों का पालन करने में बहुत बेहतर होते हैं जो वही करते हैं जो वे वैसे भी करते, बजाय उन नियमों के जो उनकी प्राकृतिक आदतों के विरुद्ध जाते हैं। शोधकर्ता इसे "अगेंस्ट-प्रायर" (Against-Prior) टेस्ट कहते हैं। उन्होंने पाया कि जब किसी नियम ने AI को कुछ ऐसा करने के लिए मजबूर किया जो उसके डिफ़ॉल्ट व्यवहार से अलग था, तो AI की सफलता दर काफी गिर गई। औसतन, मॉडल अपनी स्वाभाविक प्रवृत्ति के विरुद्ध जाने वाले नियमों का पालन करने में 5.8 प्रतिशत अंक कम बेहतर थे। यह उस छात्र की तरह है जिसे गणित के टेस्ट में 'A' ग्रेड मिलता है क्योंकि उसे गणित पसंद है, लेकिन उसे 'C' ग्रेड मिलता है जब शिक्षक उसे एक ऐसी विधि का उपयोग करके समस्या हल करने के लिए कहते हैं जिसे वह नापसंद करता है। पेपर सुझाव देता है कि यदि हम केवल अंतिम ग्रेड (टास्क सक्सेस) को देखते हैं, तो हम खुद को यह सोचने के धोखे में रख रहे हैं कि छात्र गणित का जीनियस है, जबकि वह केवल अपनी स्वाभाविक प्रतिभा के दम पर आगे बढ़ रहा हो सकता है।
अध्ययन ने यह भी देखा कि नियम कहाँ रखे गए थे। आप सोच सकते हैं कि अंत में बोला गया नियम (यूज़र इंस्ट्रक्शन) सबसे महत्वपूर्ण होगा, जैसे कि मीटिंग में आखिरी बोलने वाला व्यक्ति आमतौर पर जीत जाता है। लेकिन डेटा ने कुछ अलग दिखाया। सिस्टम प्रॉम्प्ट, प्रोजेक्ट फ़ाइल्स और यूज़र निर्देशों में पाए गए नियमों ने महत्व के मामले में शीर्ष स्थान के लिए बराबरी की, जबकि टूल विवरणों या स्किल विवरणों में दबे हुए नियमों को अक्सर अनदेखा कर दिया गया। ऐसा लगता है कि AI किसी विशिष्ट उपकरण के काम करने के बारीक विवरणों के बजाय "बड़ी तस्वीर" वाले नियमों पर अधिक ध्यान देता है।
संक्षेप में, यह पेपर यह दावा नहीं करता है कि इसने पूर्ण AI बनाने की समस्या को हल कर दिया है। इसके बजाय, यह हमें यह मापने के लिए एक बेहतर पैमाना देता है कि AI वास्तव में कितनी अच्छी तरह सुनता है। यह दिखाता है कि वर्तमान AI मॉडल वह करने में माहिर हैं जो वे खुद करना चाहते हैं, लेकिन वे तब संघर्ष करते हैं जब हम उनसे वह करने के लिए कहते हैं जो वे स्वाभाविक रूप से नहीं चुनते। "लकी कंप्लायंस" (भाग्यशाली अनुपालन) को "ट्रू ओबेडिएंस" (वास्तविक आज्ञाकारिता) से अलग करके, शोधकर्ता उम्मीद करते हैं कि हम अपने AI सहायकों को अधिक विश्वसनीय बनाने के लिए बेहतर परीक्षण बना सकें, न कि केवल अधिक सफल दिखने वाले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।