SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling
यह शोध पत्र SCHEDBench प्रस्तुत करता है, जो एक व्यापक प्राकृतिक-भाषा बेंचमार्क है यह प्रदर्शित करता है कि बड़े भाषा मॉडल विविध संयोजी शेड्यूलिंग कार्यों में अर्थपूर्ण रूप से समान सतही-रूप विविधताओं के बावजूद विश्वसनीय बाधा निष्ठा (constraint faithfulness) और व्यवहार्यता बनाए रखने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक ऑर्केस्ट्रा के कंडक्टर हैं। आपके पास सैकड़ों संगीतकार हैं, वाद्ययंत्रों की संख्या सीमित है, और एक सख्त नियम पुस्तिका है: जब तक ड्रमर अपना सोलो (solo) खत्म नहीं कर देता, तब तक वायलिन वादक नहीं बजा सकता, और ट्रम्पेट सेक्शन को हर बीस मिनट में एक ब्रेक की आवश्यकता होती है। आपका काम एक ऐसा शेड्यूल लिखना है जो सबको ठीक से बताता है कि कब बजाना है ताकि बिना किसी टकराव के संगीत का आनंद लिया जा सके। यह कॉम्बिनेटोरियल शेड्यूलिंग (combinatorial scheduling) की दुनिया है। यह गणित और कंप्यूटर विज्ञान की एक शाखा है जो उन जटिल कार्यों को व्यवस्थित करने के लिए समर्पित है जहाँ संसाधन कम हैं और नियम कड़े हैं। यदि आप समय का प्रबंधन गलत करते हैं, तो पूरा शो बिखर जाएगा।
वर्षों से, वैज्ञानिक कंप्यूटर को इन पहेलियों को हल करने के लिए सख्त, गणितीय कोड का उपयोग करना सिखा रहे हैं। लेकिन हाल ही में, एक नए प्रकार का 'कंप्यूटर मस्तिष्क' जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, आया है। ये वही AI सिस्टम हैं जो निबंध लिखते हैं, आपसे चैट करते हैं, और चुटकुले सुनाते हैं। ये मानवीय भाषा को समझने में अद्भुत हैं। लेकिन बड़ा सवाल यह है: क्या एक AI जो बातचीत करने में माहिर है, वह एक सख्त, तार्किक नियम पुस्तिका का पालन करके शेड्यूलिंग पहेली को हल करने में भी माहिर हो सकता है? और इससे भी महत्वपूर्ण बात यह है कि यदि आप AI से एक ही सवाल पूछते हैं लेकिन उसे थोड़ा अलग तरीके से पेश करते हैं—जैसे "वायलिन वादक" को "संगीतकार" से बदलना या नियमों के क्रम को बदलना—तो क्या वह अभी भी सही उत्तर देगा? यह शोध पत्र ठीक उसी रहस्य की जांच करता है, यह परीक्षण करता है कि क्या ये AI मस्तिष्क वास्तव में तार्किक हैं या वे इस बात से भ्रमित हो जाते हैं कि प्रश्न को कैसे सजाया गया है।
शोध का बड़ा परीक्षण: SCHEDBench
इस अध्ययन के पीछे के शोधकर्ताओं, श्रेनिल शन शर्मा और अवि शर्मा ने एक विशाल परीक्षण मैदान बनाया जिसे वे SCHEDBench कहते हैं। इसे AI के लिए एक "ड्राइविंग टेस्ट" की तरह समझें, लेकिन कार चलाने के बजाय, AI को एक जटिल शेड्यूल चलाना है। उन्होंने केवल रैंडम समस्याएँ नहीं बनाईं; उन्होंने इंजीनियरों और गणितज्ञों द्वारा उपयोग किए जाने वाले प्रसिद्ध पुस्तकालयों से 1,132 वास्तविक दुनिया की शेड्यूलिंग पहेलियाँ लीं। ये पहेलियाँ फैक्ट्री के कामों के प्रबंधन से लेकर अस्पताल के नर्सों की शिफ्ट और विश्वविद्यालय के क्लास टाइमटेबल व्यवस्थित करने तक, सब कुछ कवर करती हैं।
इसे "भाषा की समझ" का वास्तविक परीक्षण बनाने के लिए, उन्होंने AI को कच्चे नंबर नहीं दिए। इसके बजाय, उन्होंने हर एक पहेली को प्राकृतिक अंग्रेजी वाक्यों में अनुवादित किया। फिर उन्होंने उसी पहेली के विभिन्न संस्करण बनाए। एक संस्करण में, नियम A से Z के क्रम में सूचीबद्ध हो सकते हैं। दूसरे संस्करण में, नियमों को इधर-उधर किया जा सकता है। तीसरे संस्करण में, "जॉब्स" को "ऑर्डर्स" के बजाय "बैचेस" कहा जा सकता है, या "मशीनों" को "वर्कस्टेशन्स" के रूप में नाम दिया जा सकता है। गणित और तर्क बिल्कुल समान रहा, लेकिन शब्द बदल गए।
उन्होंने 13 अलग-अलग AI मॉडल्स (GPT-5, क्लॉड और लामा जैसे बड़े नामों सहित) को इन पहेलियों को हल करने के लिए कहा। लक्ष्य सरल था: क्या AI एक वैध शेड्यूल बना सकता है जो सभी नियमों का पालन करता हो, चाहे सवाल को किसी भी तरह से पेश किया गया हो?
निष्कर्ष: AI 'सजावट' से भ्रमित हो जाता है
परिणाम आश्चर्यजनक थे। शोध में पाया गया कि AI मॉडल इन शेड्यूलिंग पज़ल्स के मामले में विश्वसनीय नहीं हैं। भले ही पहेलियों के पीछे का गणित नहीं बदला, लेकिन जब शब्दों का स्वरूप बदला, तो AI के प्रदर्शन में भारी गिरावट आई।
उन्होंने सरल शब्दों में क्या खोजा, यहाँ दिया गया है:
- "ड्रेस-अप" प्रभाव (The "Dress-Up" Effect): जब शोधकर्ताओं ने समस्या के सतही विवरण बदले—जैसे नियमों की सूची का क्रम बदलना या समानार्थी शब्दों से नाम बदलना—तो AI अक्सर उस समाधान को खोजने में विफल रहा जिसे वह पहले ढूंढ सकता था। ऐसा लगता है जैसे AI उन विशिष्ट शब्दों पर इतना केंद्रित है कि वह अंतर्निहित तर्क को भूल जाता है।
- क्रम बहुत मायने रखता है (बहुत ज्यादा): सबसे बड़ा अपराधी नियमों का क्रम था। जब शोधकर्ताओं ने बाधाओं (constraints) के क्रम को बदला (उदाहरण के लिए, नर्स के ब्रेक के समय को शिफ्ट शुरू होने के समय से पहले रखने के बजाय बाद में रखना), तो पहेली को हल करने की AI की क्षमता बहुत खराब हो गई। यह सुझाव देता है कि AI वास्तव में पूरी समस्या को एक साथ "समझ" नहीं रहा है; यह शायद उस क्रम से लड़खड़ा रहा है जिसमें वह निर्देशों को पढ़ता है।
- यह केवल रैंडम गलतियाँ नहीं हैं: शोधकर्ता यह साबित करने के लिए सावधान थे कि यह केवल AI का "बुरा दिन" होना या रैंडम अनुमान लगाना नहीं था। उन्होंने अलग-अलग रैंडम सीड्स (जैसे शुरुआती बिंदु चुनने के लिए पासा फेंकना) के साथ कई बार परीक्षण किया। उन्होंने पाया कि प्रदर्शन में गिरावट वास्तविक और सुसंगत थी, न कि केवल शोर (noise)।
- सर्वश्रेष्ठ प्रदर्शन करने वाले भी संघर्ष करते हैं: GPT-5.5 जैसे सबसे उन्नत मॉडल्स ने भी पहेलियों के "ड्रेस-अप" होने पर प्रदर्शन में भारी गिरावट दिखाई। 470 सरल पहेलियों के एक विशिष्ट समूह पर, GPT-5.5 ने अपने सबसे सरल रूप में लगभग 84% को हल किया। हालाँकि, जब नियमों को इधर-उधर किया गया या शब्दों को बदला गया, तो उसी समूह पर इसकी सफलता दर गिरकर 61.5% रह गई। सभी 1,132 पहेलियों के पूर्ण सेट पर, सभी विविधताओं के साथ परीक्षण करने पर, GPT-5.5 की सफलता दर और गिरकर 55.9% हो गई। यह दर्शाता है कि सबसे अच्छे मॉडल भी प्रदर्शन में सटीकता बनाए रखने के लिए संघर्ष करते हैं जब समस्या की प्रस्तुति बदल जाती है।
इसका क्या अर्थ है
यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि ये AI मॉडल पूरी तरह से स्थिर तार्किक इंजन हैं। वे नहीं हैं। अध्ययन दिखाता है कि जटिल कार्यों के लिए, आप सवाल कैसे पूछते हैं, यह उतना ही महत्वपूर्ण है जितना कि सवाल खुद।
लेखक सुझाव देते हैं कि हालांकि ये AI मॉडल कई चीजों में बेहतर हो रहे हैं, फिर भी उन्हें "कन्स्ट्रेंट फेथफुलनेस" (constraint faithfulness) बनाए रखने में संघर्ष करना पड़ता है। दूसरे शब्दों में, वे हमेशा नियमों का पालन करने का वादा नहीं कर सकते यदि नियम थोड़े अलग अंदाज में प्रस्तुत किए गए हों। यह शोध यह दावा नहीं करता है कि यह एक स्थायी दोष है जिसे कभी सुधारा नहीं जा सकता, लेकिन यह दिखाता है कि वर्तमान मॉडल अभी भी उन महत्वपूर्ण शेड्यूलिंग कार्यों के लिए भरोसेमंद नहीं हैं जहाँ एक छोटी सी गलतफहमी भी बड़े पैमाने पर विफलता का कारण बन सकती है।
संक्षेप में, यदि आप किसी AI को एक फैक्ट्री का शेड्यूल बनाने के लिए कहते हैं, और आप निर्देशों का क्रम बदल देते हैं, तो यह अचानक अपना काम करना भूल सकता है। शोध निष्कर्ष निकालता है कि हमें इन मॉडल्स के साथ बात करते समय बहुत सावधान रहने की आवश्यकता है क्योंकि वे अभी भी एक नियम के अर्थ को उस शब्द से अलग करने की सीख रहे हैं जिसका उपयोग उस नियम का वर्णन करने के लिए किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।