आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, शोधकर्ता एक निरंतर चुनौती का सामना कर रहे हैं: यह कैसे मापें कि एक कंप्यूटर प्रोग्राम वास्तव में किसी जटिल कार्य को समझता है, या केवल सही उत्तर का अनुमान लगा रहा है। वर्षों से, मानक तरीका यह रहा है कि एक भाषा मॉडल (language model) से दूसरे के काम को ग्रेड देने के लिए कहा जाए, या मानव न्यायाधीशों पर निर्भर किया जाए कि वे एक सूची में से सबसे अच्छा उत्तर चुनें। यह दृष्टिकोण एक मौलिक दोष रखता है; यह अपने स्वयं के होमवर्क को ग्रेड करने के लिए एक छात्र से पूछने, या पूरे शहर के लिए एक व्यंजन का निर्णय लेने के लिए एक व्यक्ति की पसंद पर भरोसा करने जैसा है। ग्रेड देने वाला पक्षपाती, थका हुआ, या बस गलत हो सकता है, और परिणाम अक्सर इस बात पर निर्भर करते हैं कि निर्णय कौन ले रहा है। इसे हल करने के लिए, वैज्ञानिकों ने "एग्जीक्यूटेबल" (executable) बेंचमार्क बनाना शुरू कर दिया है, जहाँ उत्तर राय का मामला नहीं बल्कि एक सत्यापन योग्य तथ्य है, ठीक वैसे ही जैसे एक कंप्यूटर प्रोग्राम जो या तो सही ढंग से चलता है या क्रैश हो जाता है। खाना पकाने के क्षेत्र में, इसका अर्थ स्वाद के बारे में व्यक्तिपरक बहसों से हटकर एक ऐसी प्रणाली की ओर बढ़ना है जहाँ सामग्रियों के संयोजन की गुणवत्ता को गणितीय सटीकता के साथ गणना किया जा सके।

यह FlavourBench का आधार है, जो एक नया अध्ययन है जो पाक संबंधी तर्क (culinary reasoning) को बहस किए जाने वाले एक कला के रूप में नहीं, बल्कि हल किए जाने वाले एक लॉजिक पजल के रूप में मानता है। शोधकर्ताओं ने 'एपिक्योर' (Epicure) नामक एक विशेष डिजिटल किचन वातावरण बनाया है, जिसमें लगभग 1,800 सामग्रियां शामिल हैं, जिनमें से प्रत्येक को डेटा के एक अद्वितीय सेट द्वारा दर्शाया गया है जो इसके स्वाद, बनावट और दूसरों के साथ इसके तालमेल को वर्णित करता है। यह प्रणाली एक निष्पक्ष रेफरी के रूप में कार्य करती है। इसकी अपनी कोई राय नहीं है; यह केवल आहार संबंधी आवश्यकताओं, क्षेत्रीय परंपराओं और स्वाद के सामंजस्य के सख्त नियमों के आधार पर सामग्रियों के किसी भी संयोजन के लिए एक स्कोर की गणना करती है। इस प्रणाली का उपयोग करके, शोधकर्ताओं ने एक ऐसा बेंचमार्क बनाया जहाँ "सही" उत्तर एक एकल आदर्श व्यंजन नहीं है, बल्कि तीन सामग्रियों का एक विशिष्ट सेट है जो दिए गए परिदृश्य के भीतर उच्चतम संभव अंक प्राप्त करता है।

अध्ययन ने दुनिया के 27 सबसे उन्नत भाषा मॉडलों को परीक्षण के लिए रखा। प्रत्येक मॉडल को 534 अलग-अलग चुनौतियां दी गईं। हर चुनौती में, मॉडल को आठ सामग्रियों की एक सूची दी गई और उनसे एक सुसंगत समूह बनाने के लिए उनमें से सर्वश्रेष्ठ तीन को चुनने के लिए कहा गया। कार्य विभिन्न कठिनाई स्तरों के थे: कुछ ने मॉडलों से गायब सामग्री के लिए विकल्प खोजने को कहा, अन्य ने विशिष्ट खाद्य पदार्थ के लिए सबसे अच्छे साथी खोजने को कहा, और तीसरे समूह ने मॉडलों को सख्त आहार सीमाओं के माध्यम से नेविगेट करने की आवश्यकता दी, जैसे कि अत्यधिक प्रसंस्कृत (processed) वस्तुओं से बचना। मॉडलों को प्रश्न दिखाने से पहले ही, एपिक्योर प्रणाली ने आठ विकल्पों में से तीन सामग्रियों के प्रत्येक संभावित संयोजन के लिए स्कोर की गणना कर ली थी। इसका मतलब था कि प्रत्येक प्रश्न के लिए 56 संभावित उत्तर थे, जिनमें से प्रत्येक का पूर्व-निर्धारित स्कोर शून्य से सौ के बीच था। मॉडल इन स्कोर के बारे में नहीं जानते थे; उन्हें सर्वोत्तम विकल्प बनाने के लिए अपने स्वयं के खाद्य ज्ञान पर भरोसा करना था।

परिणामों ने कृत्रिम बुद्धिमत्ता के बीच एक स्पष्ट पदानुक्रम का खुलासा किया। ग्रोक 4.6 (Grok 4.6) नामक एक मॉडल ने उच्चतम औसत स्कोर प्राप्त किया, जो 100 में से 65.1 अंक अर्जित कर सका। इसके ठीक बाद गूगल और ओपनएआई (OpenAI) के मॉडल आए, जिनके स्कोर 65.0 से 64.2 के बीच थे। दूसरे छोर पर, कमांड आर+ (Command R+) नामक एक मॉडल ने 47.9 स्कोर किया। शोधकर्ता इस बात पर ध्यान देने में सावधानी बरतते हैं कि हालांकि एक रैंकिंग थी, लेकिन कई शीर्ष मॉडलों के बीच का अंतर बहुत कम और सांख्यिकीय रूप से अविभेद्य था। वास्तव में, 27 मॉडलों के सभी संभावित युग्मों में से केवल 101 ने प्रदर्शन में स्पष्ट, महत्वपूर्ण अंतर दिखाया। यह सुझाव देता है कि हालांकि कुछ मॉडल इस विशिष्ट प्रकार के पाक तर्क में दूसरों की तुलना में बेहतर हैं, लेकिन बहुत अच्छे और बहुत श्रेष्ठ के बीच का अंतर बहुत कम है।

जो इस अध्ययन को विशेष रूप रूप से महत्वपूर्ण बनाता है वह यह है कि यह अनिश्चितता को कैसे संभालता है। विजेताओं और हारने वालों की एक साधारण सूची प्रस्तुत करने के बजाय, शोधकर्ताओं ने कठोर सांख्यिकीय विधियों का उपयोग यह दिखाने के लिए किया कि कौन से अंतर वास्तविक थे और कौन से केवल यादृच्छिक शोर (random noise) थे। उन्होंने पाया कि शीर्ष प्रदर्शन करने वाले मॉडल एक समूह में थे जहाँ उनके सापेक्ष क्रम को निश्चित रूप से स्थापित नहीं किया जा सकता था। उदाहरण के लिए, जबकि ग्रोक 4.6 का स्कोर सबसे अधिक था, सांख्यिकीय विश्लेषण ने दिखाया कि इसका वास्तविक प्रदर्शन कई अन्य शीर्ष मॉडलों के साथ ओवरलैप हो सकता है। यह दृष्टिकोण इस झूठी सटीकता को रोकता है कि एक मॉडल स्पष्ट रूप से "नंबर वन" है जब डेटा बताता है कि वे सभी उच्च स्तर पर समान प्रदर्शन कर रहे हैं। अध्ययन ने यह भी पुष्टि की कि परिणाम सुसंगत थे; जब शोधकर्ताओं ने एक अलग सेट के कार्यों (89 कार्य प्रति परिवार) का उपयोग करके एक दूसरे पैनल पर उन्हीं मॉडलों को चलाया, तो रैंकिंग बनी रही, और दोनों परिणामों के बीच एक मजबूत सहसंबंध देखा गया।

अध्ययन ने यह भी रेखांकित किया कि एक उच्च समग्र स्कोर पूरी कहानी नहीं बताता है। कुछ मॉडल उन सामग्रियों को खोजने में उत्कृष्ट थे जो आपस में अच्छी तरह से फिट बैठती हैं, जबकि अन्य सख्त आहार नियमों का पालन करने में बेहतर थे। एक मॉडल स्वाद के मेल में माहिर हो सकता है लेकिन कुछ प्रकार के प्रसंस्कृत खाद्य पदार्थों से बचने के मामले में संघर्ष कर सकता है। यह सूक्ष्मता सरल लीडरबोर्ड में खो जाती है जो केवल एक संख्या दिखाते हैं। प्रदर्शन को विभिन्न श्रेणियों में तोड़कर, शोधकर्ताओं ने दिखाया कि इन मॉडलों की अलग-अलग ताकतें हैं, ठीक वैसे ही जैसे मानव शेफ होते हैं जो बेकिंग में विशेषज्ञ हो सकते हैं लेकिन ग्रिलिंग में कम कुशल हो सकते हैं। डेटा ने यह भी खुलासा किया कि मॉडल केवल उत्तरों को रट नहीं रहे थे; वे प्रदान की गई जानकारी के आधार पर वास्तविक निर्णय ले रहे थे, जैसा कि इस तथ्य से प्रमाणित होता है कि उन्होंने अक्सर अलग-अलग सामग्रियों के सेट चुने जिन्हें फिर भी उच्च स्कोर प्राप्त हुआ।

शोधकर्ताओं ने अपना सारा डेटा, प्रॉम्प्ट और स्कोरिंग टूल जनता के लिए उपलब्ध करा दिया है, जिससे कोई भी परिणामों को सत्यापित कर सकता है या नए मॉडलों को प्रशिक्षित करने के लिए सिस्टम का उपयोग कर सकता है। यह पारदर्शिता इस अध्ययन के योगदान का एक प्रमुख हिस्सा है। एक ऐसी प्रणाली प्रदान करके जहाँ 'ग्राउंड ट्रुथ' (ground truth) निश्चित और निष्पादनीय है, उन्होंने एक ऐसा उपकरण बनाया है जिसका उपयोग मानव राय पर निर्भर हुए बिना आर्टिफिशियल इंटेलिजेंस को सुधारने के लिए किया जा सकता है। अध्ययन निष्कर्ष निकालता है कि हालांकि ये मॉडल जटिल तर्क कार्यों में बेहतर हो रहे हैं, फिर भी विकास की काफी गुंजाइश है। यह तथ्य कि सबसे अच्छे मॉडल ने भी 100 में से केवल 65 स्कोर किया, यह दर्शाता है कि वर्तमान आर्टिफिशियल इंटेलिजेंस और पूर्ण पाक तर्क के आदर्श के बीच अभी भी एक बड़ा अंतर है। यह अंतर भविष्य के अनुसंधान के लिए एक अवसर है ताकि इन प्रणालियों को और भी परिष्कृत और सूक्ष्म निर्णय लेना सिखाया जा सके।

अंततः, FlavourBench आर्टिफिशियल इंटेलिजेंस की क्षमताओं को देखने का एक नया तरीका प्रदान करता है। यह बातचीत को इस बात से हटाकर कि कौन सा मॉडल अधिक मानवीय लगता है, इस वस्तुनिष्ठ माप की ओर ले जाता है कि एक मॉडल परिभाषित समस्या को कितनी अच्छी तरह हल कर सकता है। एक डिजिटल किचन को परीक्षण के मैदान के रूप में उपयोग करके, शोधकर्ताओं ने दिखाया है कि जटिल तर्क का मूल्यांकन निष्पक्ष, पारदर्शी और पुनरुत्पादक तरीके से करना संभव है। अध्ययन यह दावा नहीं करता है कि उसने आर्टिफिशियल इंटेलिजेंस की समस्या को हल कर लिया है, बल्कि यह समझने के लिए एक स्पष्ट, मापने योग्य कदम प्रदान करता है कि ये सिस्टम क्या कर सकते हैं और क्या नहीं। जैसे-जैसे तकनीक आगे बढ़ती रहेगी, इस तरह के बेंचमार्क प्रगति को ट्रैक करने और यह सुनिश्चित करने के लिए आवश्यक होंगे कि अगली पीढ़ी के मॉडल वास्तविक दुनिया की जटिलताओं को संभालने में वास्तव में सक्षम हों।