Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge
यह शोध पत्र "प्री-फ्लाइट" (Pre-Flight) का परिचय देता है, जो विमानन परिचालन ज्ञान पर लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करने के लिए डिज़ाइन किए गए 300 विशेषज्ञ-लिखित बहुविकल्पीय प्रश्नों का एक ओपन-सोर्स बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान में सबसे उन्नत मॉडल भी विशेषज्ञ-स्तर की विश्वसनीयता में काफी पीछे हैं और विमानन में जिम्मेदार एआई परिनियोजन के लिए डोमेन-विशिष्ट मूल्यांकन की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि विमानन उद्योग (aviation industry) एक विशाल, अविश्वसनीय रूप से जटिल पुस्तकालय है। इसके अंदर लाखों किताबें हैं: कुछ चमकदार नई डिजिटल नियमावलियाँ हैं, तो कुछ 1960 के दशक के धूल भरे, हस्तलिखित लॉग (logs) हैं। इस पुस्तकालय में वे नियम शामिल हैं कि विमान ज़मीन पर कैसे चलते हैं, एयर ट्रैफिक कंट्रोल से कैसे बात की जाती है, और यात्रियों को सुरक्षित कैसे रखा जाता है।
लंबे समय से, हम कंप्यूटरों (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या "LLMs") को इस पुस्तकालय को पढ़ने और एक सहायक के रूप में कार्य करने के लिए सिखाने की कोशिश कर रहे हैं। लेकिन समस्या यह है कि हमने इन कंप्यूटरों का परीक्षण सामान्य सामान्य ज्ञान के प्रश्नों के साथ किया है, जैसे "प्रथम राष्ट्रपति कौन थे?" या "फ्रांस की राजधानी क्या है?"
समस्या: "सामान्य ज्ञान" का जाल
इस शोध पत्र के लेखक तर्क देते हैं कि एक सामान्य सामान्य ज्ञान परीक्षण पास करने का मतलब यह नहीं है कि कोई कंप्यूटर हवाई अड्डे में काम करने के लिए तैयार है। यह एक पायलट की क्षमता का परीक्षण करने जैसा है कि उसे किसी पॉप गाने के बोल सुनाने के लिए कहा जाए। वे बोल तो पूरी तरह से जान सकते हैं, लेकिन इसका मतलब यह नहीं है कि वे तूफान या यांत्रिक विफलता (mechanical failure) को संभाल सकते हैं। विमानन में, एक गलत उत्तर केवल एक खराब ग्रेड नहीं है; यह पैसा, प्रतिष्ठा या उससे भी बदतर स्थिति का कारण बन सकता है।
समाधान: "प्री-फ्लाइट" (Pre-Flight)
इसे ठीक करने के लिए, लेखकों ने Pre-Flight नामक एक नया परीक्षण बनाया है। इसे एक विशेष "ड्राइविंग टेस्ट" के रूप में समझें जो विशेष रूप से हवाई अड्डे के ग्राउंड ऑपरेशंस के लिए है।
- परीक्षण: इसमें 300 बहुविकल्पीय प्रश्न (multiple-choice questions) शामिल हैं।
- स्रोत: प्रश्न वास्तविक, आधिकारिक नियमपुस्तिकाओं (जैसे ICAO के अंतर्राष्ट्रीय मानक और अमेरिकी FAA विनियम) और वास्तविक पायलटों और ग्राउंड क्रू द्वारा उपयोग की जाने वाली सुरक्षा नियमावलियों से लिए गए हैं।
- ग्रेडर्स: प्रश्न वास्तविक विमानन विशेषज्ञों द्वारा लिखे और जांचे गए थे—ऐसे लोग जिन्होंने वास्तव में एयर ट्रैफिक प्रबंधित किया है, विमान उड़ाए हैं और रनवे पर काम किया है।
परिणाम: "विशेषज्ञ अंतराल" (The Expert Gap)
लेखकों ने उपलब्ध सबसे स्मार्ट AI मॉडलों को यह परीक्षण दिया (मध्य-2026 तक के)। यहाँ उन्हें क्या मिला:
- मानव बेंचमार्क: जब विशेषज्ञों के एक छोटे समूह ने एक समान क्विज़ दिया, तो उन्होंने लगभग 95% स्कोर किया। यह विश्वसनीयता का "स्वर्ण मानक" (gold standard) है।
- AI प्रदर्शन: सबसे अच्छे AI मॉडल ने 82.eta% स्कोर किया।
- अंतराल: AI और मानव विशेषज्ञों के बीच एक महत्वपूर्ण अंतर है। भले ही AI के स्कोर बेहतर हो रहे हैं, लेकिन वे बहुत धीरे-धीरे बढ़ रहे हैं। यह एक ऐसे छात्र की तरह है जिसने दो साल तक पढ़ाई की और अंततः अपने स्कोर को 75% से बढ़ाकर 83% कर लिया, लेकिन अभी भी सम्मान के साथ स्नातक होने के लिए आवश्यक 95% तक नहीं पहुँच पाया है।
यह क्यों हो रहा है?
शोध पत्र इसके कुछ कारण सुझाता है:
- अमेरिकी नियम पेचीदा हैं: AI मॉडल विशिष्ट अमेरिकी नियमों (FAA) के साथ सबसे अधिक संघर्ष करते हैं। ऐसा इसलिए हो सकता है क्योंकि इंटरनेट के सामान्य डेटा में अंतरराष्ट्रीय नियमों की तुलना में इन विशिष्ट विवरणों की मौजूदगी कम है।
- तर्क बनाम याददाश्त (Reasoning vs. Memorization): AI तथ्यों को याद रखने में अच्छा है (जैसे "गति सीमा क्या है?"), लेकिन जब उसे बहु-चरणीय तर्क (multi-step logic) करना होता है (जैसे "यदि बर्फबारी हो रही है और रनवे छोटा है, तो हमें किस गेट का उपयोग करना चाहिए?"), तो वह भ्रमित हो जाता है।
- अति-आत्मविश्वास: कभी-कभी AI अपने गलत उत्तरों में बहुत आश्वस्त होता है, जो विमानन जैसे उच्च-जोखिम वाले क्षेत्र में खतरनाक है।
"आउटलियर" (Outlier) और "हार्ड मोड"
- एक मॉडल (ALLaM 2 7B) ने केवल 25.3% स्कोर किया, जो कि लगभग रैंडम अनुमान लगाने के बराबर है। यह दर्शाता है कि एक मॉडल अन्य चीजों में बहुत अच्छा हो सकता है लेकिन विमानन-विशिष्ट नियमों के सामने पूरी तरह विफल हो सकता है।
- लेखक एक "हार्ड मोड" संस्करण बनाने का भी उल्लेख करते हैं जो और भी कठिन है। वे इसे अभी निजी रख रहे हैं ताकि जैसे-जैसे AI स्मार्ट होता जाए, वे इसे बिना इस डर के टेस्ट कर सकें कि AI ने इंटरनेट से उत्तर रटकर "चीटिंग" न की हो।
निष्कर्ष (The Bottom Line)
पत्र यह निष्कर्ष निकालता है कि इससे पहले कि हम AI को विमानन में महत्वपूर्ण, गैर-सुरक्षा-महत्वपूर्ण कार्यों (जैसे शेड्यूलिंग या ग्राहक सेवा) को संभालने दें, हमें यह साबित करना होगा कि वह इस विशिष्ट "Pre-Flight" परीक्षण को पास कर सकता है। वर्तमान में, AI अभी वहां तक नहीं पहुँचा है। यह एक होनहार छात्र है, लेकिन यह जहाज का कप्तान बनने के लिए तैयार नहीं है।
यह शोध पत्र क्या नहीं कहता:
- यह नहीं कहता कि AI को सुरक्षा-महत्वपूर्ण कार्यों (जैसे विमान उड़ाना या आपातकालीन निर्णय लेना) के लिए उपयोग किया जाना चाहिए।
- यह दावा नहीं करता कि AI जल्द ही मानव पायलटों या ग्राउंड क्रू की जगह ले लेगा।
- यह यह भी सुझाव नहीं देता कि वर्तमान AI स्कोर वास्तविक दुनिया के संचालन में तत्काल, बिना निगरानी के तैनाती के लिए पर्याप्त हैं।
मुख्य संदेश सरल है: हमें विमानन के लिए एक विशेष परीक्षण की आवश्यकता है, और फिलहाल, AI एक मानव विशेषज्ञ के स्तर तक पहुँचने में विफल हो रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।