ABD: Default Exception Abduction in Finite First Order Worlds
यह शोध पत्र ABD प्रस्तुत करता है, जो सीमित प्रथम-क्रम दुनियाओं (finite first-order worlds) में डिफ़ॉल्ट-अपवाद एब्डक्शन (default-exception abduction) के लिए एक बेंचमार्क है, जो तीन अवलोकन व्यवस्थाओं (observation regimes) के तहत स्पार्स, संतुष्टि-पुनर्स्थापना सूत्र (satisfiability-restoring formulas) उत्पन्न करने की दस अत्याधुनिक (frontier) LLMs की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि जहाँ मॉडल उच्च वैधता प्राप्त करते हैं, वहीं वे मितव्ययिता (parsimony) के साथ संघर्ष करते हैं और विशिष्ट सामान्यीकरण विफलताओं (generalization failures) को प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन जिस दुनिया की आप जांच कर रहे हैं उसके नियम थोड़े टूटे हुए हैं।
मुख्य विचार: "अपवादों के साथ नियम पुस्तिका"
एक डिफ़ॉल्ट थ्योरी (Default Theory) को एक खेल की नियम पुस्तिका के रूप में सोचें।
- नियम: "यदि किसी खिलाड़ी के पास लाल कार्ड है, तो उसे बैठ जाना चाहिए।"
- वास्तविकता: आप कमरे में जाते हैं और एक खिलाड़ी को देखते हैं जिसके पास लाल कार्ड है लेकिन वह खड़ा है।
नियम पुस्तिका का उल्लंघन हुआ है। तर्क (logic) और AI की दुनिया में, यह एक समस्या है। AI को यह समझने की ज़रूरत है कि क्यों वह नियम काम नहीं कर पाया। क्या नियम गलत था? नहीं, आमतौर पर नियम सही होता है, लेकिन कोई विशेष मामला होता है। शायद वह खिलाड़ी रेफरी है, या उसका पैर टूटा हुआ है।
इस अपवाद के लिए कारण खोजने की इस प्रक्रिया को एब्डक्शन (Abduction) कहा जाता है। AI का काम एक नया, छोटा नियम लिखना है जो कहता है: "बैठ जाने वाला नियम सभी पर लागू होता है सिवाय उन लोगों के जो रेफरी हैं।"
यह शोध पत्र एक नया परीक्षण पेश करता है जिसे ABD (डिफ़ॉल्ट-अपवाद एब्डक्शन) कहा जाता है, यह देखने के लिए कि आधुनिक AI (जैसे सबसे स्मार्ट चैटबॉट्स) इन "अपवाद नियमों" को लिखने में कितने अच्छे हैं।
तीन स्तरों का परीक्षण
शोधकर्ताओं ने इस जासूसी खेल को खेलने के तीन अलग-अलग तरीके बनाए हैं, जो यह दर्शाते हैं कि AI के पास कितनी जानकारी है:
ABD-Full (साफ खिड़की):
- परिदृश्य: आप कमरे में सब कुछ पूरी तरह से देख सकते हैं। आप जानते हैं कि किसके पास लाल कार्ड है, कौन खड़ा है, और कौन बैठा है।
- चुनौती: खड़े हुए लाल कार्ड वाले खिलाड़ी के लिए अपवाद नियम खोजें।
- जाल: AI यह कहने की कोशिश कर सकता है कि: "अपवाद केवल इस विशिष्ट व्यक्ति के लिए है जिसका नाम 'बॉब' है।" यह एक बुरा नियम है क्योंकि यह तब काम नहीं करेगा जब बाद में 'एलिस' नाम का कोई नया व्यक्ति आता है। AI को एक सामान्य नियम (जैसे "रेफरी") की आवश्यकता है।
ABD-Partial (धुंधली खिड़की):
- परिदृश्य: आप अधिकांश चीजें देख सकते हैं, लेकिन कुछ विवरण धुंध में छिपे हुए हैं। आप एक खिलाड़ी को देखते हैं जिसके पास लाल कार्ड है और वह खड़ा है, लेकिन आप यह नहीं देख सकते कि क्या उसने सीटी पकड़ी हुई है (जो उसे रेफरी बना देगी)।
- चुनौती: AI को एक ऐसा नियम अनुमान लगाना चाहिए जो काम करे यदि धुंध मददगार तरीके से साफ हो जाए। "शायद वे एक रेफरी हैं? यदि ऐसा है, तो नियम लागू होता है।"
- जाल: AI बहुत भाग्यशाली होने का अनुमान लगा सकता है, यह मानकर कि धुंध सबसे सुविधाजनक तरीके से साफ होगी, बजाय इसके कि वह एक बुरे परिणाम के लिए तैयार रहे।
ABD-Skeptical (शंकालु खिड़की):
- परिदृश्य: वही धुंधली खिड़की, लेकिन अब AI को एक शंकालु जासूस बनना होगा।
- चुनौती: AI को एक ऐसा नियम लिखना होगा जो चाहे धुंध कैसे भी साफ हो जाए काम करे। भले ही छिपा हुआ तथ्य सबसे खराब स्थिति वाला क्यों न हो, नियम फिर भी तर्कसंगली होना चाहिए।
- जाल: यह सबसे कठिन स्तर है। AI अक्सर वहां विफल हो जाता है जहाँ वह "सर्वश्रेष्ठ मामले" के लिए काम करने वाला नियम लिख देता है, लेकिन जब "सबसे खराब मामला" आता है तो वह ढह जाता है।
"गॉटचा" मेट्रिक्स: वैधता बनाम पार्सिमनी (Validity vs. Parsimony)
शोधकर्ता केवल यह नहीं पूछते कि "क्या AI ने सही उत्तर दिया?" (वैधता/Validity)। वे दो कठिन प्रश्न भी पूछते हैं:
क्या नियम बहुत जटिल है? (पार्सिमनी/Parsimony)
- कल्पना करें कि AI कहता है: "अपवाद उन लोगों पर लागू होता है जो रेफरी हैं, या लाल कार्ड रखते हैं, या नीली टोपी पहने हैं, या मंगलवार को पैदा हुए थे, या..."
- यह तकनीकी रूप से "वैध" है (यह अपवाद की व्याख्या करता है), लेकिन यह एक बुरा, फूला हुआ नियम है।
- शोधकर्ता मापते हैं कि AI का नियम कितना "फूला हुआ" है। वे चाहते हैं कि AI सरलतम स्पष्टीकरण खोजे (ऑकम का रेज़र/Occam's Razor)।
क्या नियम नए मामलों में टूट जाता है? (सामान्यीकरण/Generalization)
- AI को 10 कमरों पर प्रशिक्षित किया जाता है, फिर 5 नए कमरों पर परीक्षण किया जाता है जिन्हें उसने पहले कभी नहीं देखा।
- बड़ी खोज: कई AI प्रशिक्षण वाले 10 कमरों को याद करने में बहुत अच्छे होते हैं। वे जटिल, विशिष्ट नियम लिखते हैं जो प्रशिक्षण डेटा पर पूरी तरह से काम करते हैं। लेकिन जब वे एक नए कमरे में जाते हैं, तो उनके नियम बिखर जाते हैं। वे "भंगुर" (brittle) होते हैं।
परिणाम: परीक्षण में कौन पास हुआ?
शोधकर्ताओं ने 11 सबसे स्मार्ट AI मॉडल का परीक्षण किया। यहाँ सरल अंग्रेजी में सारांश दिया गया है:
- "ज़्यादा सोचने वाले" (जैसे GPT-5.4): ये मॉडल गणितीय रूप से सही उत्तर (न्यूनतम लागत) खोजने में बहुत अच्छे हैं। हालाँकि, वे इसे विशाल, जटिल नियम लिखकर करते हैं जो एक भूलभुलैया की तरह दिखते हैं। जब वे एक नए कमरे का सामना करते हैं, तो उनके जटिल नियम अक्सर टूट जाते हैं। वे बुद्धिमान हैं लेकिन नाजुक हैं।
- "स्थिर जासूस" (जैसे Opus-4.6, Gemini-3.1): ये मॉडल थोड़े अधिक महंगे नियम लिखते हैं (वे आवश्यक से कुछ अधिक लोगों को "अपवाद" के रूप में चिह्नित करते हैं), लेकिन उनके नियम सरल और मजबूत होते हैं। वे प्रशिक्षण डेटा और नए परीक्षण डेटा दोनों पर अच्छी तरह से काम करते हैं। वे सबसे विश्वसनीय हैं।
- "भंगुर वाले" (The Brittle Ones): कई मॉडल "शंकालु" (Skeptical) परीक्षण में पूरी तरह से विफल रहे। उन्होंने ऐसे नियम लिखे जो प्रशिक्षण डेटा के लिए तो एकदम सही थे, लेकिन जैसे ही छिपे हुए तथ्य "बुरे" निकले, वे तुरंत विफल हो गए।
बड़ा निष्कर्ष
यह शोध पत्र दिखाता है कि "स्मार्ट" होने का मतलब केवल सही उत्तर पाना नहीं है।
वास्तविक दुनिया में, हमें ऐसा AI नहीं चाहिए जो यह समझाने के लिए कि एक व्यक्ति खड़ा क्यों है, 100 पन्नों की नियम पुस्तिका लिखे। हमें ऐसा AI चाहिए जो एक सरल, एक वाक्य का नियम लिखे ("रेफरी खड़े होते हैं") जो तब भी काम करे जब स्थिति थोड़ी बदल जाए।
वर्तमान पीढ़ी का AI तर्क (logic) में बेहतर हो रहा है, लेकिन यह अभी भी सरल, मजबूत और सामान्यीकरण करने योग्य होने के बीच संतुलन बनाने के लिए संघर्ष कर रहा है। यह या तो बहुत सरल (और गलत) होने या बहुत जटिल (और भंगुर) होने के बीच झूलता रहता है। एक सरल, पूर्ण नियम खोजने का "स्वीट स्पॉट" मशीनों के लिए अभी भी बहुत कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।