Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents
यह शोध पत्र हाइपोथीसिस इवोल्यूशन प्रोटोकॉल (HEP) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो लार्ज लैंग्वेज मॉडल एजेंटों को परिकल्पना सृजन, परीक्षण और विश्वास संशोधन के लिए स्पष्ट, ऑडिट योग्य संचालन से सुसज्जित करता है, जिससे पारदर्शी और सत्यापन योग्य एआई-संचालित वैज्ञानिक खोज सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट जासूस को एक रहस्य सुलझाने के लिए काम पर रखा है कि क्यों कुछ सामग्रियां विशिष्ट क्रिस्टल आकार बनाती हैं। अतीत में, ये रोबोट जासूस (जिन्हें LLM एजेंट कहा जाता था) इधर-उधर घूमते थे, चीजें आजमाते थे और अपने विचारों को एक अव्यवस्थित, बिना संगठन वाले नोटबुक में लिख देते थे। यदि आप उनसे पूछते, "आपने ऐसा क्यों सोचा?" या "आपने अपना मन कैसे बदला?", तो वे बस एक उलझे हुए टेक्स्ट पेज की ओर इशारा कर देते। यह समझना असंभव था कि वे वास्तव में अपनी गलतियों से सीख रहे थे या बस अंदाजे लगा रहे थे।
इस पेपर के लेखक कहते हैं, "वास्तविक विज्ञान के लिए यह काफी नहीं है।" इसलिए, उन्होंने नियमों का एक नया सेट बनाया जिसे हाइपोथीसिस इवोल्यूशन प्रोटोकॉल (HEP) कहा जाता है। सोचिए कि HEP एक नोटबुक नहीं है, बल्कि एक सख्त, पारदर्शी अदालत है जहाँ रोबोट जासूस को अपना मामला पेश करना होता है।
पुराना तरीका बनाम नया कोर्टरूम
पुराने "प्लानिंग-स्टाइल" दृष्टिकोण में, रोबोट बिना कभी स्पष्ट रूप से यह कहे कि "अब मुझे इस विचार पर 80% विश्वास है क्योंकि इस विशिष्ट परीक्षण के कारण," सीधे "मेरे पास एक विचार है" से "चलो इसे टेस्ट करते हैं" से "यहाँ इसका परिणाम है" पर कूद जाता था। यह एक ऐसे जासूस की तरह था जिसने केस तो सुलझा लिया लेकिन सबूतों का लॉग दिखाने से इनकार कर दिया।
HEP के साथ, रोबट का हर एक विचार एक कहानी के स्थिर पात्र (persistent character) की तरह व्यवहार करता है।
- जन्म (The Birth): जब रोबोट एक नया विचार (एक परिकल्पना/हाइपोथीसिस) विकसित करता है, तो उसे एक विशिष्ट आईडी कार्ड और एक "विश्वास स्कोर" (0 से 1 के बीच एक संभाव्यता) मिलता है जो यह दर्शाता है कि रोबोट कितना आश्वस्त है।
- मुकदमा (The Trial): रोबोट परीक्षण चलाता है। यदि परीक्षण के परिणाम अच्छे होते हैं, तो उन्हें एक फाइल में साक्ष्य की तरह उस विचार के साथ जोड़ दिया जाता है।
- फैसला (The Verdict): उस साक्ष्य के आधार पर विचार का विश्वास स्कोर ऊपर या नीचे जाता है।
- यदि स्कोर 0.8 या उससे अधिक हो जाता है, तो विचार को "समर्थित" (Supported) घोषित किया जाता है (सत्य होने का दोषी!)।
- यदि यह 0.2 या उससे कम हो जाता है, तो यह "खंडित" (Refuted) हो जाता है (दोषी नहीं, या बस गलत है)।
- यदि यह बीच में फंस जाता है, तो यह "सुप्त" (Dormant) अवस्था में चला जाता है (जब तक नया साक्ष्य इसे जगा न दे, तब तक सो रहा है)।
सबसे अच्छी बात यह है कि रोबोट धोखाधड़ी नहीं कर सकता। वह सिर्फ यह नहीं कह सकता, "मैंने अपना मन बदल लिया क्योंकि मुझे ऐसा लगा।" उसे यह दिखाना होगा कि किस विशिष्ट साक्ष्य ने स्कोर को बदला। और यदि रोबोट कोई कदम छोड़ने की कोशिश करता है, तो सिस्टम कहता है, "नहीं, फिर से प्रयास करें।"
रोबोट ने वास्तव में क्या किया
शोधकर्ताओं ने इस नए सिस्टम का परीक्षण तीन पेचीदा मटेरियल साइंस पहेलियों पर किया। उन्होंने रोबोट से पूछा कि विभिन्न यौगिकों के परिवारों के लिए एक विशिष्ट कंप्यूटर मॉडल किस क्रिस्टल संरचना को प्राथमिकता देता है और क्यों।
इन सिमुलेशन में जो हुआ वह यहाँ है:
- रोबोट ने सीखा: HEP से लैस रोबोट ने केवल अनुमान नहीं लगाया; वह वास्तव में "विचार → परीक्षण → साक्ष्य → विश्वास अपडेट" के पूर्ण चक्र से गुजरा। एक विशिष्ट रन में, उसने 16 अलग-अलग विचार उत्पन्न किए, उनका परीक्षण किया, और अंततः उन्हें एक अंतिम "मास्टर नियम" में मिला दिया जिसका विश्वास स्कोर 0.97 था।
- पुराना रोबोट विफल रहा: जब उन्होंने ठीक उसी कार्यों को एक मानक रोबोट (बिना HEP के) के साथ चलाया, तो उसने अपना 83% समय केवल परीक्षण चलाने में बिताया और अपने विश्वासों को स्पष्ट रूप से अपडेट करने में 0% समय लगाया। उसने वास्तव में कभी भी उस तरह से "सीखा" नहीं जिसे आप ट्रैक कर सकें।
- दूसरा पहलू: रोबोट इतना ईमानदार था कि उसने अपना मन बदल लिया। एक मामले में, उसने एक पाठ्यपुस्तक के विचार पर 50% विश्वास के साथ शुरुआत की थी, लेकिन साक्ष्य ने इसे गलत साबित कर दिया, जिससे स्कोर गिरकर 0.14 हो गया। इसके बाद उसने एक नए, बेहतर विचार की ओर रुख किया। यह "विश्वास परिवर्तन" (belief flip) तीनों कार्यों में हुआ।
"ब्रेन पावर" की आवश्यकता
हालाँकि, एक पेच है। यह नया कोर्टरूम सिस्टम सबसे अच्छा काम करता है यदि रोबोट का दिमाग बड़ा हो। शोधकर्ताओं ने तीन अलग-अलग "दिमाग" (LLMs) के साथ HEP का परीक्षण किया:
- सुपर ब्रेन (GPT-5.5): इसने प्रति रन औसतन 14.7 विचार उत्पन्न किए और 4.7 स्तर गहराई तक गया, पेशेवर की तरह विचारों को रिफाइन और मर्ज करता रहा।
- मीडियम ब्रेन (GPT-5.4-mini): इसने औसतन केवल 6.7 विचार उत्पन्न किए और 1.7 की गहराई पर अटक गया।
- स्मॉल ब्रेन (GPT-4.1): इसने केवल 4.0 विचार प्रबंधित किए और गहराई 0.7 रही। यह अक्सर हार मान लेता था, जिससे विचार "खुले" (unresolved) रह जाते थे।
यह सुझाव देता है कि जबकि नियम (HEP) बेहतरीन हैं, रोबol को इतना स्मार्ट होना चाहिए कि वह उनका पालन कर सके। कम सक्षम रोबोट समय के साथ विचारों को रिफाइन करने और मर्ज करने के जटिल कार्य को संभालने में सक्षम नहीं हो पाता है।
निचोड़ (The Bottom Line)
यह पेपर यह दावा नहीं करता है कि उन्होंने विज्ञान के सभी रहस्यों को सुलझा लिया है या ऐसा रोबोट बना दिया है जो मानव वैज्ञानिकों की जगह ले सके। इसके बजाय, यह दिखाता है कि AI एजेंटों को उनके विचारों और साक्ष्यों का एक सख्त, ऑडिट योग्य लॉग रखने के लिए मजबूर करके, हम अंततः देख सकते हैं कि वे कैसे सोचते हैं।
इन सिमुलेशन में, HEP सिस्टम ने एक "ब्लैक बॉक्स" रोबोट को एक पारदर्शी रोबोट में सफलतापूर्वक बदल दिया जो अपने तर्क को ट्रैक कर सकता था, डेटा के आधार पर अपना मन बदल सकता था, और अपने अंतिम उत्तर के लिए एक ठोस मामला बना सकता था। यह उन AI वैज्ञानिकों की ओर एक कदम है जिन पर हम वास्तव में भरोसा कर सकते हैं, जिनका निरीक्षण कर सकते हैं और जिनसे सीख सकते हैं, न कि केवल उनकी बातों को बिना सोचे-समझे मान लेते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।