ESOFinder: an LLM-powered tool to help users navigate ESO documentation
यह शोध पत्र ESOFinder को प्रस्तुत करता है, जो कि लार्ज लैंग्वेज मॉडल्स और रिट्रीवल ऑगमेंटेड जनरेशन (RAG) द्वारा संचालित एक गोपनीयता-केंद्रित, इन-हाउस चैटबॉट है, जो वेधशाला के जटिल दस्तावेज़ीकरण पारिस्थितिकी तंत्र में नेविगेट करने के लिए ESO उपयोगकर्ताओं को विश्वसनीय, संदर्भ-जागरूक उत्तर प्रदान करने हेतु 3500 से अधिक लिंक्स और 100 मैनुअल्स का संश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि यूरोपियन साउथ ऑब्जर्वेटरी (ESO) एक विशाल, प्राचीन पुस्तकालय है। यह केवल कोई साधारण पुस्तकालय नहीं है; यह 62 लाख से अधिक शब्दों के निर्देशों, मैनुअल और गाइडों से भरा हुआ है—जो किंग जेम्स बाइबिल की लंबाई से लगभग आठ गुना अधिक है। ये किताबें इस बारे में हैं कि तारा देखने के लिए प्रस्ताव (proposal) कैसे लिखा जाए, से लेकर यह कि तस्वीर लेने के बाद टेलीस्कोप के डेटा को कैसे साफ किया जाए।
समस्या क्या है? इस पुस्तकालय में एक विशिष्ट उत्तर ढूँढना वैसा ही है जैसे आँखों पर पट्टी बाँधकर 3,500 अलग-अलग किताबों के ढेर में एक विशिष्ट वाक्य को ढूँढना। खगोलशास्त्री और कर्मचारी विज्ञान करने के बजाय खोजने में बहुत अधिक समय बिताते हैं।
इसे ठीक करने के लिए, ESO टीम ने ESOFinder बनाया है, जो आर्टिफिशियल इंटेलिजेंस (AI) द्वारा संचालित एक स्मार्ट डिजिटल लाइब्रेरियन है। यह कैसे काम करता है, यहाँ सरल रूप में समझाया गया है:
1. मस्तिष्क और स्मृति (LLM + RAG)
एक मानक AI चैटबॉट (जैसे कि वे जिनका उपयोग आप सामान्य प्रश्नों के लिए कर सकते हैं) को एक ऐसे प्रतिभाशाली छात्र के रूप में सोचें जिसने वर्षों पहले बहुत सारी किताबें पढ़ी थीं लेकिन उसके बाद स्कूल नहीं गया। वे उत्तर का अनुमान लगा सकते हैं, लेकिन वे अक्सर चीजें बना लेते हैं (हैलुसिनेशन/भ्रम) या आपको पुराना advice दे सकते हैं क्योंकि उन्हें नए नियमों के बारे में पता नहीं होता।
ESOFinder अलग है। यह RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) नामक तकनीक का उपयोग करता है।
- स्मृति (The Memory): किसी भी उत्तर को देने से पहले, ESOFinder ESO के दस्तावेजों की पूरी वर्तमान लाइब्रेरी को पढ़ता है और याद करता है। यह इन विशाल PDF और वेबसाइटों को छोटे, प्रबंधनीय "chunks" (टुकड़ों) में तोड़ता है और उन्हें एक सुपर-व्यवस्थित इंडेक्स कार्ड सिस्टम की तरह व्यवस्थित करता है।
- मस्तिष्क (The Brain): जब आप कोई प्रश्न पूछते हैं, तो ESOFinder केवल अनुमान नहीं लगाता। यह पहले अपनी स्मृति में प्रासंगिक "इंडेक्स कार्ड्स" को ढूँढता है। फिर यह उन विशिष्ट पृष्ठों को अपने AI मस्तिष्क को सौंप देता है और कहता है, "इन पृष्ठों को पढ़ो और केवल उसी के आधार पर उत्तर दो जो तुम यहाँ देख रहे हो।"
2. जासूसी कार्य (हाइब्रिड सर्च)
जब आप कोई प्रश्न पूछते हैं, तो ESOFinder एक ही समय में दो अलग-अलग उपकरणों का उपयोग करने वाले एक जासूस की तरह काम करता है:
- "अर्थ" वाला जासूस (The "Meaning" Detective): यह टूल आपके प्रश्न के पीछे के विचार को समझता है। यदि आप पूछते हैं कि "टेलीस्कोप को कैसे पॉइंट करें," तो यह जानता है कि आपका मतलब "टेलीस्कोप पॉइंटिंग" से है, भले ही आपने इन सटीक शब्दों का उपयोग न किया हो।
- "कीवर्ड" वाला जासूस (The "Keyword" Detective): यह टूल सटीक मिलान (exact matches) खोजता है। यदि आप "VISIR" नामक किसी विशिष्ट उपकरण या किसी तकनीकी कोड के बारे में पूछते हैं, तो यह टूल उस सटीक शब्द को खोज लेता है, जिससे यह सुनिश्चित होता है कि यह उस विशिष्ट शब्दावली (jargon) को नहीं छोड़ेगा जिसे "अर्थ" वाला जासूस अनदेखा कर सकता है।
यह दोनों जासूसों के परिणामों को जोड़ता है, सबसे अच्छे परिणामों को रैंक करता है, और अप्रासंगिक शोर (noise) को हटा देता है।
3. स्व-सुधार लूप (द "डबल-चेक")
AI के साथ सबसे बड़ा जोखिम यह है कि यह आत्मविश्वास के साथ कुछ गलत कह सकता है। ESOFinder में एक अंतर्निहित "सुरक्षा जाल" है।
- उत्तर उत्पन्न करने के बाद, एक दूसरा AI "ग्रेडर" इसकी जाँच करता है।
- चेक 1: "क्या आपने वास्तव में उन दस्तावेजों में उत्तर पाया जो हमने आपको दिए थे?"
- चेक 2: "क्या यह उत्तर वास्तव में उपयोगकर्ता की समस्या को हल करता है?"
- यदि उत्तर किसी भी चेक में विफल रहता है, तो सिस्टम हार नहीं मानता। यह प्रश्न को फिर से लिखता है, फिर से खोजता है, और एक बेहतर उत्तर उत्पन्न करने का प्रयास करता है। यह तब तक ऐसा करता रहता है जब तक कि इसे सही उत्तर न मिल जाए या यह स्वीकार न कर ले कि, "मैं हमारी किताबों में उत्तर नहीं ढूँढ पा रहा हूँ।"
4. गोपनीयता और नियंत्रण
चूंकि यह टूल ESO के अपने स्थानीय सर्वरों पर चलने वाले ओपन-सोर्स AI मॉडल्स पर बना है, इसलिए यह सभी डेटा को निजी रखता है। खगोलशास्त्री संवेदनशील या गोपनीय प्रोजेक्ट विवरणों के बारे में पूछ सकते हैं बिना इस चिंता के कि AI उस जानकारी को बाहरी दुनिया के साथ साझा कर रहा है।
इसने कैसा प्रदर्शन किया?
टीम ने वास्तविक खगोलशास्त्रियों और कर्मचारियों के साथ तीन चरणों में इस टूल का परीक्षण किया:
- चरण 1: टूल थोड़ा भ्रमित था और बहुत लंबे, विस्तृत उत्तर दे रहा था। इसे 5 में से 3.0 स्टार मिले।
- चरण 2: उन्होंने सर्च और "मस्तिष्क" में सुधार किया। यह थोड़ा बेहतर हुआ (3.1 स्टार), लेकिन अभी भी जटिल प्रश्नों के साथ संघर्ष कर रहा था।
- चरण 3 (वर्तमान संस्करण): सर्च रणनीति को ठीक करने और अधिक दस्तावेज़ जोड़ने के बाद, टूल बहुत अधिक सटीक हो गया है। हालिया परीक्षणों में, औसत रेटिंग बढ़कर 5 में से 3.84 स्टार हो गई है, जिसमें मध्य स्कोर (median score) 5 स्टार है। अधिकांश उपयोगकर्ता अब उत्तरों को "परफेक्ट" या "सटीक" बताते हैं।
आगे क्या है?
टीम मानती है कि टूल अभी भी पूरी तरह से परफेक्ट नहीं है। यह कभी-कभी उन दस्तावेजों के साथ संघर्ष करता है जिनमें टेक्स्ट के बजाय बड़ी टेबल या चित्र होते हैं। वे इसमें और अधिक विशिष्ट डेटा (जैसे ALMA टेलीस्कोप से डेटा) जोड़ने और लाइब्रेरी में ही त्रुटियों को खोजने के लिए टूल का उपयोग करने की भी योजना बना रहे हैं।
अंततः, ESOFinder का लक्ष्य उन सभी के लिए एक "फ्रंट डेस्क" बनना है जो टेलीस्कोप संचालन की जटिल दुनिया में नेविगेट करने की कोशिश कर रहे हैं, जिससे दस्तावेजों का एक भ्रमित करने वाला भूलभुलैया एक सरल बातचीत में बदल जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।