🔭 astrophysics

BOOM and Babamul: a real-time, multi-survey, optical alert broker system operating at scale

यह शोध पत्र BOOM को प्रस्तुत करता है, जो MongoDB, Valkey और Kafka पर आधारित एक Rust-आधारित स्टैक पर निर्मित एक उच्च-प्रदर्शन, वास्तविक समय का अलर्ट ब्रोकर सिस्टम है, जो मौजूदा ZTF सिस्टमों की तुलना में सात गुना अधिक थ्रूपुट प्राप्त करता है, और आगामी सार्वजनिक LSST अलर्ट ब्रोकर, Babamul के लिए आधार के रूप में कार्य करता है।

मूल लेखक: Theophile Jegou du Laz, Michael W. Coughlin, Peter Bachant, Jacob E. Simones, Thomas Culino, Antoine Le Calloch, Sushant Sharma Chaudhary, Xander J. Hall, Tyler Barna, Daniel Warshofsky, Matthew Graha

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Theophile Jegou du Laz, Michael W. Coughlin, Peter Bachant, Jacob E. Simones, Thomas Culino, Antoine Le Calloch, Sushant Sharma Chaudhary, Xander J. Hall, Tyler Barna, Daniel Warshofsky, Matthew Graham, Mansi M. Kasliwal, Ashish Mahabal, Joshua S. Bloom, Antonella Palmese, Frank J. Masci, Steven L. Groom, Richard Dekany, Reed L. Riddle, George Helou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि ब्रह्मांड एक विशाल, हलचल भरा शहर है जो कभी सोता नहीं है। हर रात, शक्तिशाली दूरबीनें लाखों सुरक्षा कैमरों की तरह काम करती हैं, आकाश को स्कैन करती हैं और जो कुछ भी हिलता, चमकता या विस्फोट करता है, उसकी तस्वीरें खींचती हैं। ये कैमरे इतने बेहतर हो रहे हैं कि वे हर रात अरबों सितारों की तस्वीरें ले रहे हैं।

समस्या क्या है? बहुत अधिक तस्वीरें हैं। यदि आप हर एक फोटो को देखने की कोशिश करेंगे, तो आप उस दुर्लभ, रोमांचक घटना को कभी नहीं ढूंढ पाएंगे जिसे आप खोज रहे हैं—जैसे कि एक नया सुपरनोवा या एक टकराता हुआ तारा।

यहीं पर BOOM और Babamul आते हैं। इन्हें ब्रह्मांड के सुरक्षा फुटेज के लिए परम "स्मार्ट सॉर्टिंग सिस्टम" (Smart Sorting System) के रूप में सोचें।

समस्या: बहुत अधिक शोर, बहुत कम समय

अभी, Zwicky Transient Facility (ZTF) जैसे दूरबीनें हर रात लगभग 1,00,000 से 10 लाख "अलर्ट" (कुछ बदलने की फोटो) लेती हैं। जल्द ही, वेरा सी. रुबिन ऑब्जर्वेटरी (LSST) नामक एक नया दूरबीन उस संख्या से 10 गुना अधिक यानी रात में लगभग 1 करोड़ अलर्ट लेगा।

यदि खगोलशास्त्री हर एक अलर्ट को मैन्युअल रूप से पढ़ने की कोशिश करेंगे, तो वे डेटा के पहाड़ के नीचे दब जाएंगे। उन्हें एक ऐसे रोबोट की आवश्यकता है जो समाचार पढ़ सके, उबाऊ चीजों को फ़िल्टर कर सके, और केवल वही सुर्खियां उन्हें सौंप सके जो वास्तव में मायने रखती हैं।

समाधान: BOOM (द सुपर-वर्कर)

लेखकों ने एक नया सिस्टम बनाया है जिसे BOOM (बर्स्ट एंड आउटबर्स्ट ऑब्जर्वेशंस मॉनिटर) कहा जाता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. असेंबली लाइन (एक अकेले कर्मचारी के बजाय)
पुराने सिस्टम एक अकेले व्यक्ति की तरह थे जो सब कुछ करने की कोशिश करता था: फोटो को पढ़ना, यह जांचना कि क्या वह असली है, पुराने फोटो से तुलना करना, एक गणितीय परीक्षण चलाना और एक रिपोर्ट लिखना। यदि वह व्यक्ति थक जाता, तो पूरी लाइन रुक जाती।
BOOM अलग है। यह विशेषज्ञ टीमों वाली एक विशाल फैक्ट्री की तरह है।

इन्टेक टीम (The Intake Team): कच्ची तस्वीरें पकड़ती है।
डिटेक्टिव टीम (The Detective Team): जांच करती है कि फोटो असली है या सिर्फ एक गड़बड़ी (जैसे लेंस के सामने से उड़ता हुआ पक्षी)।
ब्रेन टीम (The Brain Team): उन्नत गणित (मशीन लर्निंग) का उपयोग करती है ताकि अनुमान लगाया जा सके कि वह वस्तु क्या हो सकती है।
फ़िल्टर टीम (The Filter Team): जांच करती है कि क्या वह वस्तु उन विशिष्ट चीजों से मेल खाती है जिन्हें वैज्ञानिक खोज रहे हैं।
चूंकि ये टीमें समानांतर (parallel) में काम करती हैं, इसलिए BOOM पुराने सिस्टम की तुलना में 7 गुना तेज़ है। यह नए दूरबीनों से आने वाले डेटा के विशाल प्रवाह को बिना किसी परेशानी के संभाल सकता है।

2. "नो-कोड" फ़िल्टर बिल्डर (The "No-Code" Filter Builder)
आमतौर पर, कंप्यूटर को यह बताने के लिए कि क्या देखना है, आपको जटिल कंप्यूटर कोड (जैसे Python) जानने की आवश्यकता होती है। यह ऐसा ही है जैसे किसी वैज्ञानिक से सवाल पूछने के लिए उसे एक नई भाषा सीखने के लिए कहना।
लेखकों ने एक विजुअल फ़िल्टर बिल्डर बनाया है (जो पेपर के चित्र 4 में दिखाया गया है)। इसे LEGO ब्लॉक्स से खेलने जैसा समझें। एक वैज्ञानिक "क्या यह एक तारा है?" या "क्या यह X से अधिक चमकीला है?" जैसे ब्लॉक्स को ड्रैग और ड्रॉप करके एक कस्टम फ़िल्टर बना सकता है। उन्हें कोडिंग जानने की ज़रूरत नहीं है; उन्हें बस इतना जानना है कि वे क्या खोज रहे हैं।

3. "टीमवर्क" फीचर (The "Teamwork" Feature)
यही BOOM की गुप्त शक्ति है। आमतौर पर, दूरबीनें अकेले काम करती हैं। लेकिन BOOM एक ही समय में कई दूरबीनों के डेटा को देख सकता है।

उदाहरण: कल्पना कीजिए कि एक दूरबीन एक धुंधली छाया देखती है, और दूसरी एक तेज़ चमक देखती है। अकेले, वे कहानी को मिस कर सकते हैं। लेकिन BOOM उन्हें तुरंत जोड़ देता है, कहता है, "हे, ये दो घटनाएं एक ही समय में एक ही स्थान पर हुईं! यह एक बड़ी बात है!"
यह वैज्ञानिकों को पहले की तुलना में चीजों के बदलने की गति को बेहतर ढंग से ट्रैक करने की अनुमति देता है।

परिणाम: Babamul (द पब्लिक लाइब्रेरी)

एक बार जब BOOM कठिन काम जैसे सॉर्टिंग और फ़िल्टरिंग कर लेता है, तो वह "अच्छी चीजों" को Babamul को भेज देता है।
Babamul को खगोलशास्त्रियों के लिए एक सार्वजनिक पुस्तकालय या न्यूज़स्टैंड के रूप में समझें। यह फ़िल्टर किए गए अलर्ट को लेता है और उन्हें वैश्विक समुदाय को सौंप देता है।

यह अलर्ट को विभिन्न "स्ट्रीम्स" में व्यवस्थित करता है (जैसे अलग-अलग समाचार चैनल: एक विस्फोट होते सितारों के लिए, दूसरा एस्टेरॉयड के लिए, आदि)।
यह एक वेबसाइट प्रदान करता है जहाँ वैज्ञानिक वस्तुओं को खोज सकते हैं, उनके लाइट कर्व्स (वे कितने चमकीले होते हैं इसके ग्राफ) देख सकते हैं, और चित्र देख सकते हैं।
इसमें एक विशेष "ऐप" (एक पायथन क्लाइंट) भी है जो कंप्यूटर को स्वचालित रूप से उन अलर्ट को प्राप्त करने की अनुमति देता है जिनकी उन्हें आवश्यकता है।

यह क्यों मायने रखता है

पेपर यह प्रदर्शित करता है कि BOOM आगामी रुबिन ऑब्जर्वेटरी युग के भारी डेटा लोड को संभाल सकता है। उन्होंने इसे सिद्ध किया:

स्पीड टेस्ट: यह दिखाते हुए कि यह सीमित कंप्यूटर पावर के साथ भी पिछले सिस्टम की तुलना में बहुत तेज़ी से अलर्ट को प्रोसेस कर सकता है।
रियल-वर्ल्ड टेस्ट: उन्होंने ZTF दूरबीन और DECam कैमरा के डेटा को मिलाने के लिए इसका उपयोग किया। उन्होंने एक युवा सुपरनोवा (SN 2025kwy) को सफलतापूर्वक खोजा, यह देखकर कि यह दोनों कैमरों में कैसा दिखता है, जिससे यह साबित हुआ कि "टीमवर्क" फीचर काम करता है।

सारांश में

ब्रह्मांड हमें डेटा की एक बाढ़ भेज रहा है। BOOM वह हाई-स्पीड, स्मार्ट सॉर्टिंग मशीन है जो शोर को फ़िल्टर करती है। Babamul वह मित्रवत इंटरफ़ेस है जो दिलचस्प कहानियों को खगोलशास्त्रियों तक पहुँचाता है, जिससे उन्हें डेटा में खोए बिना ब्रह्मांड की सबसे दुर्लभ घटनाओं की खोज करने की अनुमति मिलती है। यह एक ऐसा सिस्टम है जो भविष्य के खगोल विज्ञान को संभालने के लिए बनाया गया है, जिसकी शुरुआत अभी से हो रही है।

तकनीकी सारांश: BOOM और Babamul अलर्ट ब्रोकर सिस्टम

समस्या विवरण
उच्च-थ्रूपुट वाइड-फील्ड ऑप्टिकल सर्वेक्षणों का आगमन, जिसका चरमोत्कर्ष वेरा सी. रुबिन वेधशाला का लेगेसी सर्वे ऑफ स्पेस एंड टाइम (LSST) है, एक ऐसी डेटा प्रोसेसिंग चुनौती प्रस्तुत करता है जो वर्तमान अलर्ट ब्रोकर प्रणालियों की क्षमता से परे है। जबकि ज़्विकी ट्रांजिएंट फैसिलिटी (ZTF) प्रति रात $\sim 10^5$ – $10^6$ अलर्ट उत्पन्न करती है, LSST से प्रति रात्रि $\sim 2 \times 10^7$ अलर्ट उत्पन्न होने का अनुमान है। मौजूदा ब्रोकर, जो मुख्य रूप से पायथन-आधारित स्टैक (जैसे, कोवाल्स्की) पर निर्मित हैं, फास्ट ट्रांजिएंट्स के रियल-टाइम फॉलो-अप के लिए आवश्यक लो-लेटेंसी आवश्यकताओं को बनाए रखते हुए इन वॉल्यूम को कुशलतापूर्वक स्केल करने में संघर्ष करते हैं। इसके अलावा, वैज्ञानिक समुदाय को तेज़ घटनाओं के विकास को समझने के लिए कई ओवरलैपिंग सर्वेक्षणों (जैसे, ZTF, LSST, और अन्य) में संयुक्त फ़िल्टरिंग करने की क्षमता की आवश्यकता है, जो सिंगल-सर्वे आर्किटेक्चर द्वारा स्वाभाविक रूप से समर्थित नहीं है।

कार्यप्रणाली और सिस्टम आर्किटेक्चर
लेखक BOOM (बर्स्ट एंड आउटबर्स्ट ऑब्जर्वेशन मॉनिटर) का परिचय देते हैं, जो क्षैतिज स्केलेबिलिटी (horizontal scalability) और उच्च थ्रूपुट के लिए डिज़ाइन किया गया एक रियल-टाइम, मल्टी-सर्वे अलर्ट ब्रोकर है। यह सिस्टम अपने पूर्ववर्ती, कोवाल्स्की से एक मौलिक आर्किटेक्चरल बदलाव का प्रतिनिधित्व करता है, जो मोनोलिथिक पायथन-आधारित डिज़ाइन से हटकर एक संकलित (compiled) रस्ट-आधारित (Rust-based) सॉफ्टवेयर स्टैक की ओर बढ़ता है।

प्रमुख आर्किटेक्चरल घटक शामिल हैं:

इनजेशन और मैसेजिंग: सिस्टम विभिन्न सर्वेक्षणों से एवरो (Avro) फॉर्मेटेड अलर्ट स्ट्रीम को इनजेस्ट करने के लिए अपाचे काफ्का (Apache Kafka) का उपयोग करता है। डिस्क-आधारित विषयों (topics) के I/O बॉटलनैक्स के बिना इंटर-प्रोसेस कम्युनिकेशन को संभालने के लिए, BOOM एक जॉब क्यू के रूप में वैलेकी (Valkey) (एक उच्च-प्रदर्शन, इन-मेमोरी डेटास्टोर) का उपयोग करता है। यह कई वर्कर प्रोसेस को मेमोरी-रेसिडेंट सूचियों से अलर्ट को समवर्ती रूप से उपभोग करने की अनुमति देता है।
डेटा स्टोरेज: मोंगोडीबी (MongoDB) प्राथमिक डेटाबेस के रूप में कार्य करता है, जिसे इसकी लचीलापन, क्रॉस-लैंग्वेज सपोर्ट और स्थानिक प्रश्नों (cone-searches) के लिए नेटिव जियोजेसन (GeoJSON) इंडेक्सिंग के लिए चुना गया है। डेटा मॉडल डेटा को तीन कलेक्शंस में विभाजित करता है:
- अलर्ट (Alert): इसमें कैंडिडेट मेटाडेटा और नवीनतम डिटेक्शन शामिल है।
- ऑब्जेक्ट (Object): यह अद्वितीय खगोलीय वस्तुओं के लिए टाइम-सीरीज डेटा (लाइटcurves) और क्रॉस-मैच को एकत्रित करता है, जिससे अलर्ट्स के बीच डुप्लिकेशन से बचा जा सके।
- कटआउट (Cutout): साइंस, रेफरेंस और डिफरेंस इमेज कटआउट को स्टोर करता है।
पैरेललाइज्ड प्रोसेसिंग पाइपलाइन: BOOM अलर्ट प्रोसेसिंग वर्कफ़्लो को समर्पित, पैरेललाइज़ेबल वर्कर प्रकारों में विभाजित करता है:
1. अलर्ट इनजेशन वर्कर: एवरो पैकेट को डी-सीरियलाइज़ करता है, स्टैटिक आर्काइवल कैटलॉग और अन्य समर्थित सर्वेक्षणों के डायनेमिक ऑब्जेक्ट कलेक्शंस के विरुद्ध क्रॉस-मैचिंग करता है, और डेटाबेस को पॉपुलेट करता है।
2. एनरिचमेंट वर्कर: मशीन लर्निंग (ML) स्कोर और प्री-कंप्यूटेड फीचर्स की गणना करने के लिए अलर्ट के बैच को प्रोसेस करता है। यह रस्ट पाइपलाइन के भीतर पायथन-प्रशिक्षित मॉडल्स (जैसे, ACAI, BTSbot) को चलाने के लिए ONNX (ओपन न्यूरल नेटवर्क एक्सचेंज) का उपयोग करता है। सिस्टम बैच इन्फरेंस और लाइटकर फिटिंग (गासियन प्रोसेस और पार्टिकल स्वार्म ऑप्टिमाइजेशन का उपयोग करके) के लिए वैकल्पिक GPU एक्सेलेरेशन का भी समर्थन करता है।
3. फिल्टर वर्कर: एनरिच्ड अलर्ट्स के बैचों पर उपयोगकर्ता-परिभाषित फिल्टर (जो मोंगोडीबी एग्रीगेशन पाइपलाइन्स के रूप में परिभाषित हैं) निष्पादित करता है। यह आवश्यक डेटा को ऑब्जेक्ट कलेक्शन से प्राप्त करने के लिए लुकअप स्टेज को डायनेमिक रूप से बनाता है, जिससे कुशल संसाधन उपयोग सुनिश्चित होता है।
यूजर इंटरफेस और API: एक RESTful API आर्काइवल सर्च और ऐतिहासिक डेटा पर फिल्टर को फिर से चलाने की अनुमति देता है। खगोलविदों के लिए प्रवेश बाधा को कम करने के लिए, एक विजुअल, ब्लॉक-आधारित फिल्टर बिल्डर (SkyPortal के साथ एकीकृत) जटिल क्वेरी बनाने में सक्षम बनाता है, जिसके लिए अंतर्निहित डेटाबेस क्वेरी भाषा के ज्ञान की आवश्यकता नहीं होती है।

मुख्य योगदान

मल्टी-सर्वे संयुक्त फ़िल्टरिंग: BOOM को एक साथ कई अलर्ट स्ट्रीम को इनजेस्ट करने और संयुक्त रूप से फ़िल्टर करने के लिए डिज़ाइन किया गया है। विभिन्न सर्वेक्षणों (जैसे, ZTF और DECam/LSST) से अलर्ट को रियल-टाइम में क्रॉस-मैच करके, यह संयुक्त लाइटcurves के निर्माण को सक्षम बनाता है, जो सिंगल-सर्वे कैडेंस और डेप्थ की सीमाओं को संबोधित करता है।
परफॉरमेंस और स्केलेबिलिटी: रस्ट में माइग्रेशन और एक इन-मेमोरी जॉब क्यू (Valkey) के साथ बैच प्रोसेसिंग को अपनाने से थ्रूपुट में महत्वपूर्ण सुधार हुआ है। सिस्टम ZTF के मौजूदा ब्रोकर के साथ फीचर पैरिटी प्रदर्शित करते हुए, लगभग 7 गुना अधिक थ्रूपुट प्राप्त करता है।
मॉड्यूलर और विस्तार योग्य डिज़ाइन: चिंता के पृथक्करण (Separation of concerns - Ingestion, Enrichment, Filtering) से वर्कलोड बॉटलनैक्स के आधार पर विशिष्ट प्रोसेसिंग चरणों को स्वतंत्र रूप से स्केल करना संभव होता है।
Babamul: लेखक Babamul पेश करते हैं, जो BOOM पर बना एक पब्लिक-फेसिंग LSST अलर्ट ब्रोकर है। यह विलगित (disjoint), वर्गीकृत काफ्का स्ट्रीम प्रदान करता है (जैसे, स्टेलर मैचेस को ट्रांजिएंट कैंडिडेट्स से अलग करना) और आसान एकीकरण के लिए एक पायथन क्लाइंट शामिल करता है।

परिणाम

थ्रूपुट टेस्टिंग: एक रात के ZTF डेटा (29,142 अलर्ट) का उपयोग करके बेंचमार्क टेस्ट में, BOOM ने कोवाल्स्की की तुलना में बेहतर स्केलेबिलिटी प्रदर्शित की। 8 वर्कर प्रोसेस के साथ, BOOM ने $\sim 1$ GB के मेमोरी फुटप्रिंट के साथ अनुमानित रुबिन वेधशाला अलर्ट दर ( $\sim 333$ अलर्ट/सेकंड) को संभालने के लिए पर्याप्त दर पर अलर्ट प्रोसेस किए, जबकि समान कॉन्फ़िगरेशन के लिए कोवाल्स्की का फुटप्रिंट 13 GB था।
संयुक्त सर्वेक्षण सत्यापन: ZTF और DECam ट्रांजिएंट्स सर्वे (DTS) को शामिल करने वाले एक संयुक्त प्रयोग ने अलग-अलग गहराई और कैडेंस वाले सर्वेक्षणों के बीच अलर्ट को क्रॉस-मैच करने की प्रणाली की क्षमता को सफलतापूर्वक प्रमाणित किया। सिस्टम ने 207 मल्टी-सर्वे उम्मीदवारों की पहचान की, जिसमें SN 2025kwy भी शामिल है, जो संयुक्त डेटा का उपयोग करके ट्रांजिएंट्स के प्रारंभिक-समय के विकास को सीमित करने की क्षमता प्रदर्शित करता है।
स्टोरेज अनुमान: लेखक अनुमान लगाते हैं कि 10-वर्षीय LSST सर्वेक्षण के लिए, BOOM (अलर्ट, ऑब्जेक्ट और 7-दिवसीय कटआउट रिटेंशन सहित) के लिए कुल स्टोरेज आवश्यकता लगभग 75 TB होगी, जो मौजूदा ZTF डेटा के रूढ़िवादी स्केलिंग से प्राप्त की गई है।

महत्व
यह पेपर BOOM को "रुबिन युग" के लिए एक महत्वपूर्ण इंफ्रास्ट्रक्चर घटक के रूप में स्थापित करता है, जो अलर्ट वॉल्यूम में घातीय वृद्धि को प्रबंधित करने के साथ-साथ मल्टी-सर्वे सिनर्जी के माध्यम से नए विज्ञान के मामलों को अनलॉक करने में सक्षम बनाता है। एक स्केलेबल, उच्च-थ्रूपुट फ्रेमवर्क प्रदान करके जो संयुक्त फ़िल्टरिंग का समर्थन करता है और फ़िल्टर निर्माण के लिए उपयोगकर्ता के अनुकूल उपकरण प्रदान करता है, BOOM का लक्ष्य दुर्लभ, तेजी से विकसित होने वाले ट्रांजिएंट्स (जैसे, युवा सुपरनोवा और किलोनोवा) की खोज को सुगम बनाना है जिन्हें सिंगल-सर्वे विश्लेषण द्वारा मिस किया जा सकता है। यह सिस्टम पहले से ही ZTF पर संचालित है और सार्वजनिक LSST अलर्ट को संभालने के लिए तैनात किया जा रहा है, जो Babamul पब्लिक इंटरफेस के आधार के रूप में कार्य कर रहा है।

समस्या: बहुत अधिक शोर, बहुत कम समय

समाधान: BOOM (द सुपर-वर्कर)

परिणाम: Babamul (द पब्लिक लाइब्रेरी)

यह क्यों मायने रखता है

सारांश में

इसी तरह के और पेपर