🔭 astrophysics

BOOM and Babamul: a real-time, multi-survey, optical alert broker system operating at scale

Dit artikel introduceert BOOM, een hoogpresterend, real-time alert-brokersysteem gebaseerd op een Rust-stack met MongoDB, Valkey en Kafka, dat een doorvoer bereikt die zeven keer zo hoog is als die van bestaande ZTF-systemen en dat fungeert als de basis voor de komende publieke LSST-alertbroker Babamul.

Oorspronkelijke auteurs: Theophile Jegou du Laz, Michael W. Coughlin, Peter Bachant, Jacob E. Simones, Thomas Culino, Antoine Le Calloch, Sushant Sharma Chaudhary, Xander J. Hall, Tyler Barna, Daniel Warshofsky, Matthew Graha

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Theophile Jegou du Laz, Michael W. Coughlin, Peter Bachant, Jacob E. Simones, Thomas Culino, Antoine Le Calloch, Sushant Sharma Chaudhary, Xander J. Hall, Tyler Barna, Daniel Warshofsky, Matthew Graham, Mansi M. Kasliwal, Ashish Mahabal, Joshua S. Bloom, Antonella Palmese, Frank J. Masci, Steven L. Groom, Richard Dekany, Reed L. Riddle, George Helou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het heelal voor als een enorme, drukke stad die nooit slaapt. Elke nacht fungeren krachtige telescopen als miljoenen beveiligingscamera's, die de lucht scannen en foto's maken van alles wat beweegt, flikkert of explodeert. Deze camera's worden zo goed dat ze elke nacht foto's maken van miljarden sterren.

Het probleem? Er zijn te veel foto's. Als je probeerde om elke afzonderlijke foto te bekijken, zou je nooit het ene zeldzame, opwindende evenement vinden waar je naar op zoek bent—zoals een nieuwe supernova of een instortende ster.

Hier komen BOOM en Babamul in beeld. Denk aan hen als het ultieme "Slimme Sorteersysteem" voor de beveiligingsbeelden van het heelal.

Het Probleem: Te Veel Ruis, Te Weinig Tijd

Op dit moment nemen telescopen zoals de Zwicky Transient Facility (ZTF) ongeveer 100.000 tot 1 miljoen "meldingen" (foto's van iets dat veranderd is) per nacht op. Binnenkort zal een nieuwe telescoop, het Vera C. Rubin Observatory (LSST), 10 keer meer dan dat opnemen—ongeveer 10 miljoen meldingen per nacht.

Als astronomen zouden proberen om elke melding handmatig te lezen, zouden ze begraven liggen onder een berg data. Ze hebben een robot nodig die het nieuws kan lezen, de saaie dingen eruit filtert en hen alleen de koppen geeft die er toe doen.

De Oplossing: BOOM (De Super-Werknemer)

De auteurs hebben een nieuw systeem gebouwd dat BOOM heet (Burst & Outburst Observations Monitor). Hier is hoe het werkt, met eenvoudige analogieën:

1. De Assemblagelijn (In plaats van één Werknemer)
Oude systemen waren als één persoon die probeerde alles te doen: de foto lezen, controleren of het echt is, vergelijken met oude foto's, een wiskundetest uitvoeren en een rapport schrijven. Als die persoon moe werd, stopte de hele lijn.
BOOM is anders. Het is als een enorme fabriek met gespecialiseerde teams.

Het Intake-team: Pakt de ruwe foto's.
Het Detectiveteam: Controleert of de foto echt is of gewoon een storing (zoals een vogel die voor de lens vliegt).
Het Breinteam: Gebruikt geavanceerde wiskunde (Machine Learning) om te raden wat het object zou kunnen zijn.
Het Filterteam: Controleert of het object overeenkomt met waar specifieke wetenschappers naar op zoek zijn.
Omdat deze teams parallel werken, is BOOM 7 keer sneller dan de oude systemen. Het kan de enorme stroom data van de nieuwe telescopen verwerken zonder in de zweetdruppels te komen.

2. De "Geen-Code" Filterbouwer
Normaal gesproken moet je complexe computercodes kennen (zoals Python) om een computer te vertellen waar je naar moet zoeken. Dit is als een wetenschapper vragen om een nieuwe taal te leren alleen maar om een vraag te stellen.
De auteurs hebben een visuele filterbouwer gebouwd (weergegeven in Figuur 4 van het paper). Stel je het voor als bouwen met LEGO-blokken. Een wetenschapper kan blokken slepen en neerzetten zoals "Is dit een ster?" of "Is het helderder dan X?" om een aangepast filter te bouwen. Ze hoeven niet te weten hoe ze moeten coderen; ze hoeven alleen maar te weten waar ze naar op zoek zijn.

3. De "Samenwerking"-Functie
Dit is BOOM's geheime superkracht. Normaal gesproken werken telescopen alleen. Maar BOOM kan tegelijkertijd data bekijken van meerdere telescopen.

Analogie: Stel je voor dat één telescoop een vaag schaduwje ziet en een ander een felle flits. Afzonderlijk missen ze misschien het verhaal. Maar BOOM combineert ze direct en zegt: "Hé, deze twee gebeurtenissen vonden tegelijkertijd op dezelfde plek plaats! Dit is iets groots!"
Dit stelt wetenschappers in staat om te volgen hoe snel dingen veranderen, veel beter dan voorheen.

Het Resultaat: Babamul (De Openbare Bibliotheek)

Zodra BOOM het harde werk van sorteren en filteren heeft gedaan, stuurt hij de "goede dingen" naar Babamul.
Denk aan Babamul als een openbare bibliotheek of een krantenkiosk voor astronomen. Het neemt de gefilterde meldingen en geeft ze uit aan de wereldwijde gemeenschap.

Het organiseert de meldingen in verschillende "streams" (zoals verschillende nieuwszenders: één voor exploderende sterren, één voor asteroïden, enz.).
Het biedt een website waar wetenschappers kunnen zoeken naar objecten, hun lichtcurves kunnen bekijken (grafieken van hoe helder ze worden) en beelden kunnen zien.
Het heeft zelfs een speciale "app" (een Python-client) die computers in staat stelt om automatisch de meldingen op te halen die ze nodig hebben.

Waarom Dit Belangrijk Is

Het paper toont aan dat BOOM de enorme data-last van het komende tijdperk van het Rubin Observatory aankan. Dit bewees het door:

Snelheidstests: Aantonen dat het meldingen veel sneller kan verwerken dan eerdere systemen, zelfs met beperkte rekenkracht.
Real-world Test: Ze gebruikten het om data van de ZTF-telescoop en een DECam-camera te combineren. Ze vonden met succes een jonge supernova (SN 2025kwy) door te kijken hoe het er in beide camera's uitzag, waarmee de "samenwerking"-functie werd bewezen.

Samenvattend

Het heelal stuurt ons een vloedgolf aan data. BOOM is de hoogwaardige, slimme sorteermachine die de ruis filtert. Babamul is het vriendelijke interface dat de interessante verhalen aan astronomen levert, waardoor ze de zeldzaamste gebeurtenissen van het heelal kunnen ontdekken zonder verdwaald te raken in de data. Het is een systeem dat is gebouwd om de toekomst van de astronomie aan te kunnen, beginnend vanaf nu.

Technische Samenvatting: BOOM en het Babamul Alert Broker Systeem

Probleemstelling
De opkomst van optische surveys met hoge doorvoer en groot gezichtsveld, die culmineren in de Legacy Survey of Space and Time (LSST) van het Vera C. Rubin Observatorium, presenteert een uitdaging voor de gegevensverwerking die de capaciteit van huidige alert-brokersystemen overstijgt. Waar de Zwicky Transient Facility (ZTF) ongeveer $10^5$ – $10^6$ alerts per nacht genereert, wordt voor LSST een productie van ongeveer $2 \times 10^7$ alerts per nacht verwacht. Bestaande brokers, grotendeels gebouwd op Python-gebaseerde stacks (zoals Kowalski), worstelen om efficiënt te schalen naar deze volumes terwijl ze tegelijkertijd de lage-latentie-eisen handhaven die noodzakelijk zijn voor real-time follow-up van snelle transienten. Bovendien vereist de wetenschappelijke gemeenschap de mogelijkheid om gezamenlijke filtering uit te voeren over meerdere overlappende surveys (zoals ZTF, LSST en anderen) om de evolutie van snelle fenomenen te karakteriseren, een capaciteit die niet natief wordt ondersteund door single-survey-architecturen.

Methodologie en Systeemarchitectuur
De auteurs introduceren BOOM (Burst & Outburst Observations Monitor), een real-time, multi-survey alert broker ontworpen voor horizontale schaalbaarheid en hoge doorvoer. Het systeem vertegenwoordigt een fundamentele architecturale verschuiving ten opzichte van zijn voorganger, Kowalski, door weg te bewegen van een monolithisch Python-ontwerp naar een gecompileerde Rust-gebaseerde softwarestack.

Belangrijke architecturale componenten zijn:

Inname en Messaging: Het systeem maakt gebruik van Apache Kafka voor het inname van Avro-geformatteerde alertstromen van diverse surveys. Om interprocess-communicatie te hanteren zonder de I/O-flessenhals van schijfgebaseerde topics, maakt BOOM gebruik van Valkey (een high-performance, in-memory datastore) als taakwachtrij. Dit stelt meerdere worker-processen in staat om alerts gelijktijdig te consumeren uit in het geheugen aanwezige lijsten.
Gegevensopslag: MongoDB dient als primaire database, gekozen omwille van zijn flexibiliteit, ondersteuning voor meerdere talen en native GeoJSON-indexering voor ruimtelijke queries (kegel-zoekopdrachten). Het datamodel splitst gegevens op in drie collecties:
- Alert: Bevat kandidaat-metadata en de laatste detectie.
- Object: Aggregeert tijdreeksgegevens (lichtcurves) en kruisverwijzingen voor unieke astronomische objecten, waardoor duplicatie over alerts wordt vermeden.
- Cutout: Bewaart wetenschappelijke, referentie- en verschilbeeld-cutouts.
Geparallelliseerde Verwerkingspijplijn: BOOM ontbindt de alertverwerkingsworkflow in toegewijde, paralleliseerbare worker-types:
1. Alert Ingestion Worker: Deserialiseert Avro-pakketten, voert kruisverwijzingen uit tegen statische archiefcatalogi en dynamische objectcollecties van andere ondersteunde surveys, en vult de database.
2. Enrichment Worker: Verwerkt batches van alerts om machine learning (ML)-scores en vooraf berekende kenmerken te berekenen. Het maakt gebruik van ONNX (Open Neural Network eXchange) om Python-getrainde modellen (zoals ACAI, BTSbot) binnen de Rust-pijplijn uit te voeren. Het systeem ondersteunt ook optionele GPU-versnelling voor batch-inferentie en lichtcurve-aanpassing (met behulp van Gaussische Processen en Particle Swarm Optimization).
3. Filter Worker: Voert door de gebruiker gedefinieerde filters (gedefinieerd als MongoDB-aggregatiepijplijnen) uit op batches van verrijkte alerts. Het construeert dynamisch opzoekfasen om benodigde gegevens op te halen uit de Object-collectie, waardoor een efficiënt gebruik van resources wordt gewaarborgd.
Gebruikersinterface en API: Een RESTful API maakt archiefzoekopdrachten mogelijk en het opnieuw draaien van filters op historische gegevens. Om de instapdrempel voor astronomen te verlagen, stelt een visuele, blokgebaseerde Filter Builder (geïntegreerd met SkyPortal) de creatie van complexe queries mogelijk zonder kennis van de onderliggende database-querytaal.

Belangrijkste Bijdragen

Gezamenlijke Filtering over Multiple Surveys: BOOM is ontworpen om meerdere alertstromen gelijktijdig in te nemen en gezamenlijk te filteren. Door alerts van verschillende surveys (bijvoorbeeld ZTF en DECam/LSST) in real-time te kruisverwijzen, maakt het de constructie van gezamenlijke lichtcurves mogelijk, waarmee de beperkingen van single-survey-cadans en diepte worden aangepakt.
Prestaties en Schaalbaarheid: De migratie naar Rust en de adoptie van een in-memory taakwachtrij (Valkey) gekoppeld aan batchverwerking verbeteren de doorvoer aanzienlijk. Het systeem toont functionaliteitspariteit met bestaande ZTF-brokers, terwijl het een doorvoer bereikt die ongeveer 7 keer hoger is.
Modulair en Uitbreidbaar Ontwerp: De scheiding van verantwoordelijkheden (Inname, Verrijking, Filtering) maakt onafhankelijke schaling van specifieke verwerkingsstadia mogelijk op basis van workload-flessenhals.
Babamul: De auteurs introduceren Babamul, een publieke LSST alert broker gebouwd bovenop BOOM. Het biedt gescheiden, gecategoriseerde Kafka-streams (bijvoorbeeld het scheiden van sterrenmatches van transient-kandidaten) en omvat een Python-client voor eenvoudige integratie.

Resultaten

Doorvoertesten: In benchmarktests met één nacht ZTF-gegevens (29.142 alerts) toonde BOOM superieure schaalbaarheid in vergelijking met Kowalski. Met 8 worker-processen verwerkte BOOM alerts met een snelheid die toereikend was om de verwachte Rubin Observatory-alertsnelheid ( $\sim 333$ alerts/s) aan te kunnen, met een geheugengebruik van ongeveer 1 GB, vergeleken met 13 GB voor Kowalski bij dezelfde configuratie.
Validatie van Gezamenlijke Surveys: Een gezamenlijk experiment met ZTF en de DECam Transients Survey (DTS) heeft succesvol de capaciteit van het systeem gevalideerd om alerts tussen surveys met verschillende dieptes en cadansen te kruisverwijzen. Het systeem identificeerde 207 multi-survey-kandidaten, waaronder SN 2025kwy, wat de mogelijkheid aantoont om de vroege-evolutie van transienten te beperken met behulp van gecombineerde gegevens.
Opslagramingen: De auteurs schatten dat voor een 10-jarige LSST-survey de totale opslagvereiste voor BOOM (inclusief alerts, objecten en een 7-daagse retentie van cutouts) ongeveer 75 TB zou bedragen, een cijfer afgeleid van een conservatieve schaling van bestaande ZTF-gegevens.

Betekenis
Het artikel positioneert BOOM als een kritiek infrastructuurelement voor het "Rubin-tijdperk", waarmee de gemeenschap in staat wordt gesteld de exponentiële toename in alertvolume te beheren terwijl nieuwe wetenschappelijke casussen worden ontsloten via multi-survey-synergie. Door een schaalbaar, high-throughput raamwerk te bieden dat gezamenlijke filtering ondersteunt en gebruiksvriendelijke tools biedt voor het maken van filters, streeft BOOM ertoe de ontdekking van zeldzame, snel evoluerende transienten (zoals jonge supernova's en kilonova's) te faciliteren die anders door single-survey-analyse zouden worden gemist. Het systeem is al operationeel op ZTF en wordt ingezet om publieke LSST-alerts te verwerken, dienend als de basis voor de publieke Babamul-interface.