Doberman: a modular and distributed slow control system for small- to medium-scale experiments

Dit artikel introduceert Doberman, een lichtgewicht, modulair en open-source systeem voor langzame besturing dat specifiek is ontworpen om de kloof tussen zware industriële SCADA-frameworks en ad-hoc laboratoriumoplossingen te overbruggen voor kleine tot middelgrote natuurkunde-experimenten.

De kern

Doberman: De Slimme, Onzichtbare Regisseur van Wetenschappelijke Experimenten

Stel je voor dat je een enorm, complex wetenschappelijk experiment hebt. Denk aan een gigantische tank met vloeibare xenon (een edelgas) of een ultra-gevoelige stralingsdetector die diep onder de grond staat. Dit experiment is als een levend wezen: het heeft een hartslag (temperatuur), ademhaling (gasdruk), en moet constant op de juiste temperatuur worden gehouden. Als één ding misgaat, kan het hele experiment kapot gaan of onbruikbare data leveren.

Vroeger hadden wetenschappers twee opties:

1. De "Zware Industriële SCADA": Een enorm, duur en complex besturingssysteem, zoals je die in kerncentrales ziet. Te zwaar en te duur voor een klein lab.
2. De "Kladpapiertjes-methode": Losse, zelfgeschreven scripts die soms werken en soms niet. Gevaarlijk en onbetrouwbaar.

Hier komt Doberman (Detector OBsERving and Monitoring ApplicatioN) in beeld. Het is een nieuwe, lichtgewicht en open-source oplossing die precies in het midden zit.

Wat is Doberman eigenlijk?

Je kunt Doberman vergelijken met een slimme, onzichtbare regisseur die een toneelstuk leidt, maar dan voor een wetenschappelijk experiment.

• De Regisseur (De Hypervisor): Dit is het brein. Het houdt toezicht op alles. Als een acteur (een sensor) stopt met spelen, weet de regisseur het direct en probeert hij de acteur te redden of een vervanger te roepen.
• De Assistenten (Device Monitors): Deze lopen rond in het lab en kijken naar de apparatuur. Ze zijn verspreid over het gebouw, zodat als de stroom uitvalt in de ene kamer, de assistenten in de andere kamer gewoon doorgaan.
• De Actievoerders (Pipelines): Dit zijn de slimme regels. Stel, de temperatuur wordt te hoog? Dan schakelt de "Pijplijn" automatisch een ventiel open om koeling toe te voegen. Het gebeurt vanzelf, zonder dat iemand hoeft te wachten.
• Het Alarmstelsel: Als er iets echt misgaat, schreeuwt Doberman niet alleen, maar belt hij ook. Hij kan e-mails sturen, sms'en of zelfs een automatische telefoonoproep doen naar de expert die op dat moment op wacht staat.

De Gezicht: Doberview

Voor de mensen die het experiment moeten bedienen, is er Doberview. Dit is een website die je kunt openen op je laptop of telefoon.

• De "Live Kaart": In plaats van een saaie lijst met cijfers, zie je een tekening van je experiment. Denk aan een interactief plattegrondje. Als een pompje draait, zie je dat bewegen. Als een temperatuur te hoog wordt, kleurt het vakje rood.
• De "Knoppen": Je kunt direct ingrijpen. Wil je een ventiel openen? Klik op het plaatje van het ventiel op je scherm, en het gebeurt.
• De "Tijdmachine": Je kunt terugkijken in de tijd. Wat was de temperatuur gisteren om 3 uur 's nachts? Doberview toont je de grafieken direct.

Hoe werkt het in de praktijk? (De Analogieën)

Het artikel beschrijft drie voorbeelden waar Doberman al werkt:

1. GeMSE (De Afgelegen Wachter):
   Stel je een geologische detector voor die diep in de Zwitserse Alpen ligt, waar niemand permanent woont. Doberman werkt hier als een automatische huisbewaarder. Hij zorgt dat de koeling (vloeibare stikstof) niet opdroogt. Als het reservoir bijna leeg is, vult hij automatisch bij. Dankzij Doberman hoeft niemand wekenlang naar die koude grot te gaan; het systeem doet het zelf.

2. XeBRA (De Testbank):
   Hier bouwen wetenschappers nieuwe soorten detectoren. Het is een bouwplaats waar alles voortdurend verandert. Vandaag staat er een nieuwe sensor, morgen een ander type pomp. Doberman is hier als een modulair LEGO-systeem. Je plakt een nieuwe sensor erop, schrijft een klein stukje code (een "plugin"), en het systeem herkent hem direct. Het is flexibel genoeg om mee te groeien met de experimenten.

3. PANCAKE (De Reus):
   Dit is een gigantische tank met 400 kg vloeibare xenon. Hier werken honderden sensoren tegelijk. Dit is als het besturen van een groot schip. Er zijn honderden meters, duizenden schakelaars en honderden temperatuurpunten. Doberman is hier de brugkapitein. Hij houdt alle 300 sensoren in de gaten, regelt de koeling en waarschuwt het team als er iets dreigt. Zonder Doberman zou dit met een klein team onmogelijk zijn te managen.

Waarom is dit zo'n goede uitvinding?

• Het is Open Source: Iedereen mag het gebruiken, aanpassen en verbeteren. Het is gratis en transparant.
• Het is Robuust: Als één computer crasht, crasht het hele experiment niet. De andere onderdelen blijven werken.
• Het is Veilig: Het houdt constant toezicht en waarschuwt direct bij problemen, zodat dure apparatuur niet kapot gaat.

Kortom: Doberman is de onmisbare, slimme assistent die zorgt dat de dure en complexe wetenschappelijke experimenten van vandaag soepel, veilig en automatisch blijven draaien, zodat de wetenschappers zich kunnen focussen op het ontdekken van de geheimen van het universum, in plaats van op het repareren van hun eigen apparatuur.

Technische samenvatting

Titel: Doberman: een modulaire en gedistribueerde slow control-systeem voor kleine tot middelgrote experimenten

1. Het Probleem

Veel natuurkunde-experimenten zijn afhankelijk van een "slow control"-systeem om hulpparameters (zoals spanningen, stromen, druk, temperatuur, gasstromen en vullingsniveaus) te monitoren en te regelen. Hoewel deze systemen werken met lagere sample-frequenties (ongeveer 1 Hz) dan de hoofd-data-acquisitie, zijn ze cruciaal voor de stabiliteit van de detector, de veiligheid van de apparatuur en de correctie van de fysica-data.

Voor grote experimenten worden vaak zware industriële SCADA-systemen of uitgebreide open-source frameworks zoals EPICS gebruikt. Deze zijn echter vaak te complex, te zwaar voor de middelen of te kostbaar voor kleine tot middelgrote laboratoriumexperimenten en R&D-platforms. Als gevolg daarvan opereren veel van deze opstellingen met ad-hoc scripts of zonder enige geünificeerde infrastructuur, wat de langetermijnstabiliteit, data-integriteit en operationele veiligheid in gevaar brengt. Er is behoefte aan een oplossing die de kloof overbrugt tussen zware industriële systemen en ongestructureerde scripts.

2. Methodologie: Doberman Architectuur

Doberman (Detector OBsERving and Monitoring ApplicatioN) is een lichtgewicht, modulair en open-source systeem dat is ontworpen om te schalen van een enkele host tot een gedistribueerd multi-host systeem. De architectuur bestaat uit de volgende kerncomponenten:

• Deploymentsmodel: Het systeem kan draaien op één Linux-host of gedistribueerd over meerdere hosts. Een centrale server host de databases en de webinterface, terwijl specifieke "Device Monitors" (die de apparaten uitlezen) kunnen draaien op secundaire hosts dicht bij de experimentele hardware. Dit verhoogt de robuustheid: een uitval van één host beïnvloedt alleen de daarop aangesloten sensoren.
• Database Architectuur: Doberman gebruikt een dual-database aanpak:
  • MongoDB: Voor configuratiegegevens (JSON-achtige documenten), wat flexibiliteit biedt bij het toevoegen van nieuwe apparaattypen. Ook worden hier logberichten opgeslagen.
  • InfluxDB: Een tijdreeksdatabase voor het opslaan van slow control-metingen en systeemgezondheidsmetingen (bijv. CPU-temperatuur).
• Monitor Class: De fundamentele bouwsteen is de Monitor-klasse, die meerdere threads beheert. Speciale subklassen omvatten:
  • Hypervisor: De centrale coördinator die de gezondheid van componenten bewaakt, commando's routeert en data distribueert via een publish-subscribe patroon (ZeroMQ).
  • Device Monitors: Interfaced met fysieke instrumenten via specifieke Python-plugins.
  • Pipeline Monitors: Voeren geautomatiseerde controle- en verwerkingslogica uit.
  • Alarm Monitor: Evalueert alarmcondities en distribueert meldingen.
• Plugins & Apparaten: Integratie van nieuwe instrumenten gebeurt via Python-plugins die communicatieprotocollen (Ethernet, seriële poorten) afhandelen. Configuratie-documenten definiëren parameters en sensoren. Doberman ondersteunt ook waarde-transformaties (bijv. omrekenen van 4-20 mA stroom naar druk).
• Pipelines: Dit is een krachtig kader voor automatisering. Pipelines worden weergegeven als gerichte grafieken van knooppunten (nodes) die data verwerken (filteren, drempelwaarden controleren, afgeleiden berekenen). Er zijn drie hoofdtypen:
  • Alarm-pipelines: Detecteren afwijkingen.
  • Convert-pipelines: Berekenen afgeleide grootheden (bijv. resterende stoftijd op basis van vullingsniveau en verbruik).
  • Control-pipelines: Voeren acties uit (bijv. openen van een klep) op basis van sensorinput.
• Alarm Distributie: Alarmen hebben een escalatiestructuur (basisniveau naar hoger niveau bij herhaling). Meldingen worden verzonden via e-mail, SMS of automatische telefoongesprekken, afhankelijk van de configuratie.

3. Gebruikersinterface: Doberview

De bijbehorende webinterface, Doberview, is gebouwd met Node.js en Bootstrap. Het biedt:

• Interactieve Overzicht: Een SVG-gebaseerd diagram (P&ID-achtig) waar elementen direct gekoppeld zijn aan sensoren. Kleurveranderingen en animaties tonen de status van pompen en kleppen.
• Sensordetails: Gebruikers kunnen meetgeschiedenis inspecteren, alarmdrempels aanpassen en directe commando's sturen naar regelbare elementen (zoals PID-setpoints).
• Pipeline Management: Een overzicht om pipelines te starten, stoppen of te "silencen" (testmodus zonder actieve commando's).
• Visualisatie: Een ingebouwde plotter voor tijdsreeksgrafieken en de mogelijkheid om externe Grafana-dashboards in te bedden.

4. Resultaten en Implementaties

Doberman is succesvol getest en ingezet in drie verschillende scenario's door de groep Astrodeeltjefysica aan de Universiteit van Freiburg:

1. GeMSE (Gamma-ray Spectrometer): Een volledig autonoom werkend systeem in een ondergronds laboratorium in Zwitserland. Doberman regelt de koeling (vloeibare stikstof) en bewaakt de bias-spanning van de detector. Het systeem heeft jarenlang zonder ongeplande downtime gefunctioneerd, wat essentieel is vanwege het ontbreken van permanent personeel ter plaatse.
2. XeBRA (Liquid Xenon R&D): Een klein testplatform (10 kg) voor nieuwe detectorconcepten. Doberman bewijst hier zijn flexibiliteit: het systeem kan snel worden aangepast aan frequente hardware-wijzigingen en nieuwe instrumenten, wat ideaal is voor iteratief R&D-werk.
3. PANCAKE (Groot Medium-Schaal Experiment): Een complex testfaciliteit met ongeveer 400 kg vloeibaar xenon en ongeveer 300 sensoren. Dit is de meest complexe implementatie tot nu toe. Het systeem gebruikt gedistribueerde "Revolution Pi" modules (industriële Raspberry Pi-achtige controllers) voor de lokale uitlezing, verbonden met een centrale server. Doberman heeft gedurende meerdere maanden (inclusief koel- en vulcycli) stabiele en veilige operatie mogelijk gemaakt, wat essentieel was voor de data-analyse van een Time Projection Chamber (TPC).

5. Belang en Conclusie

Doberman vult een cruciale niche in de experimentele infrastructuur. Het biedt de functionaliteit en betrouwbaarheid van zware SCADA-systemen, maar dan met de flexibiliteit, lage kosten en open-source aard die nodig zijn voor middelgrote laboratoria.

Belangrijkste bijdragen:

• Een schaalbaar, modulair ontwerp dat werkt van één host tot gedistribueerde netwerken.
• Een robuust architectuur die uitval van individuele hosts of apparaten kan tolereren zonder het hele systeem te laten crashen.
• Een krachtig, node-gebaseerd framework voor automatisering en alarmbeheer dat menselijke supervisie minimaliseert.
• Een gebruiksvriendelijke, webgebaseerde interface die toegankelijk is voor niet-experts in de onderliggende software.

Het systeem is volledig open-source en wordt al ingezet voor toekomstige projecten zoals het DELight-experiment voor donkere materie. De ervaring leert dat het systeem functioneel volwassen is en geschikt is voor diverse heterogene laboratoriumomgevingen.