Doberman: a modular and distributed slow control system for small- to medium-scale experiments

Il documento presenta Doberman, un sistema di controllo lento open-source, modulare e distribuito, accompagnato dall'interfaccia grafica web Doberview, progettato per colmare il divario tra soluzioni industriali pesanti e approcci ad hoc, offrendo un'architettura flessibile per il monitoraggio e il controllo di esperimenti fisici su piccola e media scala.

L'essenziale

Immagina di avere un esperimento scientifico complesso, come una macchina per studiare particelle misteriose o un rivelatore di radiazioni sotterraneo. Questa macchina ha bisogno di "respirare": deve mantenere la temperatura giusta, controllare la pressione, gestire i flussi di gas e assicurarsi che i volt e gli amper siano stabili. Se qualcosa va storto, l'esperimento potrebbe danneggiarsi o produrre dati inutili.

In passato, per gestire questi "vitali" c'era un problema: le soluzioni industriali erano come camion cisterna giganti – potenti ma costosissimi, ingombranti e difficili da guidare per chi ha solo un piccolo laboratorio. Dall'altra parte, c'erano gli "aggiustamenti fai-da-te" (script sparsi), che erano come fai-da-te con lo scotch: funzionano finché non succede qualcosa di serio, ma sono fragili e disordinati.

Doberman è la soluzione che colma questo divario. È un sistema di controllo "lento" (perché controlla parametri che cambiano lentamente, come la temperatura, non milioni di dati al secondo) pensato per essere leggero, modulare e aperto a tutti.

Ecco come funziona, spiegato con metafore semplici:

1. Il "Cervello" e i "Sentinelle" (Architettura Distribuita)

Immagina Doberman come un'organizzazione di sentinelle sparse per il laboratorio, coordinate da un capo centrale.

• Il Capo (Hypervisor): È il direttore d'orchestra. Non tocca i fili, ma controlla che tutte le sentinelle siano sveglie. Se una sentinella smette di rispondere, il capo prova a svegliarla o ne chiama un'altra.
• Le Sentinelle (Device Monitors): Sono piccoli robot che stanno vicino agli strumenti (come termometri o valvole). Ognuno controlla il suo pezzo di macchina. Se il laboratorio è grande, le sentinelle possono essere su computer diversi, vicini agli strumenti, per non dover tirare chilometri di cavi. Se un computer si rompe, le altre sentinelle continuano a lavorare: il sistema non crolla.

2. La "Cucina" delle Regole (Pipelines)

Doberman non si limita a guardare; sa anche agire. Immagina le Pipeline come delle ricette di cucina automatizzate.

• La ricetta "Allarme": "Se la temperatura supera i 20 gradi, suona la sirena e manda un SMS al tecnico".
• La ricetta "Conversione": "Prendi il livello del liquido e il peso della tanica, calcola quanto tempo durerà il gas e scrivilo su un foglio".
• La ricetta "Controllo": "Se il livello scende sotto la linea rossa, apri la valvola automaticamente".
  Queste ricette possono essere attive, spente o in "modalità silenzio" (per testare senza fare rumore).

3. La "Vetrina" Interattiva (Doberview)

Tutti questi dati e controlli devono essere visibili a chi lavora in laboratorio, che magari non è un programmatore. Qui entra in gioco Doberview, l'interfaccia web.
Immagina una mappa interattiva del laboratorio (come un videogioco o un pannello di controllo di un aereo).

• Vedi i serbatoi che si riempiono e si svuotano in tempo reale.
• Le valvole cambiano colore (verde se aperte, rosso se chiuse).
• Se clicchi su un sensore, vedi la sua storia recente come se stessi guardando un grafico su uno smartphone.
  È così semplice che chiunque può capire subito se tutto va bene o se c'è un'emergenza, senza dover leggere codici complessi.

4. I "Diari" e i "Libri di Ricette" (Database)

Il sistema tiene due tipi di registri:

• Il Libro delle Istruzioni (Configurazione): Dice al sistema quali strumenti ci sono e come si chiamano. È flessibile: puoi aggiungere un nuovo strumento senza dover riscrivere tutto il libro.
• Il Diario di Bordo (Misurazioni): Registra ogni temperatura, pressione e valore nel tempo. Serve per capire cosa è successo ieri o l'anno scorso, fondamentale per la scienza.

Perché è speciale? (I casi d'uso reali)

Gli scienziati dell'Università di Freiburg hanno usato Doberman in tre scenari molto diversi, dimostrando la sua versatilità:

1. GeMSE (Il Guardiano Solitario): Un esperimento sotterraneo in Svizzera, dove nessuno va fisicamente per settimane. Doberman gestisce tutto da solo, riempiendo il serbatoio di azoto liquido automaticamente e mandando allarmi solo se serve. È come avere un maggiordomo che lavora 24/7 senza stancarsi.
2. XeBRA (Il Laboratorio di Sperimentazione): Un banco di prova dove si cambiano spesso gli esperimenti. Doberman è così flessibile che aggiungere un nuovo sensore è come attaccare un nuovo tassello a un LEGO: facile e veloce.
3. PANCAKE (Il Gigante): Un enorme serbatoio di xenon liquido con 300 sensori. Qui Doberman ha coordinato centinaia di dispositivi su diversi computer, mantenendo tutto stabile per mesi. È come un direttore d'orchestra che gestisce un'intera sinfonia senza che nessun musicista sbagli nota.

In sintesi

Doberman è come un sistema nervoso digitale per i laboratori scientifici. È economico, si adatta a qualsiasi dimensione (dal piccolo banco da lavoro al grande laboratorio) e, soprattutto, permette agli scienziati di concentrarsi sulla scienza invece di preoccuparsi di far funzionare i cavi e i termostati. È stato creato per essere aperto (chiunque può usarlo e migliorarlo) e robusto (non va in tilt facilmente), rendendo la ricerca più sicura ed efficiente.

Sommario tecnico

Titolo: Doberman: un sistema di controllo lento modulare e distribuito per esperimenti su piccola e media scala

1. Il Problema

Molti esperimenti di fisica richiedono un sistema di "controllo lento" (slow control) per monitorare e regolare parametri ausiliari come tensioni, correnti, pressioni, temperature, flussi di gas e livelli di riempimento. A differenza dei sistemi di acquisizione dati (DAQ) che operano ad alte frequenze, il controllo lento lavora tipicamente a frequenze di campionamento basse (ordine di 1 Hz), ma è critico per la stabilità del rivelatore, la sicurezza delle apparecchiature e la correzione dei dati fisici.

Attualmente, esiste un divario tecnologico significativo:

• Soluzioni Industriali (SCADA/EPICS): Sono potenti e affidabili, ma spesso troppo complesse, costose e pesanti dal punto di vista delle risorse per laboratori di ricerca su piccola e media scala o piattaforme R&D.
• Soluzioni Ad Hoc: Molti laboratori ricorrono a script personalizzati o soluzioni frammentate, che compromettono la stabilità a lungo termine, l'integrità dei dati e la sicurezza operativa.

C'è quindi un bisogno urgente di una soluzione che offra la robustezza dei sistemi industriali mantenendo la flessibilità e la leggerezza richieste dai laboratori di ricerca.

2. Metodologia e Architettura

Il paper presenta Doberman (Detector OBsERving and Monitoring ApplicatioN), un sistema di controllo lento open-source, leggero e modulare. L'architettura è progettata per scalare da installazioni su singolo host a distribuzioni multi-host.

• Modello di Deployment Distribuito:
  • Il sistema può essere eseguito su un singolo host Linux o distribuito su più host.
  • Un Hypervisor centrale coordina la comunicazione, supervisiona la salute dei componenti e gestisce i comandi.
  • I DeviceMonitors (lettori di dispositivi) possono risiedere su host secondari vicini all'hardware sperimentale per ridurre i cavi e migliorare la resilienza: il guasto di un host non blocca l'intero sistema.
• Database Ibrido:
  • MongoDB: Utilizzato per le configurazioni (documenti JSON), i log e i metadati. Offre flessibilità nello schema per adattarsi a nuovi tipi di dispositivi.
  • InfluxDB: Database ottimizzato per le serie temporali, utilizzato per memorizzare le misurazioni dei sensori e le metriche di salute del sistema.
• Classi Monitor e Plugin:
  • L'unità fondamentale è la classe Monitor, che gestisce thread indipendenti per l'acquisizione dati, l'automazione e la supervisione.
  • L'integrazione di nuovi strumenti avviene tramite plugin Python specifici per dispositivo, che gestiscono la logica di comunicazione (es. Ethernet, seriale), mentre i documenti di configurazione nel database definiscono i parametri di connessione e i sensori.
• Pipeline di Automazione:
  • Il sistema utilizza un framework basato su pipeline (grafici diretti di nodi) per l'elaborazione continua dei dati.
  • Tre tipi principali di pipeline: Alarm (rilevamento condizioni anomale), Convert (calcolo di grandezze derivate) e Control (esecuzione di azioni logiche, come aprire valvole).
  • Le pipeline possono operare in modalità "silenziosa" (solo lettura, senza scrittura o allarmi) durante test e commissioning.
• Gestione degli Allarmi:
  • Sistema a livelli che scala la gravità degli allarmi in base alla persistenza del problema.
  • Notifiche inviate tramite email, SMS (tramite Nextp) o chiamate telefoniche automatiche (tramite Twilio), con destinatari differenziati in base al livello di criticità.

3. Interfaccia Utente (Doberview)

Doberview è l'interfaccia grafica web basata su Node.js e Bootstrap, accessibile da desktop e mobile.

• Panoramica Interattiva: Utilizza SVG scalabili per rappresentare lo schema dell'esperimento (P&ID). Gli elementi grafici sono collegati ai sensori, mostrando valori in tempo reale, stati binari (colori/animazioni) e livelli continui.
• Ispezione e Controllo: Permette di visualizzare la storia delle misurazioni, modificare le soglie di allarme e inviare comandi agli attuatori direttamente dal browser.
• Gestione Pipeline: Fornisce una vista dedicata per avviare, fermare o silenziare le pipeline, con indicatori di stato (verde/rosso/giallo) e visualizzazione del grafo dei nodi.
• Strumenti di Visualizzazione: Include un plotter integrato per analisi rapide e la possibilità di incorporare dashboard Grafana per il monitoraggio di grandi set di dati.

4. Risultati e Deployments Attuali

Il sistema è stato validato in tre configurazioni sperimentali diverse presso l'Università di Friburgo, dimostrando versatilità e scalabilità:

1. GeMSE (Spettrometro Gamma): Un esperimento sotterraneo remoto. Doberman gestisce l'intero sistema su un singolo host, supervisionando la tensione di polarizzazione e il raffreddamento criogenico. Ha permesso un funzionamento autonomo per anni senza interruzioni non pianificate, gestendo il rifornimento automatico di azoto liquido.
2. XeBRA (Piattaforma R&D su Xenon): Un setup di test su piccola scala (~10 kg). Il sistema gestisce frequenti cambiamenti hardware e l'integrazione rapida di nuovi strumenti grazie all'architettura modulare a plugin. Condivide l'infrastruttura dati con PANCAKE.
3. PANCAKE (Esperimento su larga scala): Un impianto di test per xenon liquido con ~400 kg di inventario e circa 300 sensori su diverse decine di strumenti.
   • Deployment distribuito su server centrali e moduli industriali (Revolution Pi) vicini ai sottosistemi.
   • Ha gestito campagne operative di diversi mesi, inclusi raffreddamento, riempimento e operazioni stabili a lungo termine.
   • Ha garantito la stabilità dei parametri criogenici e ad alta tensione per circa 60 giorni di funzionamento del TPC, abilitando l'analisi dei dati presentata in pubblicazioni recenti.

5. Significato e Conclusioni

Doberman colma efficacemente il divario tra i framework SCADA/EPICS complessi e le soluzioni scriptate fragili.

• Contributi Chiave:
  • Un'architettura plugin-based che semplifica l'integrazione di hardware eterogeneo.
  • Un modello distribuito che garantisce resilienza ai guasti dei singoli host.
  • Un framework di automazione e allarmi integrato che riduce la necessità di supervisione umana continua.
  • Un'interfaccia utente web-based intuitiva che democratizza l'accesso al controllo dell'esperimento per il personale non esperto di informatica.
• Impatto: Il sistema è stato rilasciato sotto licenze open-source permissive, con codice, documentazione e plugin disponibili pubblicamente. È stato selezionato come sistema di controllo lento per il futuro esperimento di materia oscura leggera DELight, confermandone la maturità e l'affidabilità per infrastrutture sperimentali di laboratorio e di media scala.

In sintesi, Doberman offre una soluzione robusta, scalabile e facile da mantenere, essenziale per la sicurezza e l'efficienza operativa degli esperimenti di fisica moderni su piccola e media scala.