Doberman: a modular and distributed slow control system for small- to medium-scale experiments

El artículo presenta Doberman, un sistema de control lento modular, distribuido y de código abierto diseñado para experimentos de física a pequeña y mediana escala, que ofrece una interfaz web para la visualización y gestión de instrumentos heterogéneos y ha sido validado en diversas instalaciones experimentales.

Lo esencial

🐕 ¿Qué es Doberman? El "Cuerpo de Seguridad" de los Experimentos Científicos

Imagina que tienes un experimento científico gigante (como un detector de partículas o un tanque de xenón líquido). Este experimento es como una ciudad muy compleja que necesita electricidad, temperatura controlada, presión de gas y miles de sensores funcionando perfectamente.

Si algo falla (por ejemplo, la temperatura sube demasiado o se acaba el gas), el experimento podría dañarse o perder datos valiosos.

Aquí es donde entra Doberman (Detector OBsERving and Monitoring ApplicatioN).

1. El Problema: ¿Gigantes o parches caseros?

Antes de Doberman, los científicos tenían dos opciones malas:

• Opción A (Los Gigantes): Usar sistemas industriales enormes y caros (como SCADA o EPICS). Son como tanques de guerra: muy potentes, pero difíciles de manejar, lentos y costosos para un laboratorio pequeño.
• Opción B (Los Parches Caseros): Escribir pequeños scripts de computadora "al vuelo". Son como parches de cinta adhesiva: funcionan un rato, pero si algo se rompe, nadie sabe por qué y el sistema es inestable.

Doberman es el justo medio. Es como un sistema de seguridad inteligente y modular que es lo suficientemente fuerte para un laboratorio grande, pero lo suficientemente ligero y fácil de usar para uno pequeño.

2. La Arquitectura: ¿Cómo funciona?

Doberman no es un solo bloque de cemento; es un equipo de trabajo distribuido:

• El Hypervisor (El Jefe de Turno): Es el cerebro central. No hace todo el trabajo, pero vigila que todos los demás estén despiertos. Si un sensor deja de responder, el Jefe intenta reiniciarlo. Si el servidor principal se apaga, hay un "latido externo" (un mensaje a un edificio vecino) que avisa si algo va mal.
• Los Monitores (Los Guardias de Seguridad): Son programas pequeños que se encargan de tareas específicas.
  • DeviceMonitors: Son los que van físicamente a hablar con los instrumentos (lectores de temperatura, válvulas).
  • PipelineMonitors: Son los que piensan. Si la temperatura sube, ¿qué hacemos? ¿Abrimos una válvula? ¿Enviamos una alerta?
• Las "Tuberías" (Pipelines): Imagina una línea de montaje en una fábrica. Los datos entran por un lado (ej. "la temperatura es 20°C"), pasan por filtros (¿es peligroso?), se transforman (¿cuánto gas queda?) y salen por el otro lado (ej. "abre la válvula"). Esto permite automatizar tareas sin que un humano tenga que estar mirando la pantalla 24/7.

3. Doberview: El Tablero de Control (El "Cockpit")

Tener un sistema inteligente es genial, pero ¿cómo lo ves? Aquí entra Doberview.

Es una página web (como un panel de control de un videojuego o un tablero de avión) que muestra todo lo que está pasando en tiempo real.

• Visualización: En lugar de ver listas de números aburridos, ves un dibujo del experimento. Si una válvula está abierta, se pone verde. Si la presión es alta, se pone roja y parpadea.
• Interacción: Puedes hacer clic en una válvula en la pantalla para abrirla o cerrarla, o cambiar la temperatura objetivo, todo desde tu navegador, incluso si estás en casa.
• Alertas: Si algo sale mal, el sistema no solo te muestra una luz roja; te envía un correo, un SMS o incluso te llama por teléfono para decirte: "¡Oye, el tanque de nitrógeno se está vaciando!".

4. ¿Dónde se ha usado? (Casos Reales)

El equipo de la Universidad de Friburgo (Alemania) ha probado a Doberman en tres escenarios muy diferentes, demostrando que es flexible:

1. GeMSE (El Vigilante Subterráneo): Un detector de rayos gamma en una cueva en Suiza. Como no hay nadie viviendo allí, Doberman vigila todo solo. Si falta nitrógeno líquido, lo rellena automáticamente. Ha funcionado años sin que nadie tenga que bajar a la cueva.
2. XeBRA (El Laboratorio de Pruebas): Un tanque pequeño de xenón líquido donde prueban nuevas ideas. Aquí el hardware cambia constantemente. Doberman es como un Lego: puedes añadir nuevos sensores o instrumentos nuevos muy rápido sin tener que reescribir todo el sistema.
3. PANCAKE (La Bestia Gigante): Un tanque enorme de xenón (400 kg) con 300 sensores. Es un sistema complejo que requiere que varios ordenadores trabajen juntos. Doberman coordina a todos estos ordenadores distribuidos por el laboratorio, asegurando que si uno falla, los demás sigan funcionando.

🏁 Conclusión

Doberman es la solución perfecta para los científicos que necesitan un sistema de control fiable pero no quieren gastar una fortuna ni perder meses configurando software industrial pesado.

• Es modular: Puedes usar una parte o todo el sistema.
• Es abierto: Cualquiera puede ver el código, mejorarlo y usarlo gratis.
• Es robusto: Si algo se rompe, el sistema sigue funcionando o avisa inmediatamente.

En resumen: Doberman es el guardián silencioso que permite a los científicos dormir tranquilos sabiendo que sus experimentos están seguros, incluso cuando nadie está mirando.

Resumen técnico

Resumen Técnico: Doberman – Un Sistema de Control Lento Modular y Distribuido

1. El Problema

En la física experimental, los sistemas de control lento (slow control) son esenciales para monitorear y regular parámetros auxiliares (voltajes, temperaturas, presiones, flujos de gas, etc.) que garantizan la estabilidad del detector y la integridad de los datos.

• La brecha actual: Existe una desconexión entre las soluciones industriales pesadas (como SCADA o EPICS), que son demasiado complejas, costosas y exigentes en recursos para experimentos de pequeña y mediana escala, y las soluciones ad hoc (scripts personalizados) que carecen de infraestructura unificada, poniendo en riesgo la estabilidad a largo plazo y la seguridad operativa.
• Necesidad: Se requiere un sistema que sea ligero, modular, de código abierto y capaz de manejar desde instalaciones simples hasta configuraciones distribuidas con cientos de sensores, ofreciendo robustez ante fallos y una interfaz intuitiva para el personal no experto en el sistema de control subyacente.

2. Metodología y Arquitectura

Doberman (Detector OBsERving and Monitoring ApplicatioN) es un sistema de control lento diseñado con una arquitectura basada en plugins y distribuida. Su implementación técnica se basa en los siguientes pilares:

• Modelo de Despliegue Distribuido:

  • El sistema puede ejecutarse en un solo host o distribuirse en múltiples servidores.
  • Un servidor central (Main Host) aloja las bases de datos y el Hypervisor (coordinador central), mientras que los DeviceMonitors (lectores de dispositivos) pueden ejecutarse en hosts secundarios cercanos al hardware experimental para reducir longitudes de cable y mejorar la resiliencia.
  • La comunicación entre componentes se realiza mediante ZeroMQ (patrón publicar-suscribir) para comandos y distribución de datos.

• Arquitectura de Bases de Datos Dual:

  • Configuración (MongoDB): Almacena ajustes del sistema, definiciones de dispositivos, sensores y logs. Su estructura flexible (documentos JSON) facilita la evolución del esquema sin romper la compatibilidad.
  • Series Temporales (InfluxDB): Optimizada para almacenar las mediciones de control lento y métricas de salud del sistema (CPU, carga), permitiendo consultas rápidas y visualización histórica.

• Clase Monitor y Componentes:

  • La unidad fundamental es la clase Monitor, que gestiona hilos independientes para tareas como lectura de sensores, supervisión y distribución de alarmas.
  • Hypervisor: Supervisa la salud de los componentes, gestiona reinicios (local o remoto vía SSH) y actúa como broker de datos para evitar consultas redundantes a la base de datos.
  • Plugins de Dispositivos: Se utilizan clases Python específicas para cada instrumento (Ethernet, serie, etc.) que traducen comandos genéricos a protocolos específicos del hardware.

• Sistema de Pipelines (Tuberías) de Automatización:

  • Implementa lógica de control continuo mediante grafos dirigidos de nodos.
  • Tipos de Pipelines:
    • Alarm: Detectan condiciones anómalas y gestionan notificaciones.
    • Convert: Calculan cantidades derivadas (ej. tasa de consumo de nitrógeno).
    • Control: Ejecutan acciones (ej. abrir válvulas) basadas en la lógica de los sensores.
  • Soportan modos "silenciosos" para pruebas sin emitir alarmas reales.

• Gestión de Alarmas:

  • Utiliza un concepto de niveles de alarma con escalación automática si no se resuelven.
  • Notificaciones multicanal: Correo electrónico, SMS (vía Nextp) y llamadas automáticas (vía Twilio).

3. Contribuciones Clave

• Interfaz Gráfica Web (Doberview): Una interfaz basada en Node.js y Bootstrap que ofrece visualización en tiempo real, inspección de sensores y control interactivo.
  • Incluye vistas interactivas basadas en SVG (diagramas P&ID) donde los elementos gráficos reflejan el estado de los dispositivos.
  • Permite la gestión de pipelines y la creación de gráficos personalizados sin necesidad de interactuar directamente con la base de datos.
• Arquitectura de Plugins Abierta: Facilita la integración de hardware heterogéneo (comercial y personalizado) mediante drivers en Python, simplificando el mantenimiento y la escalabilidad.
• Robustez Operativa: Diseño tolerante a fallos donde la caída de un host secundario no detiene el monitoreo global, y mecanismos de "latido" (heartbeat) externo para detectar fallos silenciosos del servidor principal.
• Licencia de Código Abierto: El software, documentación y ejemplos de integración están disponibles públicamente bajo licencias permisivas.

4. Resultados y Validación

El sistema ha sido desplegado y validado en múltiples configuraciones experimentales del grupo de Física de Astropartículas de la Universidad de Friburgo:

• GeMSE (Espectrómetro Gamma): Operación remota autónoma en un laboratorio subterráneo en Suiza. Doberman gestionó el voltaje de polarización y el enfriamiento criogénico, permitiendo años de operación sin paradas no programadas y reduciendo la necesidad de personal en sitio.
• XeBRA (Plataforma de R&D de Xenón): Un entorno de pruebas de pequeña escala (10 kg) que requiere cambios de hardware frecuentes. La arquitectura modular permitió la integración rápida de nuevos instrumentos y configuraciones.
• PANCAKE (Instalación de Mediana Escala): Una instalación compleja con ~400 kg de xenón y ~300 sensores.
  • Despliegue distribuido utilizando módulos industriales Revolution Pi (basados en Raspberry Pi) como hosts secundarios.
  • Soportó campañas de operación de varios meses, incluyendo enfriamiento, llenado y operación estable de una Cámara de Proyección Temporal (TPC) durante 60 días.
  • Garantizó la estabilidad de parámetros críticos (presión, temperatura, niveles) y facilitó la intervención oportuna mediante alarmas.

5. Significado e Impacto

Doberman llena un vacío crítico en la infraestructura de laboratorios de física, proporcionando una solución intermedia entre el exceso de complejidad de los sistemas industriales y la fragilidad de los scripts caseros.

• Escalabilidad: Demuestra ser apto tanto para instalaciones remotas simples como para experimentos complejos con cientos de canales.
• Operatividad: Reduce la carga de supervisión humana mediante automatización robusta y alarmas inteligentes, permitiendo a equipos pequeños operar instalaciones grandes de manera segura.
• Futuro: El sistema se considera maduro y funcional, y está previsto que sea el sistema de control lento para el próximo experimento de materia oscura ligera DELight. Su adopción por grupos externos sugiere que es una solución generalizable para infraestructuras experimentales de escala de laboratorio a mediana escala.