Enabling users to work sustainably on shared institute computing resources

El proyecto VISPA busca reducir las emisiones de gases de efecto invernadero en un clúster de computación mediante medidas centradas en el usuario, como el monitoreo del consumo energético por tarea y la programación de trabajos según la disponibilidad de energía renovable, fomentando así una cultura de sostenibilidad en la comunidad científica.

Lo esencial

El dilema del "Gimnasio de Computación": Cómo ser un atleta ecológico en la era digital

Imagina que trabajas en un gimnasio comunitario muy grande. Este gimnasio tiene máquinas de última generación (computadoras potentes) que todos los científicos del instituto usan para sus entrenamientos (sus investigaciones). El problema es que el gimnasio está en un edificio viejo de los años 70: las luces no se pueden cambiar fácilmente, el aire acondicionado es antiguo y no puedes simplemente "remodelar" el edificio para que sea ecológico.

Un grupo de investigadores de la Universidad RWTH Aachen se hizo una pregunta: "Si no podemos cambiar el edificio, ¿cómo podemos hacer que la gente que lo usa sea más consciente y gaste menos energía?"

Aquí te explico su solución, dividida en tres grandes ideas:

1. El "Reloj de Arena" de la Energía (Transparencia)

Imagina que cada vez que usas una máquina de pesas, un pequeño contador te dice: "Oye, este ejercicio acaba de gastar la misma energía que dejar una bombilla encendida durante 5 horas".

Eso es lo que hicieron. Crearon un sistema llamado PETRA. Ahora, los científicos no solo lanzan sus tareas a la computadora; pueden consultar su "recibo de energía" personal. Pueden ver cuánta electricidad gastó cada uno de sus proyectos. Es como pasar de comer a ciegas a tener una aplicación que te dice exactamente cuántas calorías estás consumiendo en cada bocado. Esto crea una "cultura de la conciencia": si sabes cuánto cuesta (en energía), lo piensas dos veces antes de desperdiciar.

2. El "Semáforo Verde" (Sincronización con la Naturaleza)

Imagina que el gimnasio tiene una regla nueva: "Si quieres usar las máquinas más pesadas, intenta hacerlo cuando haya mucho sol y viento afuera, porque en ese momento la electricidad viene de fuentes limpias".

Los investigadores conectaron su sistema a un "semáforo" de la red eléctrica alemana:

• Luz Verde: Hay mucha energía solar y eólica disponible. ¡Es el momento de trabajar duro!
• Luz Roja: La energía viene mayormente de carbón o gas. Es mejor esperar.

Le dieron a los usuarios un control: pueden decirles a sus computadoras: "No empieces este trabajo hasta que el semáforo esté en verde, pero si pasan 16 horas y sigue en rojo, ¡hazlo de todos modos porque tengo prisa!". Es como decidir lavar la ropa con la lavadora solo cuando sabes que habrá luz solar para alimentar el hogar.

3. El "Ajuste de Talla" (Eficiencia de Recursos)

Imagina que vas a un restaurante y pides un banquete para 10 personas, pero en realidad solo eres tú solo. El restaurante te trae una mesa gigante, platos enormes y mucha comida que terminará en la basura. Eso es lo que hacen muchos científicos: piden muchísima memoria RAM "por si acaso", desperdiciando espacio que otros podrían usar.

Los investigadores crearon una herramienta que les dice: "La última vez que pediste una mesa para 10, solo comiste un poco. ¿Por qué no pides una para 2?". Al pedir el "tamaño de ropa" correcto para sus tareas, pueden meter a más personas en la misma computadora al mismo tiempo, haciendo que todo el sistema sea mucho más eficiente.

---

En resumen: ¿Qué descubrieron?

Usando un "gemelo digital" (una simulación tipo videojuego de su propio sistema), probaron estas ideas y descubrieron algo muy importante:

• Si el gimnasio está casi vacío: Lo mejor es apagar las máquinas que nadie usa (como apagar las luces de una habitación vacía).
• Si el gimnasio está lleno: Lo mejor es pedir solo lo que necesitas y esperar a que el semáforo esté en verde.

La gran lección: No necesitas un edificio de cristal ultra-tecnológico para ser sostenible. A veces, solo necesitas darle a las personas las herramientas adecuadas para que sean más inteligentes y conscientes de su impacto en el planeta.

Resumen técnico

Resumen Técnico: Habilitación del trabajo sostenible en recursos de computación compartidos de un instituto

El Problema

El proyecto VISPA es un clúster de computación de escala media gestionado por el Instituto de Física 3A de la Universidad RWTH Aachen, utilizado para la investigación y la enseñanza. A diferencia de los centros de datos modernos de alto rendimiento, el clúster VISPA se encuentra en un edificio de la década de 1970 con opciones de modernización de infraestructura (como sistemas de refrigeración eficientes) muy limitadas.

Debido a estas restricciones tecnológicas, las mejoras en la eficiencia energética de la infraestructura física tienen un impacto marginal. El problema central es cómo reducir la huella de carbono y el consumo energético de un clúster departamental sin imponer restricciones rígidas que afecten la productividad científica, fomentando en su lugar un cambio cultural hacia la conciencia de los recursos.

Metodología

Los autores proponen un enfoque basado en intervenciones tecnológicas centradas en el usuario y un marco de simulación para evaluar su impacto. La metodología se divide en tres pilares:

1. Monitoreo y Visibilidad de la Energía:

   • Se implementó un sistema de medición combinando telemetría a nivel de dispositivo (sensores internos de CPU y GPU mediante RAPL y NVML) con unidades de distribución de energía (PDU) con medidores externos.
   • Se desarrolló un modelo matemático para estimar el consumo de energía por cada trabajo (job) individual, desglosándolo en componentes de GPU, CPU y un componente de "sobrecarga" (overhead) residual (memoria, ventiladores, etc.).
   • Se creó PETRA, una herramienta de comunicación (chatbot y terminal) que permite a los usuarios consultar su consumo energético individual, por proyecto y recibir pronósticos de la red eléctrica.

2. Intervenciones de Programación y Gestión:

   • Programación basada en renovables (Green-window scheduling): Utilizando datos del Instituto Fraunhofer ISE, el sistema clasifica la disponibilidad de energía renovable en la red alemana mediante un semáforo (verde, amarillo, rojo). Los usuarios pueden optar por retrasar sus trabajos hasta que la red sea "verde".
   • Optimización de memoria: Para evitar la sobreasignación de recursos (donde los usuarios piden mucha más memoria de la que realmente usan), el sistema ofrece sugerencias basadas en el historial de ejecuciones previas similares.

3. Marco de Simulación (Gemelo Digital):

   • Se desarrolló un "gemelo digital" utilizando contenedores Docker con instancias de HTCondor para simular cargas de trabajo históricas y sintéticas.
   • Se utilizó una red neuronal profunda para convertir el uso de recursos simulados en estimaciones de consumo de potencia, logrando una correlación del 94% con las mediciones reales.

Contribuciones Clave

• Sistema de estimación de energía por trabajo: Un método preciso para atribuir el impacto ambiental a tareas científicas específicas.
• Herramientas de usuario "Opt-in": En lugar de imponer límites, se proporcionan herramientas (banderas de sostenibilidad, límites de espera máxima, consultas de memoria) que permiten al científico decidir el equilibrio entre tiempo de espera y sostenibilidad.
• Integración de datos de la red eléctrica: La capacidad de vincular la ejecución de cómputo con la intensidad de carbono en tiempo real de la red nacional.
• Framework de simulación de impacto: Un método para predecir cómo las políticas de sostenibilidad afectarán la calidad del servicio (tiempo de espera) y las emisiones de CO2e.

Resultados

Los autores evaluaron tres medidas: (A) mejores solicitudes de recursos, (B) apagado dinámico de máquinas y (C) programación consciente de la sostenibilidad.

1. Escenario de carga de investigación (Intensivo):

   • La combinación de las tres medidas (A+B+C) produjo la mayor reducción de emisiones de CO2e y consumo de energía, manteniendo los tiempos de espera por debajo de los niveles base.
   • La mejora en las solicitudes de memoria (A) redujo significativamente los tiempos de espera al permitir un empaquetado (packing) más denso de trabajos en los nodos.

2. Escenario de carga realista (Baja utilización):

   • En un entorno donde el clúster está infrautilizado (90% de tiempo inactivo), el apagado dinámico de máquinas (B) fue la medida más efectiva, reduciendo el consumo de energía y las emisiones en aproximadamente un 90%.
   • Se observó que una implementación ingenua de la programación "solo en verde" (C) podía causar tiempos de espera excesivos (más de un día), por lo que se recomendó el uso de un parámetro de "espera máxima" (maxwait).

Significancia

Este trabajo demuestra que, en entornos académicos donde la infraestructura física es antigua y difícil de mejorar, la sostenibilidad puede lograrse mediante la transparencia de datos y el empoderamiento del usuario. El estudio proporciona un modelo replicable para otros institutos de investigación, demostrando que es posible reducir la huella de carbono de la computación científica sin comprometer la capacidad de investigación, siempre que se combine la visibilidad del consumo con herramientas de gestión flexibles.