🤖 machine learning

Optimising for Energy Efficiency and Performance in Machine Learning

Este artículo presenta ECOpt, una herramienta de ajuste de hiperparámetros que optimiza el equilibrio entre la eficiencia energética y el rendimiento del modelo mediante la provisión de retroalimentación accionable y una frontera de Pareto interpretable, permitiendo finalmente el descubrimiento de modelos de aprendizaje automático más sostenibles y precisos.

Autores originales: Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Publicado 2026-01-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges una pastelería. Durante años, solo te ha importado una cosa: qué tan deliciosos son tus pasteles (rendimiento). Los has estado haciendo cada vez más grandes, usando más harina y azúcar (parámetros), asumiendo que más grande significa automáticamente mejor.

Pero recientemente, te has dado cuenta de algo aterrador: tu pastelería está consumiendo electricidad a un ritmo alarmante, y la huella de carbono de tus hornos está perjudicando al planeta. También te has dado cuenta de que gastaste una fortuna horneando los pasteles (entrenamiento), pero en realidad gastas incluso más dinero simplemente entregándolos a los clientes cada día (inferencia).

Este artículo presenta una nueva herramienta llamada ECOpt (Optimizador de Consumo de Energía) para ayudar a los pasteleros (ingenieros de aprendizaje automático) a resolver este problema. Así es como funciona, usando analogías simples:

1. El Problema: El mito de "Más grande es mejor"

Durante mucho tiempo, el mundo tecnológico pensó que si simplemente contabas el número de ingredientes (parámetros) o el número de pasos de mezclado (operaciones matemáticas llamadas FLOPs), podrías adivinar cuánto le costaría a tu pastel el proceso de horneado.

Los autores probaron esto y descubrieron que era como intentar adivinar el kilometraje de un coche contando simplemente el número de tornillos en el motor. No funcionó.

Descubrieron que cambiar la forma en que mueves los ingredientes (como cambiar el "paso" o stride en una receta) podía ahorrar mucha energía sin cambiar el número de ingredientes en absoluto.
También descubrieron que el hecho de que una máquina sea potente (como un horno industrial gigante) no significa que sea eficiente. Si pones un pastel diminuto en un horno gigante, el horno desperdicia una enorme cantidad de energía solo para mantenerse caliente, incluso si el pastel es pequeño.

2. La Solución: El "Menú Inteligente" (ECOpt)

En lugar de adivinar, los autores construyeron una herramienta llamada ECOpt. Piensa en esto como un planificador de menú inteligente para tu pastelería.

El equilibrio: Normalmente, tienes que elegir: "¿Quiero el pastel más sabroso (alto rendimiento) o el pastel más barato de hacer (alta eficiencia energética)?"
La Frontera de Pareto: ECOpt dibuja un mapa llamado "Frontera de Pareto". Imagina un gráfico donde el eje X es "Sabor" y el eje Y es "Costo de Energía". La herramienta encuentra la curva del "punto ideal". Cada punto en esta curva representa un pastel donde no puedes obtener más sabor sin pagar más energía, y no puedes ahorrar más energía sin perder algo de sabor.
El Resultado: Te ofrece una lista de opciones. "Aquí hay un pastel que es un 90% tan sabroso pero usa un 50% menos de energía. Aquí hay otro que es un 95% tan sabroso pero usa un 20% menos de energía". Tú eliges con qué compensación te sientes cómodo.

3. Descubrimientos Clave de los Experimentos

Los autores probaron esta herramienta con "pasteles" reales (modelos de IA) y descubrieron algunas cosas sorprendentes:

Consistencia del Hardware: Probaron el mismo modelo en diferentes máquinas (una laptop, una computadora de escritorio, una supercomputadora). Sorprendentemente, la eficiencia energética (cuánto "trabajo" obtienes por cada gota de electricidad) fue sorprendentemente similar en todas estas máquinas. Esto significa que deberíamos empezar a publicar números de energía para nuestros modelos, tal como publicamos el conteo de calorías en la comida, porque los números son lo suficientemente fiables como para compararlos.
El efecto del "Horno Vacío": Descubrieron que si ejecutas un modelo pequeño en una computadora masiva y potente, la computadora desperdicia energía porque no está siendo utilizada plenamente. Es como usar el motor de un jet para alimentar una bicicleta. Usaron ECOpt para ajustar el "tamaño del lote" (batch size, cuántos pasteles horneas a la vez) para llenar el horno adecuadamente. Este único cambio hizo que el proceso fuera 38 veces más eficiente.
El Retorno de la Inversión: La herramienta en sí misma consume un poco de energía para ejecutar la optimización. Sin embargo, los autores calcularon que después de generar solo 4,802 tokens (fragmentos de texto), la energía ahorrada al usar la configuración optimizada pagó el costo energético de ejecutar la herramienta de optimización. Es una victoria rápida para el medio ambiente.

4. Encontrando Nuevas Recetas (Búsqueda de Arquitectura Neuronal)

Finalmente, usaron ECOpt para inventar nuevas recetas de pasteles desde cero (un proceso llamado Búsqueda de Arquitectura Neuronal) para una tarea específica (clasificar imágenes de animales).

No solo buscaron el "mejor" pastel; buscaron el mejor equilibrio.
Encontraron siete nuevas recetas que eran mejores que las actuales "Estado del Arte" (las mejores recetas conocidas) cuando consideraste tanto el sabor como el costo de energía juntos.
Descubrieron que la "mejor" receta para la velocidad (latencia) es diferente de la "mejor" receta para la energía. Un pastel ancho y poco profundo puede ser rápido, pero uno más profundo y estrecho puede consumir menos energía. ECOpt te ayuda a encontrar la forma adecuada para tus necesidades específicas.

La Conclusión

El artículo argumenta que no podemos seguir haciendo modelos de IA cada vez más grandes y hambrientos. Necesitamos ser inteligentes sobre cómo los horneamos. ECOpt es una herramienta que ayuda a los ingenieros a dejar de adivinar y empezar a tomar decisiones informadas, asegurando que sus modelos no solo sean inteligentes, sino también energéticamente eficientes y respetuosos con el medio ambiente. Convierte la vaga idea de "ser ecológico" en un proceso de diseño concreto y medible.

Resumen Técnico: Optimización de la Eficiencia Energética y el Rendimiento en el Aprendizaje Automático

Planteamiento del Problema
El crecimiento exponencial en la complejidad computacional de los modelos de aprendizaje automático (ML) ha provocado un aumento significativo en el consumo de energía y el impacto ambiental. Si bien regulaciones recientes, como la Ley de IA de la UE, exigen la publicación del uso de energía, la investigación actual en ML se centra predominantamente en el rendimiento del modelo, descuidando a menudo las métricas de energía. La literatura existente suele depender de recuentos de parámetros y de operaciones de punto flotante (FLOPs) como indicadores de consumo energético, aunque estas métricas suelen estar poco correlacionadas con el uso real de energía. Además, la investigación previa sobre el impacto ambiental del ML ignora frecuentemente los costes de inferencia, a pesar de que la inferencia suele representar la mayor parte de los costes computacionales de ML (por ejemplo, hasta el 90% en AWS). Las herramientas actuales para estimar la huella de carbono suelen requerir un alto acoplamiento de código y no proporcionan una retroalimentación accionable para mejorar la eficiencia, mientras que los optimizadores de hiperparámetros generalmente no tienen en cuenta el impacto ambiental o los costes de inferencia.

Metodología
Para abordar estas brechas, los autores desarrollaron ECOpt (Optimizador de Consumo de Energía), un marco de trabajo de Python diseñado para optimizar simultáneamente los hiperparámetros de un modelo tanto para la eficiencia energética como para el rendimiento.

Formulación de la Optimización: El problema se plantea como una tarea de optimización multiobjetivo. El sistema busca en un espacio de hiperparámetros $S$ para encontrar la frontera de Pareto entre una métrica de rendimiento ( $f_p$ , por ejemplo, precisión) y una métrica de eficiencia energética ( $f_e$ ).
Medición de Energía: ECOpt utiliza medidores de energía basados en software, específicamente CodeCarbon, que agrega datos de uso de potencia de los controladores de dispositivos (por ejemplo, NVIDIA nvidia-smi para GPUs y RAPL para CPUs). El marco se centra en el uso de energía de cómputo, cuantificando la eficiencia como "muestras por Julio" (o tokens por Julio para la generación de texto). Tiene en cuenta el consumo de energía de todos los componentes activos (CPU, GPU, RAM) en lugar de solo el acelerador.
Algoritmo de Optimización: El marco emplea la Optimización Bayesiana Multiobjetivo (MOBO) utilizando la función de adquisición de Mejora de Hipervolumen Esperado (EHVI) (específicamente, EHVI ruidosa en paralelo, o $q$ NEHVI). Se eligió este enfoque por su eficiencia de muestreo, lo que permite el descubrimiento de la curva de compromiso (frontera de Pareto) con menos evaluaciones que una búsqueda aleatoria o de cuadrícula.
Flujo de Trabajo: El proceso implica dividir un conjunto de datos en conjuntos de entrenamiento y evaluación. Para cada iteración, ECOópt construye y entrena un modelo con hiperparámetros muestreados, realiza la inferencia en el conjunto de evaluación, mide los objetivos y actualiza los modelos subrogados (Procesos Gaussianos) para guiar el siguiente paso de la búsqueda.

Contribuciones Clave

Formulación del Compromiso: Los autores formalizan la búsqueda del compromiso entre rendimiento y energía en ML como un problema de optimización multiobjetivo.
Procedimiento Automatizado: Describen un procedimiento totalmente automatizado basado en MOBO para descubrir una frontera de Pareto empírica que caracteriza este compromiso.
Marco de Código Abierto: ECOpt se lanza como un paquete de Python reutilizable, que incluye scripts de experimentación para la reproducibilidad.
Hallazgos Empíricos: El trabajo proporciona evaluaciones experimentales extensas que demuestran que:
- Los recuentos de parámetros y los FLOPs son indicadores poco fiables del consumo de energía.
- Los modelos Transformer para la generación de texto exhiben una eficiencia energética relativamente consistente a través de diversas configuraciones de hardware.
- Existe una ley de escala de energía para los Transformers, donde la eficiencia energética disminuye logarítmicamente con el número de parámetros.
- Optimizar la eficiencia energética puede generar un impacto ambiental neto positivo al recuperar rápidamente la energía gastada en la optimización.

Resultos Experimentales
Los autores realizaron experimentos en diversos hardwares (VMs, portátiles, ordenadores de sobremesa, servidores y nodos de HPC) y tipos de modelos (CNNs, Transformers).

Validez de las Métricas: En experimentos escalando capas de redes neuronales y ajustando los saltos (strides) de las CNN, los autores observaron que los recuentos de parámetros permanecían constantes mientras que el consumo de energía y los FLOPs variaban significativamente. Esto confirma que el recuento de parámetros es un indicador inadecuado para la eficiencia energética. Del mismo modo, los FLOPs mostraron una débil correlación con el uso real de energía en las CNN.
Consistencia del Hardware: Al probar modelos Transformer (GPT-2, Qwen3, Gemma 3, Llama 3.1) en cinco máquinas diferentes, se reveló que, si bien la eficiencia energética absoluta varía según el tamaño del modelo, la eficiencia de un modelo específico se mantiene relativamente constante a través de diferentes hardwares (desviación estándar de 0.2372 entre máquinas frente a 0.4608 entre modelos). Esto sugiere que las métricas de energía de los modelos son valiosas para ser publicadas.
Utilización de la GPU: En un experimento para optimizar el tamaño del lote (batch size) para Gemma 3 en un servidor, ECOpt identificó un tamaño de lote óptimo de 831 (generando 2.67 tokens/J), que era inferior al tamaño máximo que cabe en la VRAM. Esta configuración logró un aumento de 38 veces en la eficiencia energética en comparación con un tamaño de lote predeterminado de 1. Los autores calcularon que la energía gastada en esta optimización se recuperaría tras generar solo 4,802 tokens.
Búsqueda de Arquitectura Neuronal (NAS): Aplicando ECOpt a una tarea de NAS de CNN en CIFAR-10, el marco identificó siete arquitecturas Pareto-óptimas. El mejor modelo alcanzó un 76.09% de precisión con 20.12 muestras/J. Esto superó a una línea base de búsqueda aleatoria (71.17% de precisión) y a una línea base de ajuste manual (70.07% de precisión) tanto en precisión como en eficiencia de tiempo (61 minutos frente a tres días). Notablemente, los autores encontraron que, si bien sus modelos no eran el Estado del Arte (SOTA) en precisión por sí solos, ofrecían perfiles de precisión-por-energía superiores a los modelos SOTA existentes cuando se considera la eficiencia energética.

Significación y Reivindicaciones
El artículo afirma que, al optimizar los hiperparámetros para la eficiencia energética y el rendimiento, los profesionales pueden reducir el coste energético del ML sin sacrificar la calidad de la inferencia. Los autores argumentan que la dependencia actual de los recuentos de parámetros y FLOPs oscurece el verdadero coste ambiental de los modelos. Al proporcionar una herramienta que cuantifica el compromiso mediante una frontera de Pareto interpretable, ECOpt permite la toma de decisiones informadas respecto a los costes de despliegue y el impacto ambiental.

Los autores señalan modestamente que sus hallazgos sobre la mejora de SOTA en CIFAR-10 se deben en gran medida a la escasez de métricas de energía publicadas en el campo, más que a un avance fundamental en la arquitectura de modelos. Abogan por la adopción más amplia de métricas de energía en la publicación de modelos para fomentar la competencia y la concienciación. El trabajo también destaca que optimizar la eficiencia energética difiere de optimizar la latencia; mientras que la latencia suele favorecer las redes anchas para maximizar la utilización del hardware, la eficiencia energética puede requerir un equilibrio entre anchura y profundidad para minimizar el consumo de potencia, especialmente cuando el hardware no está totalmente saturado.

1. El Problema: El mito de "Más grande es mejor"

2. La Solución: El "Menú Inteligente" (ECOpt)

3. Descubrimientos Clave de los Experimentos

4. Encontrando Nuevas Recetas (Búsqueda de Arquitectura Neuronal)

La Conclusión

Más como este