🤖 machine learning

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

WattGPU introduce un marco novedoso que predice con precisión el consumo de energía y la latencia de inferencia de los modelos de lenguaje extensos en GPUs y LLMs no vistos utilizando únicamente metadatos públicos, superando significativamente a las bases físicas tradicionales sin requerir el perfilado del hardware.

Autores originales: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando alquilar un coche para un viaje por carretera, pero no sabes qué coche es el más eficiente en cuanto a combustible para tu equipaje y ruta específicas. Normalmente, para averiguarlo, tendrías que conducir físicamente cada uno de los coches del mercado con tu equipaje exacto, medir el combustible y cronometrar el viaje. Eso llevaría una eternidad y costaría una fortuna.

Este artículo presenta WattGPU, un "oráculo" para chips informáticos (GPUs) y modelos de IA (LLMs). En lugar de conducir cada coche, WattGPU predice exactamente cuánta energía utilizará un modelo de IA específico y con qué rapidez se ejecutará en un chip informático determinado, simplemente mirando sus hojas de especificaciones.

Aquí está el desgeglo de cómo funciona, utilizando analogías sencillas:

El Problema: El "Juego de las Adivinanzas"

Las grandes empresas y las pequeñas empresas están utilizando cada vez más chatbots de IA. Estos chatbots necesitan chips informáticos potentes (GPUs) para funcionar.

El Probleo: No todos los chips son iguales. Ejecutar un modelo de IA pequeño en un chip masivo y potente es como poner la llanta de una bicicleta en un camión de carga: se desperdicia una enorme cantidad de combustible (electricidad).
La Forma Antigua: Para encontrar la mejor combinación, los operadores tenían que probar físicamente cada combinación de modelo de IA y chip informático. Esto es costoso, lento y requiere poseer todo el hardware.
La Brecha: Las herramientas existentes podían suponer, pero fallaban cuando se encontraban con un nuevo chip o un nuevo modelo de IA que no habían visto antes.

La Solución: WattGPU (El "Oráculo de la Hoja de Especificaciones")

Los autores construyeron dos modelos de predicción inteligentes (como una calculadora muy avanzada) que solo necesitan información pública:

El "Currículum" de la IA: ¿Qué tan grande es? ¿Cuántas capas tiene? (Metadatos de Hugging Face).
La "Hoja de Especificaciones" del Chip: ¿Qué tan rápido es? ¿Cuánta memoria tiene? ¿Cuál es su límite de potencia máxima? (Especificaciones del fabricante).

El Truco de Magia:
El sistema aprende la "personalidad" de diferentes chips y modelos de IA. Una vez entrenado, puede mirar un chip nuevo que nunca ha visto y un modelo de IA nuevo que nunca ha conocido, y adivinar con precisión:

Consumo de Energía: ¿Cuántos vatios de electricidad absorberá?
Latencia (ITL): ¿Cuánto tiempo tardará en generar una palabra (token) de texto?

La Analogía: La Cocina de un Restaurante

Piensa en el modelo de IA como una receta y en la GPU como una cocina.

Algunas recetas son simples (hacer una tostada); otras son complejas (un banquete de 10 platos).
Algunas cocinas tienen estufas pequeñas; otras tienen hornos industriales.

Método Antiguo: Tienes que cocinar la receta en cada cocina para ver cuánto gas utiliza y cuánto tarda.
Método WattGPU: Miras la lista de ingredientes de la receta y el tamaño de la estufa de la cocina. El sistema predice: "Si cocinas esta receta específica en esa cocina específica, usarás un 13% menos de gas de lo que crees, y te tomará 5 segundos por plato".

¿Qué Demostraron?

Los investigadores probaron WattGPU en un conjunto de datos masivo de 42 modelos de IA diferentes y 8 chips de grado de servidor diferentes. Utilizaron un método de prueba estricto llamado "Leave-One-Out" (Dejar uno fuera), que es como tomar un examen donde se te prohíbe estudiar la pregunta específica que vas a responder.

Los Resultados:
- Predicción de Potencia: Fue increíblemente precisa. Para tareas fuera de línea (procesamiento por lotes/batch), el error fue de menos del 3.4%. Para tareas de servidor (chat en tiempo real), el error fue de menos del 13.5%.
- Predicción de Velocidad: Para el chat en tiempo real, el error fue de menos del 8.5%.
- Clasificación: Fue excelente para decirte qué chip es mejor que otro, incluso si los números exactos no eran perfectos.

¿Por qué esto Importa? (El Momento de Revelación)

El artículo destaca un hallazgo sorprendente utilizando un ejemplo específico: Llama 3.1 8B.

Si solo miras la "clasificación de eficiencia de combustible" (TDP) de un chip, podrías pensar que un chip pequeño y de baja potencia (L4) es la mejor opción.
Sin embargo, WattGPU predijo que este pequeño chip sería demasiado lento para cumplir con los requisitos de velocidad.
El chip "obvio" de alta potencia (H100) era rápido pero desperdiciaba un 43% más de energía que un chip de tamaño medio (A30) que era igual de rápido.
La Lección: WattGPU encontró el chip "Goldilocks" (el punto justo): aquel que es lo suficientemente rápido pero no desperdicia energía. Sin esta herramienta, la gente habría elegido el chip equivocado y desperdiciado enormes cantidades de electricidad y dinero.

Lo que No Hace (Los Límites)

El artículo es honesto sobre lo que WattGPU aún no puede hacer:

Funciona mejor en modelos de IA "densos" estándar. Todavía no maneja modelos complejos de "Mezcla de Expertos" (Mixture of Experts), que son como un equipo de especialistas trabajando juntos, ni modelos que han sido fuertemente comprimidos (cuantizados).
Tiene un poco más de dificultad con las velocidades de procesamiento por lotes (batch) "fuera de línea" en comparación con las velocidades de chat en tiempo real, porque el software se comporta de manera diferente cuando procesa lotes enormes a la vez.

La Conclusión

WattGPU es una herramienta que te permite saltarte las pruebas físicas. Al utilizar únicamente las especificaciones públicas, ayuda a los operadores a elegir el chip informático adecuado para su IA, ahorrando dinero y electricidad sin necesidad de construir un laboratorio lleno de hardware para probar cada posibilidad. Convierte el "juego de las adivinanzas" del despliegue de la IA en una predicción calculada.

Resumen Técnico: WattGPU

Declaración del Problema
La rápida proliferación de las cargas de trabajo de inferencia de Modelos de Lenguaje Extensos (LLM), particularmente en despliegues de pequeñas y medianas empresas, ha creado una huella energética significativa y creciente. Optimizar estos despliegues requiere emparejar LLMs específicos con las GPUs más eficientes energéticamente. Sin embargo, los operadores carecen actualmente de herramientas para realizar este emparejamiento sin perfilar exhaustivamente cada combinación potencial de LLM-GPU en hardware físico. Este proceso de perfilado es prohibitivamente costoso, ya que requiere acceso físico a hardware diverso, experiencia especializada y recursos significativos. Los modelos predictivos existentes dependen de datos de perfilado o no logran generalizar a hardware no visto durante el entrenamiento, lo que deja un vacío en la capacidad de estimar el consumo de energía y la latencia para configuraciones no vistas utilizando únicamente metadatos públicos.

Metodología
Para abordar esto, los autores presentan WattGPU, un marco que cuenta con dos modelos predictivos para el Consumo de Energía Medio de la GPU ( $\bar{P}$ ) y la Latencia Inter-Token (ITL). La innovación central es que estos modelos requieren cero acceso al hardware o perfilado una vez entrenados; dependen exclusivamente de metadatos públicos de LLM (por ejemplo, conteo de parámetros, capas, cabezales de atención de Hugging Face) y especificaciones del fabricante de la GPU (por ejemplo, TDP, ancho de banda de memoria, velocidades de reloj).

Ingeniería de Características: Los autores derivaron características para capturar la dinámica del hardware, incluyendo un Ratio de Boosting (escalado de frecuencia), Latencia de Ancho de Banda (tiempo para leer pesos) y Latencia de Cómputo (límite inferior teórico para la computación de tokens).
Arquitectura del Modelo: Los autores evaluaron varios algoritmos y seleccionaron XGBoost (Árboles de Regresión de Gradiente Potenciado) como el modelo óptimo.
- Para la predicción de potencia, la variable objetivo se normaliza por el TDP (Potencia de Diseño Térmico) de la GPU para aprender un comportamiento invariante de la escala, facilitando la generalización a GPUs no vistas.
- Los hiperparámetros se ajustaron mediante búsqueda de cuadrícula (grid search), con configuraciones específicas para potencia (max_depth=6, n_estimators=100) y latencia (max_depth=5, n_estimators=200).
Estrategia de Evaluación: Los modelos fueron evaluados en un conjunto de datos que comprende 42 LLMs de código abierto (0.1B–27B parámetros) y 8 GPUs de nivel de servidor (que van desde V100 hasta H200). La evaluación utilizó estrategias rigurosas de validación cruzada:
1. Validación Cruzada de 5 pliegues (5-fold CV): Generalización a combinaciones conocidas de hardware/modelos de (GPU, LLM).
2. Leave-One-GPU-Out (LOGO): Generalización a GPUs completamente no vistas.
3. Leave-One-LLM-Out (LOLO): Generalización a LLMs completamente no vistos.
  Los escenarios incluyeron Offline (máximo rendimiento/throughput) y Server (solicitudes distribuidas según Poisson con restricciones de latencia).

Resultos Clave
Los modelos WattGPU demuestran mejoras significativas sobre las líneas de base analíticas (TDP escalado por carga para potencia y Roofline para latencia), particularmente en escenarios de generalización.

Consumo de Energía Medio ( $\bar{P}$ ):
- GPUs no vistas (LOGO): Logró un Error Absoluto de Porcentaje de la Mediana (MdAPE) de ≤3.4% para escenarios offline y ≤13.5% para escenarios de servidor.
- Ranking: Mantuvo fuertes correlaciones de ranking de GPU para escenarios de servidor (Kendall $\tau \ge 0.76$ ).
- Comparación con Línea de Base: Redujo el MdAPE aproximadamente 2× para GPUs completamente no vistas y 4× para combinaciones de LLM-GPU no vistas en escenarios de servidor en comparación con las líneas de base más fuertes.
Latencia Inter-Token (ITL):
- Escenarios de Servidor: Logró un MdAPE de ≤8.5% en GPUs no vistas (LOGO).
- Escenarios Offline: El rendimiento fue más desafiante, con un MdAPE de 24.9% en GPUs no vistas, aunque el modelo sigue superando a la línea de base de Roofline en error absoluto (24.9% vs. 80.2% para LOGO).
- Ranking: Los modelos alcanzaron una alta calidad de ranking, con Kendall $\tau \ge 0.76$ para escenarios de servidor.

Significancia y Reivindicaciones
El artículo afirma presentar los primeros modelos predictivos para la potencia y latencia de inferencia de LLM evaluados específicamente en GPUs no vistas. Su principal significancia radica en permitir decisiones de despliegue conscientes de la energía sin necesidad de benchmarking físico.

Impacto Práctico: Los autores ilustran que las heurísticas estándar (como TDP o TFLOPS/Watt) pueden ser engañosas. Por ejemplo, seleccionar una H100 sobre una A30 para un despliegue de Llama 3.1 8B de baja carga podría parecer eficiente basado en TFLOPS/Watt, pero WattGPU predice que esta última consumiría 43% más de energía mientras cumple con el mismo SLA de latencia.
Sostenibilidad: Al permitir que los operadores seleccionen la GPU más eficiente para un LLM y escenario de carga específicos, la herramienta contribuye directamente a reducir los costos operativos y las emisiones de carbono, alineándose con los objetivos de sostenibilidad y las regulaciones emergentes como la Ley de IA de la UE.
Limitaciones y Trabajo Futuro: Los autores reconocen que la predicción de ITL en escenarios offline sigue siendo difícil (MdAPE 24.9%) porque las características estáticas no pueden capturar completamente los comportamientos de loteo dinámico (por ejemplo, el continuous batching de vLLM). El trabajo futuro busca incorporar características conscientes de la carga de trabajo y extender el enfoque a modelos de Mezcla de Expertos (MoE) y modelos cuantizados. La evaluación actual está limitada a modelos densos en configuraciones de una sola GPU.