Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

Imagina que acabas de construir un amigo robot superinteligente que vive justo dentro de tu ordenador, listo para responder preguntas, escribir historias o ayudarte a programar sin enviar jamás tus secretos a un servidor gigante en la nube. Este es el mundo de la inteligencia artificial "local", una tendencia que está explotando porque la gente busca privacidad y velocidad. Pero hay un inconveniente: estos robots cerebrales tienen hambre. Aunque sabemos desde hace tiempo que entrenar estos enormes cerebros de IA en superordenadores utiliza mucha electricidad (como alimentar una pequeña ciudad durante un día), no sabíamos realmente cuánta energía consume el simple hecho de hablar con ellos en un ordenador doméstico normal. Es como saber que un coche tiene un consumo de combustible pésimo en la autopista, pero no tener ni idea de cuánto combustible quema simplemente estando en ralentí en tu entrada mientras charlas con el conductor. A medida que más personas empiezan a ejecutar estos asistentes de IA en sus propios portátiles y PCs de juegos, comprender esa factura energética "activa" se convierte en una preocupación real tanto para tu bolsillo como para el planeta.

Aquí es exactamente donde intervino un equipo de investigadores de la Universidad de Ciencias Aplicadas FH Aachen en Alemania. Querían ver qué modelos de IA populares y de uso gratuito son los más "eficientes energéticamente" al ejecutarse en una tarjeta gráfica de consumo estándar, específicamente una NVIDIA RTX 4060 Ti, el tipo de tarjeta que podrías encontrar en un PC de juegos de gama alta. En lugar de limitarse a preguntar "¿Qué modelo da las mejores respuestas?", preguntaron: "¿Qué modelo da las mejores respuestas consumiendo la menor cantidad de electricidad?". Establecieron un experimento controlado donde alimentaron nueve modelos de IA de código abierto diferentes (que van desde modelos diminutos de 1 billón de parámetros hasta otros más grandes de 7 billones de parámetros) con un conjunto fijo de 15 preguntas, desde hechos simples como "¿Cuál es la capital de Francia?" hasta tareas complejas como escribir código o explicar conceptos profundos.

Los investigadores actuaron como detectives de la energía, utilizando una herramienta llamada nvidia-smi para comprobar el consumo de energía de la tarjeta gráfica dos veces cada segundo mientras los modelos trabajaban. Crucialmente, no solo midieron la potencia total; restaron cuidadosamente la potencia "en reposo" (idle) de base de la tarjeta para aislar el coste energético exacto del proceso de pensamiento de la IA. Su objetivo principal era calcular cuánta energía total (en Julios) requirió generar cada palabra (o "token") de la respuesta. Sus hallazgos sugieren que más grande no siempre es mejor cuando se trata de eficiencia. De hecho, los modelos diminutos, específicamente gemma3:1b y llama3.2:1b, resultaron ser los campeones de la eficiencia. Estos pequeños motores lograron generar una sola palabra de texto utilizando tan solo 0,56 Julios de energía y pudieron escupir más de 170 palabras por segundo.

En contraste, el modelo más grande de 7 billones de parámetros (Mistral) fue mucho menos eficiente, consumiendo hasta 4,4 veces más energía por palabra que el modelo diminuto más eficiente. El estudio también descubrió una sorpresa peculiar: uno de los modelos, qwen3.5:2b, utilizó una cantidad de energía sorprendentemente alta por cada instrucción (prompt). Los investigadores sugieren que esto no se debió a que el modelo fuera lento, sino a que estaba "pensando" internamente —utilizando una técnica llamada razonamiento extendido para planificar su respuesta antes de hablar— lo que consume energía adicional incluso si el resultado final es corto. Esto resalta que mirar simplemente la energía total para una pregunta completa puede ser engañoso; la verdadera métrica de eficiencia es cuánta energía requiere producir cada token. En última instancia, el artículo sugiere que para cualquiera que ejecute IA en su propio hardware, la opción más eficiente energéticamente no es necesariamente el modelo más potente o el más grande, sino aquel con la arquitectura y el tamaño adecuados para la tarea, demostando que, a veces, el cerebro más pequeño es el más ecológico.