Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

Imagina un mundo donde el software que hace funcionar nuestra vida moderna no es escrito solo por manos humanas, sino por inteligencia artificial. Estos asistentes digitales, conocidos como modelos de lenguaje de gran tamaño, se han vuelto tan competentes en la escritura de código que ahora forman parte del flujo de trabajo diario de millones de desarrolladores. Pueden terminar una frase de programación, depurar una función rota o construir un pequeño programa a partir de una descripción simple. Sin embargo, esta conveniencia conlleva un costo oculto. Cada vez que estos modelos piensan, consumen enormes cantidades de electricidad, contribuyendo a una huella de carbono creciente que amenaza al mismo entorno que esperamos proteger. A medida que la demanda de estas herramientas crece, los científicos se plantean una pregunta crítica: ¿cómo podemos hacerlas más rápidas y baratas sin quemar el planeta?

Para responder a esto, investigadores se propusieron recientemente probar cómo se comportan estas mentes artificiales cuando se trasladan de un tipo de hardware de computadora a otro. Durante años, los desarrolladores han sabido que ejecutar estos modelos en chips gráficos especializados, diseñados originalmente para videojuegos, es mucho más rápido que ejecutarlos en procesadores de computadora estándar. Pero la velocidad es solo la mitad de la historia. El equipo quería saber si este cambio a un hardware más rápido también ahorraba energía y, lo que es más importante, si cambiaba la calidad del código que producían los modelos. También tenían curiosidad por un truque sutil utilizado en el "prompting": darle al modelo algunos ejemplos de la tarea antes de pedirle que trabaje. ¿Ayuda el mostrarle al modelo una muestra del trabajo a ahorrar energía, o simplemente hace que el proceso sea más largo?

Los investigadores tomaron cinco modelos de codificación de código abierto diferentes y los sometieron a una prueba rigurosa. Ejecutaron el mismo conjunto de desafíos de programación en dos máquinas muy diferentes: un procesador de computadora estándar y un potente clúster de tarjetas gráficas. Midieron exactamente cuánta energía consumió cada ejecución, cuánto tiempo tomó y si el código generado realmente funcionaba. También compararon dos formas de pedir ayuda a los modelos. En el primer método, le dieron al modelo una tarea sin ejemplos, un enfoque de "zero-shot" (de cero disparos). En el segundo, proporcionaron tres ejemplos de tareas similares primero, un enfoque de "three-shot" (de tres disparos), para guiar el pensamiento del modelo.

Los resultados fueron impactantes y revelaron un claro compromiso entre la velocidad y la estabilidad. Cuando los modelos fueron trasladados al potente hardware gráfico, la diferencia en velocidad fue casi inimaginable. El tiempo para generar código cayó en más de un 99 por ciento, convirtiendo procesos que tomaban segundos en fracciones de segundo. Este aumento masivo de velocidad también condujo a una caída significativa en el uso de energía, con algunas tareas consumiendo casi un 90 por ciento menos de potencia que en el procesador estándar. Fue una clara victoria para la eficiencia. Sin embargo, la historia se volvió más complicada cuando los investigadores observaron la calidad del código.

Cuando se les pidió a los modelos que trabajaran sin ningún ejemplo, el cambio al hardware más rápido hizo que se comportaran de manera impredecible. Debido a que los chips gráficos procesan la información de una manera diferente a los procesadores estándar, los modelos a veces producían código que era estructuralmente diferente o simplemente fallaba en funcionar, incluso aunque las configuraciones fueran idénticas. Era como si la misma persona, al ser pedida para escribir una historia en dos habitaciones diferentes, llegara a finales completamente distintos. Esta inconsistencia fue más severa cuando los modelos se dejaron a su suerte para resolver las cosas por sí mismos.

La solución a esta inestabilidad resultó ser sorprendentemente simple. Cuando los investigadores proporcionaron tres ejemplos antes de pedir al modelo que escribiera código, el comportamiento cambió drásticamente. Los modelos se volvieron mucho más consistentes, produciendo resultados fiables independientemente de en qué computadora estuvieran ejecutándose. Además, este método de mostrar ejemplos también ahorró energía. Al darle al modelo un camino claro a seguir, evitó generar charlas innecesarias o explicaciones largas que a menudo llenan la salida cuando no se proporcionan ejemplos. Este enfoque de "three-shot" recortó la grasa del proceso, reduciendo el consumo de energía en más del 60 por ciento en algunas pruebas y haciendo que la generación de código fuera tanto más rápida como más precisa.

El estudio sugiere finalmente que simplemente comprar hardware más rápido no es suficiente para resolver los problemas de energía y calidad en la inteligencia artificial. Si bien el traslado a potentes tarjetas gráficas hace que el proceso sea increíblemente eficiente, no garantiza mejores resultados por sí solo. De hecho, sin la guía adecuada, la velocidad puede tener como costo la fiabilidad. La estrategia más efectiva encontrada fue una combinación de ambas: usar el hardware potente para la velocidad, pero emparejarlo con un estilo de "prompting" que le dé al modelo algunos ejemplos a seguir. Este enfoque no solo mantuvo bajo el uso de energía, sino que también aseguró que el código producido fuera estable y correcto.

Al final, la investigación destaca que el futuro de la inteligencia artificial verde depende de cómo hacemos las preguntas, no solo de qué máquinas usamos. Al diseñar cuidadosamente cómo interactuamos con estos modelos, podemos aprovechar su velocidad sin sacrificar la calidad de su trabajo o la salud de nuestro planeta. El camino a seguir no es solo construir computadoras más grandes y rápidas, sino encontrar el equilibrio adecuado entre las herramientas que usamos y las instrucciones que les damos.