Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference

Resumen Técnico: Green Prompting

1. El Problema

La adopción masiva de Modelos de Lenguaje Grandes (LLM) ha generado preocupaciones críticas sobre su sostenibilidad y viabilidad financiera, más allá de los costos de entrenamiento. Aunque el entrenamiento consume mucha energía, la inferencia (la generación de respuestas a partir de datos no vistos) representa hasta el 65% de la huella de carbono del ciclo de vida de un modelo de IA debido al volumen masivo de llamadas diarias.

Hasta la fecha, la investigación se ha centrado principalmente en la eficiencia del hardware, la arquitectura del modelo y el paralelismo. Sin embargo, existe un vacío de conocimiento sobre cómo las características de los "prompts" (entradas) y las respuestas generadas influyen directamente en el consumo energético. La pregunta central es: ¿Puede la ingeniería de prompts (diseño de la entrada) optimizar la eficiencia energética sin sacrificar la funcionalidad?

2. Metodología

Los autores realizaron un estudio empírico riguroso para medir el consumo energético de la inferencia de LLMs bajo diferentes condiciones.

• Modelos Seleccionados: Se utilizaron tres modelos de código abierto basados en la arquitectura Transformer, todos con 7 mil millones de parámetros para controlar la variable del tamaño del modelo:
  • Mistral 7B: Familia Mistral, ventana de contexto de 8K.
  • Gemma 7B: Familia Google, entrenado en texto, código y matemáticas, ventana de 8K.
  • Vicuna 7B: Versión ajustada de Llama 2, ventana de contexto de 2048 tokens.
• Tareas Evaluadas: Se probaron tres tipos de tareas con 1,000 prompts cada una (total 3,000 prompts por configuración de hiperparámetros):
  1. Respuesta a Preguntas (Q&A): Comprensión lectora basada en artículos de Wikipedia.
  2. Análisis de Sentimiento: Clasificación binaria (positivo/negativo) de reseñas y tweets.
  3. Generación de Texto: Reescritura, resumen y creación de contenido narrativo.
• Configuración Experimental:
  • Hardware: Cluster local con una sola GPU NVIDIA A100 para aislar el consumo energético y evitar ruido.
  • Hiperparámetros: Se variaron sistemáticamente la temperatura (0.3, 0.5, 0.7), el tiempo máximo, el número máximo de nuevos tokens y la configuración de baja memoria.
  • Instrumentación: Se utilizó la biblioteca ZEUS (que emplea NVML de NVIDIA) para medir el consumo de energía de la GPU y la latencia en tiempo real durante cada inferencia.
  • Escala: Se ejecutaron 891,000 solicitudes de inferencia únicas combinando configuraciones de modelos, prompts y hiperparámetros.

3. Contribuciones Clave

El estudio aporta cuatro contribuciones principales al campo de la IA sostenible:

1. Sistema de Medición Experimental: Un marco reproducible para capturar el consumo energético en operaciones de inferencia "one-shot" (una sola vez) en cargas de trabajo representativas de producción.
2. Análisis de Características de Respuesta: Demostración cuantitativa de que la longitud de la respuesta (en tokens) tiene una correlación mucho más fuerte con el consumo energético que la longitud del prompt de entrada.
3. Impacto Semántico y de Tarea: Evidencia de que el tipo de tarea y la semántica del prompt (el significado de las palabras) son los impulsores principales del comportamiento de generación y, por ende, del costo energético.
4. Reducción Energética Basada en Palabras Clave: Identificación de que el uso de ciertas palabras clave específicas en los prompts puede reducir el consumo energético hasta en un 50-60% dependiendo de la tarea y el modelo.

4. Resultados Principales

• Longitud de la Respuesta vs. Longitud del Prompt:

  • Existe una correlación positiva muy fuerte (0.9) entre la longitud de la respuesta generada y el consumo de energía.
  • Por el contrario, la longitud del prompt de entrada tiene una correlación débil (0.08-0.19) con el consumo energético.
  • Conclusión: El costo energético se determina principalmente por cuántos tokens el modelo debe generar, no por cuántos recibe.

• Diferencias entre Modelos:

  • Mistral 7B fue el más eficiente en promedio (547 J).
  • Gemma 7B consumió más energía en total (727 J), no porque fuera ineficiente por token (0.1 J/tok, la mejor), sino porque tendía a generar respuestas más verbosas y largas.
  • Vicuna 7B mostró la mayor variabilidad y consumió 700 J en promedio.

• Impacto de la Tarea:

  • El Análisis de Sentimiento fue la tarea menos costosa (<500 J) debido a que requiere respuestas concisas.
  • La Generación de Texto y las Preguntas y Respuestas (Q&A) fueron las más costosas debido a la necesidad de respuestas detalladas y extensas.

• Palabras Clave (Keywords):

  • Ciertas palabras en los prompts actúan como detonantes de respuestas largas.
  • Palabras de alto consumo: "explain" (explicar), "justify" (justificar), "analyse" (analizar) y "generate" (generar) se asociaron consistentemente con los mayores consumos de energía.
  • Palabras de bajo consumo: "classify" (clasificar), "summarize" (resumir) y "identify" (identificar) se asociaron con respuestas más cortas y menor consumo.
  • Ejemplo: En la tarea de generación de texto, cambiar la palabra clave de "analyse" a "classify" podría reducir el consumo energético en un 68% para el modelo Mistral.

• Emoticonos: Se observó que el modelo Vicuna utilizaba emoticonos en más del 40% de sus respuestas. Dado que un emoji se representa por múltiples tokens, esto aumentó el costo de generación, especialmente en respuestas cortas donde la proporción de tokens de emoticonos es mayor.

5. Significado e Implicaciones

Este estudio redefine la estrategia de optimización de LLMs:

• Ingeniería de Prompts como Herramienta de Sostenibilidad: La eficiencia energética no depende solo del hardware o del modelo, sino también del diseño de la entrada del usuario. Una ingeniería de prompts consciente de la energía puede reducir drásticamente la huella de carbono de las aplicaciones de IA.
• Compensación (Trade-off) Calidad vs. Energía: Existe una tensión entre la completitud de la respuesta y el costo energético. Los desarrolladores deben decidir si es necesario un nivel de detalle que justifique el costo energético adicional.
• Selección de Modelos: La arquitectura similar no garantiza un comportamiento energético similar. La "verbosidad" aprendida durante el entrenamiento es un factor crítico; un modelo con mayor eficiencia por token puede ser más costoso en total si genera respuestas excesivamente largas.
• Futuro: El trabajo sienta las bases para el desarrollo de sistemas predictivos que estimen el costo energético antes de la ejecución y para la creación de herramientas de optimización automática de prompts basadas en la semántica.

En resumen, el artículo concluye que la semántica del prompt es un impulsor fundamental del costo de inferencia, y que la optimización a nivel de entrada del usuario es una vía viable y necesaria para lograr operaciones de LLM más sostenibles.