💻 computer science

LLM-Guided Runtime Parameter Optimization for Energy-Efficient Model Inference

Este artículo propone un marco de bucle humano-en-el-bucle que aprovecha los LLM con indicaciones de retroalimentación especializadas para optimizar rápida y eficientemente los parámetros de tiempo de ejecución para la inferencia de modelos energéticamente eficientes, superando a los métodos de búsqueda tradicionales como el muestreo de Sobol tanto en velocidad de convergencia como en consumo energético final.

Autores originales: Katelyn Crumpacker, Dimitrios Nikolopoulos

Publicado 2026-05-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Katelyn Crumpacker, Dimitrios Nikolopoulos

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un coche muy potente y de alto rendimiento (el modelo de IA) que necesitas conducir para realizar un trabajo. El problema es que este coche consume mucha gasolina. Bebe una cantidad masiva de combustible (energía) cada vez que giras la llave, y si lo dejas al ralentí o lo conduces de manera ineficiente, estás desperdiciando dinero y dañando el medio ambiente.

Por lo general, para hacer que este coche sea más eficiente, tendrías que contratar a un equipo de mecánicos para ajustar el motor, cambiar las llantas y regular la mezcla de combustible. Probaban una configuración, conducían una milla, revisaban el medidor de combustible y luego probaban otra configuración. Este proceso de "prueba y error" puede tardar días, y es posible que ni siquiera encuentren la configuración perfecta.

Este artículo presenta un nuevo mecánico: un "Copiloto" de IA (un Modelo de Lenguaje Grande o LLM) que aprende a ajustar el motor del coche en tiempo real, utilizando muchas menos pruebas de conducción.

Así es como los investigadores lo hicieron, desglosado en conceptos simples:

1. El Problema: La "Caja Negra" del Ajuste

Ejecutar modelos de IA requiere girar muchos "perillas" (como cuánta memoria usar, cuántas solicitudes manejar a la vez o qué tan rápido debe funcionar el procesador). Girar estas perillas cambia la cantidad de energía que consume la computadora.

La Vieja Forma: Adivinas una configuración, ejecutas la prueba, ves el resultado y adivinas de nuevo. Es como intentar encontrar la temperatura perfecta para una ducha girando el dial al azar hasta que no te quemes.
El Problema: Esto toma demasiado tiempo y consume demasiada energía solo para descubrir las configuraciones.

2. La Solución: El "Copiloto Inteligente"

Los investigadores crearon un sistema donde una segunda IA (el Copiloto) observa cómo trabaja la primera IA (el Coche).

El Bucle: El Copiloto sugiere una nueva configuración (como "sube un poco la perilla de memoria"). El sistema ejecuta la prueba. El Copiloto observa el resultado ("¡Guau, eso consumió menos combustible!") y utiliza esa información para hacer una sugerencia más inteligente para el siguiente giro.
El Toque Humano: Un humano actúa como el "controlador de tráfico". Establece las reglas (por ejemplo, "no rompas el motor") y se asegura de que el Copiloto se mantenga en la pista correcta, pero no gira las perillas manualmente.

3. El Secreto: Mejores "Instrucciones"

Los investigadores descubrieron que la forma en que le pides al Copiloto importa.

El Prompt "Esqueleto": Intentaron darle al Copiloto instrucciones muy simples, como "Aquí están los datos, adivina la siguiente configuración". Esto funcionó más o menos, pero el Copiloto estaba un poco disperso.
El Prompt "Mejorado": Le dieron al Copiloto una guía estructurada. Dijeron: "Aquí está el contexto, aquí está el objetivo, aquí está lo que sucedió la última vez y aquí está exactamente cómo pensar el siguiente paso".
El Resultado: El Copiloto "Mejorado" fue como un piloto de carreras experimentado que conoce la pista. Encontró las configuraciones más eficientes en combustible mucho más rápido (en aproximadamente 3.4 intentos) en comparación con la versión "Esqueleto" (que tardó aproximadamente 5.2 intentos) y mucho más rápido que los métodos de adivinanza aleatoria.

4. La Prueba de Conducción

Probaron esto en dos tipos diferentes de "coches":

Procesamiento de Texto: Usando un sistema llamado vLLM para leer y escribir texto.
Procesamiento de Imágenes: Usando un sistema llamado PyTorch para mirar imágenes y responder preguntas sobre ellas.

Los Resultados:

Ajuste Más Rápido: El Copiloto de IA encontró las mejores configuraciones en menos intentos que los métodos tradicionales basados en matemáticas (que tuvieron que probar docenas de combinaciones aleatorias).
Menos Combustible: Las configuraciones finales utilizaron significativamente menos energía por palabra o imagen procesada.
Velocidad Extra: Curiosamente, al centrarse en ahorrar energía, el coche en realidad se volvió más rápido. Procesó más palabras por segundo mientras usaba menos energía. Es como encontrar una ruta de conducción que ahorra gasolina y te lleva al destino antes.

5. El Costo del Copiloto

Podrías preguntar: "¿El Copiloto en sí consume mucha energía?"
Los investigadores calcularon que la energía utilizada por el Copiloto para descubrir las configuraciones es muy pequeña. Es como el costo de una sola taza de café. Una vez que has conducido el coche unas seis veces (o procesado seis lotes de trabajo), el combustible ahorrado al usar las configuraciones del Copiloto paga completamente el costo del café. Después de eso, estás ahorrando energía puramente.

Resumen

En resumen, este artículo muestra que podemos usar una IA para enseñar a otra IA a funcionar de manera más eficiente. En lugar de adivinar a ciegas o ejecutar pruebas costosas y lentas, una IA inteligente y guiada puede aprender rápidamente el "punto dulce" para el uso de energía, ahorrando energía y tiempo para todos.

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se integran cada vez más en flujos de trabajo del mundo real, pero sus procesos de inferencia consumen una cantidad significativa de energía. Un desafío crítico es seleccionar los parámetros de tiempo de ejecución óptimos (por ejemplo, tamaños de lote, utilización de memoria, precisión) para minimizar el consumo de energía (específicamente Julios por token) sin sacrificar el rendimiento.

Limitaciones Actuales: Los métodos de optimización tradicionales (por ejemplo, búsqueda en cuadrícula, búsqueda aleatoria, optimización bayesiana) a menudo requieren una exploración exhaustiva del espacio de parámetros, tardando días en converger. Carecen de la capacidad de adaptarse dinámicamente a las restricciones de hardware específicas o a la retroalimentación del sistema de manera eficiente.
Objetivo: Los autores buscan determinar si un LLM puede actuar como un agente de decisión adaptativo para proponer iterativamente configuraciones de tiempo de ejecución que minimicen el consumo de energía más rápido que las técnicas tradicionales de optimización de caja negra.

2. Metodología

Los autores proponen un marco de trabajo con intervención humana donde un LLM externo (específicamente Claude) guía la optimización de los parámetros de inferencia para otros LLMs.

A. Arquitectura del Sistema

Sistemas Objetivo: El marco fue probado en dos backends de inferencia distintos:
1. vLLM: Sirviendo el modelo Llama-3.2-3B para cargas de trabajo basadas en texto.
2. PyTorch: Sirviendo el modelo multimodal Qwen3-VL-4B-Instruct para cargas de trabajo de imagen-texto.
Hardware: Los experimentos se realizaron en un servidor con una única NVIDIA Tesla V100 (16 GB de VRAM).
Medición: El consumo de energía (Julios), el tiempo de pared y el rendimiento se midieron utilizando la Biblioteca de Gestión de NVIDIA (NVML) para muestrear el uso de energía de la GPU.

B. El Bucle de Optimización

Espacio de Búsqueda: Los parámetros se dividen en cuatro categorías:
- Utilización de memoria (por ejemplo, tamaño de bloque, fracción de memoria).
- Control de lote y ejecución (por ejemplo, secuencias máximas, tamaño de lote).
- Precisión y computación (por ejemplo, fp16 vs. fp32).
- Restricciones de hardware (por ejemplo, límites de potencia de la GPU).
Mecanismo de Retroalimentación: Después de cada ejecución de inferencia, se recopilan las métricas de energía. Estas métricas se retroalimentan al LLM mediante un prompt para guiar la siguiente propuesta de configuración.
Estrategias de Prompting: Los autores compararon dos enfoques de prompting:
- Línea Base (No Estructurado): Proporciona información mínima (parámetros anteriores y métricas) al LLM.
- Mejorado (Estructurado): Utiliza técnicas de prompting específicas que incluyen:
  - Repetición: Reiterar el objetivo.
  - Información de Fondo: Proporcionar especificaciones de hardware y descripciones de parámetros.
  - Restricciones del Proceso de Búsqueda: Guiar al LLM para que se enfoque en una sola tarea (minimizar la energía) en lugar de la optimización multi-tarea.
  - Enmarcado de la Tarea: Definir claramente la estructura de entrada/salida.

C. Líneas Base

Muestreo Sobol: Un método de muestreo cuasi-aleatorio determinista utilizado como línea base para garantizar una cobertura uniforme del espacio de búsqueda.
Configuración Predeterminada: La configuración estándar de los motores de inferencia.

3. Contribuciones Clave

Marco de Optimización Guiado por LLM: Un enfoque novedoso que utiliza un LLM externo como agente adaptativo para ajustar iterativamente los parámetros de tiempo de ejecución basándose en la retroalimentación del sistema, reemplazando la búsqueda exhaustiva.
Ingeniería de Prompts Consciente de la Energía: El diseño de una "Plantilla de Prompt Mejorada" especializada que mejora significativamente la capacidad del LLM para converger hacia configuraciones eficientes energéticamente en comparación con prompts no estructurados.
Validación Transversal de Backends: Evaluación empírica en dos sistemas de inferencia diferentes (vLLM y PyTorch) y dos modalidades (texto y multimodal), demostrando la generalización del enfoque.
Reducción de la Sobrecarga de Búsqueda: Demostración de que el ajuste guiado por LLM converge a configuraciones de energía casi óptimas con significativamente menos evaluaciones que la optimización tradicional de caja negra.

4. Resultados Clave

A. Velocidad de Convergencia

vLLM (Texto): El Prompt Mejorado convergió al umbral objetivo (1.80 J/token) en un promedio de 3.4 iteraciones, en comparación con 5.2 iteraciones para el Prompt de Línea Base. Esta diferencia fue estadísticamente significativa ( $p=0.0086$ ).
PyTorch (Multimodal): El Prompt Mejorado alcanzó el umbral de energía por token en 4.2 iteraciones, mientras que la Línea Base requirió 6 iteraciones (y no logró alcanzar el umbral en las 5 ejecuciones dentro del límite).

B. Eficiencia Energética Final

vLLM: El Prompt Mejorado logró consistentemente un menor mínimo de energía por token que la Línea Base en las 5 ejecuciones experimentales (por ejemplo, 1.68 J/token vs. 1.75 J/token en el mejor caso).
PyTorch: El Prompt Mejorado logró una energía significativamente menor por incrustación de imagen (27.5 J/imagen) en comparación con el muestreo Sobol (82.5 J/imagen).

C. Comparación con el Muestreo Sobol

vLLM: El muestreo Sobol requirió evaluar 30 configuraciones (tardando ~24 horas) para encontrar un resultado (1.72 J/token) comparable a lo que el LLM logró en un promedio de 3.4 prompts.
PyTorch: El muestreo Sobol sufrió una alta tasa de fallos (55/64 ejecuciones resultaron en errores de falta de memoria debido a configuraciones de precisión fp32), mientras que el LLM navegó con éxito por estas restricciones.

D. Compensación entre Rendimiento y Energía

Contrario a la compensación típica donde la eficiencia energética reduce el rendimiento, las configuraciones optimizadas aumentaron el rendimiento en un 76% (de 33.5 a 59 tokens/s) al mismo tiempo que reducían la energía. Esto indica un cambio hacia una región operativa más eficiente en el sentido de Pareto.

E. Sobrecarga de Optimización

El costo energético del proceso de optimización en sí mismo (prompts del LLM) se estimó en ~43,200 J. El sistema alcanza un "punto de equilibrio" (donde los ahorros superan la sobrecarga) después de aproximadamente 5.65 cargas de trabajo (1,000 prompts cada una), haciendo que la sobrecarga sea insignificante para un uso sostenido.

5. Significado

Este trabajo destaca el potencial de la optimización de sistemas asistida por IA. Demuestra que los LLMs, cuando se guían mediante prompts estructurados y supervisión humana, pueden actuar como agentes inteligentes para resolver problemas complejos de optimización de alta dimensión en entornos HPC.

Escalabilidad: El método reduce el costo computacional de encontrar configuraciones óptimas, lo cual es crucial a medida que los espacios de parámetros crecen en sistemas heterogéneos de múltiples nodos.
Adaptabilidad: A diferencia de los métodos de optimización estáticos, este enfoque puede adaptarse dinámicamente a restricciones de hardware específicas y estados de error (por ejemplo, errores OOM) en tiempo real.
Impacto Futuro: Los resultados sugieren un camino hacia sistemas de inferencia de auto-optimización que se adaptan continuamente a los cambios en la carga de trabajo y el hardware para maximizar la eficiencia energética sin intervención humana.