🤖 AI

Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task

Este artículo demuestra que la destilación de conocimiento consciente de la energía, guiada por modelos directos de sustitución de energía en lugar de las métricas tradicionales de FLOPs, reduce significativamente el consumo de energía de inferencia y el uso de memoria para los grandes modelos de lenguaje en tareas de ingeniería de software, manteniendo al mismo tiempo el rendimiento.

Autores originales: Enrique Barba Roque, Luís Cruz, Annibale Panichella

Publicado 2026-08-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Enrique Barba Roque, Luís Cruz, Annibale Panichella

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno del software, ha emergido un nuevo tipo de inteligencia: los modelos de lenguaje de gran tamaño. Estos son vastos sistemas informáticos entrenados con enormes bibliotecas de código, capaces de comprender lenguajes de programación y ayudar a los desarrolladores a escribir, corregir y explicar software. Si bien estas herramientas son increíblemente poderosas, conllevan un alto precio. Ejecutarlas requiere centros de datos masivos llenos de hardware especializado que devora electricidad, contribuyendo significativamente al consumo de energía y a la presión ambiental. Debido a que estos sistemas son tan grandes, a menudo no pueden ejecutarse en las computadoras portátiles o personales que la mayoría de la gente usa todos los días. Para hacer que estas herramientas sean más sostenibles y accesibles, los investigadores han recurrido a una técnica llamada destilación de conocimiento. Imagine a un maestro experto transmitiendo su conocimiento a un estudiante más pequeño; en esta versión digital, un modelo masivo y complejo enseña a un modelo mucho más pequeño y simple cómo realizar las mismas tareas. El objetivo es mantener al modelo más pequeño lo suficientemente inteligente como para ser útil, mientras se lo hace lo suficientemente pequeño para que se ejecute eficientemente en el hardware cotidiano.

Un equipo de investigadores de la Universidad Tecnológica de Delft se propuso probar qué tan bien funciona este proceso para las tareas de ingeniería de software, centrándose específicamente en cómo medir el costo energético de estos modelos. Durante años, la industria ha dependido de una métrica estándar llamada operaciones de punto flotante, o FLOPs, para estimar cuánta energía utilizará un modelo. Este número cuenta los cálculos matemáticos teóricos que un modelo debe realizar. Sin embargo, los investigadores sospechaban que este número podría ser engañoso, de forma muy similar a contar los pasos de un viaje sin tener en cuenta el terreno o el clima. Para encontrar la verdad, llevaron a cabo un experimento controlado utilizando un método sofisticado que busca automáticamente los mejores modelos pequeños posibles. Probaron esto en dos tipos distintos de problemas: encontrar código duplicado y predecir fallos de seguridad en el software.

El estudio comenzó planteando una pregunta simple pero crítica: ¿coincide el número teórico de cálculos con la energía real utilizada? Los investigadores ejecutaron los modelos en hardware informático real y midieron la electricidad consumida por el procesador y la tarjeta gráfica durante el trabajo. Los resultados fueron sorprendentes e inconsistentes. Para la tarea de encontrar código duplicado, el recuento teórico de cálculos casi no tenía conexión con la electricidad real utilizada. Un modelo que realizaba menos cálculos podía, a veces, consumir más energía que un modelo que realizaba muchos más cálculos. Por el contrario, para la tarea de predecir fallos de seguridad, el recuento de cálculos sí mostró una relación con el uso de energía, pero incluso allí, no era una guía perfecta. Algunos modelos con recuentos de cálculos altos utilizaban significativamente menos potencia que otros con recuentos más bajos. Esto demostró que la métrica estándar de la industria no es una forma fiable de juzgar la eficiencia energética a través de diferentes tipos de tareas de software.

Debido a que la métrica antigua era defectuosa, el equipo desarrolló un nuevo enfoque. En lugar de adivinar el uso de energía basándose en recuentos matemáticos, construyeron un sistema que aprende de mediciones reales. Entrenaron un modelo auxiliar para predecir el consumo de energía basándose en la configuración específica del modelo estudiante, utilizando datos reales recopilados del hardware. Cuando utilizaron este nuevo sistema, consciente de la energía, para diseñar los modelos más pequeños, los resultados mejoraron drásticamente. Para la tarea de código duplicado, el nuevo método encontró modelos que utilizaban un 39 por ciento menos de energía que aquellos diseñados con el método antiguo, sin perder precisión. Para la tarea de predicción de seguridad, los resultados fueron similares, mostrando que el nuevo enfoque podía encontrar soluciones eficientes incluso cuando la mét la antigua métrica parecía funcionar.

Los investigadores llevaron este método más allá, aplicándolo a un desafío mucho más complejo: la sumarización de código. Esta tarea implica generar una descripción legible por humanos de lo que hace un fragmento de código, lo cual es mucho más difícil que la simple clasificación. Utilizaron un modelo grande llamado CodeT5+ como el maestro e intentaron destilarlo en un estudiante más pequeño. Los resultados fueron impactantes. El nuevo método, enfocado en la energía, produjo modelos estudiantes un 86 por ciento más pequeños en tamaño de memoria y utilizaron hasta un 90 por ciento menos de energía para ejecutarse que el maestro original. El intercambio fue una pequeña caída en la precisión, pero los resúmenes siguieron siendo coherentes y útiles. Los investigadores descubrieron que para estas tareas de generación complejas, la regla estándar de hacer los modelos lo más pequeños posible no funcionaba; los modelos necesitaban ser lo suficientemente grandes para entender el código, pero el nuevo método encontró el punto ideal donde eran lo suficientemente pequeños para ser eficientes.

Este trabajo destaca un cambio crucial en cómo debemos pensar sobre la inteligencia artificial y la sostenibilidad. El estudio demuestra que confiar en números teóricos para estimar el uso de energía puede llevar a los ingenieros a elegir modelos que no son realmente los más eficientes. Al medir el consumo de energía real y utilizar esos datos para guiar el diseño de modelos más pequeños, es posible crear herramientas de software que sean tanto potentes como sostenibles. Estos modelos más pequeños y energéticamente eficientes pueden eventualmente ejecutarse en hardware de consumo, llevando los beneficios de la inteligencia artificial avanzada a los dispositivos locales sin el enorme costo ambiental de la computación en la nube. Los hallazgos sugieren que para un futuro más verde en el software, debemos mirar más allá de los simples recuentos de operaciones y medir la huella energética real de las herramientas que construimos.

Resumen Técnico: Más allá de los FLOPs: Destilación de Conocimiento Consciente de la Energía para LLMs Sostenibles en Tareas Relacionadas con el Código

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) han alcanzado una alta precisión en tareas de Ingeniería de Software (SE), tales como la detección de clones, la predicción de vulnerabilidades y la sumarización de código. Sin embargo, su escala masiva y sus demandas computacionales plantean preocupaciones significativas de sostenibilidad, particularmente respecto al consumo de energía y la incapacidad de desplegar estos modelos en hardware de consumo o plataformas con recursos limitados.

Un método prevalente para estimar el costo computacional de los LLMs, tanto en la literatura como en la industria, es el uso de Operaciones de Punto Flotante (FLOPs). Los FLOPs son atractivos debido a su simplicidad y naturaleza independiente del hardware, sirviendo como un proxy para el consumo de energía. No obstante, la validez de los FLOPs como una métrica de energía confiable es objeto de debate. Los FLOPs suelen capturar únicamente el recuento teórico de operaciones matemáticas, ignorando factores de tiempo de ejecución que influyen fuertemente en el uso de energía, tales como los patrones de acceso a la memoria, las sobrecargas de movimiento de datos y las optimizaciones a nivel de hardware (por ejemplo, en GPUs o TPUs). Además, los métodos existentes de destilación de conocimiento para SE, como Morph, dependen de los FLOPs para optimizar la eficiencia del modelo, lo que potencialmente conduce a ahorros de energía subóptimos. Asimismo, estos métodos se han limitado a tareas de clasificación binaria utilizando arquitecturas antiguas (ej. BERT), dejando un vacío en la comprensión de su aplicabilidad a tareas generativas complejas y arquitecturas más nuevas (ej. CodeT5+).

Metodología

Este artículo investiga las implicaciones de la destilación de conocimiento consciente de la energía para la SE abordando tres Preguntas de Investigación (RQs) mediante experimentos controlados:

RQ1: Validez de los FLOPs como Proxy de Energía.
Los autores replicaron los experimentos originales de Morph utilizando GraphCodeBERT para las tareas de Detección de Clones y Predicción de Vulnerabilidades. Generaron un frente de Pareto de modelos estudiantes con variaciones de FLOPs y midieron empíricamente su consumo real de energía de CPU y GPU durante la inferencia utilizando el perfilador EnergiBridge. Se realizó un análisis estadístico (ANOVA) para determinar la correlación entre los FLOPs y la energía medida.
RQ2: Eficiencia Energética de Morph con Optimización Directa de Energía.
Los autores modificaron la metodología de Morph para reemplazar los FLOPs con el consumo de energía directa como objetivo de optimización. En lugar de minimizar los FLOPs teóricos, introdujeron un enfoque de modelo subrogado:
- Muestrearon configuraciones de hiperparámetros utilizando el Muestreo de Hipercubo Latino (LHS).
- Midieron el consumo de energía real para estas configuraciones.
- Entrenaron modelos de regresión (Gradient Boosting) para predecir el consumo de energía basado en los hiperparámetros.
- El Algoritmo Evolutivo de Muchos Objetivos (AGE-MOEA) optimizó entonces la precisión, la robustez, el tamaño y el consumo de energía predicho.
  Este enfoque se probó en las mismas tareas de clasificación para comparar los modelos resultantes contra aquellos optimizados para FLOPs.
RQ3: Aplicabilidad a Tareas Generativas.
Los autores extendieron la metodología de Morph modificada a una tarea generativa: Sumarización de Código, utilizando el modelo CodeT5+ (220M de parámetros).
- Subclonación de Pesos (Weight Subcloning): Para abordar la convergencia más lenta de los estudiantes inicializados aleatoriamente en tareas generativas, aplicaron la subclonación de pesos, copiando los pesos más importantes del profesor al estudiante basándose en las magnitudes de entrada/salida.
- Destilación en Línea (Online Distillation): Debido a la inviabilidad de almacenar logits para vocabularios grandes, realizaron destilación en línea, ejecutando la inferencia del profesor y del estudiante simultáneamente en la misma GPU.
- Función de Pérdida: La pérdida de destilación combina la Divergencia de Kullback-Leibler (KLD) entre las salidas del estudiante y el profesor con la entropía cruzada contra la verdad fundamental (ground truth).
- Objetivos: La optimización apuntó a minimizar el tamaño del modelo y la energía de inferencia (en Julios) mientras se maximizaba la efectividad (medida por ROUGE-L).

Contribuciones Clave

Estudio Empírico de FLOPs vs. Energía: El artículo proporciona evidencia empírica de que los FLOPs no son un proxy consistente para el consumo de energía a través de diferentes tareas de SE.
Extensión de Morph Consciente de la Energía: Los autores proponen e implementan una modificación al marco de trabajo Morph que utiliza la energía medida y modelos subrogados como objetivos de optimización, en lugar de depender únicamente de los FLOPs.
Aplicación a la Sumarización de Código: El estudio aplica con éxito la Destilación Optimizada de Muchos Objetivos a una tarea generativa compleja (Sumarización de Código) usando CodeT5+, demostrando reducciones significativas en el tamaño del modelo y el consumo de energía con compromisos de precisión manejables.

Resultados

RQ1: Correlación de FLOPs y Energía

Detección de Clones: Los FLOPs mostraron ninguna correlación estadística con el consumo de energía real ( $p = 0.17$ ). Modelos con FLOPs similares exhibieron consumos de energía vastamente diferentes, y modelos con mayores FLOPs a veces consumieron menos energía.
Predicción de Vulnerabilidades: Los FLOPs mostraron una correlación estadísticamente significativa con la energía ( $p = 6.48 \times 10^{-7}$ ), aunque la relación no fue estrictamente lineal o proporcional.
Conclusión: Los FLOPs no son un proxy confiable y agnóstico a la tarea para la energía. Otros hiperparámetros (ej. Tamaño Oculto, Cabezales de Atención) suelen correlacionarse más fuertemente con la energía que la propia métrica de FLOPs.

RQ2: Sustitución de FLOPs por Energía Subrogada

Detección de Clones: Optimizar para energía (vía subrogados) en lugar de FLOPs resultó en una reducción del 39% en la mediana de la energía de inferencia (de ~5,355 J a ~3,604 J) con un efecto de tamaño estadísticamente significativo ( $\hat{A}_{12} = 0.925$ ). Curiosamente, estos modelos energéticamente eficientes tuvieron mayores FLOPs (un aumento del 21%), resaltando la desconexión entre ambas métricas.
Predicción de Vulnerabilidades: En esta tarea donde los FLOPs se correlacionaban con la energía, la optimización basada en energía no produjo mejoras o degradaciones estadísticamente significativas en comparación con la optimización de FLOPs.
Conclusión: Los modelos de energía subrogada son superiores cuando los FLOPs no logran reflejar el consumo de energía real, cerrando la brecha para encontrar configuraciones más eficientes sin sacrificar la precisión.

RQ3: Aplicación a Tareas de Generación

Compresión: El proceso de destilación redujo el tamaño del modelo de 830 MB (Profesor) a 114 MB (Estudiante más Preciso), una reducción del 86%.
Energía: La energía de inferencia se redujo de 82,396 J a 13,600 J para el estudiante más preciso (reducción del 83%) y hasta 8,059 J para el estudiante más eficiente (reducción del 90%).
Precisión: La puntuación ROUGE-L cayó de 0.229 (Profesor) a 0.199 (Estudiante más Preciso, -13%) y 0.194 (Estudiante más Eficiente, -15%). La inspección manual confirmó que las sumas permanecían coherentes, aunque el rendimiento decayó en código con nomenclatura especializada.
Conclusión: La destilación de muchos objetivos es efectiva para tareas generativas, logrando ganancias de eficiencia sustanciales con compromisos de precisión moderados.

Significancia y Reivindicaciones

El artículo afirma que la destilación de conocimiento consciente de la energía guiada por subrogados de energía directa (en lugar de FLOPs) puede mejorar significativamente la sostenibilidad y la capacidad de despliegue de los LLMs para aplicaciones de SE.

Fiabilidad: El estudio demuestra que confiar en los FLOPs puede conducir a elecciones de energía subóptimas, particularmente en tareas como la Detección de Clones donde los factores de tiempo de ejecución (ej. padding, optimizaciones de dispersión) desacoplan las operaciones teóricas del uso de energía real.
Practicidad: Al utilizar modelos subrogados, los desarrolladores pueden identificar configuraciones que minimicen el consumo de energía directamente, permitiendo el despliegue de modelos eficientes en hardware de consumo (ej. IDEs locales) sin necesidad de llamadas intensivas en energía a servidores remotos en la nube.
Generalizabilidad: La extensión a CodeT5+ y la Sumarización de Código prueba que estas técnicas de optimización no se limitan a tareas simples de clasificación, sino que pueden adaptarse a flujos de trabajo generativos complejos, siempre que se empleen estrategias de destilación apropiadas (como la subclonación de pesos y la destilación en línea).

Los autores concluyen que, si bien los FLOPs pueden ser útiles para resolver problemas de optimización debido a su facilidad de cálculo, se debe priorizar la medición de la energía real al seleccionar los modelos estudiantes finales, especialmente para sistemas con restricciones energéticas estrictas.