An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models

A continuación presento un resumen técnico detallado del artículo "An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models", traducido y adaptado al español.

1. Planteamiento del Problema

La integración de Modelos de Lenguaje Grandes (LLMs) en la generación automatizada de scripts de prueba ha avanzado significativamente, pero su despliegue masivo conlleva un alto "impuesto ambiental" debido al consumo energético y la intensidad de carbono durante la inferencia. La investigación actual en ingeniería de software sostenible se centra predominantemente en estos modelos grandes, dejando un vacío crítico en el análisis de los Modelos de Lenguaje Pequeños (SLMs) (en el rango de 2B a 8B de parámetros).

En entornos con recursos limitados o dominios sensibles a la privacidad donde se prefiere la ejecución local, es crucial entender las compensaciones (trade-offs) entre la eficiencia energética de los SLMs y su rendimiento en la generación de pruebas. El estudio aborda la falta de conocimiento sobre las características de energía y carbono de los SLMs durante la generación de scripts de prueba unitaria impulsada por prompts, especialmente considerando cómo la estructura del prompt, la cuantización y la ubicación geográfica de los centros de datos influyen en estos resultados.

2. Metodología

El estudio propone una tubería empírica estructurada en cinco fases para evaluar sistemáticamente el equilibrio entre sostenibilidad y rendimiento:

• Datos y Preprocesamiento: Se utilizó el benchmark HumanEval (164 tareas de programación en Python). Se fusionó el prompt (definición de la tarea) con la solución canónica para crear un módulo de software bajo prueba unificado.
• Diseño de Prompts: Se diseñaron cuatro variantes de prompts ($AP_{V0}$ a $AP_{V3}$) basados en la plantilla de Anthropic, aumentando progresivamente la complejidad instruccional (desde una firma de función básica hasta la inclusión de roles de "probador experto", reglas estrictas y ejemplos).
• Modelos y Configuración: Se seleccionaron cinco SLMs de vanguardia (Phi-3.5-mini, Qwen2.5-1.5B, deepseek-coder-7b, Mistral-7B, Llama-3-8B).
  • Se evaluaron bajo un esquema unificado de cuantización de 8 bits.
  • Se realizó un análisis variable de cuantización (4-bit, 8-bit y sin cuantizar) en dos modelos específicos.
• Ejecución y Monitoreo: Los experimentos se ejecutaron en Google Colab (NVIDIA T4 GPU), lo que implica una migración dinámica de cargas de trabajo a diferentes centros de datos globales.
  • Herramientas: Se utilizó CodeCarbon para medir el consumo energético (Wh), las emisiones de carbono (gCO2eq) y la duración, y Coverage.py para medir la cobertura de código.
  • Se registró el código ISO del país para cada ejecución para calcular la intensidad de carbono de la red eléctrica regional.
• Métricas Nuevas: Se introdujeron dos métricas derivadas para el análisis de compensaciones:
  1. Índice de Velocidad Sostenible (SVI): Combina cobertura, intensidad de carbono de software (SCI), tiempo de ejecución y estabilidad en un solo índice normalizado.
  2. Puntuación Verde $F_\beta$ ($GF_\beta$): Un índice compuesto que permite a los usuarios ajustar el equilibrio entre eficiencia ecológica y cobertura de código mediante un parámetro de ponderación $\beta$.

3. Contribuciones Clave

• Análisis Empírico de SLMs: Es uno de los primeros estudios que se centra específicamente en la sostenibilidad de los SLMs (2B-8B) en la generación de pruebas, llenando el vacío dejado por la literatura centrada en LLMs masivos.
• Nuevas Métricas de Evaluación: Propone el SVI y la $GF_\beta$, que permiten una evaluación holística que no sacrifica un aspecto (ej. cobertura) por otro (ej. energía) de manera unilateral, evitando que un buen rendimiento en una área enmascare un mal rendimiento en otra.
• Análisis Multirregional: Demuestra cómo la intensidad de carbono de la red eléctrica regional (ej. Países Bajos vs. EE. UU. o Singapur) es un factor determinante que a menudo supera el impacto de la arquitectura del modelo o la cuantización.
• Guía para Arquitectos: Ofrece un mecanismo cuantificable para que los arquitectos de software prioricen entre la cobertura de pruebas y la sostenibilidad ambiental según su contexto de despliegue.

4. Resultados Principales

• Respuesta a RQ1 (Prompt y Región): La Intensidad de Carbono de Software (SCI) está determinada conjuntamente por la sobrecarga del prompt y la intensidad de carbono de la región. Cuando la región es constante, el diseño del prompt influye; cuando la región cambia, la intensidad de la red eléctrica es el factor dominante.
• Respuesta a RQ2 (Ranking Holístico): El SVI demuestra que no existe un único modelo "mejor" para todos los casos. Los modelos que obtienen mejores puntuaciones en regiones de baja intensidad de carbono (como Países Bajos) pueden no ser los mejores en regiones de alta intensidad. El SVI permite identificar configuraciones que equilibran cobertura, tiempo y emisiones.
• Respuesta a RQ3 (Cuantización): La sensibilidad a la cuantización depende del contexto. En una región fija, una mayor precisión (8-bit o sin cuantizar) mejoró el SVI, sugiriendo que las ganancias en cobertura de código pueden superar los ahorros computacionales de la cuantización agresiva. Sin embargo, al cambiar de región, la intensidad de la red puede dominar el resultado, haciendo que la cuantización sea menos relevante que la ubicación.
• Respuesta a RQ4 (Priorización): La métrica $GF_\beta$ permite reordenar los modelos según la prioridad. Un $\beta < 1$ favorece la eficiencia ecológica, mientras que un $\beta > 1$ prioriza la cobertura de código. Los resultados muestran que el modelo óptimo cambia drásticamente según este parámetro y la ubicación de ejecución.

5. Significado e Impacto

Este trabajo es fundamental para la adopción de prácticas de IA Verde (Green AI) en el ciclo de vida del desarrollo de software. Sus implicaciones incluyen:

1. Toma de Decisiones Informada: Proporciona evidencia empírica de que la selección de un modelo para la generación de pruebas no debe basarse únicamente en la precisión o el tamaño, sino en un equilibrio dinámico entre rendimiento, costo energético y ubicación geográfica.
2. Optimización de Recursos: Demuestra que en entornos con SLMs, la estructura del prompt y la configuración de cuantización deben adaptarse a la infraestructura de energía disponible para maximizar la sostenibilidad.
3. Nuevos Estándares de Evaluación: Las métricas propuestas (SVI y $GF_\beta$) ofrecen un marco reutilizable para futuras investigaciones que busquen evaluar la sostenibilidad en tareas de ingeniería de software asistida por IA, moviendo el campo más allá de la simple medición de consumo energético hacia una evaluación de "eficiencia ecológica" integrada con la calidad del software.

En conclusión, el estudio concluye que la sostenibilidad en la generación de scripts de prueba no es una función lineal del tamaño del modelo, sino el resultado de una interacción compleja entre la complejidad del prompt, la precisión del modelo y la intensidad de carbono de la red eléctrica, requiriendo un enfoque multidimensional para la selección de configuraciones óptimas.