Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation

1. Problema y Motivación

La adopción creciente de la automatización basada en prompts (instrucciones) en la prueba de software plantea interrogantes críticos sobre su sostenibilidad computacional y ambiental. Aunque existen estudios sobre el impacto de los Grandes Modelos de Lenguaje (LLM), hay un vacío significativo en la comprensión del impacto de las estrategias de ingeniería de prompts en Modelos de Lenguaje Pequeños (SLM).

El problema central es que el diseño del prompt influye directamente en el comportamiento de inferencia, el costo de ejecución y el uso de recursos, incluso cuando el tamaño del modelo es fijo. La literatura actual no ha evaluado sistemáticamente cómo la selección de una estrategia de prompting afecta el equilibrio entre la calidad de las pruebas (cobertura) y los costos ambientales (energía, emisiones de carbono), especialmente en entornos de recursos limitados.

2. Metodología

Los autores proponen un marco de evaluación sistemático centrado en el prompt para la generación automatizada de pruebas unitarias.

• Configuración Experimental:

  • Modelos: Se evaluaron tres SLMs de código abierto con cuantización de 4 bits (para reflejar entornos con recursos limitados):
    1. Meta-Llama-3-8B-Instruct
    2. DeepSeek-Coder-7B-Instruct-v1.5
    3. Mistral-7B-Instruct-v0.3
  • Estrategias de Prompt: Se compararon siete estrategias:
    1. Zero-shot (Sin ejemplos)
    2. Few-shot (Con ejemplos)
    3. Chain-of-Thought (CoT - Cadena de pensamiento)
    4. Least-to-Most (LtM - De lo menos a lo más)
    5. Program-of-Thought (PoT - Programa de pensamiento)
    6. Self-Consistency CoT (SC_CoT - Autoconsistencia)
    7. ReAct (Razonamiento y Acción)
  • Dataset: Se utilizó el conjunto de datos MBPP (Mostly Basic Python Problems), que contiene tareas de programación Python básicas.
  • Entorno: Ejecuciones en Google Colab con GPU NVIDIA A100, utilizando CodeCarbon para medir el consumo energético y las emisiones, y coverage.py para la calidad de las pruebas.

• Métricas Evaluadas:

  • Parámetros Primarios: Tiempo de ejecución, consumo de energía (CPU, GPU, RAM), emisiones de $CO_2$, recuento de tokens y cobertura de código normalizada ($Q$).
  • Métricas Derivadas: Eficiencia por 1,000 tokens (tiempo, energía, carbono), eficiencia de calidad de cobertura por unidad de recurso, y una Puntuación de Compensación Sostenibilidad-Cobertura (SQScore) que integra calidad y costos en un solo valor.

3. Contribuciones Clave

1. Marco de Evaluación: Presentación del primer marco de evaluación de sostenibilidad centrado en prompts para la generación de pruebas unitarias con SLMs, integrando métricas de tokens, tiempo, energía, carbono y calidad.
2. Evaluación Controlada: Realización de un experimento controlado que compara siete estrategias de prompting a través de tres modelos SLMs cuantizados, permitiendo una comparación sistemática de las compensaciones (trade-offs).
3. Análisis de Impacto: Demostración empírica de que la selección de la estrategia de prompt tiene un impacto sustancial e independiente en los resultados de sostenibilidad, a menudo superando la influencia de la elección del modelo en sí.

4. Resultados Principales

Los hallazgos revelan patrones claros sobre cómo la complejidad del razonamiento afecta la sostenibilidad:

• Impacto en Tiempo y Energía:

  • Las estrategias de razonamiento intensivo, como Self-Consistency (SC_CoT) y Chain-of-Thought (CoT), generan los tiempos de ejecución más largos y el mayor consumo de energía y carbono. Por ejemplo, SC_CoT aumentó el tiempo de ejecución hasta 27 horas en comparación con las 6-10 horas de estrategias más ligeras.
  • Las estrategias simples como Zero-shot y Few-shot ofrecen los tiempos de ejecución más rápidos y el menor consumo energético.

• Calidad de Cobertura vs. Costo:

  • Aunque las estrategias complejas (SC_CoT, CoT) a veces logran una cobertura ligeramente superior, las ganancias no son proporcionales al aumento masivo en costos computacionales.
  • Few-shot y Least-to-Most (LtM) lograron una cobertura de prueba muy competitiva (a menudo superior o igual a las estrategias complejas) con un costo ambiental significativamente menor.

• Eficiencia por Token:

  • Las estrategias estructuradas pero ligeras (Few-shot, LtM) mostraron la mayor eficiencia en la generación de tokens por unidad de energía y carbono.
  • SC_CoT fue consistentemente la menos eficiente, consumiendo más recursos sin ofrecer mejoras proporcionales en la calidad de las pruebas.

• Puntuación SQScore (Compensación Sostenibilidad-Calidad):

  • Bajo diferentes prioridades (eco-first, balanceado, calidad-first), las estrategias Few-shot y LtM obtuvieron las puntuaciones más altas, indicando el mejor equilibrio global.
  • SC_CoT obtuvo sistemáticamente la puntuación más baja, demostrando que sus costos adicionales no se justifican por los beneficios marginales en la cobertura.

5. Significado e Implicaciones

Este estudio es fundamental para el desarrollo de IA sostenible en ingeniería de software:

1. El Diseño del Prompt es un Factor Crítico: La elección de la estrategia de prompting es tan importante como la selección del modelo para determinar la huella de carbono de las herramientas de prueba automatizada.
2. Optimización de Recursos: Se demuestra que no es necesario utilizar estrategias de razonamiento complejo (como SC_CoT) para obtener pruebas de alta calidad en tareas estándar; estrategias más simples y estructuradas ofrecen un mejor retorno de inversión en términos de energía y tiempo.
3. Guía para la Práctica: Los equipos de desarrollo pueden reducir significativamente los costos operativos y ambientales de sus pipelines de CI/CD seleccionando estrategias de prompting como Few-shot o Least-to-Most en lugar de las más costosas, sin sacrificar la efectividad de las pruebas.
4. Nueva Dimensión de Evaluación: Establece que la sostenibilidad debe considerarse como una dimensión de evaluación de primer nivel junto con la precisión y la cobertura en la investigación de generación de software asistida por IA.

En conclusión, el artículo concluye que la ingeniería de prompts tiene el potencial de ser un mecanismo práctico y accionable para controlar la huella ambiental de los flujos de trabajo de prueba de software automatizados, priorizando estrategias que equilibren la eficiencia con la calidad.