💻 computer science

Evaluating the Environmental Impact of using SLMs and Prompt Engineering for Code Generation

Este estudio presenta la primera evaluación sistemática que demuestra cómo las estrategias de ingeniería de prompts en modelos de lenguaje pequeños (SLMs) permiten optimizar la sostenibilidad ambiental sin sacrificar la precisión en la generación de código, revelando que técnicas como el Chain-of-Thought ofrecen un equilibrio óptimo entre rendimiento y eficiencia energética.

Autores originales: Md Afif Al Mamun, Sayan Nath, Gias Uddin, Novarun Deb

Publicado 2026-04-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Md Afif Al Mamun, Sayan Nath, Gias Uddin, Novarun Deb

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que el mundo de la programación con Inteligencia Artificial (IA) es como una gran cocina. Durante años, los chefs (los desarrolladores) han tenido que pedir sus recetas a un "Gran Chef" que vive en una cocina central gigante y lejana (la nube). Pero ahora, gracias a modelos más pequeños y abiertos, los chefs pueden tener su propia estufa en casa (modelos locales o SLMs). Esto es genial porque es más privado y accesible, pero tiene un truco: ahora la factura de la luz y la contaminación de cocinar recaen directamente sobre el chef, no sobre el restaurante central.

Este estudio es como un experimento de cocina sostenible para responder a una pregunta crucial: ¿Cómo podemos cocinar (generar código) de la manera más deliciosa posible (preciso) sin quemar la casa (gastar demasiada energía y contaminar)?

Aquí tienes los hallazgos principales explicados con analogías sencillas:

1. El tamaño no lo es todo (Modelos Pequeños vs. Grandes)

Antes, pensábamos que para tener un plato perfecto necesitábamos el "Gran Chef" más grande y potente.

La analogía: Imagina que quieres cocinar un pastel. Pensabas que necesitabas un horno industrial gigante. Pero el estudio descubrió que un horno de tamaño medio, si está bien entrenado, puede hacer un pastel casi tan bueno como el industrial, pero usando mucha menos electricidad.
El hallazgo: No necesitas el modelo más grande (y costoso en energía) para obtener buenos resultados. A veces, un modelo pequeño y bien entrenado es igual de efectivo y mucho más "verde".

2. El arte de pedir las cosas (Ingeniería de Prompts)

Los desarrolladores no solo eligen el modelo, sino cómo le piden que trabaje. El estudio probó seis formas diferentes de dar instrucciones (llamadas "estrategias de prompting").

La analogía: Imagina que le pides a un asistente que escriba un informe.
- Método Directo: "Escribe el informe". (Rápido, pero a veces el asistente se equivoca).
- Cadena de Pensamiento (CoT): "Piensa paso a paso, explica tu lógica y luego escribe el informe". (Un poco más lento, pero el resultado es mucho mejor).
- Auto-Consistencia: "Escribe el informe 5 veces diferentes y elige la mejor". (¡Esto es un desastre de energía! Gastas 5 veces más electricidad por un resultado apenas un poco mejor).
El hallazgo: La estrategia "Cadena de Pensamiento" (pedirle que piense paso a paso) es el punto dulce. Es como pedirle al asistente que "piense antes de hablar". Obtienes un código muy bueno sin gastar la energía de pedirle que lo haga 5 veces. Las estrategias complejas que intentan hacer todo perfecto a la primera a menudo son como intentar ganar la lotería comprando 100 boletos: gastas una fortuna por un beneficio mínimo.

3. El lugar importa más que el coche (La Red Eléctrica)

Este es quizás el hallazgo más sorprendente. El estudio midió cuánto contaminaba la generación de código en dos lugares de Canadá: Alberta y Ontario.

La analogía: Imagina dos coches idénticos conduciendo la misma distancia.
- El Coche A corre por una carretera donde la gasolina es muy sucia (carbón).
- El Coche B corre por una carretera donde la gasolina es limpia (energía nuclear/hidroeléctrica).
- Aunque el Coche B gaste un poco más de combustible (porque su motor es más potente), contamina mucho menos porque su "combustible" es más limpio.
El hallazgo: El factor más importante para la contaminación no es qué modelo usas ni qué computadora tienes, sino de dónde viene la electricidad. Si tu computadora está conectada a una red que usa carbón, contaminarás mucho más que si estás en una zona con energía limpia, incluso si tu computadora es menos eficiente.

4. La relación entre "Tiempo" y "Contaminación"

Mucha gente cree que cuantos más "tokens" (palabras o piezas de código) genera la IA, más contamina.

La analogía: Piensa en un coche. No es solo la distancia que recorre (tokens) lo que gasta gasolina, sino cuánto tiempo tiene el motor encendido. Si conduces lento y a paso de tortura, gastas más que si conduces rápido y eficiente.
El hallazgo: El tiempo que tarda la computadora en pensar (inferencia) es el verdadero culpable de la contaminación, más que la cantidad de texto que produce.

Conclusión: ¿Qué debemos hacer?

El estudio nos da un mapa para ser "cocineros ecológicos" en el mundo de la programación:

No busques el modelo más grande: A veces, un modelo mediano y bien entrenado es suficiente.
Usa el "Pensamiento Paso a Paso": Pedirle a la IA que razone antes de escribir (Cadena de Pensamiento) es la forma más eficiente de obtener buenos resultados sin gastar de más. Evita pedirle que haga el trabajo 5 veces seguidas.
Cuida de dónde viene tu energía: Si puedes, ejecuta tus programas en lugares donde la electricidad sea más limpia (como energía solar o nuclear). Esto tiene un impacto mayor que cambiar tu computadora.
La precisión no siempre cuesta más: A veces, podemos tener código de alta calidad sin pagar un precio ambiental alto. ¡Es posible tener lo mejor de los dos mundos!

En resumen, la inteligencia artificial para programar no tiene por qué ser un desastre ambiental. Con las herramientas correctas y un poco de sentido común, podemos escribir código inteligente sin quemar el planeta.

Resumen Técnico: Evaluación del Impacto Ambiental de SLMs e Ingeniería de Prompts para la Generación de Código

1. Planteamiento del Problema

La adopción masiva de Modelos de Lenguaje Grande (LLMs) para la generación de código ha transformado la ingeniería de software. Sin embargo, existe una tendencia creciente hacia el despliegue local de Modelos de Lenguaje Pequeños (SLMs) de código abierto, lo que democratiza el acceso pero descentraliza la huella ambiental. A diferencia de los sistemas en la nube donde la responsabilidad energética se centraliza, el despliegue local traslada la carga completa de consumo energético y emisiones de carbono a los dispositivos y redes eléctricas de los desarrolladores.

El problema central identificado es la invisibilidad de las implicaciones ambientales en las decisiones de ingeniería de prompts. Mientras que estrategias como Chain-of-Thought (CoT) o ReAct mejoran la precisión, su impacto en el consumo de energía y las emisiones de CO2 no ha sido cuantificado sistemáticamente. Los desarrolladores optimizan solo para la precisión, incurriendo inadvertidamente en costos ambientales innecesarios. Este estudio busca llenar esa brecha analizando las compensaciones (trade-offs) entre la precisión del código, la eficiencia computacional y la sostenibilidad en SLMs.

2. Metodología

El estudio es una evaluación empírica sistemática que combina benchmarks de código, múltiples modelos y estrategias de prompts, midiendo métricas de sostenibilidad en tiempo real.

Modelos Evaluados: Se probaron 11 modelos de código abierto (rango de 1B a 34B parámetros), categorizados en:
- Tiny (1B-3B): Ej. Llama3.2, Qwen3.
- Small (7B-16B): Ej. CodeGemma, Phi4, DeepSeek-Coder.
- Medium (20B-34B): Ej. GPT-OSS, Gemma3, CodeLlama.
- Se incluyeron tanto modelos generalistas como especializados en código, y con o sin capacidades de razonamiento.
Estrategias de Prompting: Se evaluaron seis estrategias principales:
1. Directo (Direct).
2. Cadena de Pensamiento (Chain-of-Thought - CoT).
3. Programa de Pensamiento (Program-of-Thought - PoT).
4. Auto-consistencia (Self-Consistency).
5. De Menos a Más (Least-to-Most - LtoM).
6. ReAct (Reasoning + Acting).
Benchmarks: Se utilizaron HumanEval+ (164 problemas) y MBPP+ (150 problemas seleccionados).
Marco de Evaluación:
- Se utilizó el framework DSPy para estandarizar la generación de prompts y asegurar salidas de código canónicas y analizables por máquina.
- Hardware: Dos configuraciones distintas en Canadá:
  - Máquina 1 (Alberta): CPU Xeon Silver + GPU NVIDIA A100 (Red eléctrica de alta intensidad de carbono).
  - Máquina 2 (Ontario): CPU Xeon Gold + GPU NVIDIA L40S (Red eléctrica de baja intensidad de carbono, nuclear/hidroeléctrica).
Métricas de Sostenibilidad:
- Energía (kWh): Medida mediante el framework CodeCarbon (CPU, GPU, RAM).
- Emisiones de CO2 (kgCO2eq): Calculadas como $E \times \gamma$ (Energía $\times$ Intensidad de Carbono de la red).
- Latencia de inferencia y uso de tokens.
- Precisión: Métrica Pass@1.

3. Contribuciones Clave

Primera evaluación sistemática: Es el primer estudio que cuantifica las compensaciones entre precisión y sostenibilidad en SLMs para generación de código bajo diferentes estrategias de prompts.
Desacoplamiento Precisión-Sostenibilidad: Demuestra que es posible optimizar la huella ambiental sin sacrificar significativamente la precisión del código.
Análisis de la Intensidad de Carbono de la Red (GCI): Evidencia empírica de que la ubicación geográfica (fuente de energía) es un factor determinante más fuerte que el hardware o el tamaño del modelo.
Nueva Métrica (CpCA): Introducción del "Carbono por Respuesta Correcta" (Carbon per Correct Answer) para evaluar la eficiencia ecológica real de las estrategias.

4. Resultados Principales

RQ1: Relación Precisión-Emisiones:
- La precisión no escala monótonamente con el tamaño del modelo. Modelos pequeños bien entrenados (ej. Qwen2.5-Coder:7B) superan a modelos más grandes (ej. Gemma3:27B).
- Las emisiones de CO2 por consulta tienen una correlación débil con el número de parámetros; la eficiencia de inferencia y la configuración de tiempo de ejecución son más determinantes.
- Los modelos "Tiny" (1B-3B) a menudo fallan en generar salidas estructuradas válidas, lo que aumenta los costos ambientales por reintentos.
RQ2: Impacto de las Estrategias de Prompting:
- Chain-of-Thought (CoT): Ofrece el mejor equilibrio. Logra una precisión casi óptima (63.94% Pass@1) con un costo energético ~80% menor que estrategias complejas como Self-Consistency.
- Self-Consistency: Logra la mayor precisión (65.75%), pero a un costo desproporcionado (4.9 veces más emisiones que CoT) debido a la generación de múltiples muestras.
- Estrategias Complejas (ReAct, LtoM, PoT): No ofrecen mejoras de precisión proporcionales a su alto costo computacional y de tokens.
- Hallazgo contra-intuitivo: En el framework DSPy, el Direct Prompting a veces consume más tokens que CoT en modelos con capacidades de razonamiento, ya que estos modelos tienden a incluir razonamiento implícito en la respuesta final si no se les da un campo separado.
RQ3: Influencia del Hardware y la Región:
- La Intensidad de Carbono de la Red (GCI) es el factor dominante.
- Comparación Alberta vs. Ontario: La Máquina 2 (Ontario) consumió un 113% más de energía que la Máquina 1 (Alberta) debido a hardware más potente, pero sus emisiones de CO2 fueron un 78% más bajas debido a la red eléctrica limpia de Ontario.
- Esto demuestra que elegir una región con energía limpia tiene un impacto mayor en la sostenibilidad que optimizar el hardware o el modelo.
RQ4: Correlaciones:
- El tiempo de inferencia es el predictor más fuerte de las emisiones de CO2 ( $R^2 \approx 0.92$ ), más incluso que el conteo de tokens.
- No existe correlación significativa entre la precisión (Pass@1) y las métricas de sostenibilidad; un código más preciso no implica necesariamente más emisiones.

5. Significado e Implicaciones

El estudio concluye que la sostenibilidad en la generación de código asistida por IA es un problema multidimensional que requiere un cambio de paradigma:

Optimización "Green": Los desarrolladores deben priorizar estrategias de prompts simples como CoT en lugar de enfoques de muestreo múltiple costosos, ya que ofrecen el mejor rendimiento por vatio.
Conciencia Geográfica: La ubicación del despliegue es crítica. Desplegar modelos en regiones con alta intensidad de carbono (carbón/gas) genera emisiones masivas incluso con hardware eficiente.
Herramientas de Desarrollo: Se necesita integrar métricas de carbono en los IDEs y herramientas de ingeniería de prompts para que los desarrolladores puedan tomar decisiones informadas en tiempo real.
Futuro de la Investigación: Se aboga por benchmarks estandarizados de sostenibilidad, selección adaptativa de estrategias basada en señales de carbono en tiempo real y una evaluación más amplia del ciclo de vida de los modelos.

En resumen, el trabajo proporciona una base cuantitativa para la "ingeniería de prompts verde", demostrando que es posible alinear la generación de código de alto rendimiento con la responsabilidad ecológica mediante elecciones estratégicas de modelos, prompts y ubicación de despliegue.