💬 NLP

Comparing energy consumption and accuracy in text classification inference

Este estudio evalúa sistemáticamente las compensaciones entre la precisión y el consumo energético en la inferencia de clasificación de texto, revelando que la eficiencia energética y el rendimiento son dimensiones distintas que no siempre se alinean, y que el tiempo de ejecución puede servir como un proxy práctico para estimar el consumo de energía.

Autores originales: Johannes Zschache, Tilman Hartwig

Publicado 2026-04-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Johannes Zschache, Tilman Hartwig

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que acabas de descubrir un nuevo tipo de coche eléctrico (los modelos de Inteligencia Artificial) que promete conducirte a cualquier destino (clasificar textos) de forma increíblemente rápida y precisa. Pero, hay un problema: estos coches nuevos parecen consumir una cantidad absurda de electricidad para hacer algo que un viejo y sencillo bicicleta (los modelos tradicionales) podría hacer con un pedaleo mínimo.

Este estudio, realizado por investigadores alemanes, es como una prueba de carretera exhaustiva para ver quién gana: ¿el coche de lujo o la bicicleta?

Aquí tienes la explicación sencilla, con sus metáforas:

1. El Gran Dilema: ¿Velocidad vs. Energía?

Antes, todos se preocupaban por cuánto combustible gastaba el coche mientras lo construían (entrenar el modelo). Pero ahora que los tenemos en la carretera, nadie miraba cuánto gastan mientras conducen (inferencia).

La metáfora: Imagina que tienes que enviar 189 cartas a diferentes departamentos del gobierno.
- Opción A (Modelos Tradicionales): Usas una bicicleta de reparto. Es rápida, barata y gasta cero energía.
- Opción B (Modelos Grandes o LLMs): Usas un camión gigante con motor de cohete. Es impresionante, pero consume una fortuna en gasolina solo para mover una sola carta.

2. ¿Qué descubrieron? (El resultado de la carrera)

Los investigadores probaron muchos tipos de "vehículos" (modelos) en una tarea real: clasificar quejas ciudadanas sobre residuos radiactivos.

El hallazgo sorprendente: En tareas sencillas (como clasificar estas quejas), la bicicleta gana por goleada.
- Los modelos tradicionales (como la regresión logística) fueron tan precisos como los gigantes de la IA, pero consumieron miles de veces menos energía.
- De hecho, el modelo más preciso y eficiente fue un modelo "tradicional" que usaba "embeddings" (una especie de mapa mental de las palabras), no un modelo gigante.
La trampa de los "Gigantes": Los modelos grandes (como Llama 70B o Qwen 72B) a veces son un poco más precisos, pero el precio a pagar es enorme.
- Analogía: Es como usar un misil balístico para matar a una mosca. Sí, matas a la mosca, pero el costo energético es ridículo. En algunos casos, los modelos gigantes consumieron 7 veces más energía que un modelo pequeño para apenas mejorar un 0.07% en precisión.

3. El Factor "Hardware" (El tipo de motor)

No todos los motores son iguales. Probaron en diferentes superordenadores (como si fueran diferentes pistas de carreras).

La regla de oro: Si usas más GPUs (tarjetas gráficas) para hacer el trabajo más rápido, no ahorras energía. Al contrario, a veces gastas más porque tienes más motores encendidos.
- Analogía: Si tienes que mover una caja pesada, usar 4 personas fuertes (4 GPUs) no te ahorra energía total; simplemente terminas el trabajo más rápido, pero el gasto total de "sudar" (energía) es similar o mayor.

4. El Truco del Reloj (Tiempo = Energía)

Una de las conclusiones más útiles es que el tiempo que tarda el modelo en pensar es un excelente indicador de cuánto energía gasta.

La metáfora: Si no tienes un medidor de electricidad en tu casa, puedes mirar el reloj. Si el ordenador tarda 10 segundos en responder, gastará X energía. Si tarda 100 segundos, gastará 10 veces más.
- Los investigadores encontraron una relación casi perfecta: Más tiempo = Más energía. Así que, si quieres ahorrar energía, simplemente busca el modelo que responda más rápido.

5. ¿Cuándo vale la pena usar el "Camión Gigante"?

¿Significa esto que nunca debemos usar los grandes modelos de IA? No.

La excepción: Si la tarea es muy difícil y compleja (como entender emociones humanas sutiles o noticias muy confusas), la bicicleta puede no ser suficiente. En esos casos, el camión gigante (LLM) vale la pena porque la bicicleta simplemente no puede hacer el trabajo.
El consejo: No uses un camión para llevar una sola carta. Usa la bicicleta. Solo saca el camión si la carga es demasiado pesada para la bicicleta.

6. Conclusión para el mundo real

Los autores nos dicen que, al elegir una IA para un trabajo (especialmente en administraciones públicas o empresas), no debemos mirar solo qué tan inteligente es, sino también cuánto le cuesta a la planeta.

La lección: Antes de comprar el coche de lujo, pregúntate: "¿Realmente necesito este motor V8 para ir a la tienda de la esquina?". A menudo, la solución más simple, barata y ecológica (la bicicleta) es la mejor.

En resumen: La inteligencia artificial no tiene por qué ser un despilfarro de energía. A veces, lo "pequeño y sencillo" es más inteligente, más rápido y mucho más amable con el planeta que los gigantes tecnológicos.

1. El Problema

El despliegue masivo de Modelos de Lenguaje Grande (LLMs) en tareas de Procesamiento del Lenguaje Natural (NLP) ha generado preocupaciones críticas sobre la eficiencia energética y la sostenibilidad.

Enfoque desequilibrado: La investigación previa se ha centrado casi exclusivamente en el consumo energético durante la fase de entrenamiento, dejando la fase de inferencia (que se ejecuta repetidamente en entornos reales) con menos atención.
Coste ambiental: Los centros de datos que soportan la IA consumen grandes cantidades de electricidad, a menudo basada en combustibles fósiles, contribuyendo a las emisiones de gases de efecto invernadero y desafiando objetivos climáticos globales.
Dilema de selección: Existe una tendencia a utilizar LLMs para tareas simples (como la categorización de texto) impulsada por tutoriales y la facilidad de uso, sin evaluar si su mayor consumo energético se justifica por una mejora real en la precisión frente a modelos tradicionales más ligeros.

2. Metodología

El estudio presenta una evaluación sistemática de las compensaciones (trade-offs) entre precisión y consumo energético en la inferencia de clasificación de texto.

Datos:
- Caso de uso principal: Un conjunto de datos real de la administración pública alemana (FKTG) relacionado con la gestión de objeciones sobre residuos radiactivos (378 entradas, 14 categorías).
- Validación: Se complementó con cuatro conjuntos de datos de referencia (HuggingFace): AG News, Yelp, Rotten Tomatoes y Emotion.
- División: Se utilizó una división inusual 50/50 (189 entrenamiento / 189 prueba) para garantizar la fiabilidad estadística en clases minoritarias y priorizar la medición de energía en la inferencia.
Modelos Evaluados:
- Modelos Tradicionales: Regresión logística y XGBoost con características de Bag-of-Words (BoW), TF-IDF (a nivel de caracteres) y embeddings de oraciones preentrenados (multilingües). Estos se entrenaron en el conjunto de datos.
- LLMs: Se utilizaron modelos de lenguaje grandes (Llama 3.1, Qwen 2.5, Phi 3.5, Jamba, DeepSeek) en configuración zero-shot (sin entrenamiento ni fine-tuning), aplicando prompts estandarizados. Se incluyeron modelos con capacidades de razonamiento (DeepSeek) y arquitecturas híbridas (Jamba).
Hardware y Medición:
- Se ejecutaron experimentos en tres sistemas HPC diferentes (Capella, Paula, Clara) con distintas arquitecturas de GPU (H100, A30, V100).
- Medición de Energía: Se utilizó el paquete CodeCarbon para medir el consumo de energía (Wh) y el tiempo de ejecución (s) durante la fase de inferencia, excluyendo los costes de carga inicial (warm-start).
- Configuración: Se probaron configuraciones de un solo nodo y múltiples nodos, variando el número de GPUs.

3. Contribuciones Clave

Evaluación Empírica Directa: Medición directa del consumo de energía en la inferencia de LLMs frente a modelos tradicionales en un escenario de clasificación de texto, llenando una brecha en la literatura que se centra en el entrenamiento.
Marco de Referencia Reproducible: Publicación del código, datos de medición y análisis para permitir la comparación futura y la reproductibilidad en la comunidad científica.
Análisis de la Relación Tiempo-Energía: Demostración de una fuerte correlación lineal entre el tiempo de ejecución y el consumo de energía, proponiendo el tiempo de ejecución como un proxy práctico para estimar el consumo energético cuando la medición directa no es posible.
Evaluación de Arquitecturas Emergentes: Inclusión y análisis de modelos con razonamiento en tiempo de inferencia (DeepSeek) y arquitecturas híbridas (Mamba/Transformer), evaluando si estas innovaciones justifican su coste energético.

4. Resultados Principales

Precisión vs. Eficiencia:
- En el conjunto de datos principal (FKTG), el modelo con mejor rendimiento fue un modelo lineal tradicional con embeddings de oraciones, que superó a varios LLMs.
- Los LLMs mostraron un consumo energético significativamente mayor (varios órdenes de magnitud) que los modelos tradicionales, sin lograr ganancias de precisión correspondientes en tareas de clasificación zero-shot.
- Los modelos de razonamiento (DeepSeek) consumieron aún más energía y tiempo, pero no superaron consistentemente a los LLMs no razonadores en precisión.
Impacto del Hardware:
- El consumo de energía varía enormemente (<0.01 mWh para modelos pequeños vs. >kWh para LLMs grandes).
- Aumentar el número de GPUs reduce el tiempo de inferencia, pero no reduce el consumo total de energía; en algunos casos, la energía aumenta debido a la activación de más hardware.
- Desplegar modelos en múltiples nodos incrementa drásticamente el consumo energético debido a la sobrecarga de comunicación y la ejecución secuencial.
Correlación Tiempo-Energía:
- Se encontró una relación lineal casi perfecta ( $R^2 > 0.98$ ) entre la duración de la inferencia y el consumo de energía. Esto permite estimar el consumo energético basándose simplemente en el tiempo de ejecución y el número de GPUs.
Generalización:
- En tareas más complejas (como análisis de sentimientos en Yelp o noticias), algunos LLMs superaron a los modelos tradicionales, justificando el coste energético en esos casos específicos. Sin embargo, para tareas de dominio especializado o simples, los modelos tradicionales siguen siendo superiores en eficiencia.

5. Significado e Implicaciones

Desarrollo de IA Sostenible: El estudio argumenta que la eficiencia energética y la precisión son dimensiones de evaluación distintas que no siempre se alinean. El desarrollo de IA sostenible requiere evaluar sistemáticamente ambas.
Guía para la Toma de Decisiones: Se recomienda a las organizaciones (especialmente en administración pública) adoptar un flujo de trabajo estructurado: comenzar con modelos tradicionales simples y solo recurrir a LLMs si ofrecen una mejora de rendimiento medible y justificable.
Política y Regulación: Los hallazgos apoyan los principios de proporcionalidad y sostenibilidad del EU AI Act, sugiriendo que la elección de modelos debe considerar el impacto ambiental junto con la precisión.
Herramientas de Medición: La fuerte correlación entre tiempo y energía sugiere que, en entornos donde la medición de potencia es difícil, el monitoreo del tiempo de ejecución puede servir como una métrica robusta para estimar la huella de carbono de las inferencias.

En resumen, el paper demuestra que los modelos tradicionales a menudo son suficientes y mucho más eficientes para tareas de clasificación de texto, y que el uso indiscriminado de LLMs grandes sin una justificación clara de rendimiento conlleva un coste ambiental innecesario.