Resumen Técnico: Consumo Energético de Bibliotecas de Dataframes para Pipelines de Aprendizaje Profundo de Extremo a Extremo

Enunciado del Problema

El manejo eficiente de datos es un cuello de botella crítico en el desarrollo y despliegue de modelos de aprendizaje profundo, particularmente en lo que respecta al consumo energético. Aunque la literatura existente evalúa bibliotecas de dataframes (Pandas, Polars, Dask) de forma aislada o frente a cargas de trabajo analíticas simples, existe una brecha significativa en la comprensión de su rendimiento y eficiencia energética cuando se integran dentro de pipelines completos de aprendizaje profundo de extremo a extremo. Específicamente, estudios previos no logran capturar la estrecha interacción entre la carga de datos, el preprocesamiento, el suministro por lotes y las cargas de trabajo de la GPU durante tanto el entrenamiento como la inferencia. Este trabajo aborda la falta de perfiles energéticos integrales para estas bibliotecas en contextos realistas de aprendizaje profundo, donde el manejo de datos impacta directamente en la utilización de CPU/GPU y en la sostenibilidad general.

Metodología

Los autores realizaron un análisis comparativo integrando Pandas, Polars y Dask en pipelines representativos de aprendizaje profundo y aprendizaje automático.

• Configuración Experimental: Los experimentos se ejecutaron en una estación de trabajo con una CPU de 16 núcleos/32 hilos (2.10 GHz), 128 GB de RAM y una GPU NVIDIA Tesla V100 (32 GB HBM2). La pila de software incluía Python 3.8.12, TensorFlow 2.8.0, PyTorch 1.12.1 y versiones específicas de Pandas (1.4.2), Polars (0.10.18) y Dask (2022.2.0).
• Conjuntos de Datos: Se utilizaron tres conjuntos de datos representativos:
  • Insurance: Un conjunto de datos tabular pequeño (1,000 registros) para regresión/clasificación.
  • ML-1M (MovieLens): Un conjunto de datos de escala media (~1 millón de filas) para filtrado colaborativo y Filtrado Colaborativo Neuronal (NCF).
  • COCO: Un conjunto de datos de imágenes a gran escala (~118,000 imágenes) para ResNet-50 (clasificación) y Mask R-CNN (detección de objetos).
• Modelos: El estudio evaluó modelos clásicos (Random Forest, SVR, XGBoost) y arquitecturas de aprendizaje profundo (TabNet, ResNet, Mask R-CNN, NCF).
• Protocolo de Medición:
  • Cada configuración se ejecutó cinco veces para calcular medias recortadas e intervalos de confianza del 95%, suprimiendo valores atípicos.
  • Métricas de CPU: Capturadas mediante Linux perf (tiempo de ejecución, energía de CPU, memoria).
  • Métricas de GPU: Capturadas mediante pynvml (energía de GPU, uso de VRAM).
  • Perfilado Energético: El marco de trabajo rastreó el consumo energético en cada etapa: carga de datos, preprocesamiento, entrenamiento e inferencia.
• Implementación: Se implementó un pipeline de procesamiento de datos unificado para cada biblioteca, manejando la carga de datos, el preprocesamiento (imputación, codificación, normalización) y la creación de lotes. Polars utilizó evaluación diferida y rebanado sin copia; Dask empleó procesamiento paralelo basado en particiones; Pandas utilizó indexación estándar.

Contribuciones Clave

El artículo realiza tres contribuciones principales al campo del aprendizaje automático sostenible:

1. Integración de Pipeline de Extremo a Extremo: A diferencia de trabajos anteriores centrados en pasos aislados (por ejemplo, solo carga de datos), este estudio evalúa el impacto de los backends de dataframes a lo largo de todo el ciclo de vida de entrenamiento e inferencia, desde la ingestión de datos hasta la predicción del modelo.
2. Análisis Diferenciado de Entrenamiento vs. Inferencia: La investigación compara explícitamente el rendimiento de estas bibliotecas durante el entrenamiento frente a la inferencia, abordando una brecha en la literatura existente que a menudo trata estas fases como homogéneas.
3. Perfilado Energético Granular: El estudio va más allá del análisis de tiempo de ejecución para proporcionar un desglose detallado del consumo energético tanto de CPU como de GPU, incluyendo mediciones específicas para el uso de RAM y VRAM. Esto permite un perfil energético completo de cada configuración de cargador de datos.

Resultados

Los resultados experimentales revelan compensaciones distintas de rendimiento y energía basadas en el tamaño del conjunto de datos y la complejidad del modelo:

• Conjuntos de Datos Pequeños (Insurance):
  • Tiempo de Ejecución: Pandas y Polars mostraron tiempos de ejecución casi idénticos para modelos simples (Random Forest, SVR). Dask incurrió en un mayor tiempo de ejecución debido a la sobrecarga de la programación de tareas.
  • Energía: Polars mostró un menor consumo de energía de CPU para arquitecturas neuronales (TabNet) en comparación con Pandas y Dask, atribuido a su ejecución paralelizada. Sin embargo, Polars tuvo una mayor huella de memoria de CPU debido a los búferes Arrow.
• Conjuntos de Datos de Escala Media (ML-1M):
  • Tiempo de Ejecución: Polars superó significativamente tanto a Pandas como a Dask en flujos de trabajo de Filtrado Colaborativo y NCF (por ejemplo, 2.5s vs. 17.9s para Pandas en NCF). Esto fue impulsado por operaciones eficientes basadas en columnas y transferencias sin copia a tensores de PyTorch.
  • Energía: La sobrecarga de programación de particiones de Dask llevó a un consumo de energía de CPU significativamente mayor en comparación con Polars y Pandas.
• Conjuntos de Datos de Gran Escala (COCO):
  • Tiempo de Ejecución: Para cargas de trabajo pesadas de GPU (ResNet, Mask R-CNN), las tres bibliotecas lograron tiempos de ejecución similares, ya que el cómputo de la GPU dominó el pipeline.
  • Memoria y Energía: Dask mantuvo huellas de memoria de CPU más altas debido a estructuras de datos particionadas. Polars y Pandas mantuvieron huellas de memoria de CPU más bajas. Polars demostró ahorros marginales de energía de CPU durante el preprocesamiento, mientras que el consumo de energía de la GPU permaneció virtualmente idéntico entre los backends, ya que el cómputo del modelo dominó.
• Análisis a Nivel de Operador: La Tabla 2 indica que Polars exhibió consistentemente un menor consumo de energía de CPU para operaciones masivas en todos los modelos cuando los tamaños de los conjuntos de datos superaron unas pocas cientos de miles de filas.

Significancia y Afirmaciones

El artículo afirma cerrar la brecha entre la evaluación de rendimiento y el aprendizaje automático sostenible al proporcionar el primer análisis energético integral y de extremo a extremo de bibliotecas de dataframes en pipelines de aprendizaje profundo.

• Recomendaciones Prácticas:
  • Polars se recomienda para el procesamiento eficiente energéticamente de conjuntos de datos de tamaño medio a grande, particularmente para flujos de trabajo que involucran transformaciones de datos complejas o redes neuronales, debido a su ejecución paralela y capacidades sin copia.
  • Pandas sigue siendo competitivo y viable para cargas de trabajo pequeñas a moderadas donde la madurez del ecosistema es una prioridad.
  • Dask es adecuado cuando los datos realmente exceden la RAM disponible o se requiere computación distribuida, aunque su sobrecarga puede llevar a un mayor uso de energía en conjuntos de datos más pequeños.
• Impacto en Sostenibilidad: El estudio cuantifica que, aunque la energía de la GPU a menudo está dominada por el modelo en sí, la elección del cargador de datos impacta significativamente el consumo de energía de CPU y la eficiencia de la memoria, ofreciendo información accionable para reducir la huella de carbono de las operaciones de aprendizaje automático.

Los autores concluyen que, aunque Polars muestra promesa para la eficiencia energética, la elección de la biblioteca debe equilibrarse con el tamaño del conjunto de datos, el tipo de modelo y las limitaciones de hardware. Se sugiere trabajo futuro para explorar estas bibliotecas en clústeres de múltiples nodos y aceleradores de hardware emergentes.