Resumo Técnico: Consumo Energético de Bibliotecas de Dataframe para Pipelines de Deep Learning de Ponta a Ponta

Declaração do Problema

O manuseio eficiente de dados é um gargalo crítico no desenvolvimento e implantação de modelos de deep learning, particularmente no que tange ao consumo energético. Embora a literatura existente avalie bibliotecas de dataframe (Pandas, Polars, Dask) isoladamente ou contra cargas de trabalho de análise simples, há uma lacuna significativa na compreensão de seu desempenho e eficiência energética quando integradas em pipelines completos de deep learning de ponta a ponta. Especificamente, estudos anteriores falham em capturar a interação estreita entre carregamento de dados, pré-processamento, alimentação em lotes e cargas de trabalho de GPU durante tanto o treinamento quanto a inferência. Este artigo aborda a falta de perfilamento energético abrangente para essas bibliotecas em contextos realistas de deep learning, onde o manuseio de dados impacta diretamente a utilização de CPU/GPU e a sustentabilidade geral.

Metodologia

Os autores conduziram uma análise comparativa integrando Pandas, Polars e Dask em pipelines representativos de deep learning e machine learning.

• Configuração Experimental: Os experimentos foram realizados em uma estação de trabalho com CPU de 16 núcleos/32 threads (2,10 GHz), 128 GB de RAM e GPU NVIDIA Tesla V100 (32 GB HBM2). A pilha de software incluiu Python 3.8.12, TensorFlow 2.8.0, PyTorch 1.12.1 e versões específicas de Pandas (1.4.2), Polars (0.10.18) e Dask (2022.2.0).
• Conjuntos de Dados: Três conjuntos de dados representativos foram utilizados:
  • Insurance: Um pequeno conjunto de dados tabular (1.000 registros) para regressão/classificação.
  • ML-1M (MovieLens): Um conjunto de dados de escala média (~1 milhão de linhas) para filtragem colaborativa e Filtragem Colaborativa Neural (NCF).
  • COCO: Um grande conjunto de dados de imagens (~118.000 imagens) para ResNet-50 (classificação) e Mask R-CNN (detecção de objetos).
• Modelos: O estudo avaliou modelos clássicos (Random Forest, SVR, XGBoost) e arquiteturas de deep learning (TabNet, ResNet, Mask R-CNN, NCF).
• Protocolo de Medição:
  • Cada configuração foi executada cinco vezes para calcular médias recortadas e intervalos de confiança de 95%, suprimindo outliers.
  • Métricas de CPU: Capturadas via Linux perf (tempo de execução, energia da CPU, memória).
  • Métricas de GPU: Capturadas via pynvml (energia da GPU, uso de VRAM).
  • Perfilamento Energético: O framework rastreou o consumo energético em cada etapa: carregamento de dados, pré-processamento, treinamento e inferência.
• Implementação: Um pipeline unificado de processamento de dados foi implementado para cada biblioteca, lidando com carregamento de dados, pré-processamento (imputação, codificação, normalização) e criação de lotes. Polars utilizou avaliação preguiçosa e fatiamento sem cópia; Dask usou processamento paralelo baseado em partições; Pandas usou indexação padrão.

Principais Contribuições

O artigo faz três contribuições primárias para o campo de machine learning sustentável:

1. Integração de Pipeline de Ponta a Ponta: Diferentemente de trabalhos anteriores focados em etapas isoladas (por exemplo, apenas carregamento de dados), este estudo avalia o impacto dos backends de dataframe em todo o ciclo de vida de treinamento e inferência, desde a ingestão de dados até a previsão do modelo.
2. Análise Diferenciada de Treinamento vs. Inferência: A pesquisa compara explicitamente como essas bibliotecas se comportam durante o treinamento versus a inferência, abordando uma lacuna na literatura existente que frequentemente trata essas fases como homogêneas.
3. Perfilamento Energético Granular: O estudo vai além da análise de tempo de execução para fornecer uma detalhada decomposição do consumo energético tanto para CPU quanto para GPU, incluindo medições específicas para uso de RAM e VRAM. Isso permite um perfil energético completo de cada configuração de dataloader.

Resultados

Os resultados experimentais revelam trade-offs distintos de desempenho e energia baseados no tamanho do conjunto de dados e na complexidade do modelo:

• Conjuntos de Dados Pequenos (Insurance):
  • Tempo de Execução: Pandas e Polars exibiram tempos de execução quase idênticos para modelos simples (Random Forest, SVR). Dask incorreu em maior tempo de execução devido à sobrecarga de agendamento de tarefas.
  • Energia: Polars mostrou menor consumo de energia da CPU para arquiteturas neurais (TabNet) comparado a Pandas e Dask, atribuído à sua execução paralelizada. No entanto, Polars teve uma pegada de memória de CPU maior devido a buffers Arrow.
• Conjuntos de Dados de Escala Média (ML-1M):
  • Tempo de Execução: Polars superou significativamente tanto Pandas quanto Dask para fluxos de trabalho de Filtragem Colaborativa e NCF (por exemplo, 2,5s vs. 17,9s para Pandas em NCF). Isso foi impulsionado por operações colunares eficientes e transferências sem cópia para tensores PyTorch.
  • Energia: A sobrecarga de agendamento de partições do Dask levou a um consumo de energia da CPU significativamente maior comparado a Polars e Pandas.
• Conjuntos de Dados de Grande Escala (COCO):
  • Tempo de Execução: Para cargas de trabalho pesadas de GPU (ResNet, Mask R-CNN), as três bibliotecas alcançaram tempos de execução semelhantes, pois o cálculo da GPU dominou o pipeline.
  • Memória e Energia: Dask manteve pegadas de memória de CPU mais altas devido a estruturas de dados particionadas. Polars e Pandas mantiveram pegadas de memória de CPU mais baixas. Polars demonstrou economias marginais de energia da CPU durante o pré-processamento, enquanto o consumo de energia da GPU permaneceu virtualmente idêntico entre os backends, já que o cálculo do modelo dominou.
• Análise ao Nível de Operador: A Tabela 2 indica que Polars consistentemente exibiu menor consumo de energia da CPU para operações em massa em todos os modelos quando os tamanhos dos conjuntos de dados excederam algumas centenas de milhares de linhas.

Significado e Afirmações

O artigo afirma preencher a lacuna entre avaliação de desempenho e machine learning sustentável, fornecendo a primeira análise energética abrangente e de ponta a ponta de bibliotecas de dataframe em pipelines de deep learning.

• Recomendações Práticas:
  • Polars é recomendado para processamento energeticamente eficiente de conjuntos de dados de médio a grande porte, particularmente para fluxos de trabalho envolvendo transformações complexas de dados ou redes neurais, devido à sua execução paralela e capacidades sem cópia.
  • Pandas permanece competitivo e viável para cargas de trabalho pequenas a moderadas onde a maturidade do ecossistema é uma prioridade.
  • Dask é adequado quando os dados realmente excedem a RAM disponível ou quando é necessário computação distribuída, embora sua sobrecarga possa levar a um maior consumo de energia em conjuntos de dados menores.
• Impacto na Sustentabilidade: O estudo quantifica que, embora a energia da GPU seja frequentemente dominada pelo próprio modelo, a escolha do dataloader impacta significativamente o consumo de energia da CPU e a eficiência de memória, oferecendo insights acionáveis para reduzir a pegada de carbono das operações de machine learning.

Os autores concluem que, embora Polars mostre promessa para eficiência energética, a escolha da biblioteca deve ser equilibrada contra o tamanho do conjunto de dados, o tipo de modelo e as restrições de hardware. Sugere-se trabalho futuro para explorar essas bibliotecas em clusters de múltiplos nós e aceleradores de hardware emergentes.