Single-Thread JPEG Decoder Benchmarks Mis-Evaluate ML Data Loaders

Resumo Técnico: Benchmarks de Decodificador JPEG de Fio Único Avaliam Mal os Carregadores de Dados de ML

Declaração do Problema
Na infraestrutura de aprendizado de máquina, o carregamento de imagens frequentemente se torna o gargalo que limita a taxa de transferência de treinamento, causando ociosidade da GPU. A resposta padrão da indústria é avaliar decodificadores JPEG usando microbenchmarks de processo único e fio único para identificar o decodificador mais rápido (imagens/segundo). Este artigo argumenta que esse design de avaliação codifica uma afirmação falsa: de que a taxa de transferência de decodificador de fio único identifica com precisão o decodificador ideal para carregadores de dados de treinamento. Na realidade, os pipelines de treinamento operam em ambientes complexos envolvendo trabalhadores DataLoader de múltiplos processos, efeitos de fronteira Python/C, pools de threads de bibliotecas e comportamentos específicos de agendamento de CPU. Um benchmark que isola uma única chamada de decodificador falha em capturar essas condições, potencialmente levando a escolhas de bibliotecas subótimas ou negligenciando políticas de robustez críticas para a estabilidade operacional.

Metodologia
Os autores auditam a suposição de avaliação comparando um protocolo comum de fio único contra um protocolo consciente de DataLoader em um ambiente controlado e correspondido.

• Carga de Trabalho: A divisão completa de validação do ImageNet (50.000 arquivos JPEG) é decodificada inteiramente da memória para isolar a sobrecarga de decodificação e carregador de latência de disco ou rede.
• Decodificadores: Doze caminhos de decodificação acessíveis via Python foram avaliados: simplejpeg, turbojpeg, jpeg4py, kornia-rs, opencv, imagecodecs, pyvips, pillow, skimage, imageio, torchvision e tensorflow.
• Hardware: Cinco instâncias do Google Cloud com 16 vCPUs correspondidas representando diferentes fornecedores, ISAs e gerações: Intel Emerald Rapids, AMD Zen 4, AMD Zen 5, ARM Neoverse V2 (Google Axion) e ARM Neoverse N1 (Ampere Altra).
• Protocolos:
  1. Fio Único: Taxa de transferência de decodificação baseada em memória.
  2. PyTorch DataLoader: Taxa de transferência medida nas contagens de trabalhadores $\{0, 2, 4, 8\}$.
  3. Robustez: Contabilização de imagens puladas (falhas) durante a decodificação.
• Política Estatística: O estudo utiliza amostras brutas de taxa de transferência por execução armazenadas em JSON, em vez de depender apenas das médias de tabelas. Limites de significância prática são aplicados (1% para fio único, 5% para taxa de transferência DataLoader) para distinguir entre vencedores estatisticamente isolados e performers de elite empatados.

Principais Contribuições

1. Comparação de Protocolos: Uma comparação direta das classificações de decodificador de fio único contra as classificações de taxa de transferência DataLoader na mesma carga de trabalho, bibliotecas e ambientes fixos.
2. Artefato Reprodutível: Lançamento de uma CLI instalável e scripts de execução no Google Cloud para replicar o benchmark localmente ou na nuvem, incluindo dados JSON brutos e figuras geradas.
3. Isolamento de Variáveis: Identificação de mudanças de classificação e efeitos de escalonamento de trabalhadores que são invisíveis quando a avaliação é restrita a uma única família de CPU ou a uma única contagem de trabalhadores.
4. Protocolo de Decisão Operacional: Um framework que converte resultados de benchmark em recomendações operacionais que consideram a escolha do decodificador, contagem de trabalhadores, microarquitetura e políticas de robustez.

Principais Resultados

• Inversão de Classificação: Líderes de fio único frequentemente falham em ser líderes de DataLoader. Em três das cinco plataformas, o líder de fio único não é o líder de pico de DataLoader.
  • Neoverse V2: imageio ocupa a 9ª posição em fio único, mas empata no topo da elite em DataLoader (ao lado de torchvision).
  • AMD Zen 4: torchvision sobe da 7ª posição em fio único para a elite superior de DataLoader.
  • Neoverse N1: imagecodecs lidera em fio único, mas ocupa a 4ª posição na taxa de transferência de pico de DataLoader.
• Escalonamento de Contagem de Trabalhadores: A contagem ótima de trabalhadores não é universal. No AMD Zen 4, a maioria dos decodificadores atinge o pico em 4 trabalhadores, enquanto no Zen 5 e nas plataformas ARM, o desempenho geralmente continua a melhorar até 8 trabalhadores.
• Falhas de Robustez: Decodificadores estritos (jpeg4py, kornia-rs, turbojpeg) consistentemente pulam o mesmo raro JPEG do ImageNet (índice 19876) em todas as plataformas, reduzindo sua taxa de transferência efetiva. O TensorFlow exibe uma penalidade de desempenho significativa em arquiteturas ARM (caindo para ~59% do vencedor local) em comparação com x86.
• Recomendações de Elite Superior:
  • Elite Zero-Pulo: Apenas torchvision, simplejpeg e OpenCV alcançaram zero pulos observados e permaneceram acima de 90% do vencedor da plataforma local em todas as CPUs testadas.
  • Nuance de Desempenho: torchvision oferece a maior taxa de transferência normalizada média, enquanto simplejpeg fornece a maior taxa de transferência mínima entre as plataformas. OpenCV serve como um fallback geral robusto, alcançando consistentemente 91,1%–97,4% do vencedor local.

Significado e Afirmações
O significado primário do artigo é metodológico: demonstra que o protocolo de avaliação deve corresponder à afirmação de implantação.

• Escopo da Afirmação: Os autores não afirmam um decodificador "mais rápido" universal, nem afirmam que ARM é inerentemente lento ou que a AMD escala mal. Em vez disso, afirmam que, sob uma estrutura de DataLoader PyTorch baseada em fork, as classificações de decodificador são dependentes do contexto.
• Impacto Operacional: Para cargas de trabalho DataLoader do PyTorch, confiar em benchmarks de fio único pode levar à seleção de um decodificador que é 4,7% a 7,4% mais lento que a escolha ótima para aquela plataforma específica.
• Conclusão: Um benchmark válido para pipelines de treinamento deve relatar simultaneamente a taxa de transferência em escala de carregador, a microarquitetura alvo e o comportamento de falha de decodificação. O artigo fornece um framework para tornar esses limites explícitos, afastando-se de métricas de único ranking em direção a recomendações em camadas e conscientes do contexto.