🤖 machine learning

Single-Thread JPEG Decoder Benchmarks Mis-Evaluate ML Data Loaders

Dit artikel toont aan dat single-thread JPEG-decoder microbenchmarks real-world ML DataLoader-prestaties over diverse CPU-architecturen niet voorspellen, wat aantoont dat multi-threaded worker-configuraties en specifieke decoder-gedragingen doorvoer-ranglijsten vaak omkeren, en benadrukt dat torchvision en simplejpeg de meest robuuste keuzes zijn voor PyTorch-workloads.

Oorspronkelijke auteurs: Vladimir Iglovikov

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vladimir Iglovikov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke restaurantkeuken runt. Je doel is om heerlijke maaltijden (data) zo snel mogelijk uit de voorraadkast (opslag) naar de koks (het AI-model) te krijgen. De "JPEG-decoder" is de sous-chef wiens enige taak het is om de voedselverpakking uit te pakken (de JPEG-afbeeldingen decoderen) zodat de hoofdkok kan koken.

Jarenlang hebben mensen geprobeerd de beste sous-chef te vinden door een eenvoudige test uit te voeren: Hoe snel kan één persoon één enkel pakket uitpakken? Ze zouden één persoon timen, de snelste kiezen en die inhuurden voor de hele keuken.

Dit artikel stelt dat deze eenvoudige test misleidend is. Alleen omdat iemand de snelste is in het uitpakken van een enkel pakket in een stille kamer, betekent dit niet dat ze de beste keuze zijn voor een chaotische, drukke keuken met meerdere medewerkers die samenwerken.

Hier is de uiteenzetting van de bevindingen van het artikel met gebruik van alledaagse analogieën:

1. De "Solo-Sprint" versus de "Team-estafette"

Het artikel testte 12 verschillende "uitpaktuigen" (softwarebibliotheken zoals simplejpeg, torchvision, OpenCV, enz.) op vijf verschillende soorten computerprocessors (zoals Intel-, AMD- en ARM-chips).

De oude manier (Solo-Sprint): Ze maten hoe snel elk hulpmiddel één afbeelding kon decoderen, alleenstaand.
- Resultaat: Sommige hulpmiddelen, zoals simplejpeg, waren de duidelijke winnaars.
De nieuwe manier (Team-estafette): Ze simuleerden een echte trainingsomgeving waarbij een "DataLoader" (de keukenmanager) afbeeldingen tegelijkertijd naar meerdere werknemers (processen) stuurt.
- Resultaat: De ranglijst veranderde volledig!
- De draai: Op sommige computers schoof een hulpmiddel dat in de solo-sprint op de 9e plaats eindigde (zoals imageio) naar de topklasse wanneer het in een team werkte. Op andere computers viel de solo-winnaar achterop.

De analogie: Stel je een hardloper voor die de snelste sprinter ter wereld is (Solo-winnaar). Maar als je ze in een estafettewedstrijd stopt waar ze een stok aan drie andere mensen moeten doorgeven, kunnen ze misschien vreselijk zijn in het overhandigen. Het artikel zegt: Huur niet de beste sprinter in als je een estafetteteam nodig hebt; huur de beste teamspeler in.

2. De "hardware-persoonlijkheid" telt

Het artikel vond dat het "beste" hulpmiddel volledig afhankelijk is van het type computerprocessor dat je gebruikt. Het is geen antwoord dat voor iedereen geldt.

De AMD-generatiekloof: Ze testten twee generaties AMD-processors (Zen 4 en Zen 5).
- Op Zen 4 hielp het toevoegen van meer werknemers tot maximaal 4 personen, maar het toevoegen van een 8e persoon vertraagde de zaken juist (alsof je te veel koks toevoegt aan een kleine keuken).
- Op Zen 5 bleef het toevoegen van meer werknemers helpen, helemaal tot aan 8 personen.
- Les: Wat werkt voor één generatie hardware, kan een ramp zijn voor de volgende.

3. Het probleem van het "beschadigde pakket" (Robuustheid)

In een echte keuken is een pakket soms gescheurd of verkeerd gelabeld. Een goede sous-chef moet dit met waardigheid afhandelen.

Sommige hulpmiddelen waren "streng": Als ze één vreemde afbeelding zagen, stopten ze en slaan ze die over.
Sommige hulpmiddelen waren "robuust": Ze hanteerden de vreemde afbeelding en gingen verder.
De bevinding: Sommige van de snelste "streng" hulpmiddelen slaan een specifieke afbeelding in de testset over. Als je een AI traint, kan het overslaan van data slecht zijn. Het artikel vond dat hulpmiddelen zoals torchvision en simplejpeg de "robuste" winnaars waren – ze waren snel en slaan geen enkele afbeelding over.

4. De "ARM-boete"

Ze testten een populair hulpmiddel genaamd TensorFlow.

Op Intel- en AMD-computers was het snel.
Op ARM-computers (vaak gebruikt in mobiele apparaten en nieuwere servers) was het aanzienlijk trager – ongeveer 40% trager dan de beste optie.
Les: Als je een ARM-computer gebruikt, ga er dan niet van uit dat TensorFlow je beste optie is voor het laden van afbeeldingen.

Het definitieve oordeel: Hoe kies je?

Het artikel concludeert dat je een hulpmiddel niet kunt kiezen door alleen te kijken naar een "snelste single-thread"-ranglijst. In plaats daarvan moet je het hele plaatje bekijken:

Als je de beste gemiddelde snelheid wilt: Gebruik torchvision. Het was de meest consistente topperformer in alle opzichten.
Als je de veiligste "worst-case"-snelheid wilt: Gebruik simplejpeg. Het was het meest betrouwbaar, nooit het langzaamste, en slaan nooit een afbeelding over.
Als je een betrouwbaar alternatief nodig hebt: Gebruik OpenCV. Het was niet altijd nummer 1, maar het zat altijd in de top 10% (boven 90% van de winnaar) op elke geteste computer.

De grote les:
Oordeel niet over een bibliotheek op basis van hoe snel het is in een vacuüm. Om een goede AI-trainingpijplijn te bouwen, moet je testen hoe het hulpmiddel presteert wanneer het daadwerkelijk in een team werkt, op jouw specifieke type computer, en met rommelige real-world data omgaat. Het "snelste" hulpmiddel in een solo-wedstrijd kan de verkeerde keuze zijn voor jouw team.

Technische Samenvatting: Enkel-thread JPEG-decoder benchmarks evalueren ML-data loaders verkeerd

Probleemstelling
In machine learning-infrastructuur wordt het laden van afbeeldingen vaak de bottleneck die de trainingsdoorvoer beperkt, waardoor GPU's inactief blijven. De standaard industriële reactie is om JPEG-decoders te benchmarken met behulp van single-process, single-thread microbenchmarks om de snelste decoder (afbeeldingen/seconde) te identificeren. Dit artikel betoogt dat dit evaluatieontwerp een valse claim bevat: dat single-thread decoder-doorvoer nauwkeurig de optimale decoder voor trainingsdata loaders identificeert. In werkelijkheid opereren trainingspipelines binnen complexe omgevingen met multi-process DataLoader-workers, Python/C-grens-effecten, bibliotheek-threadpools en specifieke CPU-schedulingsgedragingen. Een benchmark die een enkele decoderaanroep isoleert, faalt om deze omstandigheden te vangen, wat mogelijk leidt tot suboptimale bibliotheekkeuzes of het over het hoofd zien van robuustheidsbeleid dat cruciaal is voor operationele stabiliteit.

Methodologie
De auteurs auditeren de evaluatieaanname door een veelgebruikt single-thread-protocol te vergelijken met een DataLoader-bewust protocol in een gecontroleerde, gelijkwaardige omgeving.

Werklast: De volledige ImageNet-validatiesplit (50.000 JPEG-bestanden) wordt volledig uit het geheugen gedecodeerd om decode- en loader-overhead te isoleren van schijf- of netwerklatentie.
Decoders: Twaalf Python-toegankelijke decodepaden werden geëvalueerd: simplejpeg, turbojpeg, jpeg4py, kornia-rs, opencv, imagecodecs, pyvips, pillow, skimage, imageio, torchvision en tensorflow.
Hardware: Vijf gelijkwaardige Google Cloud-instanties met 16 vCPU's die verschillende leveranciers, ISA's en generaties vertegenwoordigen: Intel Emerald Rapids, AMD Zen 4, AMD Zen 5, ARM Neoverse V2 (Google Axion) en ARM Neoverse N1 (Ampere Altra).
Protocollen:
1. Single-Thread: Doorvoer van geheugen-gebaseerde decoding.
2. PyTorch DataLoader: Doorvoer gemeten bij worker-aantallen $\{0, 2, 4, 8\}$ .
3. Robuustheid: Rekening houden met overgeslagen afbeeldingen (mislukkingen) tijdens decoding.
Statistisch Beleid: De studie gebruikt ruwe doorvoersamples per run opgeslagen in JSON in plaats van uitsluitend te vertrouwen op tabelgemiddelden. Praktische significantiedrempels worden toegepast (1% voor single-thread, 5% voor DataLoader-doorvoer) om te onderscheiden tussen statistisch geïsoleerde winnaars en gelijkende top-tier presteerders.

Belangrijkste Bijdragen

Protocolvergelijking: Een directe vergelijking van single-thread decoder-ranglijsten tegen DataLoader-doorvoer-ranglijsten op dezelfde werklast, bibliotheken en vastgezette omgevingen.
Reproduceerbaar Artifact: Uitgifte van een installeerbare CLI en Google Cloud-runner-scripts om de benchmark lokaal of in de cloud te repliceren, inclusief ruwe JSON-gegevens en gegenereerde figuren.
Isolatie van Variabelen: Identificatie van rangwijzigingen en worker-schalingseffecten die onzichtbaar zijn wanneer de evaluatie beperkt blijft tot één CPU-familie of één worker-aantal.
Operationeel Beslissingsprotocol: Een raamwerk dat benchmarkresultaten omzet in operationele aanbevelingen die rekening houden met decoderkeuze, worker-aantal, microarchitectuur en robuustheidsbeleid.

Belangrijkste Resultaten

Rankinversie: Single-thread-leiders zijn vaak geen DataLoader-leiders. Op drie van de vijf platforms is de single-thread-leider niet de piek DataLoader-leider.
- Neoverse V2: imageio staat 9e in single-thread maar deelt de top-tier in DataLoader (samen met torchvision).
- AMD Zen 4: torchvision stijgt van 7e in single-thread naar de top DataLoader-tier.
- Neoverse N1: imagecodecs leidt single-thread maar staat 4e in piek DataLoader-doorvoer.
Worker-aantal Schaling: Het optimale worker-aantal is niet universeel. Op AMD Zen 4 pieken de meeste decoders bij 4 workers, terwijl op Zen 5 en de ARM-platforms de prestaties over het algemeen blijven verbeteren tot 8 workers.
Robuustheidsmislukkingen: Strikte decoders (jpeg4py, kornia-rs, turbojpeg) slaan consequent dezelfde zeldzame ImageNet JPEG over (index 19876) op alle platforms, wat hun effectieve doorvoer verlaagt. TensorFlow vertoont een significante prestatieboete op ARM-architecturen (dalen tot ~59% van de lokale winnaar) vergeleken met x86.
Top-tier Aanbevelingen:
- Zero-Skip Tier: Alleen torchvision, simplejpeg en OpenCV behaalden nul waargenomen overslagen en bleven boven 90% van de lokale platformwinnaar op alle geteste CPU's.
- Prestatie Nuance: torchvision biedt de hoogste gemiddelde genormaliseerde doorvoer, terwijl simplejpeg de hoogste minimale doorvoer biedt over platforms. OpenCV dient als een robuuste algemene fallback, consistent 91,1%–97,4% van de lokale winnaar behalvend.

Betekenis en Claims
De primaire betekenis van het artikel is methodologisch: het toont aan dat het evaluatieprotocol moet overeenkomen met de implementatieclaim.

Reikwijdte van Claim: De auteurs claimen geen universele "snelste" decoder, noch claimen ze dat ARM inherent traag is of dat AMD slecht schaalt. In plaats daarvan stellen ze dat onder een fork-gebaseerde PyTorch DataLoader-harnas, decoder-ranglijsten contextafhankelijk zijn.
Operationele Impact: Voor PyTorch DataLoader-werklasten kan het vertrouwen op single-thread benchmarks leiden tot het selecteren van een decoder die 4,7% tot 7,4% trager is dan de optimale keuze voor dat specifieke platform.
Conclusie: Een geldige benchmark voor trainingspipelines moet gelijktijdig loader-schaal doorvoer, doel-microarchitectuur en decode-mislukkingsgedrag rapporteren. Het artikel biedt een raamwerk om deze grenzen expliciet te maken, en weg te bewegen van single-leaderboard-metrics naar getierde, contextbewuste aanbevelingen.