Scale-Dependent Performance of YOLOv12 andYOLOv11 for Automated Blood Cell Detection: A Controlled Benchmark on BCCD

Probleemstelling

Geautomatiseerde detectie van rode bloedcellen (RBC's), witte bloedcellen (WBC's) en bloedplaatjes in perifere bloeduitstrijkjes is cruciaal voor het verbeteren van de snelheid en reproduceerbaarheid van hematologische analyses. Hoewel deep learning, in het bijzonder de YOLO (You Only Look Once)-familie, dominant is geworden voor deze taak, blijft het prestatievoordeel van de recent uitgebrachte YOLOv12 ten opzichte van zijn voorganger, YOLOv11, onduidelijk. Specifiek introduceert YOLOv12 een "attention-centric" ontwerp met Area Attention (A2) modules en Residual Efficient Layer Aggregation Network (R-ELAN) blokken, wat theoretisch betere contextuele redenering biedt voor morfologisch verschillende en overlappende cellen. Er was echter nog geen studie die een gecontroleerde, schaal-per-schaal benchmark had uitgevoerd waarbij alle vijf de varianten (van nano tot extra-large) van YOLOv12 tegenover YOLOv11 werd geplaatst op de standaard Blood Cell Count and Detection (BCCD) dataset onder identieke experimentele omstandigheden.

Methodologie

De auteurs hebben een rigoureuze, gecontroleerde benchmark uitgevoerd om verstorende variabelen te elimineren die vaak in vergelijkende studies voorkomen.

• Dataset: De studie maakte gebruik van de BCCD v3 dataset, bestaande uit 364 microscopische bloeduitstrijkjes. Een vaste, reproduceerbare 70/15/15 train/validatie/test split werd toegepast (random seed 42), wat resulteerde in 255 trainingsafbeeldingen, 55 validatieafbeeldingen en 54 testafbeeldingen.
• Data Augmentatie: Om het kleine aantal trainingsafbeeldingen aan te pakken, werd offline augmentatie uitsluitend toegepast op de trainingsset. Zeven transformaties (flips, rotaties, crops, HSV jitter) werden gebruikt om twee augmentaties per afbeelding te selecteren, waardoor de trainingsset werd uitgebreid van 255 naar 765 afbeeldingen. De validatie- en testsets bleven niet-geaugmenteerd.
• Modellen: Alle tien modellen werden geëvalueerd: vijf YOLOv12-varianten (n, s, m, l, x) en vijf YOLOv11-varianten (n, s, m, l, x).
  • YOLOv11: Maakt gebruik van C3k2 backbone blocks en een C2PSA (Convolutional block with Parallel Spatial Attention) neck.
  • YOLOv12: Vervangt de C2PSA neck door een Area Attention (A2) module (die self-attention toepast binnen gelokaliseerde regio's) en gebruikt R-ELAN blocks in de backbone.
• Trainingsprotocol: Alle modellen werden getraind voor 100 epochs op een enkele NVIDIA A100-SXM4-40 GB GPU met behulp van Ultralytics 8.x en PyTorch 2.10. Hyperparameters (optimizer, momentum, weight decay) waren identiek voor alle runs, waarbij leercurves alleen werden aangepast op basis van schaal. Modellen werden geïnitialiseerd met COCO-pre-trained gewichten.
• Evaluatiemetrieken: Prestaties werden beoordeeld op de apart gehouden testset met behulp van mAP@0.5, mAP@0.5:0.95, per-class Average Precision (AP), inferentie-latentie en GFLOPs.
• Statistische Analyse: Om te bepalen of prestatieverschillen het gevolg waren van steekproefruis of genuante architecturale voordelen, pasten de auteurs de McNemar's exact test toe op gepaarde per-afbeelding detectieresultaten (gedetecteerd vs. gemist) voor elke schaalvariant.

Belangrijkste Resultaten

1. Algehele Prestaties en Efficiëntie

• Gemiddelde Prestaties: Over alle vijf de schalen heen was de gemiddelde mAP@0.5 bijna identiek tussen de twee families: 91,40% ± 0,91% voor YOLOv12 en 91,38% ± 0,69% voor YOLOv11.
• Beste Enkele Model: YOLOv12n bereikte de beste afweging voor edge-implementatie, met de hoogste mAP@0.5 (92,51%), de laagste latentie (1,8 ms) en de laagste rekenkosten (6,5 GFLOPs).
• Per-Class Prestaties: WBC-detectie was verzadigd over alle modellen (AP > 98%). RBC-detectie vertoonde een lichte voorsprong voor YOLOv11 (gemiddelde AP 85,77% vs. 85,35%), terwijl Platelet-detectie het hoogst was op de extra-large schaal voor beide (92,95%).

2. Schaalafhankelijke Statistische Verschillen
Hoewel de geaggregeerde mAP vergelijkbaar was, onthulde de McNemar's exact test significante, niet-monotone verschillen in recall op basis van model schaal:

• Nano Schaal: YOLOv12n presteerde significant beter dan YOLOv11n in recall (94,53% vs. 91,38%, p = 0,0008).
• Small Schaal: Er werd geen statistisch significant verschil gevonden (p = 0,1034).
• Medium en Large Schalen: De trend keerde om. YOLOv11 presteerde significant beter dan YOLOv12 in recall bij de medium schaal (89,60% vs. 82,08%, p < 0,0001) en de large schaal (90,29% vs. 85,23%, p < 0,0001).
• Extra-Large Schaal: Beide architecturen convergeerden naar een identieke recall (96,44%, p = 1,0000) en een identieke mAP@0.5 (92,14%).

3. Foutanalyse

• Consensus-fouten: Een analyse van objecten die door minstens 8 van de 10 modellen werden gemist, identificeerde 21 "consensus-fouten". Dit waren voornamelijk RBC's die gedeeltelijk werden afgeschermd door andere cellen of bloedplaatjes met een laag contrast. Dit suggereert dat de resterende fouten worden gedreven door beeldkwaliteit en annotatie-ambiguïteit (bijv. overlappende cellen) in plaats van specifieke architecturale beperkingen van YOLOv11 of YOLOv12.
• Trainingsdynamiek: Beide architecturen vertoonden een vloeiende afname van de loss en een stabiele training over alle schalen, zonder bewijs van divergentie.

Belangrijkste Bijdragen

1. Eerste Gecontroleerde Schaal-per-Schaal Benchmark: Dit is de eerste studie die alle vijf de schaalvarianten van YOLOv12 evalueert tegenover YOLOv11 op de BCCD-dataset onder strikt identieke omstandigheden (data split, augmentatie, hyperparameters en hardware).
2. Onthulling van Schaalafhankelijke Architecturale Effectiviteit: De studie toont aan dat YOLOv12 niet uniform beter presteert dan YOLOv11. In plaats daarvan is het voordeel van het attention-centric ontwerp sterk schaalafhankelijk, waarbij het YOLOv12 bevoordeelt bij de nano-schaal en YOLOv11 bij de medium- en large-schalen.
3. Statistische Rigor: Door de McNemar's exact test toe te passen op de recall, hebben de auteurs significante prestatiekloven blootgelegd die werden gemaskeerd door geaggregeerde mAP-metrieken, wat een genuanceerder beeld geeft van de detectiegevoeligheid.

Betekenis en Claims

Het artikel claimt dat de modelselectie voor geautomatiseerde bloedceldetectie niet uitsluitend gebaseerd moet zijn op geaggregeerde mAP-scores, maar ook rekening moet houden met de specifieke schaal van het model en de operationele vereisten (latentie vs. recall).

• Voor Edge Deployment: YOLOv12n wordt geïdentificeerd als de superieure keuze, die de hoogste mAP, laagste latentie en een statistisch significant voordeel in recall biedt ten opzichte van zijn YOLOv11-tegenhanger.
• Voor Recall-Kritische Toepassingen: Bij medium en large schalen is YOLOv11 te verkiezen, omdat het statistisch significante verbeteringen in recall biedt (tot 7,5 procentpunten) ten opzichte van YOLOv12.
• Verminderde Meeropbrengst: Bij de extra-large schaal convergeren beide architecturen, wat suggereert dat het simpelweg vergroten van de modelcapaciteit de resterende detectiefouten veroorzaakt door celoverlap en laag contrast niet zal oplossen. Toekomstige winsten zullen waarschijnlijk afhangen van verbeterde annotatieconsistentie en het omgaan met overlappende erytrocyten in plaats van louter architecturale veranderingen.

De auteurs concluderen dat de introductie van Area Attention in YOLOv12 slechts een meetbaar voordeel biedt bij de kleinste modelcapaciteit, terwijl het convolutionele ontwerp van YOLOv11 robuuster blijft voor intermediaire schalen in dit specifieke domein.