Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

Dit onderzoek analyseert negen kwaliteitsdimensies van 326 beeldclassificatiemodellen om inzicht te krijgen in factoren die bijdragen aan 'goed gedrag' en introduceert de QUBA-score als een nieuwe metriek voor het beoordelen van modellen op basis van meer dan alleen nauwkeurigheid.

De kern

Titel: Meer dan alleen een goede cijfer: Waarom slimme beeldherkenningscomputers ook "goed opgevoed" moeten zijn

Stel je voor dat je een groep studenten hebt die allemaal een heel moeilijk examen moeten doen: het herkennen van dieren op foto's. De meeste studenten worden beoordeeld op één ding: hoeveel vragen ze goed hebben. Dat is de "nauwkeurigheid" (accuracy).

Maar wat als die studenten wel 99% van de vragen goed hebben, maar dan:

• In paniek raken als de leraar even een potlood op de foto legt? (Niet robuust)
• Zeggen dat ze 100% zeker zijn, terwijl ze eigenlijk raden? (Niet betrouwbaar)
• Alleen de katten herkennen, maar honden volledig negeren? (Niet eerlijk)
• De foto van een hond herkennen als een hond, alleen omdat ze de achtergrond (het gras) herkennen en niet het dier zelf? (Slechte focus)

Dit artikel van Robin Hesse en zijn team zegt: "Stop met alleen kijken naar het cijfer! Laten we kijken of de studenten ook goed opgevoed zijn."

Ze hebben een gigantische studie gedaan met 326 verschillende "studenten" (computermodellen) om te zien hoe ze presteren op negen verschillende eigenschappen, niet alleen op het cijfer.

Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De "Goede Opvoeding" (De 9 Eigenschappen)

De auteurs kijken naar negen dingen die een goed model moet hebben:

1. Nauwkeurigheid: Het cijfer (hoeveel goed?).
2. Adversarial Robustness: Kan het tegen een stootje? Als iemand de foto een beetje verpest met een onzichtbare filter, blijft het model dan rustig?
3. Corruption Robustness: Kan het nog steeds zien als de foto wazig is, zwart-wit is of een JPEG-compressie heeft?
4. OOD Robustness: Kan het dingen herkennen die het nooit eerder heeft gezien? (Bijvoorbeeld: een hond getekend als een schets, in plaats van een foto).
5. Calibration: Is het eerlijk over zijn zekerheid? Zegt het "Ik weet het zeker" als het het ook echt weet, of denkt het dat het slim is terwijl het raadt?
6. Class Balance (Eerlijkheid): Herkent het alle dieren even goed? Of is het een "favorietje" dat alleen katten herkent en honden negeert?
7. Object Focus: Kijkt het naar het dier, of naar de achtergrond? (Een goed model kijkt naar de hond, niet naar het gras).
8. Shape Bias: Kijkt het naar de vorm van het dier, of alleen naar de textuur? (Is het een hond omdat het eruitziet als een hond, of omdat het vachtje heeft?)
9. Parameters (Grootte): Hoe groot en zwaar is het brein? (Hoeveel geheugen en energie kost het?)

2. Wat werkt er? (De Grote Ontdekkingen)

De auteurs hebben ontdekt dat bepaalde "leermethoden" (training) een groot verschil maken:

• Grotere bibliotheken zijn beter: Studenten die op een enorme bibliotheek hebben geleerd (grote datasets) presteren over het algemeen beter in alles. Ze zijn minder snel in de war.
• Zelfstudie (Self-Supervised Learning) is de toekomst: Stel je voor dat een student eerst duizenden boeken leest zonder dat er vragen bij staan (zelfstudie), en pas daarna oefent met het examen. Deze studenten (modellen) worden vaak beter dan diegene die direct met het examen beginnen. Ze begrijpen de wereld beter en zijn eerlijker in hun antwoorden.
• Taalkundige modellen zijn supersterk: Modellen die zowel naar plaatjes als naar tekst hebben geleerd (zoals CLIP), zijn ongelooflijk goed in het herkennen van dingen die ze nooit eerder hebben gezien (zoals schetsen of schilderijen). Ze zijn echter wel wat "zwaarder" (meer geheugen nodig) en maken soms meer foutjes bij het gewone examen.
• Oude helden zijn verouderd: Bekende modellen zoals ResNet50 (de "oudere broer" van de computerwereld) doen het verrassend slecht als je kijkt naar alle eigenschappen samen. Ze zijn misschien nog steeds slim, maar ze zijn niet meer "goed opgevoed" volgens de moderne standaarden.

3. De Nieuwe Score: De QUBA-score

Omdat het moeilijk is om te zeggen welk model het "best" is (sommige zijn klein en snel, andere zijn groot en robuust), hebben de auteurs een nieuwe score bedacht: QUBA (Quality Understanding Beyond Accuracy).

Dit is als een rapportkaart met meerdere vakken. In plaats van één cijfer geven ze een totaalbeeld.

• Heb je een model nodig dat heel snel is op een telefoon? Dan tikt de QUBA-score anders dan wanneer je een model nodig hebt dat nooit in de war raakt in een ziekenhuis.
• De score helpt ontwikkelaars om het juiste model te kiezen voor hun specifieke probleem, in plaats van blindelings het model met het hoogste cijfer te kiezen.

Conclusie in één zin

Dit artikel zegt dat we in de wereld van kunstmatige intelligentie niet meer alleen moeten kijken naar hoe slim een computer is (het cijfer), maar ook naar hoe betrouwbaar, eerlijk en veerkrachtig hij is. De beste computer is niet degene met het hoogste cijfer, maar degene die het meest "goed opgevoed" is voor de echte wereld.

Technische samenvatting

Probleemstelling

Dieplerning (Deep Learning) en diepe neurale netwerken (DNN's) hebben de computer vision-revolutie gedreven en presteren uitzonderlijk goed op het gebied van voorspellende nauwkeurigheid (accuracy). Echter, deze modellen vertonen vaak tekortkomingen in andere cruciale kwaliteitsdimensies, zoals robuustheid (tegenaanvallen, corrupties, domeinverschuivingen), kalibratie (betrouwbaarheid van de voorspelde waarschijnlijkheid) en eerlijkheid (fairness).

Bestaand onderzoek richt zich vaak op slechts één of een paar van deze dimensies, wat leidt tot een "orthogonale" ontwikkeling van methoden. Er is een gebrek aan een holistisch inzicht in hoe verbeteringen in de ene dimensie de andere beïnvloeden. Het is onduidelijk welke trainingsparadigma's en architecturale keuzes leiden tot "goed gedragende" (well-behaved) modellen die op meerdere kwaliteitsaspecten tegelijk excelleren.

Methodologie

De auteurs voeren een grootschalige studie uit om deze kloof te dichten door 326 verschillende backbone-modellen te evalueren voor de ImageNet-1k beeldclassificatietaken.

1. Negen Kwaliteitsdimensies:
In plaats van alleen naar nauwkeurigheid te kijken, evalueren ze modellen op negen verschillende dimensies:

1. Nauwkeurigheid (Accuracy): Aandeel correct geclassificeerde schone afbeeldingen.
2. Adversarial Robuustheid: Robuustheid tegen FGSM- en PGD-aanvallen (genormaliseerd op schone nauwkeurigheid).
3. Corruptie-robustheid (C-Robustness): Prestaties op ImageNet-C (bijv. JPEG-compressie, ruis).
4. OOD-Robustheid (Out-of-Domain): Generalisatie naar nieuwe domeinen (ImageNet-R, Sketch, Stylized-ImageNet, etc.).
5. Kalibratiefout (Calibration Error): Mate waarin de voorspelde zekerheid overeenkomt met de werkelijke nauwkeurigheid (ECE en ACE).
6. Klassebalans (Class Balance): Maatstaf voor eerlijkheid; de standaardafwijking van nauwkeurigheden en vertrouwen over alle klassen (minder variatie = eerlijker).
7. Object Focus: In hoeverre het model zich richt op het voorwerp en niet op de achtergrond.
8. Vormbias (Shape Bias): In hoeverre het model gebaseerd is op vorm in plaats van textuur (menselijker visie).
9. Aantal Parameters: Een proxy voor computationele kosten en efficiëntie.

2. Vergelijkende Analyse:
De auteurs analyseren hoe verschillende factoren deze dimensies beïnvloeden:

• Trainingsstrategieën: Vergelijking van standaard supervisie, zelftoezicht (self-supervised learning, SSL) met lineaire probing vs. end-to-end fine-tuning, semi-supervised learning, adversarial training, en verschillende trainingsduur (A1, A2, A3 strategieën).
• Architecturen: Vergelijking tussen CNN's, Vision Transformers (ViT), B-cos modellen en Vision-Language (ViL) modellen.

3. QUBA Score:
Om modellen over meerdere dimensies te rangschikken, introduceren ze de QUBA score (Quality Understanding Beyond Accuracy). Dit is een gewogen som van de afwijkingen (in standaardafwijkingen) van een model ten opzichte van het gemiddelde van de hele modelverzameling per dimensie. Dit maakt het mogelijk om modellen te rangschikken op basis van specifieke gebruikersbehoeften door de gewichten aan te passen.

Belangrijkste Bijdragen

1. Nieuwe Benchmark: Een uitgebreid benchmark-protocol dat negen kwaliteitsdimensies simultaan meet voor ImageNet-1k modellen zonder extra fine-tuning.
2. Grootschalige Evaluatie: Een analyse van 326 modellen, wat een van de grootste studies tot nu toe is op dit gebied.
3. Inzicht in Relaties: Een diepgaande analyse van de correlaties tussen de verschillende kwaliteitsdimensies, waarbij zowel bekende als nieuwe relaties worden ontdekt.
4. QUBA Score: Een nieuwe metriek voor het rangschikken van modellen die rekening houdt met de trade-offs tussen verschillende eigenschappen.

Kernresultaten en Inzichten

Invloed van Trainingsstrategieën:

• Grote datasets: Trainen op grotere datasets (ImageNet-21k vs. ImageNet-1k) verbetert bijna alle kwaliteitsdimensies, met name nauwkeurigheid, corruptie-robustheid en kalibratie.
• Zelftoezicht (Self-Supervised Learning):
  • Modellen die zijn geïnitieerd met SSL-weights en vervolgens end-to-end (E2E) worden gefine-tuned, verbeteren de meeste kwaliteitsdimensies (behalve kalibratie).
  • Een verrassend resultaat is dat SSL-modellen een betere klassebalans (eerlijkheid) hebben, waarschijnlijk omdat ze tijdens pre-training geen klassenspecifieke informatie hebben geleerd, wat leidt tot minder vertekende features.
  • Lineaire probing (LP) van SSL-modellen presteert over het algemeen slechter dan supervisie, behalve bij OOD-robustheid.
• Adversarial Training: Verbeterde adversarial robustheid, OOD-robustheid en vormbias, maar gaat ten koste van de algemene nauwkeurigheid en klassebalans.
• Vision-Language (ViL) Modellen: Modellen zoals CLIP tonen uitzonderlijke OOD-robustheid en klassebalans, maar hebben een lagere zero-shot nauwkeurigheid en slechtere kalibratie. Ze zijn ook zwaarder (meer parameters).

Invloed van Architectuur:

• Transformers vs. CNN's: Vision Transformers presteren consistent beter dan CNN's op bijna alle kwaliteitsdimensies (behalve nauwkeurigheid, waar ze gelijk zijn).
• B-cos Transformatie: Deze methode, ontworpen voor interpreteerbaarheid, verlaagt de prestaties op de meeste andere kwaliteitsdimensies aanzienlijk.

Relaties tussen Dimensies:

• Er is een sterke positieve correlatie tussen nauwkeurigheid en klassebalans.
• Object focus is sterk gecorreleerd met de meeste andere kwaliteitsdimensies.
• Kalibratiefout heeft weinig tot geen statistisch significante correlatie met de andere dimensies, wat suggereert dat dit een unieke uitdaging is die apart moet worden aangepakt.
• In tegenstelling tot eerdere studies met kleinere datasets, vonden de auteurs geen sterke correlatie tussen adversarial robustheid en C-/OOD-robustheid wanneer een breed scala aan modellen wordt beschouwd.

Topmodellen:
De modellen met de hoogste QUBA-scores (zoals EVA02-B/14 en Hiera-B-Plus) zijn vaak gebaseerd op zelftoezicht (self-supervised) met end-to-end fine-tuning op grote datasets. Ze tonen aan dat het mogelijk is om modellen te bouwen die op een breed scala aan kwaliteiten excelleren. Bekende "standaard" modellen zoals ResNet50 en de originele ViT presteren relatief slecht in deze bredere evaluatie.

Significantie

Deze studie is van groot belang voor de computer vision-community omdat het de focus verlegt van puur het maximaliseren van nauwkeurigheid naar het ontwikkelen van betrouwbare en goed gedragende AI-systemen.

• Het biedt een holistisch perspectief dat ontwikkelaars helpt bij het kiezen van het juiste model voor specifieke toepassingen (bijv. een model met hoge OOD-robustheid voor medische beeldvorming versus een model met lage parameters voor mobiele apparaten).
• Het ondermijnt de aanname dat er altijd een strikte trade-off is tussen nauwkeurigheid en andere kwaliteiten; met de juiste trainingsstrategieën (zoals SSL + E2E fine-tuning op grote datasets) kunnen veel dimensies gelijktijdig worden verbeterd.
• De introductie van de QUBA-score biedt een gestandaardiseerde manier om modellen te vergelijken en aan te moedigen dat de gemeenschap bredere kwaliteitsmaatstaven hanteert bij het ontwerpen van nieuwe netwerken.

Kortom, het papier pleit voor een verschuiving in onderzoek en ontwikkeling: van "hoe nauwkeurig is het model?" naar "hoe goed is het model in het algemeen?".