Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

Cette étude propose une analyse à grande échelle de neuf dimensions de qualité au-delà de la simple précision pour les modèles de classification d'images, révélant l'impact des paradigmes d'entraînement et des architectures, et introduisant le score QUBA pour évaluer et classer ces modèles de manière holistique.

L'essentiel

🚗 Au-delà de la vitesse : La vraie qualité d'une voiture (ou d'une IA)

Imaginez que vous achetez une voiture. Pendant des années, les constructeurs se sont battus uniquement pour savoir quelle voiture allait le plus vite sur un circuit parfaitement lisse. C'est ce qu'on appelle la "précision" (Accuracy) en intelligence artificielle : la capacité du modèle à bien classer des images normales.

Mais les chercheurs Robin Hesse et son équipe se sont dit : "Attendez une minute ! Une voiture rapide est inutile si elle ne sait pas freiner sous la pluie, si elle est dangereuse pour les piétons, ou si elle consomme une fortune en essence."

Cette étude, publiée dans Transactions on Machine Learning Research, a pris 326 modèles d'IA différents (comme 326 voitures différentes) et les a testés non pas seulement sur leur vitesse, mais sur 9 critères de qualité différents pour voir quelles sont les "meilleures voitures" au sens large.

📋 Les 9 critères de qualité (Le tableau de bord)

Au lieu de juste regarder le compteur de vitesse, ils ont vérifié :

1. La Vitesse (Précision) : Est-ce qu'elle gagne la course ? (Oui, c'est important, mais pas tout).
2. La Robustesse aux Chocs (Robustesse Adversariale) : Si quelqu'un met un petit autocollant sur un panneau "Stop" pour le transformer en "Stop" illisible, la voiture s'arrête-t-elle encore ?
3. La Robustesse à la Boue (Robustesse aux Corruptions) : Si la route est boueuse, pluvieuse ou si la caméra est sale, la voiture voit-elle encore la route ?
4. La Robustesse aux Paysages Inconnus (Robustesse OOD) : Si la voiture est entraînée en Allemagne mais qu'on la conduit au Japon (paysages différents), sait-elle encore conduire ?
5. La Confiance (Calibration) : Si la voiture dit "Je suis à 99% sûre que c'est un chat", est-ce vrai ? Ou est-ce qu'elle est juste très confiante alors qu'elle se trompe ?
6. L'Équité (Balance des Classes) : La voiture est-elle aussi bonne pour reconnaître un "Poodle" (caniche) que pour reconnaître un "Bouledogue" ? Ou est-ce qu'elle déteste les caniches ?
7. Le Focalisation (Object Focus) : Pour reconnaître un chien, regarde-t-elle le chien, ou est-ce qu'elle se fie au tapis sur lequel il est posé ? (Si elle se fie au tapis, c'est une mauvaise habitude).
8. La Forme vs la Texture (Shape Bias) : Si on dessine un chat avec la peau d'un éléphant, la voiture reconnaît-elle la forme du chat ou la texture de l'éléphant ? Les humains reconnaissent la forme, les vieilles IA reconnaissent la texture.
9. La Consommation (Paramètres) : Combien de "moteur" (mémoire) faut-il pour faire tourner cette voiture ?

🔍 Les grandes découvertes (Ce qu'ils ont appris)

En testant ces 326 modèles, ils ont découvert des choses surprenantes :

• L'entraînement sur de grandes données est magique : Apprendre à l'IA avec un énorme livre de données (comme ImageNet-21k) plutôt qu'un petit cahier (ImageNet-1k) améliore presque tout : la vitesse, la sécurité, et l'équité. C'est comme si on envoyait un élève à l'école pendant 10 ans au lieu de 2 ans.
• L'apprentissage "sans professeur" (Self-Supervised) est le futur : Au lieu de donner à l'IA des milliers d'images étiquetées "chat" ou "chien", on lui laisse découvrir des motifs par elle-même sur des milliards d'images, puis on l'affine un peu. Résultat : ces modèles sont souvent plus intelligents, plus équitables et plus robustes que ceux entraînés de la manière traditionnelle.
• Les modèles "Vision-Language" (ViL) sont des surdoués de l'adaptation : Des modèles comme CLIP (qui comprennent à la fois les images et le texte) sont incroyablement bons pour reconnaître des choses dans des environnements nouveaux (comme des dessins ou des croquis), même s'ils sont un peu moins rapides sur les images classiques.
• Les vieilles méthodes ne sont plus les meilleures : Des modèles très célèbres comme ResNet50 ou ViT de base, qui sont partout dans les livres, se révèlent être des "voitures de course" qui ont du mal à freiner ou à voir dans le brouillard par rapport aux nouvelles générations.

🏆 Le nouveau score : QUBA

Pour classer ces voitures, ils ont créé un nouveau score appelé QUBA (Quality Understanding Beyond Accuracy).

Imaginez un classement de voitures où l'on ne regarde pas seulement la vitesse de pointe, mais où l'on donne un point pour chaque critère (sécurité, économie, confort).

• Le gagnant actuel est EVA02-B/14, un modèle qui est équilibré sur presque tous les fronts.
• Mais le message est clair : il n'y a pas de voiture parfaite pour tout le monde. Si vous voulez une voiture de course pure, prenez l'une. Si vous voulez une voiture de famille sûre et économe, prenez une autre.

💡 La leçon pour nous tous

Cette étude nous dit d'arrêter de regarder uniquement le score de vitesse (la précision). Pour construire des IA vraiment fiables et utiles dans le monde réel, nous devons construire des modèles qui sont robustes, équitables et capables de s'adapter, pas juste des modèles qui excellent sur un seul jeu de données parfait.

C'est un appel à construire des IA plus "humaines" et plus résilientes, pas juste plus rapides.

Résumé technique

1. Problématique

Bien que les réseaux de neurones profonds (DNN) excellent en termes de précision prédictive (accuracy) sur des tâches comme la classification ImageNet-1k, ils présentent souvent des lacunes critiques dans d'autres dimensions de qualité. Ces lacunes incluent un manque de robustesse (face aux attaques adverses, aux corruptions d'images ou aux changements de domaine), une mauvaise calibration (confiance non alignée avec la probabilité réelle), des biais d'équité (déséquilibres entre classes) et une tendance à apprendre des raccourcis (shortcut learning) basés sur le fond ou la texture plutôt que sur la forme.

La recherche actuelle traite souvent ces dimensions de manière isolée et orthogonale. Il n'existe pas d'étude à grande échelle examinant simultanément un large éventail de ces dimensions pour comprendre comment les améliorations dans un domaine affectent les autres, ni pour identifier les modèles les plus "bien comportés" (well-behaved) selon des besoins spécifiques.

2. Méthodologie

Les auteurs ont mené une étude à grande échelle en évaluant 326 modèles de base (backbones) différents pour la classification ImageNet-1k.

A. Les neuf dimensions de qualité évaluées :
L'étude mesure simultanément les métriques suivantes :

1. Précision (Accuracy) : Fraction d'images correctement classées.
2. Robustesse Adversaire (Adv. Rob.) : Résistance aux attaques FGSM et PGD.
3. Robustesse aux Corruptions (C-Rob.) : Résistance aux altérations courantes (JPEG, bruit, etc.) via ImageNet-C.
4. Robustesse Hors-Domaine (OOD Rob.) : Généralisation sur des domaines visuels différents (ImageNet-R, Sketch, etc.).
5. Erreur de Calibration (Cal. Error) : Écart entre la confiance du modèle et sa précision réelle (ECE et ACE).
6. Équilibre des Classes (Class Balance) : Mesure de l'équité via l'écart-type des précisions et confiances par classe.
7. Focus sur l'Objet (Obj. Focus) : Capacité à se concentrer sur le premier plan plutôt que sur le fond.
8. Biais de Forme (Shape Bias) : Tendance à utiliser la forme plutôt que la texture pour la classification.
9. Coût Computationsnel (Params.) : Nombre de paramètres (proxy pour la mémoire et le coût).

B. Protocole d'évaluation :

• Les modèles sont évalués sans réentraînement (fine-tuning) sur ImageNet-1k, sauf pour les configurations spécifiques (entraînement adversaire, auto-supervisé, etc.).
• Comparaison de différentes stratégies d'entraînement (supervisé, auto-supervisé, semi-supervisé, adversaire) et d'architectures (CNN, Transformers, modèles Vision-Language).

C. Le score QUBA (Quality Understanding Beyond Accuracy) :
Pour classer les modèles de manière holistique, les auteurs introduisent un nouveau score. Au lieu d'utiliser une moyenne simple ou un rang moyen (qui sont sensibles aux changements de l'ensemble de modèles), le score QUBA calcule la moyenne pondérée des écarts-types (Z-scores) de chaque modèle par rapport à la moyenne et l'écart-type de l'ensemble des 326 modèles pour chaque dimension. Cela permet de pondérer les dimensions selon les besoins de l'utilisateur tout en restant stable.

3. Contributions Clés

1. Benchmark Unifié : Introduction d'un benchmark compatible avec tout DNN effectuant la classification ImageNet-1k, permettant la mesure simultanée de neuf dimensions de qualité.
2. Analyse à Grande Échelle : Évaluation de 326 modèles, offrant une vue d'ensemble sans précédent sur les compromis et les synergies entre les différentes qualités.
3. Score QUBA : Proposition d'une métrique normalisée pour classer les modèles au-delà de la simple précision, adaptable aux préférences des utilisateurs.
4. Cartographie des Relations : Analyse des corrélations entre les dimensions de qualité pour valider ou infirmer les hypothèses de travaux antérieurs.

4. Résultats Principaux

A. Impact des stratégies d'entraînement :

• Taille du jeu de données : L'entraînement sur des datasets plus grands (ImageNet-21k vs ImageNet-1k) améliore presque toutes les dimensions, notamment la précision, la robustesse aux corruptions et la calibration.
• Apprentissage Auto-supervisé (Self-Supervised Learning - SSL) :
  • Le fine-tuning (E2E) de modèles pré-entraînés en SSL améliore la plupart des dimensions (robustesse, équilibre des classes, focus sur l'objet).
  • L'approche Linear Probing (LP) est généralement inférieure au supervisé, sauf pour la robustesse OOD et le biais de forme.
• Entraînement Adversaire : Améliore la robustesse adversaire, la robustesse OOD et le biais de forme, mais dégrade significativement la précision et l'équilibre des classes.
• Modèles Vision-Language (ViL) : Ils excellent en robustesse OOD, en équilibre des classes et en biais de forme, mais souffrent d'une précision plus faible (classification zero-shot) et d'une mauvaise calibration.

B. Impact des architectures :

• Transformers vs CNN : Les Transformers surpassent systématiquement les CNN sur presque toutes les dimensions de qualité (sauf la précision qui est équivalente).
• Modèles B-cos : L'utilisation de la transformée B-cos (pour l'interprétabilité) dégrade la plupart des dimensions de qualité, suggérant un biais inductif limitant l'expressivité.

C. Relations entre dimensions :

• La précision est positivement corrélée à la robustesse OOD, au focus sur l'objet et au biais de forme.
• Contrairement à certaines études antérieures, la précision et la robustesse adversaire sont positivement corrélées dans cet ensemble de données large.
• L'erreur de calibration n'est pas significativement corrélée à la plupart des autres dimensions, soulignant la nécessité de recherches dédiées.
• Le focus sur l'objet est fortement corrélé à presque toutes les autres dimensions de qualité.

D. Modèles Recommandés :
Les modèles obtenant les meilleurs scores QUBA sont majoritairement des architectures modernes (EVA02, Hiera, ConvNeXtV2) entraînées avec des stratégies semi-supervisées ou auto-supervisées sur de grands datasets. Des modèles classiques comme ResNet50 ou ViT de base se classent très bas dans ce classement multidimensionnel.

5. Signification et Conclusion

Cette étude remet en question la pratique courante consistant à optimiser uniquement la précision. Elle démontre qu'il est possible de concevoir des modèles "bien comportés" qui excellent simultanément sur de multiples axes de qualité.

• Recommandation aux chercheurs : Il est crucial d'évaluer les modèles sur un spectre large de dimensions dès la phase de conception plutôt que de se concentrer sur des métriques isolées.
• Outil pratique : Le score QUBA et le benchmark ouvert permettent aux praticiens de sélectionner le modèle optimal en fonction de leurs contraintes spécifiques (ex: prioriser la robustesse pour la sécurité, ou l'équilibre des classes pour l'équité).
• Avenir : Les auteurs encouragent l'adoption de paradigmes d'entraînement combinant grands datasets et apprentissage auto-supervisé pour obtenir des modèles plus robustes, équitables et généralisables.

En résumé, ce travail fournit une feuille de route pour passer d'une vision centrée sur la précision à une vision holistique de la fiabilité et de la qualité des modèles de vision par ordinateur.