CCS: A Continuous Spatial-Semantic Concordance Score for Robust Evaluation of Object Detection Models

Imaginez que vous soyez un juge à un concours de talents où les candidats tentent de trouver des objets cachés dans une pièce immense et désordonnée. Dans le monde de la vision par ordinateur, ces « candidats » sont des modèles d'IA, et les « objets » sont des choses comme des chats, des voitures ou, dans ce cas précis, différents types de symptômes de la langue pour la médecine traditionnelle chinoise. Pendant des années, les juges ont utilisé un manuel de règles très strict, de type « tout ou rien » : si l'IA dessine une boîte autour d'un objet qui chevauche l'objet réel d'au moins 50 %, elle reçoit un tampon parfait de « correct ». Si la boîte ne chevauche que 49 %, l'IA reçoit un tampon « faux » et le score est exactement le même que si elle avait totalement manqué l'objet. C'est comme un concours de danse où un danseur qui rate un pas d'un millimètre reçoit la même note que quelqu'un qui a oublié toute la chorégraphie. Cette règle de « seuil dur » est la norme pour mesurer la qualité de nos détectives IA, mais elle présente une faille : elle ignore le fait que certaines erreurs sont bien plus proches de la réussite que d'autres.

Imaginez maintenant un nouveau genre de juge qui ne se contente pas de regarder la boîte, mais qui écoute aussi l'intention de la supposition. Ce nouveau juge comprend que si l'IA devine « langue rouge » alors que la vraie réponse était « langue rouge tachetée », ce n'est pas un échec total ; c'est un passage à côté qui montre que l'IA a compris l'idée générale. Ce document introduit un nouveau système de notation appelé CCS (Continuous Spatial-Semantic Concordance Score) qui agit comme ce juge plus intelligent. Au lieu d'un simple interrupteur « passe/échoue », le CCS accorde un crédit partiel. Il utilise les mathématiques pour mesurer à quel point la boîte de l'IA est proche de la vraie (même si elles ne se touchent pas tout à fait) et à quel point son étiquette est proche d'un terme médical dans un arbre généalogique. Les auteurs ont testé cela sur six modèles d'IA tentant de repérer des symptômes de la langue et ont découvert que, tandis que les anciennes règles strictes faisaient varier les classements de manière imprévisible selon de minuscules changements de règles, ce nouveau score CCS restait stable et équitable, reconnaissant qu'un « passage à côté » est en réalité un signe de progrès, et non un simple échec.

Le problème de la notation « Tout ou Rien »

Pendant longtemps, la façon standard de noter les détecteurs d'objets par IA a été semblable à un jeu de « chaud ou froid » avec une coupure très nette. Si votre supposition est assez « chaude » (c'est-à-dire que la boîte chevauche l'objet réel d'au moins 50 %), vous obtenez un point. Si elle est « froide » (49,9 % de chevauchement), vous obtenez zéro. C'est le seuil d'IoU (Intersection over Union). Le problème est que cela crée un précipice. Une boîte qui est parfaite à 99 % et une boîte qui est parfaite à 51 % obtiennent exactement le même score, tandis qu'une boîte qui est à 49 % n'obtient rien. C'est comme noter la dissertation d'un étudiant où un papier avec une seule petite faute de frappe obtient un A, mais un papier avec cette même faute plus une virgule manquante obtient un F.

De plus, cet ancien système traite toutes les étiquettes erronées comme étant également mauvaises. Si l'IA voit une « langue rouge » mais l'appelle « langue bleue », c'est une erreur énorme. Mais si elle appelle une « langue rouge tachetée » une « langue rouge », l'ancien système la traite avec la même dureté que si elle avait confondu une langue rouge avec une langue bleue. Dans le monde réel de la médecine, confondre deux langues rouges similaires est une erreur beaucoup plus petite et plus pardonnable que de confondre le rouge avec le bleu. L'ancien système de notation ignore complètement cette nuance.

Entrée en scène du CCS : Le juge du « Crédit Partiel »

Les auteurs de ce document, Quoc Thai Mai, proposent un nouveau score appelé CCS pour corriger ces problèmes. Ils l'ont construit avec deux composantes principales, comme un smoothie à deux ingrédients qui a meilleur goût que chaque ingrédient pris séparément.

1. La partie spatiale (Csp) : La boîte « douce »
Au lieu de traiter la boîte de l'IA comme un rectangle rigide aux bords nets, le CCS imagine la boîte comme un nuage doux et flou (mathématiquement, une distribution gaussienne 2D). Pensez-y comme à une carte thermique : le centre de la boîte est le plus chaud (le plus de confiance), et il refroidit à mesure que l'on s'éloigne vers les bords. Lorsque le nuage flou de l'IA chevauche le nuage flou de l'objet réel, le score ne chute pas à zéro simplement parce qu'ils ne s'alignent pas parfaitement. Au lieu de cela, il diminue progressivement en fonction de la distance entre leurs centres et de la différence de leurs tailles. Cela signifie qu'une boîte légèrement décentrée reçoit toujours un score élevé, plutôt que d'être punie aussi durement qu'un raté total. C'est la différence entre un juge disant : « Vous avez manqué la cible, mais vous étiez proche, donc voici un B », et un juge disant : « Vous avez manqué la cible, donc voici un F ».

2. La partie sémantique (Csem) : L'« Arbre Généalogique » des erreurs
C'est le deuxième ingrédient ingénieux. Les auteurs ont organisé les huit différents symptômes de la langue dans un arbre généalogique (une taxonomie). Par exemple, « Langue Rouge » et « Langue Rouge Tachetée » sont des frères et sœurs dans la branche « Couleur », tandis que « Langue Élargie » se trouve dans la branche « Forme ». Si l'IA devine « Langue Rouge » mais que la vérité terrain est « Langue Rouge Tachetée », l'ancien système dit « Faux ». Le système CCS regarde l'arbre généalogique, voit qu'ils sont frères et sœurs, et dit : « D'accord, c'est une supposition proche. Vous obtenez un crédit partiel. » Il utilise un outil mathématique appelé similitude de Wu-Palmer pour calculer précisément à quel point la supposition est proche de la vérité en fonction de leur distance dans l'arbre généalogique. Si l'IA devine une « Langue Rouge » pour un problème de « Forme », c'est un raté total (crédit zéro). Mais si elle devine une « Langue Rouge » pour une « Langue Rouge Tachetée », elle obtient un score partiel élevé.

Ce qu'ils ont trouvé : Stabilité et Équité

L'équipe a testé ce nouveau score CCS contre six versions différentes d'un modèle d'IA populaire (YOLOv8, v10 et v11) sur un ensemble de données de symptômes de la langue. Voici ce qui s'est passé :

• Les anciennes règles étaient instables : Lorsqu'ils utilisaient les anciennes règles de « seuil dur », le classement des modèles d'IA changeait radicalement selon qu'ils fixaient le seuil à 0,3, 0,5 ou 0,7. En fait, pour 5 paires de modèles sur 15, le « vainqueur » changeait selon la règle utilisée. C'était comme une course où le vainqueur changeait simplement parce que la ligne d'arrivée avait été déplacée de quelques centimètres.
• Le CCS était très solide : Le score CCS est resté remarquablement stable. Peu importe la façon dont ils ajustaient les paramètres, le classement des modèles ne basculait pas. Le score des modèles oscillait de manière constante entre 0,62 et 0,65, alors que les anciens scores F1 chutaient considérablement (jusqu'à 16,9 %) à mesure que les règles devenaient plus strictes.
• Le sauvetage par le « passage à côté » : L'étude a révélé qu'une part importante de ce que l'ancien système appelait des « erreurs » étaient en fait de simples « passages à côté ». Plus précisément, 39,5 % des erreurs commises sur les classes les plus difficiles étaient sémantiquement proches (comme confondre « Rouge » avec « Rouge Tacheté »). L'ancien système comptait cela comme des échecs totaux, mais le CCS leur a accordé un crédit partiel, révélant que l'IA faisait en réalité un meilleur travail que ne le suggéraient les anciens scores.
• Le « Meilleur » Modèle a changé : Sous les anciennes règles strictes (mAP), un modèle (YOLOv10n) semblait être le vainqueur. Mais sous les nouvelles règles du CCS, un autre modèle (YOLOv8m) a pris la première place. Cela suggère que les anciennes règles favorisaient les modèles qui étaient simplement bons pour atteindre le centre exact au pixel près, tandis que le CCS favorisait les modèles qui comprenaient mieux le concept général et la forme des symptômes.

Les Limites : Ce que le CCS ne fait pas encore

Les auteurs précisent avec prudence que le CCS n'est pas une baguette magique qui résout tout.

• C'est un score au « niveau de la classe » : Actuellement, le CCS compte une classe (comme « Langue Rouge ») comme présente si l'IA trouve au moins une bonne boîte pour celle-ci. Il ne pénalise pas l'IA si elle ne trouve qu'une seule tache rouge parmi 20 taches rouges sur la langue. Le document note que pour certains symptômes, comme la « Langue Rouge Tachetée », il peut y avoir des dizaines de taches dans une seule image, et la méthode actuelle du CCS ignore celles qu'elle manque.
• L'Arbre Généalogique est temporaire : L'« arbre généalogique » des symptômes de la langue qu'ils ont construit a été créé par les auteurs pour faire fonctionner les mathématiques, et non par un panel d'experts médicaux. C'est un arbre « provisoire ». Si un vrai médecin dit : « Non, ces deux symptômes ne sont pas réellement liés », le score devra être recalculé.
• Un seul jeu de données : Ils ont testé cela sur un seul jeu de données d'images de langue. Bien que les résultats soient prometteurs, nous ne savons pas encore si cela fonctionne parfaitement pour détecter des voitures, des tumeurs ou d'autres objets sans plus de tests.

En résumé

Ce document suggère que nous avons besoin d'une nouvelle façon de noter les détectives IA. Le système ancien de « passe/échoue » est trop dur et trop instable, punissant l'IA pour être légèrement décalée et ignorant le fait que certaines erreurs sont plus intelligentes que d'autres. Le score CCS offre une façon plus fluide et plus équitable d'évaluer l'IA en accordant un crédit partiel pour la proximité spatiale et la proximité de sens. Bien qu'il ne s'agisse pas encore d'un produit fini prêt pour toutes les applications médicales, il montre un grand potentiel pour rendre l'évaluation de l'IA plus humaine et cliniquement pertinente, particulièrement dans des domaines comme la médecine traditionnelle chinoise où les frontières entre les symptômes sont souvent floues.