💻 computer science

CCS: A Continuous Spatial-Semantic Concordance Score for Robust Evaluation of Object Detection Models

Dit artikel stelt CCS voor, een continue ruimtelijk-semantische concordantie-score die onstabiele harde drempelmetrieken vervangt door Gaussische ruimtelijke gelijkenis en taxonomie-gestuurde semantische gelijkenis om een robuuste, drempelonafhankelijke evaluatie van objectdetectiemodellen te bieden, met name in klasse-imgebalanceerde en semantisch gestructureerde domeinen zoals medische tongdiagnose.

Oorspronkelijke auteurs: Quoc Thai Mai

Gepubliceerd 2026-07-31

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Quoc Thai Mai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent bij een talentenjacht waar deelnemers verborgen objecten proberen te vinden in een enorme, rommelige kamer. In de wereld van computer vision zijn deze "deelnemers" AI-modellen, en de "objecten" zijn dingen zoals katten, auto's, of in dit specifieke geval, verschillende soorten tongsymptomen voor Traditionele Chinese Geneeskunde. Jarenlang hebben de juryleden een zeer strikte, alles-of-niets-regel gebruikt: als de AI een kader rond een object tekent dat voor minstens 50% overlapt met het echte object, krijgt het een perfect "correct" stempel. Als het kader slechts 4% overlapt, krijgt de AI een "fout" stempel, en is de score exact hetzelfde als wanneer de AI het object volledig zou hebben gemist. Het is als een danswedstrijd waarbij een danser die een stapje mist met een millimeter, dezelfde score krijgt als iemand die de hele routine is vergeten. Deze "harde drempel"-regel is de standaardmanier om te meten hoe goed deze AI-detectives zijn, maar het heeft een gebrek: het negeert het feit dat sommige fouten veel dichter bij de waarheid liggen dan andere.

Stel je nu een nieuw soort jurylid voor die niet alleen naar het kader kijkt, maar ook luistert naar de intentie van de gok. Deze nieuwe jurylid begrijpt dat als een AI "rode tong" raadt terwijl het echte antwoord "rood-gespikkelde tong" is, dit geen totale mislukking is; het is een bijna-misser die laat zien dat de AI het algemene idee eigenlijk wel begrijpt. Dit papier introduceert een nieuw scoringssysteem genaamd CCS (Continuous Spatial-Semantic Concordance Score) dat werkt als deze intelligentere jurylid. In plaats van een simpele "pass/fail"-schakelaar, geeft CCS gedeeltelijke punten. Het gebruikt wiskunde om te meten hoe dicht het kader van de AI bij het echte object ligt (zelfs als ze elkaar niet raken) en hoe dicht de label van de AI bij de werkelijke term in een stamboom van medische termen ligt. De auteurs testten dit op zes verschillende AI-modellen die probeerden tongsymptomen te spotten en ontdekten dat, terwijl de oude strikte regels de ranglijsten grillig lieten schommelen afhankelijk van kleine wijzigingen in de regels, deze nieuwe CCS-score stabiel en eerlijk bleef, waarbij werd erkend dat een "bijna-goed" eigenlijk een teken van vooruitgang is, en niet alleen een falen.

Het probleem met "Alles-of-Niets" Scoringssystemen

Lama een tijd is de standaardmanier om AI-objectdetectoren te beoordelen geweest als een spelletje "heet of koud" met een zeer scherpe afkapwaarde. Als je gok "heet" genoeg is (dat wil zeggen, het kader overlapt het echte object met ten minste 50%), krijg je een punt. Als het "koud" is (49,9% overlap), krijg je nul. Dit is de IoU (Intersection over Union) drempel. Het probleem is dat dit een klif creëert. Een kader dat 99% perfect is en een kader dat 51% perfect is, krijgen exact dezelfde score, terwijl een kader dat 49% perfect is, niets krijgt. Het is als het beoordelen van het essay van een student waarbij een paper met één klein typefout een A krijgt, maar een paper met diezelfde typefout plus een ontbrekende komma een F krijgt.

Bovendien behandelt dit oude systeem alle foutieve labels als even slecht. Als de AI een "rode tong" ziet maar het een "blauwe tong" noemt, is dat een enorme fout. Maar als het een "rood-gespikkelde tong" een "rode tong" noemt, behandelt het oude systeem dit net zo hard als het een "rode tong" een "blauwe tong" noemen. In de echte medische wereld is het verwarren van twee vergelijkbare rode tongen een veel kleinere, meer vergeeflijke fout dan het verwarren van rood met blauw. Het oude scoringssysteem negeert deze nuance volledig.

Ontmoet CCS: De Jurylid met "Gedeeltelijke Credit"

De auteurs van dit paper, Quoc Thai Mai, stellen een nieuwe score voor genaamd CCS om deze problemen op te lossen. Ze hebben het gebouwd met twee hoofdonderdelen, als een tweeling-ingrediënten smoothie die beter smaakt dan elk ingrediënt alleen.

1. Het Ruimtelijke Deel (Csp): Het "Zachte" Kader
In plaats van het kader van de AI te behandelen als een rigide rechthoek met harde randen, stelt CCS zich het kader voor als een zachte, vage wolk (mathematisch gezien een 2D Gaussische distributie). Denk aan een heatmap: het centrum van het kader is het heetst (meest zelfverzekerd) en wordt koeler naarmate je naar de randen beweegt. Wanneer de vage wolk van de AI de vage wolk van het echte object overlapt, daalt de score niet abrupt naar nul omdat ze niet perfect uitgelijnd zijn. In plaats daarvan neemt het geleidelijk af op basis van hoe ver hun centra uit elkaar liggen en hoe verschillend hun grootte is. Dit betekent dat een kader dat iets uit het midden is, nog steeds een hoge score krijgt, in plaats van zo hard gestraft te worden als een totale misser. Het is het verschil tussen een jurylid die zegt: "Je miste de roos, maar je zat er dichtbij, dus hier krijg je een B," versus "Je miste de roos, dus hier krijg je een F."

2. Het Semantische Deel (Csem): De "Stamboom" van Fouten
Dit is het slimme tweede ingrediënt. De auteurs hebben de acht verschillende tongsymptomen georganiseerd in een stamboom (een taxonomie). Bijvoorbeeld, "Rode Tong" en "Rood-Gespikkelde Tong" zijn broers en zussen in de "Kleur"-tak, terwijl "Vergrote Tong" in de "Vorm"-tak zit. Als de AI "Rode Tong" raadt maar de grondwaarheid is "Rood-Gespikkelde Tong", zegt het oude systeem "Fout". Het CCS-systeem kijkt naar de stamboom, ziet dat ze broers en zussen zijn, en zegt: "Oké, dat is een goede gok. Je krijgt gedeeltelijke credit." Het gebruikt een wiskundig hulpmiddel genaamd Wu-Palmer gelijkenis om precies te berekenen hoe dicht de gok bij de waarheid ligt op basis van hun positie in de stamboom. Als de AI een "Rode Tong" raadt voor een "Vorm"-probleem, is dat een totale misser (nul credit). Maar als de AI een "Rode Tong" raadt voor een "Rood-Gespikkelde Tong", krijgt het een hoge gedeeltelijke score.

Wat ze vonden: Stabiliteit en Eerlijkheid

Het team testte deze nieuwe CCS-score tegenover zes verschillende versies van een populair AI-model (YOLOv8, v10 en v11) op een dataset van tongsymptomen. Dit is wat er gebeurde:

De Oude Regels waren Instabiel: Wanneer ze de oude "harde drempel"-regels gebruikten, veranderde de ranglijst van de AI-modellen wild afhankelijk van of ze de drempel op 0,3, 0,5 of 0,7 zetten. Sterker nog, voor 5 van de 15 paren modellen veranderde de "winnaar" afhankelijk van welke regel ze gebruikten. Het was als een race waarbij de winnaar veranderde simpelweg omdat de finishlijn een paar centimeter verschoof.
CCS was Onwrikbaar: De CCS-score bleef opmerkelijk stabiel. Geen matter hoe ze de instellingen aanpasten, de ranglijst van de modellen veranderde niet. De score voor de modellen schommelde consistent tussen de 0,62 en 0,65, terwijl de oude F1-scores aanzienlijk daalden (met wel 16,9%) naarmate de regels strenger werden.
De Redding door de "Bijna-Misser": De studie vond dat een aanzienlijk deel van wat het oude systeem als "fouten" bestempelde, eigenlijk gewoon "bijna-missers" waren. Specifiek waren 39,5% van de fouten gemaakt op de moeilijkste klassen semantisch dichtbij (zoals het verwarren van "Rood" met "Rood-Gespikkeld"). Het oude systeem telde deze als totale mislukkingen, maar CCS gaf ze gedeeltelijke credit, wat onthulde dat de AI eigenlijk een beter werk deed dan de oude scores suggereerden.
Het "Beste" Model Veranderde: Onder de oude strikte regels (mAP) leek één model (YOLOv10n) de winnaar te zijn. Maar onder de nieuwe CCS-regels nam een ander model (YOLOv8m) de eerste plaats in. Dit suggereert dat de oude regels modellen bevoordeelden die er simpelweg goed in waren om het exacte pixel-perfecte centrum te raken, terwijl CCS modellen bevoordeelde die het algemene concept en de vorm van de symptomen beter begrepen.

De Limieten: Wat CCS nog niet doet

De auteurs wijzen er voorzichtig op dat CCS geen toverstaf is die alles oplost.

Het is een "Class-Level" Score: Momenteel telt CCS een klasse (zoals "Rode Tong") als aanwezig als de AI minstens één goed kader voor het vindt. Het straft de AI niet als er 20 rode sproeten op de tong zijn en de AI er slechts 1 vindt. Het paper merkt op dat voor sommige symptomen, zoals "Rood-Gespikkelde Tong", tientallen sproeten in één afbeelding kunnen voorkomen, en de huidige CCS-methode negeert de exemplaren die de AI mist.
De Stamboom is Tijdelijk: De "stamboom" van tongsymptomen die zij bouwden, is door de auteurs gecreëerd om de wiskunde werkbaar te maken, niet door een panel van medische experts. Het is een "voorlopige" boom. Als een echte arts zegt: "Nee, die twee symptomen zijn niet echt verwant," dan moet de score opnieuw worden berekend.
Slechts Eén Dataset: Ze hebben dit getest op slechts één dataset van tongafbeeldingen. Hoewel de resultaten veelbelovend zijn, weten we nog niet of het perfect werkt voor het detecteren van auto's, tumoren of andere objecten zonder meer testen.

De Conclusie

Dit paper suggereert dat we een nieuwe manier nodig hebben om AI-detectives te beoordelen. Het oude "pass/fail"-systeem is te streng en te instabiel; het straft AI voor het net niet perfect zijn en negeert het feit dat sommige fouten slimmer zijn dan andere. De CCS-score biedt een gladdere, eerlijkere manier om AI te evalueren door gedeeltelijke credit te geven voor het dichtbij zijn in ruimte en in betekenis. Hoewel het nog geen afgewerkt product is dat klaar is voor elke medische toepassing, toont het grote potentieel om de evaluatie van AI menselijker en klinisch relevanter te maken, vooral in velden zoals de Traditionele Chinese Geneeskunde waar de grenzen tussen symptomen vaak vaag zijn.

Technische Samenvatting: CCS – Een Continue Ruimtelijk-Semantische Concordantiescore

Probleemstelling
Standaard evaluatie van objectdetectie leunt op harde drempelwaarden (bijv. mAP, F1) die vereisen dat de Intersection over Union (IoU) een vaste waarde overschrijdt (meestal 0,5) om een detectie als een ware positieve (true positive) te tellen. De auteurs stellen dat dit binaire besluitvormingsproces twee kritieke problemen creëert in klinische en semantisch gestructureerde domeinen:

Instabiliteit en Harde Sancties: Continue lokalisatiekwaliteit wordt samengevallen in een ja/nee-beslissing. Een box die net onder de drempelwaarde ligt, wordt even hard gestraft als een volledige misser, wat leidt tot instabiele modelrangschikkingen wanneer drempelwaarden variëren.
Semantische Blindheid: Alle foutieve labels worden als even fout behandeld. In domeinen zoals de tongdiagnose binnen de Traditionele Chinese Geneeskunde (TCG), is een voorspelling van "rood-gespikkelde tong" voor een grondwaarheid van "rode tong" klinisch verschillend van een willekeurige fout, terwijl standaardmetrieken beide als totale mislukkingen behandelen.

Bestaande continue metrieken zoals GIoU, DIoU en Normalized Wasserstein Distance (NWD) adresseren ruimtelijke sensitiviteit, maar blijven puur ruimtelijk en negeren de semantiek van het label. Daarentegen bestaan er wel semantische gelijkenismetrieken voor classificatie, maar deze zijn nog niet geïntegreerd in de evaluatie van objectdetectie.

Methodologie: Het CCS-framework
Het artikel stelt CCS (Continuous Spatial-Semantic Concordance Score) voor, een enkele metriek die twee complementaire termen combineert:
$CCS = \alpha \cdot C_{sp} + \beta \cdot C_{sem}$
waarbij $\alpha + \beta = 1$ . De standaardinstelling is $\alpha = \beta = 0,5$ .

Ruimtelijke Concordantie ( $C_{sp}$ ):
- Mechanisme: In plaats van harde IoU worden bounding boxes gemodelleerd als 2D-as-gealigneerde Gaussische verdelingen gecentreerd op het zwaartepunt van de box. De standaarddeviatie ( $\sigma$ ) wordt afgeleid van de box-afmetingen ( $\sigma = \text{breedte}/4$ ).
- Berekening: De score is de genormaliseerde inwendige product (cosinus-gelijkenis) tussen de voorspelde Gaussische verdeling en de grondwaarheid-Gaussische verdeling.
- Eigenschappen: Dit levert een gesloten vormoplossing op die ruimtelijke afwijking vloeiend bestraft op basis van de afstand tussen de zwaartepunten en schaalverschillen. Het vermijdt de discontinuïteit van IoU-drempels en verleent gedeeltelijke krediet voor "bijna-missers" in lokalisatie.
Semantische Concordantie ( $C_{sem}$ ):
- Mechanisme: Deze term maakt gebruik van een voorlopige taxonomie van de 8 tong-symptoomklassen (gegroepeerd in takken voor Kleur, Bekleding en Vorm).
- Berekening: Het maakt gebruik van Wu-Palmer gelijkenis, die de nabijheid van twee labels berekent op basis van hun afstand in de taxonomische boom (specifiek de diepte van hun Lowest Common Subsumer).
- Toepassing: Als een voorspeld label niet exact overeenkomt met de grondwaarheid, ontvangt het een gedeeltelijk krediet evenredig aan de semantische nabijheid. Bijvoorbeeld, een voorspelling van "rood-gespikkelde tong" tegenover een grondwaarheid van "rode tong" ontvangt een score > 0, terwijl een voorspelling van "vergrote tong" een score van 0 zou ontvangen.

Experimentele Opzet

Dataset: Een subset van acht tong-symptoomklassen uit de TCM-Tongue benchmark, gekenmerkt door een ernstige per-klasse moeilijkheidsgraad-imbalans (bijv. "hongdianshe" heeft een hoge instantiedichtheid, terwijl anderen schaars zijn).
Modellen: Zes YOLO-varianten verspreid over drie generaties (YOLOv8, v10, v11; n/m formaten).
Baselines: Vergeleken met IoU, GIoU, DIoU, NWD en standaard COCO mAP@[0,5:0,95].
Metrieken: Geëvalueerd F1-scores bij variërende IoU-drempels (0,3, 0,5, 0,7) en de voorgestelde CCS.

Belangrijkste Resultaten

Stabiliteit vs. Drempelgevoeligheid:
- Standaard F1-scores degradeerden significant (relatieve daling van 10,8%–16,9%) naarmate de IoU-drempel strenger werd van 0,3 naar 0,7.
- CCS bleef stabiel (variërend tussen 0,62–0,65) ongeacht veranderingen in de drempelwaarde, aangezien het wordt berekend zonder een matching-cutoff.
Consistentie in Rangschikking:
- Hard-threshold metrieken produceerden onstabiele rangschikkingen; 5 van de 15 modelparen wisselden van relatieve rangorde afhankelijk van de gebruikte IoU-drempel.
- CCS bood een consistente rangschikking die sterk correleerde met F1@0,5 (Spearman $\rho = 0,94$ ).
- Opvallend genoeg had het model met de hoogste mAP (YOLOv10n) de laagste CCS, wat aangeeft dat mAP pixel-precieze lokalisatie op gemakkelijke klassen beloont, terwijl CCS bredere semantische en ruimtelijke robuustheid vangt.
Semantische Redding van Fouten:
- De semantische component ( $C_{sem}$ ) presteerde consequent beter dan de ruimtelijke component ( $C_{sp}$ ) (0,67–0,70 vs. 0,57–0,60).
- Analyse toonde aan dat 39,5% van de fouten in de moeilijkste klassen "near-miss" verwarringen waren (semantisch nabij) in plaats van willekeurige fouten. In specifieke klassen zoals botaishe, waren 94,5% van de fouten near-misses.
Gewichtssensitiviteit:
- De rangschikking bleef stabiel voor $\alpha \in [0,5, 0,7]$ .
- Data-gestuurde entropie-weging leverde $\alpha \approx 0,64$ op, wat de standaard 0,5/0,5-verdeling reproduceerde, wat de robuustheid van de 0,5/0,5-splitsing valideert.

Betekenis en Claims
Het artikel positioneert CCS niet als een voltooide, algemene vervanging voor mAP, maar als een bruikbare kandidaat voor evaluatie in klasse-imbalanced, semantisch gestructureerde labelruimtes.

Klinische Relevantie: In de TCG tongdiagnose onderscheidt CCS tussen klinisch betekenisvolle "near-misses" en werkelijke fouten, een onderscheid dat hard-threshold metrieken niet kunnen uitdrukken.
Robuustheid: Het elimineert de instabiliteit veroorzaakt door arbitraire drempelselectie.
Erkende Beperkingen: De auteurs merken expliciet op dat CCS momenteel klasse-niveau scoring gebruikt (één paar per klasse per afbeelding), wat faalt in het straffen van gemiste instanties in dichte, multi-instantie klassen (bijv. hongdianshe). De gebruikte taxonomie is voorlopig en niet gevalideerd door TCG-experts. De evaluatie is beperkt tot YOLO-varianten op een enkele dataset.

De auteurs concluderen dat CCS naast bestaande metrieken gebruikt moet worden: mAP/F1 voor pixel-precieze lokalisatie, en CCS om te beoordelen of fouten klinisch onschuldig of ernstig zijn, met name wanneer detectoroutputs worden ingevoerd in diagnostische workflows.