Cumulative Consensus Score: Label-Free and Model-Agnostic Evaluation of Object Detectors in Deployment

Deze paper introduceert de Cumulative Consensus Score (CCS), een labelvrije en modelonafhankelijke methode die testtijd-data-augmentatie en ruimtelijke consistentie van voorspellingen gebruikt om de betrouwbaarheid van objectdetectiemodellen in de praktijk continu te evalueren zonder grondwaarheid-annotaties.

De kern

Stel je voor dat je een nieuwe, slimme camera hebt geïnstalleerd in een zelfrijdende auto. Deze camera moet auto's, fietsers en voetgangers herkennen. In het laboratorium werkt hij perfect, maar hoe weet je of hij ook goed blijft werken als je hem op de echte weg zet, waar het regent, mistig is of de zon fel schijnt?

Het grote probleem is: je hebt geen antwoordenboekje. In de echte wereld weet je niet precies waar elke auto staat (geen "ground truth"), dus je kunt de camera niet simpelweg nakijken met een cijferlijst.

De auteurs van dit paper hebben een slimme oplossing bedacht die ze de Cumulative Consensus Score (CCS) noemen. Laten we dit uitleggen met een paar alledaagse analogieën.

1. Het Probleem: De "Blinde" Beoordeling

Normaal gesproken beoordelen we een objectdetector (zoals een camera) door te kijken of hij de juiste dingen ziet. Maar zonder een antwoordenboekje (labels) is dat onmogelijk.

• De situatie: Je hebt twee camera's: Camera A (oude versie) en Camera B (nieuwe versie). Welke is beter?
• De uitdaging: Je kunt ze niet vergelijken met een score uit een boekje, want die bestaat niet op de weg.

2. De Oplossing: De "Meerling-test" (CCS)

De CCS werkt als een slimme test die geen antwoordenboekje nodig heeft. Het idee is gebaseerd op consistentie.

Stel je voor dat je een foto van een auto maakt.

1. Je maakt 9 verschillende kopieën van diezelfde foto.
2. Je verandert ze heel lichtjes: één is iets helderder, één is iets donkerder, één heeft een beetje ruis (zoals bij slecht weer), één is iets waziger.
3. Je geeft deze 9 foto's aan de camera en vraagt: "Waar zie je de auto?"

De logica:

• Een goede, betrouwbare camera zal op alle 9 de foto's bijna op dezelfde plek een kader om de auto zetten. Hij is stabiel. Het maakt hem niet uit of de foto net iets helderder is; hij herkent de auto altijd op dezelfde plek.
• Een slechte of onzekere camera zal op de ene foto de auto links zien, op de andere rechts, of soms helemaal niets zien. Hij is onstabiel.

De CCS meet precies deze stabiliteit. Hoe meer de kaders van de camera op elkaar lijken bij al die lichtjes veranderde foto's, hoe hoger de score.

3. De Analogie: De Raad van Experts

Stel je voor dat je een moeilijk vraagstuk hebt en je vraagt het aan 9 experts.

• Scenario A (Hoge CCS): Alle 9 experts geven exact hetzelfde antwoord. Ze zijn het 100% met elkaar eens. Dit geeft je veel vertrouwen dat het antwoord correct is.
• Scenario B (Lage CCS): Expert 1 zegt "links", Expert 2 zegt "rechts", Expert 3 zegt "niet te zien". Ze zijn het totaal niet eens. Dit is een teken van onzekerheid. De camera is hier "in de war".

De CCS is dus een vertrouwensmeter. Hij zegt niet wat de camera ziet, maar hoe zeker de camera is over wat hij ziet.

4. Waarom is dit zo handig?

• Geen antwoorden nodig: Je hoeft niet te weten waar de auto echt staat. Je kijkt alleen naar hoe de camera reageert op lichte veranderingen.
• Vergelijken: Je kunt twee camera's tegen elkaar laten strijden. De camera die de meeste "overeenstemming" (consensus) toont tussen zijn eigen voorspellingen op de veranderde foto's, wint.
• Problemen opsporen: Als de camera op een specifieke dag of op een specifieke plek een lage score krijgt, weet je direct: "Hier gaat het mis!" Zelfs als je niet weet waarom (misschien was het erg mistig of stond er een rare reflectie).

5. Wat zeggen de tests?

De auteurs hebben dit getest op grote datasets (zoals Open Images en KITTI, datasets met duizenden auto-afbeeldingen).

• Ze hebben de CCS-scores vergeleken met de traditionele scores (waar ze wél de antwoorden hadden).
• Resultaat: De CCS was in meer dan 90% van de gevallen hetzelfde als de traditionele score. Als de traditionele methode zei "Camera A is beter", zei de CCS ook "Camera A is beter".
• Het werkt zelfs als je de camera's verandert (nieuwe software, andere modellen).

Samenvatting in één zin

De Cumulative Consensus Score is een slimme manier om te checken of een objectdetector betrouwbaar is, door te kijken of hij consistent blijft in zijn antwoorden als je de beelden een beetje "verstoort", zonder dat je daarvoor een antwoordenboekje nodig hebt.

Het is alsof je een spiegel gebruikt om te zien of een speler in een game stabiel speelt, in plaats van te wachten tot hij de game heeft gewonnen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Cumulative Consensus Score: Label-Free and Model-Agnostic Evaluation of Object Detectors in Deployment" in het Nederlands.

Probleemstelling

Het evalueren van objectdetectiemodellen in productiesystemen (deployment) is een groot uitdaging, vooral in veiligheidskritieke domeinen zoals autonoom rijden. De kern van het probleem is dat ground-truth annotaties (de "waarheid" over waar objecten zich bevinden) zelden beschikbaar zijn tijdens de operationele fase. Zonder deze labels kunnen gevestigde, toezicht-gebaseerde metrieken zoals mAP, F1-score of Optimal Correction Cost (OC-cost) niet worden berekend.

Dit creëert een kloof tussen laboratoriumevaluaties en de realiteit. Ingenieurs hebben geen manier om te bepalen of een nieuw getraind model betrouwbaarder is dan een bestaand model, of om te monitoren of een model degradeert onder veranderende omstandigheden (zoals slecht weer of andere verlichting), zonder dat ze handmatig nieuwe data moeten labelen. Bestaande methoden voor onzekerheidsschatting vereisen vaak ingrijpende architecturale wijzigingen, ensemble-modellen (wat rekenkracht kost) of toegang tot interne features, wat ze onpraktisch maakt voor directe vergelijking in de praktijk.

Methodologie: Cumulative Consensus Score (CCS)

De auteurs introduceren de Cumulative Consensus Score (CCS), een label-vrije, model-agnostische methode om de betrouwbaarheid van objectdetectoren te monitoren. De kernidee is dat een robuust model consistente voorspellingen moet doen, zelfs wanneer de invoerbeelden onderhevig zijn aan "benigne" (ongevaarlijke) transformaties.

De werking van CCS verloopt als volgt:

1. Test-Time Data Augmentation (TTDA): Voor elk invoerbeeld worden $M$ variaties gegenereerd door middel van fotometrische augmentaties (bijv. veranderingen in helderheid, contrast, ruis, scherpstelling). Er worden geen geometrische transformaties (zoals draaien of knippen) gebruikt, omdat deze de positie van objecten in het beeld zouden veranderen.
2. Voorspelling en Overlap: De objectdetector wordt op elk van deze $M$ geaugmenteerde beelden uitgevoerd, wat resulteert in sets van bounding boxes.
3. IoU-berekening: Voor elke paar van augmentaties $(i, j)$ wordt een Intersection over Union (IoU) matrix berekend tussen de voorspellingen van $i$ en $j$.
4. Drempelwaarde en Toewijzing:
   • Een drempelwaarde $\beta$ (standaard 0.5) wordt toegepast om zwakke overlaps te filteren.
   • Een Hongaarse algoritme (Hungarian algorithm) wordt gebruikt om een optimale 1-op-1 toewijzing te vinden tussen de detecties van de twee augmentaties, zodat ambiguïteiten bij meerdere objecten worden opgelost.
5. Consensus Score per Paar: De gemiddelde IoU van de toegewezen paren wordt berekend als de consensus-score $\gamma_{ij}$. Als geen enkele overlap boven de drempel ligt, is de score 0.
6. Aggregatie: De uiteindelijke CCS voor een afbeelding is het gemiddelde van de consensus-scores over alle unieke paren van augmentaties:
   $$CCS = \frac{1}{M(M-1)} \sum_{i \neq j} \gamma_{ij}$$

Een hogere CCS duidt op een hogere ruimtelijke consistentie, wat fungeert als een proxy voor de betrouwbaarheid van de detector.

Theoretische onderbouwing:
De auteurs bieden een vereenvoudigde theoretische link tussen CCS en detectienauwkeurigheid. In een idealistische setting (één object, binomiale kans op correctheid $p$) wordt aangetoond dat de verwachte CCS monotoon toeneemt met de waarschijnlijkheid van een correcte detectie ($p$). Dit betekent dat een betere detector theoretisch een hogere CCS-score moet hebben.

Belangrijkste Bijdragen

1. Label-vrije Monitoring: CCS maakt continue evaluatie en vergelijking van detectoren mogelijk zonder enige ground-truth annotatie, wat essentieel is voor DevOps-pipelines in de echte wereld.
2. Model-Agnostisch: De methode werkt voor zowel single-stage (bijv. SSD, RetinaNet) als two-stage (bijv. Faster R-CNN) detectoren en vereist geen aanpassingen aan het model zelf.
3. Case-niveau Inzicht: CCS levert een score per afbeelding, waardoor engineers specifieke, slecht presterende scenario's kunnen identificeren (bijv. beelden waar de voorspellingen instabiel zijn onder lichte veranderingen).
4. Theoretische Validatie: Een analytisch bewijs dat de CCS correleert met de onderliggende correctheid van de detector onder ideale omstandigheden.
5. Efficiëntie: De methode voegt slechts een minimale rekentijd toe aan de inferentie-pijplijn (median ~3.9 ms per afbeelding op CPU), omdat deze alleen post-processing is.

Resultaten en Experimenten

De auteurs hebben CCS gevalideerd op diverse datasets (Open Images, KITTI, COCO, BDD100K) en tegen gevestigde, toezicht-gebaseerde metrieken (F1-score, pPDQ, OC-cost).

• Congruentie: In gecontroleerde experimenten bereikte CCS een congruentie van meer dan 90% met de F1-score, pPDQ en OC-cost. Dit betekent dat CCS in de meeste gevallen dezelfde richting van prestatieverschil aangeeft als de geannoteerde "waarheid".
• Ranking Consistentie: Er werd een sterke Spearman-rangcorrelatie gevonden (bijv. $\rho \approx 0.81$ voor F1-score), wat aangeeft dat CCS niet alleen de richting, maar ook de relatieve rangorde van prestatieverschillen goed vastlegt.
• Vergelijking met Simpele Heuristieken: CCS presteerde aanzienlijk beter dan andere label-vrije indicatoren zoals gemiddelde detectie-gevoedheid, stabiliteit van het aantal detecties of naïeve IoU-consistentie zonder objecttoewijzing. Deze heuristieken hadden een correlatie dicht bij willekeur.
• Robuustheid: De resultaten waren stabiel over verschillende augmentatie-zaden, modelarchitecturen en datasets.
• Afstemming (Abstention): De methode gebruikt een "abstention"-mechanisme. Als het verschil tussen twee modellen te klein is (binnen een onzekerheidsband), wordt de vergelijking als onbeslist beschouwd. Dit voorkomt dat engineers op basis van ruis beslissingen nemen.

Betekenis en Conclusie

De CCS biedt een robuuste basis voor DevOps-stijl monitoring van objectdetectoren. Het lost het probleem op van het ontbreken van labels in productieomgevingen door de stabiliteit van voorspellingen onder lichte transformaties te gebruiken als maatstaf voor betrouwbaarheid.

De methode stelt ingenieurs in staat om:

• Nieuwe modellen veilig te vergelijken met bestaande baselines zonder handmatige annotatie.
• Specifieke "edge cases" te identificeren waar modellen instabiel worden (bijv. bij bepaalde weersomstandigheden).
• Betrouwbare upgrades door te voeren in veiligheidskritieke systemen.

Kortom, CCS vult de kritieke kloof tussen laboratoriummetrieken en operationele monitoring, en biedt een praktische, schaalbare oplossing voor het waarborgen van de betrouwbaarheid van AI-systemen in de echte wereld.