Multi-Person Pose Estimation Evaluation Using Optimal Transportation and Improved Pose Matching

Dit artikel introduceert OCpose, een nieuwe evaluatiemethode voor multi-persoon pose-schatting die op optimale transport gebaseerd is om een eerlijke afweging te maken tussen waar-positieve en vals-positieve poses, ongeacht hun betrouwbaarheidsscores.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen.

De Probleemstelling: De "Kwaliteit vs. Kwantiteit" Valstrik

Stel je voor dat je een talentenjager bent die op een drukke markt staat. Je moet mensen vinden die goed kunnen dansen (dit zijn de "positieve" detecties) en je moet ook mensen negeren die niet dansen (de "negatieve" of valse detecties).

Tot nu toe gebruikten wetenschappers een meetlat genaamd mAP. Deze meetlat kijkt vooral naar de zelfverzekerdheid van de talentenjager.

• Als de talentenjager zegt: "Ik ben 99% zeker dat die persoon daar danst!", telt dat als een punt.
• Als hij zegt: "Ik ben 10% zeker dat die persoon daar danst...", telt dat vaak niet mee of wordt genegeerd.

Het probleem:
Stel je voor dat de talentenjager heel zelfverzekerd is, maar ook heel dom. Hij wijst op 100 mensen die niet dansen, maar zegt telkens: "Ik ben 99% zeker dat ze dansen!" Omdat hij zo zelfverzekerd is, krijgt hij een hoge score volgens de oude meetlat (mAP), terwijl hij eigenlijk 100 fouten maakt. De oude meetlat kijkt niet goed naar die "domme" fouten, zolang ze maar met een hoge zekerheid worden gemaakt.

De Oplossing: OCpose (De Nieuwe Meetlat)

De auteurs van dit paper (Takato Moriki en collega's) zeggen: "Dit is niet eerlijk!" Ze introduceren een nieuwe manier van meten die OCpose heet.

In plaats van te kijken naar hoe zeker de computer is, kijken ze naar de totale kosten van het maken van fouten. Ze gebruiken een wiskundig concept dat "Optimale Transport" heet, maar laten we het vergelijken met het verhuizen van meubels.

Hoe werkt OCpose? (De Verhuis-metafoor)

Stel je voor dat je een verhuisbedrijf hebt:

1. De GT (Ground Truth): Dit zijn de echte meubels die er moeten staan (de echte dansers op de foto).
2. De Detecties: Dit zijn de meubels die de verhuizers hebben neergezet.

Bij de oude methode (mAP) werd er gekeken: "Hoe zeker waren de verhuizers dat dit de juiste meubels waren?" Als ze heel zeker waren, ook al waren het verkeerde meubels, kregen ze een goede score.

Bij OCpose wordt er gekeken naar de verhuiskosten:

• Als je een meubel op de verkeerde plek zet (een valse positie), kost dat geld.
• Als je een meubel mist (een gemiste danser), kost dat ook geld.
• De slimme truc: OCpose kijkt ook naar de kwaliteit van de meubels. Als een verhuizer een meubel neerzet dat er een beetje op lijkt, maar hij twijfelt er een beetje aan (lage zekerheid), dan wordt die fout niet zomaar genegeerd. De methode straft elke fout af, ongeacht hoe zeker de computer was.

Het doel is om de totale verhuiskosten zo laag mogelijk te houden. Je wilt niet dat de verhuizer 1000 meubels neerzet om maar één goede te vinden; dat is te duur (te veel fouten).

De Twee Slimme Verbeteringen

De auteurs hebben twee dingen toegevoegd om deze "verhuiskosten" nog eerlijker te maken:

1. Geen "Grote Doos" meer, maar een "Precieze Contour":
   Vroeger werd gekeken of een danser binnen een groene rechthoek (een bounding box) viel. Dat is als zeggen: "Als de danser ergens in deze grote kamer staat, is het goed." Maar als er een danser in de hoek staat die er niet bij hoort, telt die toch mee.

   • OCpose doet het anders: Ze kijken naar de precieze vorm van de danser (een masker). Als een "danser" (een detectie) deels buiten de precieze vorm valt, wordt dat als een fout gezien. Dit voorkomt dat de computer "domme" fouten maakt door gewoon een grote doos te gebruiken.

2. De "Zekerheids-Valuta":
   Hoewel OCpose elke fout meetelt, gebruiken ze de zekerheid van de computer wel slim.

   • Als de computer een punt zet op een plek waar hij heel zeker is, maar het is een fout, is dat een grote straf.
   • Als de computer twijfelt (lage zekerheid) en zet toch een punt, is de straf iets kleiner, maar het telt nog steeds mee.
   • Dit zorgt ervoor dat systemen die "veilig spelen" (weinig fouten, maar misschien wat minder zeker) beter scoren dan systemen die "alles proberen" (veel fouten, maar hoge zekerheid).

Wat betekent dit voor de praktijk?

In de experimenten hebben ze getoond dat:

• Systemen die de oude meetlat (mAP) hoog scoorden, vaak heel veel fouten maakten (veel "domme" dansers).
• Als je deze systemen optimiseert voor de nieuwe OCpose, maken ze veel minder fouten.
• Mensen (echte mensen) vonden de resultaten van de nieuwe methode ook veel mooier en accurater.

Kort samengevat:
De oude meetlat (mAP) was als een leraar die alleen kijkt naar hoe hard een student roept dat hij het antwoord weet. De nieuwe meetlat (OCpose) kijkt naar of het antwoord echt goed is, en straft af als de student te veel verkeerde antwoorden roept, zelfs als hij heel zeker klinkt. Dit zorgt voor eerlijkere en betere kunstmatige intelligentie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Multi-Person Pose Estimation Evaluation Using Optimal Transportation and Improved Pose Matching" in het Nederlands.

Probleemstelling

In het veld van Multi-Person Pose Estimation (MPPE) worden bestaande evaluatiemetrics, zoals mAP (mean Average Precision), grotendeels gebaseerd op de rangschikking van detectie-convictiescores. Dit leidt tot een fundamenteel tekortkoming:

• Verwaarlozing van False Positives: Metrics zoals mAP neigen om false positives met lage confidence-scores te negeren, zolang er maar veel high-confidence detecties zijn.
• Onjuiste Scores bij Lage Drempels: Het verlagen van de confidence-drempel kan leiden tot een stijging van de mAP-score, zelfs als het aantal false positives (foute detecties) exponentieel toeneemt. Dit creëert een onrechtvaardige evaluatie die niet de werkelijke bruikbaarheid van een methode in real-world toepassingen weerspiegelt.
• Gebrek aan Trade-off: Er is geen eerlijke afweging tussen true positives (juiste detecties) en false positives, wat essentieel is voor betrouwbare systemen.

Methodologie: OCpose

Het paper introduceert OCpose (Optimal Correction Cost for pose), een nieuwe evaluatiemetric die het probleem aanpakt door gebruik te maken van Optimal Transport (OT) en verbeterde pose-matching. De methode werkt in twee stappen:

1. Verbeterde Pose Matching (Cost Calculation)

In plaats van alleen te kijken naar de afstand tussen keypoint-coördinaten, introduceert OCpose drie soorten matching-scores die worden gebruikt om de kosten (costs) te berekenen:

• OKSp (Matching met GT Poses): De standaard Object Keypoint Similarity (OKS) tussen een geschatte pose en een Ground Truth (GT) pose. De betrouwbaarheid wordt verbeterd door zichtbaarheid van keypointen te gebruiken (onzichtbare keypointen worden genegeerd).
• OKSm (Matching met GT Masks): In plaats van een bounding box (bbox) te gebruiken (wat vaak te groot is en false positives accepteert), gebruikt OCpose pixel-voor-pixel masks.
  • Innovatie: De OKS-berekening wordt aangepast met de confidence-score van elk keypoint. Key-pointen met een lage confidence die buiten het masker liggen, hebben minder invloed op de score. Dit voorkomt dat poses die deels buiten het menselijk lichaam vallen, onterecht als waar-positief worden beschouwd.
• OKSc (Matching met GT Crowd Masks): Voor menigten worden "crowd masks" gebruikt om false positives te onderdrukken die ontstaan door de grote hoeveelheid niet-menselijke pixels in een menigte-bbox.

2. Combinatoire Optimalisatie (Optimal Transportation)

OCpose gebruikt Optimal Transport om de beste koppeling te vinden tussen geschatte poses en GT-annotaties.

• Kostenmatrix: Er wordt een kostenmatrix $C(i, j)$ opgesteld, waarbij de kosten gelijk zijn aan $1 - OKS$.
• Optimalisatie: Het algoritme minimaliseert de totale kosten over alle mogelijke koppelingen.
  • Elke GT-pose of GT-masker mag slechts met één geschatte pose worden gekoppeld.
  • Een GT "crowd mask" kan echter met meerdere geschatte poses worden gekoppeld.
  • Dummy Nodes: Als er meer geschatte poses zijn dan GT-annotaties (over-detectie), worden "dummy" GT's toegevoegd met een hoge kost (1,0). Als er minder geschatte poses zijn, worden "dummy" geschatte poses gebruikt. Dit zorgt ervoor dat over-detectie direct wordt bestraft, ongeacht de confidence-score.

Belangrijkste Bijdragen

1. Evaluatiemetric zonder Confidence-Rangschikking: OCpose straalt false positives gelijkmatig af, ongeacht hun confidence-score, door OT te gebruiken. Dit lost het probleem op waarbij lage drempels onterecht hoge scores opleveren.
2. Confidence-gebaseerde Pose Matching: De betrouwbaarheid van de matching wordt verbeterd door de confidence-scores van de keypointen te integreren in de OKS-berekening (vooral bij masks), wat leidt tot een nauwkeurigere beoordeling van de kwaliteit van de detectie.
3. Menselijke Voorkeur: OCpose correleert beter met menselijke voorkeuren dan bestaande metrics.

Resultaten

De auteurs hebben OCpose getest op de COCO en CrowdPose datasets met state-of-the-art MPPE-methoden (zoals ViTPose, HRNet, RTMO).

• Kwantitatieve Resultaten: Wanneer de confidence-drempel wordt geoptimaliseerd om OCpose te minimaliseren (in plaats van mAP te maximaliseren), blijft de mAP-score bijna gelijk, maar daalt de OCpose-score aanzienlijk. Dit betekent dat het aantal false positives drastisch is verminderd zonder verlies aan true positives.
• Kwalitatieve Resultaten: Visualisaties tonen aan dat OCpose correct false positives (rode cirkels) en false negatives (blauwe cirkels) bestraft.
• Subjectieve Evaluatie: In een test met 36 deelnemers werden resultaten met de standaard drempel vergeleken met resultaten geoptimaliseerd voor OCpose. In 83,3% van de gevallen prefereerden mensen de resultaten van de OCpose-geoptimaliseerde methode, wat aantoont dat deze metric beter aansluit bij wat mensen als een "goede" pose-schatting ervaren.

Betekenis en Conclusie

OCpose biedt een fundamenteel ander perspectief op de evaluatie van Multi-Person Pose Estimation. Waar traditionele metrics zoals mAP gevoelig zijn voor het aantal detecties en hun rangschikking, focust OCpose op de kwaliteit en nauwkeurigheid van de detecties in relatie tot de ground truth, met een strenge straf voor over-detectie.

Dit paper suggereert dat de huidige standaardmetrics (mAP) mogelijk misleidend zijn voor de ontwikkeling van robuuste MPPE-systemen. OCpose fungeert als een waardevol hulpmiddel voor onderzoekers en ontwikkelaars om modellen te trainen en evalueren die niet alleen veel mensen detecteren, maar dit ook doen met een hoge precisie en een minimaal aantal fouten, wat essentieel is voor praktische toepassingen.