Technische Samenvatting: Van Keypoints naar Voorspellende Distributies

Probleemstelling

YOLO-Pose modellen worden breed ingezet voor real-time keypoint-lokalisatie vanwege hun efficiëntie en single-pass inferentiecapaciteiten. Ze geven echter één determinische locatie voor elk keypoint en een instance-niveau betrouwbaarheidsscore die de keypoint-specifieke ruimtelijke onzekerheid niet kwantificeert. Het onvermogen om de betrouwbaarheid van individuele keypoints te beoordelen, beperkt de robuustheid van systemen in kritieke toepassingen (bijv. sensorfusie, tracking).

Bestaande methoden voor onzekerheidskwantificatie binnen de YOLO-familie richten zich primair op objectdetectie (bounding boxes) of vereisen gezamenlijke hertraining van het model om onzekerheid naast lokalisatie te voorspellen. Dit paradigma van gezamenlijk leren is vaak ongewenst bij reeds uitgerolde modellen waar hertraining wordt beperkt door certificeringseisen of waar het wijzigen van de verliesfunctie de gevestigde gemiddelde voorspellingsprestaties kan verslechteren. Bovendien leiden standaardverliezen zoals Object Keypoint Similarity (OKS) tot zware staarten in de residu-distributies die slecht worden gevangen door standaard Gaussische aannames, wat leidt tot misgekalibreerde onzekerheidsschattingen.

Methodologie

De auteurs stellen een lichtgewicht post-hoc probabilistische extensie voor die een vooraf getraind, bevroren YOLO-Pose model aanvult zonder de oorspronkelijke keypoint-voorspellingen te wijzigen. De aanpak bestaat uit drie hoofdonderdelen:

1. Architectuur-extensie

De methode introduceert aanvullende probabilistische koppen die de oorspronkelijke pose-koppen spiegelen. Deze koppen maken gebruik van de gedeelde multi-resolutie neck-features om een heteroscedastische, input-afhankelijke $2 \times 2$ dispersiematrix ($\Sigma$) voor elk keypoint te voorspellen. De matrix wordt via de Cholesky-decompositie gedwongen positief definit te zijn. Het gemiddelde van de voorspellende distributie is vastgesteld op de oorspronkelijke YOLO-voorspelling ($\hat{y}$), terwijl de dispersiematrix de ruimtelijke onzekerheid vangt.

2. Training met Importance-Weighted NLL

Om de dispersiestructuur te leren, gebruiken de auteurs een Gaussian Negative Log-Likelihood (GNLL) als surrogaat voor de OKS-loss. Om de mismatch tussen de labeltoewijzing tijdens de training en de post-processing tijdens de inferentie (bijv. confidence thresholding, NMS) aan te pakken, introduceren zij een importance-weighted trainingsdoelstelling:

• Retention Weight ($w_{ret}$): Gebaseerd op de instance-niveau betrouwbaarheidsscore ($c_{det}^\alpha$), wat de waarschijnlijkheid benadert dat een voorspelling behouden blijft tijdens de inferentie.
• Scale Weight ($w_{scale}$): Gebaseerd op de inverse objectoppervlakte ($1/s^2$), om het effect tegen te gaan dat grotere objecten de optimalisatiesignalen domineren en om een gebalanceerde kalibratie over objectschalen te garanderen.
  Het doel is het minimaliseren van de gewogen GNLL over gematchte voorspellings-grondwaarheid paren.

3. Kalibratieschema's

In het besef dat de OKS-loss zware staarten in de residuen induceert (door haar robuuste, uitschieter-onderdrukkende aard), stellen de auteurs twee complementaire kalibratiestrategieën voor die worden toegepast op een heldere kalibratieset:

• Gaussian Calibration: Past een temperatuur-scaling ($\tau^2$) toe op de geleerde dispersiematrix. Dit levert een voorspellende distributie $\mathcal{N}(\hat{y}, \tau^2\Sigma)$ op, wat compatibiliteit garandeert met downstream covariance-gebaseerde methoden (bijv. Kalman filters).
• Student-t Calibration: Past zowel een temperatuur-scaling ($\tau^2$) als een vrijheidsgraden-parameter ($\nu$) toe op de dispersiematrix, waarbij deze wordt behandeld als een schaalmatrix voor een Student-t distributie $T_\nu(\hat{y}, \tau^2\Sigma)$. Dit vangt de empirische zware staarten van de residuen beter op, terwijl een principiële covariantie-interpretatie behouden blijft voor $\nu > 2$.

4. Onzekerheid-gebaseerde Pruning

De gekalibreerde covariantie wordt omgezet in een scalaire lokalisatie-betrouwbaarheidsscore (bijv. met behulp van de trace van de covariantie). Keypoints met scores onder een drempelwaarde (geselecteerd via de Youden's J-statistiek op een validatieset) worden verwijderd (pruning) vóór downstream verwerking, waardoor onbetrouwbare voorspellingen worden geëlimineerd terwijl de gemiddelde schattingen van de behouden keypoints behouden blijven.

Evaluatieprotocol

Het artikel introduceert een uitgebreid evaluatiekader voor heteroscedastische keypoint-regressie:

• Average Keypoint Precision (AKP): Een COCO-stijl metriek uitgebreid naar het keypoint-niveau. Het evalueert of de onzekerheidsscores de keypoints effectief rangschikken op basis van correctheid, wat de selectie of pruning van onbetrouwbare keypoints mogelijk maakt.
• Distributional Calibration Diagnostics:
  • Coverage: Evalueert of nominale waarschijnlijkheidsgebieden (bijv. 95% ellipsen) overeenkomen met de empirische frequenties (Average Coverage Error, ACE).
  • Variance Calibration: Vergelijkt voorspelde variantie-magnitudes met empirische gekwadrateerde residuen over onzekerheidsniveaus (Expected Normalized Calibration Error, ENCE).
  • Q-Q Plots: Beoordeelt de vorm en de staartgedraging van de voorspellende distributie ten opzichte van de referentiewet.

Belangrijkste Resultaten

Experimenten op de COCO-dataset (met gebruik van YOLO-NAS-Pose Nano en Large) tonen aan:

• Betrouwbaarheidsrangschikking: De geleerde onzekerheidsschattingen bieden effectieve betrouwbaarheidsrangschikkingen op keypoint-niveau, waarbij hoge AKP-scores worden behaald die significant boven de willekeurige baselines liggen.
• Kalibratieprestaties:
  • Gaussian Calibration verbetert de variantie-kalibratie (lagere ENCE), maar heeft moeite met de dekking (hogere ACE) door fouten in de staart-specificatie.
  • Student-t Calibration presteert het beste over de hele linie, waarbij de ACE aanzienlijk wordt verminderd (bijna perfecte dekking) terwijl de ENCE en NLL gelijk blijven of verbeteren. Dit bevestigt dat de empirische residu-distributie beter wordt gemodelleerd door een Student-t distributie met een zware staart.
• Effectiviteit van Pruning: Onzekerheid-gebaseerde pruning verwijdert effectief onbetrouwbare keypoints (met name voor ambigue ledematen zoals knieën en enkels), wat de kalibratiemetrieken van de behouden set verbetert.
• Ablatie-studies: Importance weighting (met name retention en scale weights) is cruciaal voor een gebalanceerde kalibratie over verschillende objectgroottes. Volledige heteroscedastische covariantie-matrices presteren beter dan isotrope of diagonale benaderingen.

Toepassingsdemonstratie: Visuele Vliegtuiglandingen

De auteurs demonstreren de bruikbaarheid van hun methode in een visuele landingsscenario (VBL) met behulp van een grootschalige interne dataset.

• Workflow: Runway keypoints worden gedetecteerd, en hun gekalibreerde 2D-covarianties worden gepropageerd door een covariantie-gewogen Perspective-n-Point (PnP) algoritme om de 3D-positie en covariantie van het vliegtuig te schatten.
• Sensorfusie: De resulterende 3D-positie-schatting en covariantie worden geïntegreerd in een Extended Kalman Filter (EKF) samen met andere navigatiesensoren (GNSS, ILS, IRS).
• Bevindingen: Het Gaussian-gekalibreerde model levert goed gekalibreerde beeldvlak-covarianties die ondersteuning bieden aan onzekerheid-bewuste positiebepaling. De methode voldoet aan de lage-latentie eisen van VBL.
• Beperking: Onder mistige omstandigheden (out-of-distribution) faalt het model in het vangen van de toegenomen epistemische onzekerheid, wat benadrukt dat de huidige post-hoc aanpak de aleatorische onzekerheid binnen de trainingsdistributie modelleert, maar niet inherent distributieverschuivingen detecteert.

Betekenis en Claims

Het artikel claimt de eerste extensie van YOLO-Pose modellen te zijn die gekalibreerde voorspellende distributies biedt over keypoint-lokalisatiefouten zonder het onderliggende model te hertrainen of de oorspronkelijke voorspellingen te wijzigen.

Belangrijke bijdragen zijn:

1. Post-Hoc Flexibiliteit: Een methode die de onzekerheidsschatting ontkoppelt van de puntvoorspelling, waardoor de kalibratie van bestaande, gecertificeerde modellen mogelijk is.
2. Distributionele Getrouwheid: De demonstratie dat Student-t kalibratie noodzakelijk is om de zware staarten van de residuen te vangen die worden geïnduceerd door robuuste OKS-verliezen, wat beter presteert dan standaard Gaussische aannames.
3. Evaluatiestandaard: De introductie van AKP en een reeks kalibratiediagnostieken die specifiek zijn afgestemd op bivariate, heteroscedastische keypoint-regressie, waarmee een gat in de literatuur wordt opgevuld waar onzekerheid vaak alleen kwalitatief of via een scalaire betrouwbaarheid wordt geëvalueerd.
4. Praktisch Nut: Validatie in een veiligheidskritisch domein (luchtvaart), waarbij wordt aangetoond dat gekalibreerde covarianties functionele vereisten zijn voor downstream sensorfusie en dat onzekerheid-gebaseerde pruning de systeemrobuustheid kan verbeteren.

De auteurs houden een bescheiden standpunt aan met betrekking tot epistemische onzekerheid, waarbij ze erkennen dat hun huidige aanpak steunt op in-distributie residuen en dat het omgaan met out-of-distribution inputs (bijv. extreem weer) toekomstig werk vereist voor het modelleren van epistemische onzekerheid.