Riepilogo Tecnico: Dai Keypoint alle Distribuzioni Predittive

Definizione del Problema

I modelli YOLO-Pose sono ampiamente impiegati per la localizzazione dei keypoint in tempo reale grazie alla loro efficienza e alle capacità di inferenza a singolo passaggio. Tuttavia, essi restituiscono una singola posizione deterministica per ogni keypoint e un punteggio di confidenza a livello di istanza che non quantifica l'incertezza spaziale specifica del keypoint. Nelle applicazioni a valle critiche per la sicurezza (ad es. fusione sensoriale, tracking), l'incapacità di valutare l'affidabilità dei singoli keypoint limita la robustezza del sistema.

I metodi esistenti di quantificazione dell'incertezza all'interno della famiglia YOLO si concentrano principalmente sul rilevamento di oggetti (bounding box) o richiedono il riaddestramento congiunto del modello per predire l'incertezza insieme alla localizzazione. Questo paradigma di apprendimento congiunto è spesso indesiderabile per i modelli già implementati, dove il riaddestramento è limitato da requisiti di certificazione o dove modificare la funzione di perdita potrebbe degradare le prestazioni medie della predizione stabilita. Inoltre, le perdite standard come l'Object Keypoint Similarity (OKS) inducono distribuzioni residue con code pesanti che sono scarsamente catturate dalle assunzioni gaussiane standard, portando a stime di incertezza mal calibrate.

Metodologia

Gli autori propongono un'estensione probabilistica post-hoc leggera che aumenta un modello YOLO-Pose pre-addestrato e congelato senza alterare le sue predizioni originali dei keypoint. L'approccio consiste in tre componenti principali:

1. Estensione dell'Architettura

Il metodo introduce teste probabilistiche aggiuntive che rispecchiano le teste di pose originali. Queste teste utilizzano le caratteristiche condivise del neck multi-risoluzione per predire una matrice di dispersione $2 \times 2$ eteroscedastica e dipendente dall'input ($\Sigma$) per ogni keypoint. La matrice è vincolata a essere definita positiva tramite decomposizione di Cholesky. La media della distribuzione predittiva è fissata sulla predizione YOLO originale ($\hat{y}$), mentre la matrice di dispersione cattura l'incertezza spaziale.

2. Addestramento con NLL Pesata per Importanza

Per apprendere la struttura della dispersione, gli autori impiegano una Negative Log-Likelihood Gaussiana (GNLL) come surrogato della perdita OKS. Per affrontare il disallineamento tra l'assegnazione delle etichette durante l'addestramento e il post-processing all'inferenza (ad es. soglia di confidenza, NMS), introducono un obiettivo di addestramento pesato per importanza:

• Peso di Ritenzione ($w_{ret}$): Basato sul punteggio di confidenza a livello di istanza ($c_{det}^\alpha$), approssimando la probabilità che una predizione venga mantenuta all'inferenza.
• Peso di Scala ($w_{scale}$): Basato sull'area inversa dell'oggetto ($1/s^2$), per contrastare la tendenza degli oggetti più grandi a dominare il segnale di ottimizzazione e garantire una calibrazione bilanciata tra le diverse scale di oggetti.
  L'obiettivo minimizza la GNLL pesata sulle coppie di predizione-ground-truth corrispondenti.

3. Schemi di Calibrazione

Riconoscendo che la perdita OKS induce residui con code pesanti (a causa della sua natura robusta e di soppressione degli outlier), gli autori propongono due strategie di calibrazione complementari applicate a un set di calibrazione tenuto separato:

• Calibrazione Gaussiana: Applica un fattore di temperatura ($\tau^2$) alla matrice di dispersione appresa. Ciò produce una distribuzione predittiva $\mathcal{N}(\hat{y}, \tau^2\Sigma)$, garantendo la compatibilità con i metodi basati su covarianza a valle (ad es. filtri di Kalman).
• Calibrazione Student-t: Applica sia un fattore di temperatura ($\tau^2$) che un parametro di gradi di libertà ($\nu$) alla matrice di dispersione, trattandola come una matrice di scala per una distribuzione Student-t $T_\nu(\hat{y}, \tau^2\Sigma)$. Questo modella meglio la natura empirica a code pesanti dei residui pur mantenendo un'interpretazione della covarianza rigorosa per $\nu > 2$.

4. Potatura Basata sull'Incertezza

La covarianza calibrata viene convertita in un punteggio di confidenza di localizzazione scalare (ad es. usando la traccia della covarianza). I keypoint con punteggi inferiori a una soglia (selezionata tramite la statistica J di Youden su un set di validazione) vengono potati prima dell'elaborazione a valle, rimuovendo le predizioni inaffidabili pur preservando le stime della media dei keypoint mantenuti.

Protocollo di Valutazione

Il documento introduce un framework di valutazione completo per la regressione dei keypoint eteroscedastica:

• Average Keypoint Precision (AKP): Una metrica di tipo COCO estesa al livello del keypoint. Valuta se i punteggi di incertezza classificano efficacementamente i keypoint per correttezza, consentendo la selezione o la potatura dei keypoint inaffidabili.
• Diagnostica della Calibrazione Distribuionale:
  • Copertura (Coverage): Valuta se le regioni di probabilità nominale (ad es. ellissi al 95%) corrispondono alle frequenze empiriche (Average Coverage Error, ACE).
  • Calibrazione della Varianza: Confronta le magnitudo della varianza predetta rispetto ai residui quadratici empirici attraverso i livelli di incertezza (Expected Normalized Calibration Error, ENCE).
  • Grafici Q-Q: Valuta la forma e il comportamento della coda della distribuzione predittiva rispetto alla legge di riferimento.

Risultati Chiave

Gli esperimenti sul dataset COCO (utilizzando YOLO-NAS-Pose Nano e Large) dimostrano:

• Classificazione dell'Affidabilità: Le stime di incertezza apprese forniscono classifiche di affidabilità efficaci a livello di keypoint, raggiungendo puntetti AKP elevati significativamente sopra i baseline casuali.
• Prestazioni di Calibrazione:
  • La Calibrazione Gaussiana migliora la calibrazione della varianza (minore ENCE) ma fatica con la copertura (maggiore ACE) a causa della misspecificazione della coda.
  • La Calibrazione Student-t ottiene le migliori prestazioni complessive, riducendo significativamente l'ACE (copertura quasi perfetta) pur mantenendo o migliorando ENCE e NLL. Ciò conferma che la distribuzione residua empirica è meglio modellata da una distribuzione Student-t a code pesanti.
• Efficacia della Potatura: La potatura basata sull'incertezza rimuove efficacemente i keypoint inaffidabili (particolarmente per arti ambigui come ginocchia e caviglie), migliorando le metriche di calibrazione del set mantenuto.
• Studi di Ablazione: Il pesamento per importanza (specificamente i pesi di ritenzione e di scala) è critico per una calibrazione bilanciata tra le dimensioni degli oggetti. Le matrici di covarianza eteroscedastiche complete superano le approssimazioni isotrope o diagonali.

Dimostrazione dell'Applicazione: Atterraggio di Velivoli Basato su Visione

Gli autori dimostrano l'utilità del loro metodo in uno scenario di atterraggio basato su visione (VBL) utilizzando un dataset interno su larga scala.

• Workflow: I keypoint della pista vengono rilevati e le loro covarianze 2D calibrate vengono propagate attraverso un algoritmo Perspective-n-Point (PnP) pesato sulla covarianza per stimare la posizione 3D e la relativa covarianza dell'aeromobile.
• Fusione Sensoriale: La stima della posizione 3D e la relativa covarianza vengono integrate in un Filtro di Kalman Esteso (EKF) insieme ad altri sensori di navigazione (GNSS, ILS, IRS).
• Risultati: Il modello calibrato gaussianamente fornisce covarianze del piano immagine ben calibrate che supportano una stima della posizione consapevole dell'incertezza. Il metodo mantiene i requisiti di bassa latenza richiesti dal VBL.
• Limitazione: In condizioni di nebbia (out-of-distribution), il modello non riesce a catturare l'aumento dell'incertezza epistemica, evidenziando che l'approccio post-hoc attuale modella l'incertezza aleatoria all'interno della distribuzione di addestramento ma non rileva intrinsecamente i cambiamenti di distribuzione.

Significato e Rivendicazioni

Il documento sostiene di essere la prima estensione dei modelli YOLO-Pose che fornisce distribuzioni predittive calibrate sull'errore di localizzazione dei keypoint senza riaddestrare il modello sottostante o modificare le sue predizioni originali.

I contributi chiave includono:

1. Flessibilità Post-Hoc: Un metodo che scinde la stima dell'incertezza dalla predizione del punto, permettendo la calibrazione di modelli esistenti e certificati.
2. Fedeltà Distribuionale: La dimostrazione che la calibrazione Student-t è necessaria per catturare i residui a code pesanti indotti dalle perdite OKS robuste, superando le assunzioni gaussiane standard.
3. Standard di Valutazione: L'introduzione di AKP e di una suite di diagnostica della calibrazione adattata alla regressione dei keypoint bivariate ed eteroscedastica, affrontando una lacuna nella letteratura dove l'incertezza è spesso valutata solo qualitativamente o tramite un punteggio scalare.
4. Utilità Pratica: Validazione in un dominio critico per la sicurezza (aviazione), mostrando che le covarianze calibrate sono requisiti funzionali per la fusione sensoriale a valle e che la potatura basata sull'incertezza può migliorare la robustezza del sistema.

Gli autori mantengono una posizione modesta riguardo all'incertezza epistemica, riconoscendo che il loro approccio attuale si basa su residui in-distribution e che la gestione di input out-of-distribution (ad es. condizioni meteorologiche severe) richiede un lavoro futuro sulla modellazione dell'incertezza epistemica.