Real-time body pose non-verbal communication with a consistency-based reliability measure

Sintesi Tecnica: Comunicazione non verbale della posa corporea in tempo reale con una misura di affidabilità basata sulla coerenza

Definizione del problema
Il documento affronta il riconoscimento dell'intento comunicativo dalla sola posa corporea 2D, mirando specificamente a scenari in cui i canali facciali e audio non sono disponibili o sono inaffidabili (ad es., comunicazione persona-robot a lunga distanza, missioni di soccorso, sorveglianza orientata alla privacy). Le risorse esistenti non riescono a isolare questo segnale: i corpora affettivi (ad es., MELD, IEMOCAP) intrecciano il movimento corporeo con il parlato e le espressioni facciali, mentre i benchmark di riconoscimento delle azioni scheletriche (ad es., NTU RGB+D 120) etichettano azioni eseguite (camminare, sedersi) su finestre temporali lunghe piuttosto che sui brevi impulsi (1–2 secondi) che trasmettono specifici intenti comunicativi. Inoltre, i sistemi esistenti di gestualità per droni si basano su vocabolari ristretti e fissi di pose di comando invece che su uno spazio più ricco e naturale di intenti comunicativi. Esiste una lacuna critica nei dataset e nei benchmark che mirano al riconoscimento dell'intento comunicativo sotto vincoli di elaborazione in tempo reale e su dispositivi (on-device). Inoltre, i sistemi distribuibili richiedono non solo accuratezza, ma anche un meccanismo per segnalare quando una previsione è probabilmente errata per prevenire fallimenti critici per la sicurezza, sebbene i metodi di calibrazione standard richiedano spesso dati di validazione etichettati.

Metodologia
Gli autori propongono un framework che comprende la creazione di un dataset, il benchmarking di modelli e una nuova misura di affidabilità non supervisionata.

1. Creazione del Dataset: Gli autori rilasciano un dataset ("Ours") contenente 157.000 frame reali di posa a corpo intero che coprono 10 intenti comunicativi (ad es., "vieni da me", "disapprovazione", "abbiamo concluso un accordo"). Questi sono catturati da video umani reali utilizzando YOLO11-pose. Per valutare la generalizzazione e la difficoltà, questo viene confrontato con altri quattro corpora:

   • IPC (Reale): Un corpus multimodale su larga scala (Seamless Interaction) con 8 codici del circomplesso interpersonale, che funge da controllo negativo dove l'intento non è recuperabile dalla sola posa 2D grossolana.
   • MotionLCM (Sintetico): Generato tramite un Modello di Coerenza Latente (Latent Consistency Model), offre dati a bassa varianza e alta separabilità.
   • Kimodo (Sintetico): Generato tramite SMPL-X, offre una varianza bilanciata.
   • VEO3.1 (Sintetico): Dati generati da testo-video, offrono un aspetto fotorealistico ad alta varianza.
     Tutti i dataset sono standardizzati in sequenze di 105 frame di 17 keypoint 2D COCO a 30Hz.

2. Benchmarking dei Modelli: Dodici modelli sono sottoposti a benchmarking sotto condizioni di addestramento corrispondenti su hardware embedded (NVIDIA Jetson Orin Nano). I modelli sono categorizzati in:

   • Solo riconoscimento: Classificatori di grafi scheletrici (ST-GCN++, CTR-GCN, 2s-AGCN, EfficientGCN-B0).
   • Previsione e Riconoscimento congiunti: Architetture che prevedono simultaneamente le traiettorie del movimento futuro e classificano l'intento (MLP, LSTM, CNN-LSTM, Transformer, MotionMixer, POTR, InfoGCN++, PGBIG).
     Le prestazioni sono misurate tramite accuratezza (macro-F1), errore di previsione della traiettoria (MAE) e latenza di inferenza (FPS).

3. Misura di Affidabilità basata sulla Coerenza: Il documento introduce una stima della confidenza senza etichette ($c_{10}$) derivata dall'auto-coerenza autoregressiva di un modello. Il modello prevede il proprio movimento futuro, rialimenta questa previsione come input e riclassifica la finestra ripetutamente per 10 step. Il punteggio di coerenza è la frazione di step in cui l'etichetta predetta rimane la stessa. Gli autori forniscono una prova teorica (Proposizione 1) che limita la probabilità che una previsione auto-coerente sia corretta, mostrando che questa probabilità aumenta con il numero di step coerenti ($n$), ma è limitata dalla separabilità delle classi ($f_r, f_g$).

Risultati Chiave

• Recupero dell'Intento: L'intento comunicativo è recuperabile dalla sola posa corporea 2D sul dataset "Ours". I modelli basati su grafi e ricorrenti (ad es., 2s-AGCN, CNN-LSTM) raggiungono il 90–100% di recall sulla maggior parte degli intenti. Tuttavia, specifici intenti come "disapprovazione", "vieni da me" ed "entusiasta" mostrano un'inerente ambiguità sotto proiezione 2D.
• Difficoltà del Dataset: I dataset sintetici (MotionLCM, Kimodo) sono facilmente apprendibili (accuratezza prossima al limite superiore) a causa della bassa varianza. VEO3.1 presenta una sfida maggiore a causa del rumore fotorealistico. Il dataset IPC agisce come un caso di fallimento; i modelli raggiungono un'accuratezza vicina al caso casuale, confermando che i codici di postura interpersonale non sono recuperabili dalla posa corporea 2D grossolana senza indizi facciali o contestuali.
• Previsione vs. Stabilità: Un basso errore di previsione della traiettoria (MAE) non garantisce robustezza. I modelli che minimizzano l'MAE spesso sovrasemplificano (over-smooth) il movimento. La stabilità del rollout autoregressivo (quanto bene un modello mantiene il movimento all'interno della classe consumando le proprie previsioni) è una metrica distinta e critica. CNN-LSTM e InfoGCN++ hanno dimostrato una stabilità superiore rispetto a MLP e Transformer.
• Segnale di Affidabilità: Il punteggio di coerenza $c_{10}$ è un segnale di affidabilità calibrato sui dataset apprendibili. L'alta coerenza correla con l'alta accuratezza (fino a 0.93 su "Ours" e circa 1.0 sui set sintetici). Fondamentalmente, sul dataset IPC dove il compito non è apprendibile, $c_{10}$ rimane alto ma si disaccoppia dalla correttezza, identificando correttamente il regime in cui la confidenza non è informativa.
• Prestazioni Edge: Tutti i 12 modelli girano ben sopra i 30 FPS sulla NVIDIA Orin Nano. Il vincolo primario per il deployment è l'accuratezza, non la latenza. I modelli a doppio compito sono dominati in termini di pura classificazione, ma offrono le necessarie capacità di previsione e affidabilità.

Significatività e Rivendicazioni
Il documento rivendica tre contributi principali:

1. Dataset e Benchmark: Colma una lacuna fornendo un dataset e un benchmark specificamente per l'intento comunicativo dalla sola posa corporea, contrastando dati reali e sintetici per isolare le prestazioni del modello dagli artefatti del dataset.
2. Benchmarking Consapevole dell'Hardware: Fornisce un confronto completo delle architetture su hardware embedded, stabilendo che l'accuratezza è il fattio limitante per la comunicazione persona-robot in tempo reale su dispositivi, non la velocità di calcolo.
3. Affidabilità Non Supervisionata: Dimostra che l'auto-coerenza autoregressiva di un modello funge da valido segnale di affidabilità senza etichette. Il documento prova che questo segnale è informativo quando il compito è apprendibile e identifica correttamente quando non lo è (ovvero, quando il modello è con sicurezza errato). Ciò consente a un sistema di differire l'azione su previsioni incerte, una caratteristica critica per applicazioni rilevanti per la sicurezza.

Gli autori concludono che la sola posa corporea è un canale vitale per l'intento comunicativo sotto vincoli di deployment, a condizione che il sistema utilizzi l'auto-coerenza per auditare la propria affidabilità in tempo reale. Notano i limiti riguardanti la dipendenza dalla posa 2D (perdita di informazioni sulla profondità) e la necessità di ulteriori valutazioni su larga scala in scenari reali a lungo raggio.