Riepilogo Tecnico: REASON – Un Framework Neurosimbolico per il Ragionamento Logico Guidato dai Concetti nel Riconoscimento di Azioni Umane Basato su Scheletri

Enunciato del Problema

Il Riconoscimento dell'Attività Umana (HAR) basato su scheletri ha ottenuto prestazioni empiriche solide utilizzando modelli di deep learning, in particolare le Reti Convoluzionali su Grafi (GCN). Tuttavia, questi modelli funzionano come "scatole nere", mancando di interpretabilità. Questa opacità è problematica per domini ad alto rischio come la sanità e la riabilitazione, dove una presa di decisione trasparente è essenziale. Inoltre, gli approcci neurosimbolici esistenti affrontano sfide fondamentali di integrazione:

1. Ancoraggio Simbolico: Colmare il divario tra le traiettorie continue delle articolazioni e i predicati simbolici discreti è difficile. Le euristiche tradizionali (ad esempio, "angolo del ginocchio < 90°") sono fragili e falliscono in caso di variazioni della posa o cambiamenti del punto di vista.
2. Dinamiche Temporali: Le azioni sono intrinsecamente temporali. La logica puramente spaziale non può distinguere azioni con pose statiche simili ma ordini di esecuzione o direzioni di movimento diversi (ad esempio, Indossare gli Occhiali vs Togliere gli Occhiali).
3. Apprendimento End-to-End: Gli operatori booleani discreti bloccano tipicamente la propagazione del gradiente, impedendo l'ottimizzazione congiunta della percezione (estrazione delle caratteristiche) e del ragionamento (applicazione delle regole).

Metodologia: Il Framework REASON

Gli autori propongono REASON (Rule-based Explainable Action via Symbolic cONcepts), un framework neurosimbolico che riformula il riconoscimento delle azioni come ragionamento logico del primo ordine guidato dai concetti su primitivi di movimento apprendibili. Il framework opera attraverso quattro fasi chiave:

1. Generazione della Banca dei Concetti

Invece di fare affidamento su euristiche manuali, gli autori costruiscono una banca dei concetti $\mathcal{C}$ composta da primitivi di movimento spaziali, temporali e interattivi utilizzando una pipeline in tre fasi basata su un Large Language Model (LLM):

• Generazione della Descrizione: Un LLM (GPT-3) scompone le azioni in descrizioni dettagliate delle parti del corpo (ad esempio, "Gamba: si flette alle ginocchia poi spinge in modo esplosivo").
• Astrazione e Clustering: Le descrizioni grezze vengono convertite in concetti canonici estraendo pattern verbo-direzione-modificatore, incorporandole e raggruppandole tramite k-means. Questo produce concetti spaziali (ad esempio, sollevamento braccio, salto gamba).
• Definizione Temporale e di Interazione: Vengono definiti concetti temporali espliciti per catturare la direzione del movimento (movimento verso l'alto), la sequenza (mani per prime) e le dinamiche (velocità alta). Un concetto di interazione gestisce azioni reciproche.
• Associazione: Un secondo LLM (LLaMA-3.2) associa le azioni alla banca dei concetti, creando una matrice di associazione binaria $M$ dove $M_{a,c}=1$ se il concetto $c$ è attivo per l'azione $a$. La banca finale contiene 74 concetti (52 spaziali, 21 temporali, 1 di interazione).

2. Apprendimento della Rappresentazione dello Scheletro

Un encoder standard spaziotemporale dello scheletro (ad esempio, Hyper-GCN) elabora le sequenze di input $X \in \mathbb{R}^{T \times V \times 3}$ senza pooling globale per preservare le informazioni di movimento dettagliate. L'encoder alimenta tre rami:

• Decodificatore STC: Prevede le attivazioni dei concetti.
• Allineamento del Testo: Allinea le caratteristiche dello scheletro raggruppate con gli embedding testuali ancorati ai concetti (generati da un encoder CLIP con affinamento LoRA) utilizzando una funzione di perdita contrastiva ($L_{align}$). Questo garantisce che le caratteristiche dello scheletro si raggruppino con le loro descrizioni semantiche.
• Divergenza delle Parti: Una funzione di perdita ($L_{div}$) penalizza l'alta similarità coseno tra le caratteristiche di diverse parti del corpo, garantendo rappresentazioni discriminative per ogni regione anatomica.

3. Decodificatore di Concetti Spaziotemporali (STC-Decoder)

Questo modulo collega le caratteristiche continue ai predicati simbolici. Scompone le caratteristiche dell'encoder in flussi spaziali ($F_s$) e temporali ($F_t$).

• Decodifica a Gruppi: Per gestire la complessità delle relazioni eterogenee tra i concetti, i concetti vengono suddivisi in gruppi. Matrici di query apprendibili eseguono un'attenzione incrociata per aggregare selettivamente le informazioni dello scheletro rilevanti per specifici sottoinsiemi di concetti.
• Previsione: Un livello Group-FC proietta queste query in probabilità morbide dei concetti $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. Ragionamento Logico del Primo Ordine Differenziabile

Per abilitare l'addestramento end-to-end mantenendo l'interpretabilità discreta:

• Binarizzazione: Le previsioni morbide vengono binarizzate ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) utilizzando un Stimatore Straight-Through (STE) per permettere il flusso del gradiente.
• Livelli Logici: Livelli impilati di congiunzione (AND) e disgiunzione (OR) compongono i concetti in regole.
• Innesto del Gradiente: Durante il passaggio in avanti, operazioni discrete e pesi sono utilizzati per l'inferenza. Durante la retropropagazione, i gradienti sono calcolati attraverso rilassamenti continui (AND/OR morbidi) e "innestati" sul percorso discreto, abilitando l'apprendimento di regole logiche sparse e interpretabili.
• Classificazione: Un classificatore lineare mappa le attivazioni delle regole alle previsioni finali delle azioni.

Contributi Chiave

1. Framework REASON: Una formulazione neurosimbolica innovativa per l'HAR basato su scheletri che integra rappresentazioni ancorate ai concetti con logica del primo ordine differenziabile per l'addestramento end-to-end.
2. Decodificatore STC: Un decodificatore specializzato che estrae indipendentemente concetti di configurazione corporea spaziale e dinamiche di movimento temporali, fornendo astrazioni robuste contro la variabilità dell'esecuzione.
3. Banca dei Concetti: Una banca curata di 74 concetti di movimento spaziali e dinamici per i dataset NTU RGB+D e NW-UCLA, generata tramite LLM per garantire ricchezza semantica senza enumerazione manuale.
4. Interpretabilità: Il sistema fornisce sia interpretabilità locale (attivazioni di concetti specifiche per l'istanza) sia interpretabilità globale (regole logiche leggibili dall'uomo che governano la semantica dell'azione).

Risultati Sperimentali

Il framework è stato valutato sui benchmark NTU RGB+D 60/120 e NW-UCLA.

• Prestazioni: REASON ottiene prestazioni competitive, superando diverse linee di base a scatola nera.
  • Su NTU RGB+D 60 (X-Sub), raggiunge una precisione del 94,3% (4-stream), superando forti baseline GCN come Hyper-GCN (93,7%) e BlockGCN (93,1%).
  • Su NTU RGB+D 120 (X-Set), raggiunge il 91,9%.
  • Su NW-UCLA, ottiene il 97,9%.
• Riordinamento con LLM: Una fase opzionale di riordinamento utilizzando LLaMA-3.2 7B ancorato alle attivazioni dei concetti aumenta ulteriormente le prestazioni al 95,6% (NTU-60 X-Sub) e 93,2% (NTU-120 X-Set), superando altri metodi potenziati da LLM che si basano su caratteristiche opache.
• Studi di Ablazione:
  • Concetti Temporali: L'aggiunta di concetti temporali a quelli spaziali ha migliorato la precisione del +7,8%, confermando la loro necessità per distinguere pose simili.
  • Capacità del Livello Logico: Una configurazione a 128 nodi è risultata ottimale; disabilitare la negazione ha causato un crollo catastrofico al 49,87%, evidenziando la necessità di concetti $\neg$ (ad esempio, distinguere in piedi da camminare tramite $\neg$ camminata gamba).
  • Intervento sui Concetti: Correggere concetti erroneamente previsti nella catena logica ha migliorato monotonicamente la precisione (fino a +5,67% per 3 correzioni), dimostrando che gli errori derivano principalmente da una previsione errata dei concetti piuttosto che da regole logiche difettose.

Significato e Affermazioni

Il documento afferma che il ragionamento neurosimbolico è un paradigma efficace per la comprensione interpretabile delle azioni spaziotemporali. Ancorando le rappresentazioni degli scheletri in concetti di movimento apprendibili e componendoli tramite logica differenziabile, REASON raggiunge prestazioni all'avanguardia mantenendo catene di ragionamento concetti-regole completamente trasparenti.

A differenza di lavori precedenti che si basano su spiegazioni post-hoc o regole manuali fragili, REASON impara regole definitorie delle azioni direttamente dai dati. Gli autori sottolineano che questo approccio permette un'analisi sistematica sia delle classificazioni corrette sia dei casi di fallimento, offrendo una via verso un'IA affidabile in applicazioni critiche per la sicurezza dove il "perché" dietro una previsione è importante quanto la previsione stessa. Il framework dimostra che è possibile colmare il divario tra percezione neurale e inferenza simbolica senza sacrificare accuratezza o scalabilità.