Teaching Robots to Interpret Social Interactions through Lexically-guided Dynamic Graph Learning

Titolo: Insegnare ai Robot a Interpretare le Interazioni Sociali attraverso l'Apprendimento di Grafi Dinamici Guidato Lessicalmente

1. Il Problema

Per essere considerati socialmente intelligenti, i robot devono essere in grado di inferire gli stati interni degli utenti (latenti, come intenzioni e atteggiamenti) dal loro comportamento corrente, prevedere i loro futuri comportamenti e rispondere di conseguenza.
La maggior parte dei robot sociali attuali è reattiva, aspettando che l'utente inizi l'interazione. Questo lavoro si concentra su un paradigma proattivo, dove il robot deve identificare potenziali utenti e inferire le loro intenzioni prima ancora che l'interazione fisica inizi.
Il problema centrale risiede nel fatto che gli stati interni (intenzione, atteggiamento) e gli stati osservabili (azioni fisiche, contatti) non sono componenti isolati, ma fanno parte di un unico processo socio-cognitivo dinamico. I metodi precedenti assumevano relazioni statiche tra questi compiti, fallendo nel catturare come le interazioni sociali evolvono nel tempo e come i diversi stati si influenzano a vicenda dinamicamente.

2. Metodologia: SocialLDG

Gli autori propongono SocialLDG (Social Lexically-guided Dynamic Graph), un nuovo framework di Multi-Task Learning (MTL) che modella esplicitamente le relazioni dinamiche tra stati latenti e osservabili.

Componenti Chiave del Framework:

• Input e Rappresentazione dei Segnali Sociali:

  • Il sistema elabora video in prospettiva egocentrica (dal punto di vista del robot).
  • Vengono estratti i pose del corpo intero (viso, mani, corpo) utilizzando AlphaPose.
  • Un codificatore spazio-temporale (basato su un autoencoder pre-addestrato con un encoder GAT per lo spazio e Transformer per il tempo) mappa le sequenze di pose in una rappresentazione compatta e contestuale ($Z$).
  • Viene utilizzata una loss MSE consapevole della confidenza per ignorare i punti chiave rumorosi.

• Modellazione del Grafo Dinamico:

  • Il problema è formulato come un grafo con 6 nodi, ciascuno rappresentante un compito specifico:
    1. Contatto fisico attuale ($y_{con\_cur}$)
    2. Contatto fisico futuro ($y_{con\_fut}$)
    3. Intenzione ($y_{int}$)
    4. Atteggiamento ($y_{att}$)
    5. Azione attuale ($y_{act\_cur}$)
    6. Azione futura ($y_{act\_fut}$)
  • Il grafo è completamente connesso (con alcune maschere per prevenire la fuga di informazioni dal futuro al presente) e i pesi degli archi (affinità tra compiti) evolvono nel tempo.

• Guida Lessicale (Lexical Guidance):

  • Per evitare l'over-smoothing del grafo e fornire un forte prior semantico, ogni nodo è inizializzato con un token lessicale generato da un modello linguistico congelato (SciBERT).
  • Vengono utilizzate descrizioni testuali specifiche per ogni compito (es. "Rilevare se l'utente sta attualmente facendo contatto fisico con me") per generare vettori di embedding.
  • Questi token vengono iniettati nella rappresentazione del segnale sociale ($Z$) per inizializzare le caratteristiche dei nodi.

• Generatore di Archi Semantici e Trasformatore Dinamico:

  • Un modulo genera una matrice di bias degli archi ($B$) basata sui token lessicali e sul contesto sociale dinamico ($Z$).
  • Questo bias viene combinato con i punteggi di attenzione appresi dai nodi per formare la matrice di affinità dei compiti ($A$), che quantifica l'influenza reciproca tra i compiti in ogni istante temporale.
  • Un Graph Transformer utilizza questa matrice per aggregare le informazioni tra i nodi, permettendo al modello di apprendere come i compiti si influenzano a vicenda in base al contesto (es. un utente entusiasta vs. disinteressato).

3. Contributi Chiave

1. Framework MTL guidato lessicalmente: Integrazione di priors testuali (tramite modelli linguistici) con l'apprendimento di grafi dinamici per modellare le relazioni temporali tra compiti, migliorando l'interpretabilità e le prestazioni.
2. Scalabilità dei Compiti: Il framework dimostra la capacità di apprendere nuovi compiti rapidamente senza catastrophic forgetting (dimenticanza catastrofica) dei compiti precedenti, grazie alla modellazione esplicita delle relazioni inter-compiti e a un encoder generale.
3. Relazioni Inter-compito Interpretabili: La matrice di affinità appresa offre insight su come le percezioni sociali evolvono nel tempo e su come stati latenti e osservabili si informano a vicenda durante il processo decisionale.

4. Risultati Sperimentali

Il modello è stato valutato su due dataset pubblici di interazione uomo-robot: JPL-Social e HARPER.

• Prestazioni Superiori: SocialLDG ha raggiunto un punteggio F1 medio del 85.25% e un'accuratezza media dell'85.61%, superando tutti i metodi di baseline MTL (inclusi MMoE, PLE, DSelect-K, AssociationGraph).
• Ablation Study:
  • La rimozione dei token lessicali o del bias degli archi ha portato a un calo significativo delle prestazioni, confermando la necessità di entrambi i componenti.
  • L'uso di SciBERT per l'inizializzazione dei token ha mostrato le migliori prestazioni, probabilmente grazie alla sua familiarità con il linguaggio tecnico/scientifico presente nelle descrizioni dei compiti.
  • L'architettura dell'encoder (GAT + Transformer) ha dimostrato di essere più efficace per l'apprendimento delle rappresentazioni sociali rispetto ad architetture basate su LSTM, nonostante errori di ricostruzione leggermente superiori.
• Scalabilità: Gli esperimenti di trasferimento hanno mostrato che SocialLDG può adattarsi a nuovi compiti (es. passare dalla previsione di azioni a stati interni) con solo 1 epoca di fine-tuning, superando i baseline di fine-tuning indipendente.
• Visualizzazione Dinamica: L'analisi della matrice di affinità ha rivelato che il modello è in grado di rilevare automaticamente le fasi dell'interazione (pre-interazione, interazione, post-interazione) osservando i cambiamenti nella densità e nei pesi del grafo.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso robot socialmente intelligenti e proattivi.

• Teoria Cognitiva: Il framework è ispirato dalla teoria della Parallel Constraint Satisfaction (PCS) della psicologia cognitiva, modellando il processo decisionale come una rete di vincoli che interagiscono simultaneamente.
• Interpretabilità: A differenza delle "scatole nere" tradizionali, SocialLDG offre una visione trasparente di come il robot collega azioni fisiche a stati mentali in tempo reale.
• Flessibilità: La capacità di apprendere nuovi compiti senza riaddestramento completo rende il sistema più pratico per scenari reali complessi e in evoluzione.

In sintesi, SocialLDG dimostra che modellare le dipendenze dinamiche e contestuali tra compiti sociali, guidate da conoscenza linguistica, è fondamentale per una percezione sociale robotica robusta e umana.