Teaching Robots to Interpret Social Interactions through Lexically-guided Dynamic Graph Learning

Título: Ensinar Robôs a Interpretar Interações Sociais através de Aprendizado de Grafos Dinâmicos Guiado Lexicalmente

1. Problema e Motivação

Para que um robô seja considerado socialmente inteligente, ele deve ser capaz de inferir os estados internos do usuário (latentes, como intenção e atitude) a partir do comportamento atual, prever comportamentos futuros e responder adequadamente.

• Limitação das abordagens atuais: A maioria dos robôs sociais é reativa ou trata tarefas de percepção (como detecção de ação, intenção e atitude) como entidades isoladas ou com relações estáticas e fixas.
• O Desafio: As interações sociais são dinâmicas e contextuais. Os estados internos (intenção, atitude) e os estados observáveis (ações físicas, contato) influenciam-se mutuamente de forma complexa e evolutiva ao longo do tempo. Modelos existentes falham em capturar essa dependência dinâmica e a evolução das relações entre tarefas durante a interação.

2. Metodologia: SocialLDG

Os autores propõem o SocialLDG, um novo framework de Aprendizado Multitarefa (MTL) que modela explicitamente as relações dinâmicas entre estados internos e observáveis.

A. Formulação do Problema

O sistema recebe um fluxo de vídeo em primeira pessoa (perspectiva do robô) e extrai características de pose corporal completa (rosto, mãos e corpo) usando o AlphaPose. O objetivo é prever simultaneamente 6 tarefas:

1. Contato Físico (Atual e Futuro): Detecção binária de se o usuário está tocando ou tocará o robô.
2. Estado Interno (Intenção e Atitude): Inferência se o usuário está interessado, interagindo ou não, e se sua atitude é positiva ou negativa.
3. Ação (Atual e Futura): Classificação da ação social atual e previsão da próxima ação.

B. Arquitetura do Modelo

O framework segue três etapas principais:

1. Representação de Sinais Sociais (Encoder):

   • Utiliza um autoencoder pré-treinado (auto-supervisionado) para extrair representações robustas das sequências de pose.
   • Arquitetura: GAT (Graph Attention Network) para modelagem espacial (quadro a quadro) + Transformer para modelagem temporal.
   • Loss Function: Usa uma perda MSE ponderada pela confiança (confidence-aware MSE) para ignorar pontos-chave de pose ruidosos ou com baixa confiança.

2. Injeção de Priors Lexicais (Task Tokens):

   • Para evitar o "over-smoothing" (suavização excessiva) dos nós no grafo e garantir que cada tarefa tenha uma identidade semântica, cada nó do grafo é inicializado com um token lexical.
   • Esses tokens são gerados a partir de descrições textuais das tarefas usando um modelo de linguagem congelado (SciBERT).
   • Um módulo de Task Prompt Injection funde a representação do sinal social ($Z$) com os tokens lexicais ($e_k$) para criar as características iniciais dos nós.

3. Grafo Dinâmico Guiado por Semântica:

   • Gerador de Bordas Semânticas: Em vez de um grafo estático, o modelo aprende uma matriz de afinidade de tarefas dinâmica ($A$). Um gerador de bordas utiliza os tokens lexicais e o contexto social para criar um viés de borda contínuo ($B$), que atua como um prior semântico.
   • Transformador de Grafo Dinâmico: Utiliza um mecanismo de atenção onde a pontuação de afinidade entre tarefas é a soma de uma atenção baseada em nós e o viés de borda aprendido.
   • Restrições Físicas: O modelo impõe máscaras para impedir vazamento de informação do futuro para o presente (ex: não usar a ação futura para prever a ação atual).
   • Baseado na teoria da Satisfação de Restrições Paralela (PCS) da psicologia cognitiva, onde múltiplas tarefas se restringem mutuamente simultaneamente para alcançar uma percepção coerente.

3. Principais Contribuições

1. Framework de MTL Guiado Lexicalmente: Integração de priors semânticos de linguagem natural com aprendizado de grafos dinâmicos para modelar a evolução temporal das relações entre tarefas.
2. Escalabilidade de Tarefas: O modelo demonstra a capacidade de aprender novas tarefas rapidamente sem "esquecimento catastrófico" das tarefas anteriores, graças à modelagem explícita das relações e ao uso de um encoder social robusto.
3. Interpretabilidade: A matriz de afinidade de tarefas aprendida oferece insights sobre como diferentes estados sociais (internos e observáveis) se influenciam ao longo do tempo, permitindo a visualização de fases de interação (pré-interação, interação, pós-interação).

4. Resultados Experimentais

O modelo foi avaliado em dois conjuntos de dados públicos de Interação Humano-Robô (HRI): JPL-Social e HARPER.

• Desempenho (SOTA): O SocialLDG alcançou o melhor desempenho em comparação com métodos de MTL de última geração (como MMoE, PLE, AssociationGraph), obtendo uma F1 média de 85,61% e acurácia média de 85,23%.
• Comparação com Baselines: Superou significativamente métodos que assumem relações estáticas ou compartilham parâmetros de forma simples, especialmente em tarefas que exigem raciocínio profundo (como prever ações futuras e inferir intenção).
• Estudos de Ablação:
  • A remoção dos tokens lexicais ou do viés de borda aprendível resultou em queda de desempenho, provando a necessidade de ambos para a integração cruzada de tarefas.
  • A arquitetura de encoder (GAT + Transformer) mostrou-se superior a outras arquiteturas (como ST-GCN ou LSTMs) para a tarefa de representação social, mesmo que não fosse a melhor apenas para reconstrução de pose.
• Escalabilidade: Em testes de transferência de aprendizado, o SocialLDG conseguiu generalizar para novas tarefas com apenas 1 época de fine-tuning, superando baselines independentes e mantendo o desempenho nas tarefas iniciais.
• Visualização Dinâmica: A análise da matriz de afinidade mostrou que o modelo consegue detectar automaticamente as transições temporais da interação (ex: início e fim de um movimento de "jogar" um objeto), tornando-se mais esparsa durante ações claras e densa em momentos de incerteza.

5. Significado e Conclusão

O trabalho demonstra que a inteligência social em robôs não pode ser alcançada apenas através da fusão de dados, mas requer a modelagem explícita das relações dinâmicas e contextuais entre o que é observado (ações) e o que é inferido (intenção/atitude).

• Impacto: O SocialLDG oferece um caminho para robôs mais proativos e adaptáveis, capazes de entender o contexto social em tempo real.
• Limitações: Os dados utilizados são interações encenadas (atuadas), o que pode não capturar totalmente a espontaneidade de interações reais. Além disso, o modelo não impõe restrições de continuidade temporal suave, o que poderia ser necessário para certas aplicações.
• Futuro: Trabalhos futuros visam abordar interações espontâneas e adicionar restrições temporais mais robustas.

Em resumo, o paper propõe uma mudança de paradigma de modelos estáticos para grafos dinâmicos guiados por linguagem, permitindo que robôs "pensem" sobre a interação social de forma mais holística e interpretável.