Towards an Adaptive Social Game-Playing Robot: An Offline Reinforcement Learning-Based Framework

1. O Problema

A pesquisa em Robótica Social (HRI) busca criar robôs que não apenas executem tarefas, mas respondam significativamente às emoções dos usuários, especialmente em cenários de aprendizagem baseada em jogos para estudantes com dificuldades. O desafio central reside na criação de agentes adaptativos que aprendam políticas de resposta emocional ótimas.

• Limitação do Aprendizado por Reforço Online (Online RL): A abordagem tradicional de RL online requer interação direta e extensa com usuários reais para convergir. Isso é proibitivamente caro, consome muito tempo e, mais criticamente, apresenta riscos de segurança e desconforto social, pois o robô pode aprender comportamentos inadequados ou perigosos durante o processo de "tentativa e erro".
• Necessidade: Existe uma lacuna na falta de um framework abrangente para desenvolver e avaliar políticas de RL offline (apenas com dados pré-coletados) especificamente para robôs sociais adaptativos emocionalmente.

2. Metodologia

Os autores propõem uma arquitetura de sistema de quatro camadas e um framework de RL offline para um robô que joga damas (checkers) e adapta seu comportamento com base no estado emocional do usuário.

Arquitetura do Sistema

O sistema opera em quatro camadas interconectadas:

1. Sensoriamento: Coleta dados multimodais usando um dispositivo vestível (Empatica E4 para sinais biométricos/arousal), uma câmera montada na cabeça (para reconhecimento facial) e uma câmera montada no braço (para monitorar o tabuleiro do jogo).
2. Interpretação: Processa os dados brutos para extrair:
   • Reconhecimento de Emoção Multimodal: Detecta arousal fisiológico e classifica expressões faciais (raiva, felicidade, neutro).
   • Analisador de Status do Jogo: Calcula a pontuação do jogo baseada nas peças restantes.
3. Tomada de Decisão (RL): O núcleo do sistema. O problema é formulado como um Processo de Decisão de Markov (MDP):
   • Estado ($s_t$): Combinação do status do jogo (vencendo/perdendo), emoção facial e arousal fisiológico (18 estados possíveis).
   • Ação ($a_t$): Expressão facial do robô (raiva, feliz, neutro) e ajuste de dificuldade do jogo (mais difícil, mais fácil, constante) (9 ações possíveis).
   • Função de Recompensa ($r_t$): Balanceia o desempenho competitivo do robô com o estado emocional do usuário. A recompensa é composta por uma pontuação do jogo e uma pontuação emocional (baseada na intensidade das respostas de condutância da pele e no valor da expressão facial).
4. Atuação: O robô (Baxter) exibe expressões faciais na tela e move as peças no tabuleiro.

Coleta de Dados e Implementação

• Dados: Um conjunto de dados foi coletado de 5 participantes jogando damas contra o robô (que agia aleatoriamente para garantir justiça). O dataset contém 232 passos (episódios), cobrindo 63% do espaço de estado-ação, refletindo dados do mundo real com cobertura parcial.
• Algoritmos: Foram testados seis algoritmos de RL offline usando a biblioteca d3rlpy:
  • NFQ (Neural Fitted Q Iteration)
  • DQN (Deep Q-Network)
  • DDQN (Double DQN)
  • SAC (Soft-Actor Critic)
  • BCQ (Batch Constrained Q-Learning)
  • CQL (Conservative Q-Learning)
• Treinamento: Realizou-se uma busca em grade (grid search) para hiperparâmetros (taxa de aprendizado, tamanho do lote, camadas ocultas, etc.) e validação cruzada estratificada para garantir generalização entre sujeitos.

3. Principais Contribuições

1. Framework de RL Offline Multimodal: Uma arquitetura que converte sinais complexos do usuário (biométricos e visuais) em um espaço de estados de RL, utilizando um cenário de jogo estruturado para elicitar emoções com baixo risco.
2. Estudo Comparativo de Algoritmos: Uma avaliação sistemática de quais algoritmos de RL offline são mais robustos a variações de hiperparâmetros e menos propensos a viés de superestimação ou subestimação em condições de escassez de dados.
3. Diretrizes para Robótica Social: Fornecimento de uma base para a seleção de políticas confiáveis que permitem o aprendizado de comportamentos adaptativos complexos sem necessidade de exploração online arriscada.

4. Resultados

Os experimentos compararam o desempenho dos algoritmos baseando-se na estimativa de valor esperado ($\hat{V}(s_0)$) e no erro absoluto em relação aos dados reais.

• Robustez a Hiperparâmetros:
  • DDQN e BCQ demonstraram a maior robustez, apresentando os menores desvios padrão (0,10 e 0,14, respectivamente) nas estimativas de valor, indicando que são escolhas confiáveis quando o ajuste fino de hiperparâmetros é limitado.
  • NFQ mostrou-se extremamente instável, com desvio padrão de 51,47 e superestimação severa, divergindo durante o treinamento.
• Mitigação de Viés de Superestimação:
  • CQL (Conservative Q-Learning) foi o algoritmo mais eficaz. Ele produziu as previsões mais próximas da verdade fundamental (ground truth), com o menor erro absoluto (0,23). O CQL consegue mitigar o viés de superestimação ao impor limites inferiores conservadores nas estimativas de valor.
• Convergência:
  • Cinco dos seis algoritmos convergiram. O CQL mostrou a menor instabilidade (menor pico de perda) durante a sincronização de redes alvo.
  • A função de ativação ReLU emergiu como a melhor escolha consistente para todos os algoritmos, mesmo com espaços de recompensa restritos.

5. Significado e Conclusão

Este trabalho estabelece um passo fundamental para a criação de agentes socialmente inteligentes capazes de aprender comportamentos adaptativos complexos exclusivamente a partir de conjuntos de dados offline.

• Segurança e Escalabilidade: Ao evitar a exploração online, o método proposto elimina riscos de desconforto para os usuários e custos operacionais altos, tornando a implantação de robôs sociais educacionais e assistentes pessoais mais viável.
• Recomendações Práticas: Para cenários de HRI com dados limitados, os autores recomendam CQL para máxima precisão e mitigação de viés, e DDQN/BCQ para estabilidade e robustez operacional.
• Limitações e Futuro: O estudo reconhece que o dataset é limitado em diversidade demográfica e que tratar a HRI como totalmente observável ignora a natureza latente das emoções. Trabalhos futuros devem focar na coleta de dados mais diversos e na modelagem do ambiente como um MDP Parcialmente Observável (POMDP).

Em suma, o artigo valida que o RL offline é uma alternativa segura e eficiente para treinar robôs sociais, fornecendo diretrizes claras sobre quais algoritmos utilizar para garantir comportamentos adaptativos e seguros.