UGotMe: An Embodied System for Affective Human-Robot Interaction

1. O Problema

O artigo aborda os desafios de implementar modelos de reconhecimento de emoção multimodal baseados em visão para interação humano-robô (HRI) afetiva em cenários do mundo real. Existem duas barreiras principais de "corporificação" (embodiment):

• Ruído Ambiental em Conversas Multi-participantes: Em cenários onde um robô conversa com várias pessoas, a visão do robô frequentemente captura objetos distractores (móveis, veículos) e, mais criticamente, falantes inativos ou pessoas irrelevantes no campo de visão. Esses elementos possuem expressões faciais que podem contradizer a do falante ativo, confundindo os modelos de reconhecimento de emoção e levando a respostas inadequadas.
• Requisitos de Tempo Real: Sistemas interativos exigem respostas imediatas. No entanto, a latência causada pela transmissão de dados, pelo processamento de modelos profundos grandes e por limitações de hardware impede a resposta em tempo real necessária para uma interação fluida.

2. Metodologia

Os autores propõem o UGotMe, um sistema de interação afetiva projetado especificamente para conversas multi-participantes, integrado a um robô humanoide (Ameca). A solução é dividida em três fases principais:

A. Estratégias de Remoção de Ruído (Denoising Strategies)

Para lidar com o ruído visual, o sistema emprega duas estratégias:

1. Extração de Rostos: Filtra objetos distractores (como móveis) extraindo apenas as imagens de rostos dos falantes a partir das imagens RGB brutas capturadas pela câmera do robô.
2. Extração de Rostos Ativos Personalizada: Para isolar o falante ativo de pessoas inativas no campo de visão, o sistema ajusta a pose da cabeça e a câmera do robô com base na direção da chegada do som. O rosto centralizado no eixo X da imagem é identificado como o falante ativo.
   • Normalização Neutra Específica da Pessoa: Para lidar com diferenças individuais, o sistema subtrai a imagem do rosto neutro do falante (ou usa o primeiro quadro como referência) para gerar imagens de "delta", focando nas mudanças emocionais.

B. Transmissão Eficiente de Dados

Para garantir a resposta em tempo real:

• As imagens capturadas são transmitidas em bytes de forma contínua de um thread separado do robô para um servidor local.
• Os dados são armazenados em um buffer das últimas $T$ quadros (640 quadros, 25 FPS), permitindo que os modelos no servidor consumam os dados imediatamente sem esperar pelo fim de uma sequência completa.
• Os dados textuais (transcritos via speech-to-text) são transmitidos apenas quando uma nova fala é gerada.

C. Modelo VL2E (Vision-Language to Emotion)

O núcleo do sistema é o modelo VL2E, projetado para ser compatível com as estratégias de limpeza de dados:

• Codificador Visual: Processa sequências de rostos (já extraídos e normalizados) usando um InceptionResnetv1 e um Transformer de auto-atenção para modelar interações intra-modais.
• Codificador de Texto: Utiliza o SimCSE para processar o contexto da conversa. O sistema modela o contexto considerando as $k$ falas mais recentes e utiliza uma técnica de prompt learning (ex: "para [falante], [falante] sente ") para distinguir o contexto do alvo.
• Fusão Multimodal: Um Crossmodal Transformer funde as características visuais e textuais para prever a emoção.
• Execução: A emoção reconhecida é mapeada diretamente para expressões faciais robóticas pré-definidas (7 emoções básicas), seguindo o princípio da empatia paralela (o robô expressa a mesma emoção que o humano).

3. Principais Contribuições

1. Sistema UGotMe: Um sistema completo de interação humano-robô afetiva que resolve problemas de ruído ambiental e latência em conversas multi-participantes.
2. Modelo VL2E: Um novo modelo de reconhecimento de emoção baseado em visão e linguagem que supera todos os baselines existentes no conjunto de dados MELD, sendo otimizado para funcionar com extração de rostos e normalização.
3. Validação no Mundo Real: Implantação física do sistema no robô humanoide Ameca (desenvolvido pela Engineered Arts), demonstrando capacidades de inferência em tempo real e interação prática.

4. Resultados

• Desempenho no Dataset (MELD): O modelo VL2E alcançou um F1 médio ponderado de 67,29%, superando todos os baselines (como DialogueRNN, ConGCN, FacialMMT e TelME), mesmo quando comparado a modelos que utilizam três modalidades (Texto, Visão, Áudio), enquanto o VL2E foca em Texto e Visão.
• Estudos de Ablação:
  • A remoção da extração de rostos causou uma queda de 1,34% no F1, comprovando a importância de focar apenas nas expressões emocionais.
  • A normalização neutra específica da pessoa também mostrou-se crucial para o desempenho.
• Desempenho no Mundo Real (Robô Ameca):
  • O sistema UGotMe-VL2E alcançou 77,29% de precisão na resposta emocional e uma pontuação de experiência do usuário de 7,89/10.
  • Isso representa um aumento de 26,66% na precisão e 1,74 pontos na experiência do usuário em comparação com uma versão baseada no modelo TelME (sem as estratégias de limpeza de ruído).
  • A comparação visual (Fig. 5) mostrou que, na presença de falantes inativos com expressões diferentes, o sistema sem limpeza de ruído falhava ao identificar a emoção correta, enquanto o UGotMe-VL2E teve sucesso.

5. Significado e Impacto

Este trabalho é significativo porque avança o campo da interação humano-robô afetiva além de simulações ou cenários controlados de um-para-um. Ao abordar especificamente os desafios de corporificação (ruído visual em ambientes reais e restrições de tempo real), o UGotMe demonstra que é possível criar robôs que entendem e respondem a emoções humanas de forma fluida e precisa em conversas complexas e multi-participantes. A integração bem-sucedida de estratégias de pré-processamento visual (extração de rostos ativos) com modelos de aprendizado profundo multimodal abre caminho para robôs de serviço e saúde mais naturais e eficazes.

Limitações Futuras: O artigo reconhece que o sistema atual utiliza apenas empatia paralela (espelhar a emoção) e não incorpora sinais acústicos (tom de voz) no modelo, sugerindo que trabalhos futuros podem explorar empatia reativa e fusão de áudio.