RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

Este artigo apresenta o conjunto de dados multimodal RFM-HRI, que registra as reações verbais e não verbais de usuários e suas preferências de recuperação diante de falhas em robôs médicos durante tarefas de recuperação de itens, fornecendo uma base fundamental para o desenvolvimento de métodos de detecção e recuperação de falhas em interações humano-robô.

O essencial

Imagine que você está em um hospital, correndo contra o relógio para salvar uma vida. Você precisa de um medicamento específico e corre até um carrinho de emergência (o "crash cart"). De repente, um robô que deveria ajudar você a encontrar o remédio começa a falar coisas sem sentido, demora demais para responder ou aponta para a gaveta errada.

O que você sente? Confusão? Irritação? Você perde a confiança no robô? E o que você gostaria que ele fizesse para consertar o erro?

É exatamente sobre isso que trata o artigo RFM-HRI. Os pesquisadores da Universidade de Cornell criaram um "banco de dados" (um grande arquivo de informações) para estudar como as pessoas reagem quando um robô médico falha.

Aqui está a explicação do trabalho, usando analogias simples:

1. O Cenário: O "Robô de Entrega" que se Perdeu

Pense no robô como um garçom muito bem treinado, mas que às vezes tropeça. Em um restaurante, se o garçom traz o prato errado, você fica irritado. Em um hospital, se o robô não encontra o remédio rápido, isso pode ser perigoso.

Os pesquisadores queriam entender:

• Como as pessoas reagem quando o "garçom robô" erra?
• O que elas sentem no rosto e na voz?
• O que elas preferem que o robô faça para consertar a situação?

2. A Experiência: O "Teatro" do Hospital

Para estudar isso sem colocar pacientes reais em risco, eles usaram uma técnica chamada "Mágico de Oz" (Wizard-of-Oz).

• A Analogia: Imagine que você está num show de mágica. Você acha que o mágico está fazendo truques sozinho, mas, na verdade, um assistente escondido está movendo os objetos.
• Na prática: Um robô parecia estar funcionando sozinho, mas na verdade, um pesquisador humano estava controlando tudo por trás de uma tela. Eles programaram o robô para cometer erros específicos:
  • Fala: Dizer "Abra a gaveta" sem dizer qual gaveta.
  • Tempo: Demorar 3 segundos para responder (como se estivesse "pensando" demais).
  • Busca: Apontar para a gaveta errada.
  • Compreensão: Dizer "Não entendi o que você pediu" quando o pedido estava claro.

Eles fizeram isso com 41 pessoas (médicos, enfermeiros e pessoas comuns) em laboratórios e hospitais reais.

3. O Que Eles Descobriram: O "Termômetro" das Emoções

O robô gravou tudo: o rosto das pessoas, a posição da cabeça, o que elas falaram e como elas se sentiram depois. Foi como ter um termômetro emocional ligado o tempo todo.

• O Sentimento Dominante: Quando o robô falhava, as pessoas não ficavam apenas "tristes". Elas ficavam confusas (como se estivessem num labirinto sem mapa), irritadas e frustradas.
• A Evolução: No começo, as pessoas ficavam confusas ("Será que eu não entendi?"). Mas, conforme o robô continuava errando, a confusão diminuía e a frustração aumentava (como quando você tenta conectar um cabo USB e ele não entra de jeito nenhum, e você começa a querer jogá-lo longe).
• O Controle: Quando o robô funcionava bem, as pessoas se sentiam no controle. Quando ele falhava, elas sentiam que perderam o controle da situação.

4. A Solução: O Que as Pessoas Querem?

A parte mais interessante é o que as pessoas queriam que o robô fizesse para se desculpar.

• A Preferência: A grande maioria das pessoas (quase 64%) queria que o robô falasse. Elas queriam uma explicação clara, um "desculpe" e uma nova instrução direta.
• O Metáfora: Imagine que seu GPS falha e diz "vire à direita" quando você já está na rua errada.
  • Se o GPS apenas pisca uma luz vermelha (não verbal), você fica mais confuso.
  • Se o GPS diz: "Ops, errei! Você está na Rua X. Vire à esquerda na próxima", você se sente aliviado e volta a confiar.
• O Resultado: As pessoas preferiram falar a apenas acender luzes ou fazer gestos. Elas queriam transparência: "Eu errei, aqui está o que aconteceu e aqui está o que fazer agora".

5. Por Que Isso é Importante?

Este trabalho é como um manual de instruções para o futuro dos robôs.

Hoje, muitos robôs são programados para evitar erros, mas quando eles acontecem (e vão acontecer!), eles não sabem como lidar com a reação humana. Este estudo diz aos engenheiros:

1. Não ignorem os erros: As pessoas percebem e ficam frustradas.
2. Sejam honestos: Diga "eu errei" em voz alta.
3. Sejam claros: Explique como consertar.

Resumo Final

Os pesquisadores criaram um grande arquivo de dados (o RFM-HRI) que mostra como nossos rostos e vozes mudam quando um robô médico falha. Eles descobriram que, quando o robô erra, nós ficamos confusos e irritados, mas se ele se desculpar claramente e nos dar uma nova direção, conseguimos recuperar a confiança.

É como ensinar um robô a ter inteligência emocional: não basta ele ser inteligente em encontrar remédios; ele precisa saber como pedir desculpas quando tropeça, para que a gente continue confiando nele quando a vida estiver em jogo.

Resumo técnico

Resumo Técnico: RFM-HRI

1. Problema e Motivação

A integração de robôs autônomos em ambientes do mundo real, especialmente em cenários críticos de saúde como emergências médicas, inevitavelmente leva a falhas de interação. Embora a literatura em Interação Humano-Robô (HRI) tenha explorado falhas em contextos sociais, há uma lacuna significativa no entendimento de como os usuários respondem a falhas em ambientes de trabalho de alta pressão e segurança crítica (como hospitais).

• O Desafio: Falhas em robôs de recuperação de itens (como carrinhos de emergência ou crash carts) podem atrasar o atendimento ao paciente e reduzir a confiança da equipe.
• A Lacuna: Existem poucos conjuntos de dados públicos que capturem simultaneamente:
  1. Falhas técnicas induzidas de forma sistemática.
  2. Reações multimodais dos usuários (verbais e não verbais).
  3. Preferências explícitas dos usuários sobre estratégias de recuperação.
  4. Contextos de saúde com participantes tanto especialistas quanto leigos.

2. Metodologia

Os autores conduziram um estudo controlado utilizando uma abordagem Wizard-of-Oz (WoZ) para simular falhas robóticas de forma consistente enquanto mantinham a ilusão de autonomia para os participantes.

• Plataforma Robótica: Um carrinho de emergência (crash cart) modificado com interfaces multimodais:
  • Visual: Faixas de LED endereçáveis para indicar gavetas.
  • Auditivo: Síntese de voz (TTS) para instruções.
  • Sensorial: Câmera egocêntrica para capturar a perspectiva do usuário e logs internos do sistema.
• Participantes: 41 participantes (29 em laboratório, 12 em ambiente hospitalar), incluindo profissionais de saúde (enfermeiros, residentes) e não especialistas.
• Tarefa: Recuperação guiada de itens específicos das gavetas do carrinho de emergência sob pressão de tempo.
• Condições Experimentais: Cada participante realizou 5 tentativas (em ordem aleatória):
  1. Sucesso: Interação sem erros.
  2. Falha de Fala: Instrução incompleta ou ambígua (ex: "Abra a gaveta" sem especificar qual).
  3. Falha de Tempo: Atraso deliberado de 3 segundos na resposta.
  4. Falha de Compreensão: O robô afirma não entender o pedido e pede repetição sem orientação.
  5. Falha de Busca: O robô indica a gaveta errada (via fala e LED).
• Coleta de Dados Multimodal:
  • Vídeo: Captura de expressões faciais, pose da cabeça e movimento ocular (processado via MediaPipe para extração de Unidades de Ação - AUs).
  • Áudio: Transcrições de fala (via Whisper).
  • Auto-relato: Questionários pós-tarefa medindo reações emocionais (Escala SAM: Valência, Arousal, Controle) e preferências de recuperação.

3. Principais Contribuições

O trabalho apresenta três contribuições fundamentais para a comunidade de HRI:

1. Dataset RFM-HRI: Um conjunto de dados multimodal público contendo 214 amostras de interações, incluindo:
   • Unidades de Ação Facial (AUs) e landmarks faciais sincronizados.
   • Dados de pose da cabeça e estimativa de olhar (gaze).
   • Transcrições de fala e metadados de tempo.
   • Respostas de auto-relato sobre emoções e preferências de recuperação.
2. Análise de Respostas a Falhas: Uma caracterização empírica de como os usuários reagem a diferentes tipos de falhas (fala, tempo, compreensão, busca) e como essas reações evoluem ao longo do tempo.
3. Cenário de Recuperação Crítica: Um cenário realista de recuperação de itens em carrinhos de emergência que permite a comparação sistemática de estratégias de recuperação, com implicações diretas para a segurança em ambientes médicos.

4. Resultados Chave

A análise dos dados revelou padrões distintos nas reações humanas:

• Impacto Emocional:

  • Falhas vs. Sucesso: As falhas degradam significativamente a valência afetiva (tornando a experiência mais negativa) e reduzem a percepção de controle do usuário.
  • Emoções Dominantes:
    • Em falhas: Confusão (30,7%), Irritação (26,1%) e Frustração (19,1%).
    • Em sucesso: Surpresa, Alívio e Confiança.
  • Evolução Temporal: A confusão tende a diminuir ao longo das tentativas, enquanto a frustração aumenta, sugerindo que falhas repetidas transformam a incerteza inicial em irritação.

• Respostas Afetivas (Escala SAM):

  • Interações falhas resultaram em menor valência (desprazer), maior arousal (excitação/negativa) e menor controle percebido em comparação com interações bem-sucedidas.

• Preferências de Recuperação:

  • Estratégia Preferida: Os usuários demonstraram uma forte preferência por estratégias verbais (63,9% das menções), seguidas por não verbais (32,5%) e multimodais (3,6%).
  • Tipos de Recuperação: As estratégias mais valorizadas foram aquelas que combinam transparência verbal (reconhecimento explícito do erro) com orientação acionável (ex: "Desculpe, errei; o item está na gaveta 4").
  • Generalização: As preferências de recuperação não variaram significativamente entre os tipos de falha, sugerindo que princípios universais (transparência e clareza) são mais importantes do que estratégias específicas para cada erro.

5. Significado e Implicações

• Para o Design de Robôs: Os resultados desafiam a suposição de que robôs físicos precisam principalmente de sinais de recuperação físicos. Em vez disso, os usuários valorizam a transparência verbal e o reconhecimento de erro. Robôs devem priorizar a comunicação clara sobre o que deu errado e como corrigir.
• Para a Pesquisa em HRI: O dataset RFM-HRI fornece uma base para treinar modelos de aprendizado de máquina que detectam falhas a partir de sinais sociais (expressões faciais, tom de voz) e selecionam estratégias de recuperação adaptativas.
• Segurança em Saúde: Ao entender como a frustração e a perda de controle se manifestam durante falhas, os sistemas robóticos podem ser projetados para mitigar esses efeitos, preservando a confiança da equipe médica e garantindo a eficiência em procedimentos críticos.

Em suma, o RFM-HRI estabelece um novo padrão para a pesquisa de falhas em robótica médica, conectando a detecção técnica de erros com a experiência humana e as preferências de recuperação em um ambiente de alta fidelidade.