Resumo Técnico: REPAIR-Bench

Declaração do Problema

Embora os robôs estejam sendo cada vez mais implantados em ambientes de alto risco, como departamentos de emergência, eles permanecem propensos a falhas causadas por erros de percepção, pressão de tempo ou incerteza ambiental. Caracterizar essas falhas e as respostas dos usuários é crítico para manter a confiança e a conclusão das tarefas. No entanto, os benchmarks existentes de Interação Humano-Robô (HRI) sofrem de três limitações primárias:

1. Suposição de Independência: Trabalhos anteriores frequentemente tratam as falhas como eventos independentes, falhando em modelar o histórico entre tentativas ou a acumulação de adaptação do usuário ao longo de falhas repetidas.
2. Limitações Binárias: A maioria dos conjuntos de dados suporta apenas detecção binária de falha (sucesso/falha) em vez de categorização de falha multiclasse.
3. Recuperação Baseada em Regras: As estratégias de recuperação são tipicamente definidas por pesquisadores em vez de serem preditas a partir do comportamento do usuário, carecendo de um framework para inferir os métodos de recuperação preferidos pelo usuário a partir do contexto de interação.

Há uma carência de frameworks de benchmark integrados que conectem detecção de falha, compreensão e tomada de decisão de recuperação dentro de um único cenário de avaliação.

Metodologia

Os autores introduzem o REPAIR-Bench, um benchmark multimodal construído sobre o dataset RFM-HRI, que captura interações entre usuários e um robô de carrinho de emergência médica semiautônomo tanto em ambientes laboratoriais quanto hospitalares.

Dataset e Pré-processamento

• Fonte de Dados: 214 tentativas de interação de 41 participantes envolvendo quatro tipos de falhas induzidas (fala, tempo, compreensão, busca) e uma condição de sucesso.
• Modalidades: O dataset inclui vídeo, áudio e transcrições de tarefas sincronizados.
• Extração de Características:
  • Visual: Unidades de Ação (AUs) faciais, pose da cabeça em 3D, estimativas de olhar (gaze) e landmarks faciais extraídos via Google MediaPipe.
  • Áudio/Texto: Transcrições de fala com marcação de tempo via Whisper ASR.
  • Verdade Fundamental (Ground Truth): Pesquisas pós-interação capturando reações emocionais e estratégias de recuperação preferidas.
• Pré-processamento: Os autores padronizaram as anotações de falha com timestamps precisos de início/término. As características visuais foram filtradas (filtro Butterworth) e normalizadas. As transcrições foram limpas para modelagem de recuperação, removendo timestamps para focar no conteúdo do diálogo.
• Conjunto Final: Após excluir 30 amostras com transcrições ou timestamps inconsistentes, o conjunto de análise compreende 184 amostras.

Tarefas de Avaliação

O REPAIR-Bench define três tarefas de avaliação inéditas:

1. Tarefa 1: Detecção Temporal de Falha

   • Objetivo: Detectar o momento em que a resposta de um robô falha com base nas reações comportamentais do usuário, considerando dependências entre tentativas.
   • Entrada: Características visuais sequenciais (AUs, landmarks, pose, gaze) em janelas deslizantes.
   • Arquitetura: Uma Rede Neural Recorrente Hierárquica (HRNN) de dois níveis usando células de Unidade Recorrente de Porta (GRU). O modelo processa características em nível de janela e mantém um vetor de histórico de sessão atualizado após cada tentativa para capturar a adaptação longitudinal do usuário.
   • Saída: Rótulos binários de pré/pós-falha por janela e uma estimativa de momento de transição temporal.

2. Tarefa 2: Classificação de Falha

   • Objetivo: Distinguir entre categorias específicas de falha (compreensão, fala, tempo, busca) e sucesso usando pistas visuais.
   • Arquitetura: Um modelo temporal consciente de sessão combinando uma BiLSTM para codificação por quadro e uma GRU unidirecional para processar embeddings de tentativa em ordem cronológica.
   • Saída: Rótulo de tipo de falha multiclasse.

3. Tarefa 3: Predição de Estratégia de Recuperação

   • Objetivo: Predizer estratégias de recuperação preferidas pelo usuário (ex: pedido de desculpas, orientação passo a passo) baseando-se em transcrições de interação e contexto de falha.
   • Arquitetura: Modelos de Linguagem Pequenos (SLMs) ajustados via Quantized Low-Rank Adaptation (QLoRA). Os modelos avaliados incluem Mistral-7B e Gemma-9B.
   • Formulação: Um problema de ranking generativo restrito onde o modelo produz uma lista separada por vírgulas de estratégias a partir de um conjunto de candidatos predefinido.

Principais Resultados

Tarefa 1: Detecção de Falha

• A HRNN de dois níveis com janelas de 3 segundos alcançou um F1 macro estrito de 0,80, superando as baselines de GRU de sessão única (0,68) e baselines planas.
• Localização: O modelo alcançou um erro absoluto mediano de 2,97 segundos e um erro assinado médio de -0,51 segundos (indicando uma tendência de prever ligeiramente cedo demais).
• A abordagem hierárquica melhorou o desempenho ao modelar o histórico entre sessões, demonstrando que a adaptação do usuário através de falhas repetidas é um fator significativo.

Tarefa 2: Classificação de Falha

• A HRNN alcançou um F1 macro de 0,44, superando uma baseline BiLSTM-GRU (0,38) com o mesmo número de parâmetros.
• O desempenho foi mais forte para a classe Sucesso (F1 = 0,93) e falhas de Fala, enquanto as falhas de Compreensão e Tempo permaneceram mais difíceis de distinguir.
• A análise estatística confirmou uma associação modesta, mas significativa, entre a emoção autorrelatada e condições de falha específicas.

Tarefa 3: Predição de Estratégia de Recuperação

• Modelos Base: O Mistral-7B base superou o Gemma-9B base, destacando a necessidade de ajuste de instrução para saída estruturada. O Gemma-9B base apresentou desempenho próximo ao acaso.
• Ajuste Fino (Fine-Tuning): O ajuste fino via QLoRA melhorou significamente o desempenho. Para o Mistral-7B, o Hit@5 aumentou de 0,68 para 0,76, e o F1@5 aumentou de 0,30 para 0,32.
• O Gemma-9B ajustado alcançou desempenho comparável ao Mistral-7B ajustado, demonstrando que o ajuste fino eficiente em parâmetros é crítico para alinhar LLMs generalistas com tarefas específicas de predição de recuperação.

Significância e Contribuições

O artigo afirma que o REPAIR-Bench é o primeiro benchmark de HRI a abordar conjuntamente classificação de falha, localização e predição de recuperação. Suas principais contribuições são:

1. Framework Unificado: Fornece um framework padronizado para avaliar o ciclo de vida completo da falha em HRI, indo além da detecção isolada para incluir a tomada de decisão de recuperação.
2. Modelagem Longitudinal: Demonstra que modelar o histórico entre tentativas (via arquiteturas hierárquicas) melhora a precisão da detecção de falhas em comparação com o tratamento de sessões como independentes.
3. Recuperação Centrada no Usuário: Desloca a seleção da estratégia de recuperação de sistemas baseados em regras para predições baseadas em dados das preferências do usuário, o que é essencial para construir sistemas confiáveis em domínios de segurança crítica, como a saúde.
4. Recurso para a Comunidade: Oferece à comunidade de HRI e HRI Médica um dataset com sinais multimodais sincronizados e verdade fundamental anotada para falha e recuperação, facilitando a pesquisa em comportamentos robóticos adaptativos e transparentes.

Os autores observam limitações, incluindo o tamanho relativamente pequeno da amostra para predição de recuperação (184 amostras) e o uso de um conjunto predefinido de estratégias de recuperação, sugerindo que trabalhos futuros devem expandir o dataset e incorporar sinais multimodais mais ricos.