ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

Imagine que você está observando um robô tentando fazer um sanduíche. Às vezes, o robô deixa o pão cair. Às vezes, ele tenta colocar a torradeira na geladeira. No passado, os cientistas tentaram ensinar os robôs a notar esses erros dando-lhes uma lista de verificação de "características" (como "o pão está no chão?") e pedindo que olhassem para dados que já haviam sido limpos e organizados. Mas os autores deste artigo dizem: "Espere um minuto! Isso é como tentar aprender a andar de bicicleta olhando para um diagrama de uma bicicleta em um estúdio perfeitamente iluminado. A vida real é bagunçada!"

Este artigo apresenta o ERR@HRI 3.0, um desafio projetado para ajudar os robôs a ficarem melhores em detectar seus próprios erros — e até mesmo adivinhá-los antes que aconteçam — ao observar as reações humanas reais e desordenadas.

As Duas Grandes Missões

O desafio deu aos pesquisadores dois "níveis de videogame" diferentes para resolver, usando filmagens de webcam brutas e não editadas de pessoas assistindo a robôs (e humanos) falharem.

Nível 1: O Detector de "Ops!" (O Conjunto de Dados BAD)
Imagine 45 pessoas sentadas em frente a uma tela, assistindo a vídeos onde um robô ou um humano comete um erro. O objetivo aqui é reativo: consegue um computador olhar para o rosto da pessoa depois que o erro acontece e dizer: "Oh, eles acabaram de ver uma falha!"?

• O Problema: Os vídeos são brutos. A iluminação muda, os ângulos da câmera são estranhos e as pessoas estão sentadas em lugares diferentes. É o mundo real, não um laboratório.
• Os Dados: Foram 46 diferentes cenários de falha e 1.645 clipes de vídeo no total. Os clipes têm cerca de 15,5 segundos.
• O Resultado: O desafio teve 3 equipes submetendo modelos. Todas elas foram melhores do que o modelo "baseline" do próprio artigo (que era basicamente uma rede neural padrão tentando o seu melhor). O modelo baseline pontuou 0,502 macro F1 (uma pontuação específica para o quão bem ele equilibrou a detecção tanto de falhas quanto de não-falhas, em vez de apenas uma porcentagem simples de precisão), mas os novos modelos conseguiram superá-lo.

Nível 2: O Preditor de "Espera, Isso é uma Má Ideia!" (O Conjunto de Dados Bad Idea)
Esta é a parte mais legal e astuta. Imagine 29 pessoas assistindo a um vídeo de um robô começando a fazer algo, mas o vídeo é cortado antes de vermos se ele tem sucesso ou falha. As pessoas têm que adivinhar: "Isso vai terminar bem ou mal?"

• O Objetivo: Consegue um computador olhar para o rosto da pessoa enquanto ela está adivinhando e dizer o que ela pensa que vai acontecer? Isso é antecipatório. Trata-se de capturar o olhar de "ops" antes do acidente.
• Os Dados: Houve 30 cenários e 865 clipes. Esses clipes são super curtos, tendo apenas cerca de 1,95 segundos.
• O Resultado: Novamente, as 3 equipes que jogaram este nível venceram o baseline. O modelo baseline teve um score AUC-ROC de 0,564 (uma medida de quão bem o modelo pode distinguir entre um palpite "bom" e um "ruim", onde 0,5 é o acaso/chute aleatório), mostrando que prever o futuro baseado em uma expressão facial de um milésimo de segundo é realmente, muito, difícil.

Ao Que Este Artigo Diz "Não"

Os autores são muito claros sobre o que não funciona bem para este problema e excluíram explicitamente as formas antigas de fazer as coisas:

1. Nada de "Dados Pré-Limpos": O artigo observa que a maioria dos trabalhos anteriores dependia de características pré-extraídas, o que limitava os tipos de métodos que os pesquisadores podiam usar. Para corrigir isso, o desafio liberou vídeos brutos. Essa escolha de design não foi para banir a engenharia de características, mas para permitir que os pesquisadores aplicassem métodos modernos de aprendizado de ponta a ponta diretamente nos pixels e vissem se conseguiam lidar com a bagunça da vida real melhor do que as abordagens antigas.
2. Nada de "Configurações de Laboratório Perfeitas": Eles rejeitaram a ideia de que os robôs deveriam aprender apenas em salas controladas com iluminação perfeita. Eles queriam a bagunça dos dados de crowdsourcing (câmeras diferentes, ângulos estranhos) porque é o que os robôs enfrentarão no mundo real.
3. Não é "Apenas Reagir": Eles argumentaram que esperar um erro acontecer para então corrigi-lo é tarde demais. Eles impulsionaram a antecipação — perceber que algo está errado antes que aconteça totalmente.

O Quão Certos Eles Estão?

O artigo não afirma que eles resolveram o problema da segurança dos robôs para sempre. Em vez disso, sugerem que seus novos conjuntos de dados e métodos são um melhor ponto de partida.

• Eles mediram os resultados usando pontuações matemáticas específicas (como macro F1 e AUC-ROC) em um conjunto de teste que as equipes nunca tinham visto antes.
• Descobriram que, embora os novos modelos sejam melhores que os antigos baselines, a tarefa de "antecipação" (Nível 2) ainda é complicada. O baseline levou 35,6% do tempo do clipe para sequer começar a detectar o sinal, comparado a 8,8% para a tarefa reativa. Isso sugere que ler um rosto de "má ideia" é muito mais difícil do que ler um rosto de "ops".
• Os autores afirmam que três equipes submeteram modelos válidos, e todos superaram os baselines. Eles não dizem que os modelos são perfeitos, apenas que são um passo à frente.

A Conclusão

Pense neste artigo como os organizadores de uma feira de ciências que disseram: "Parem de construir robôs que só funcionam dentro de uma caixa de vidro. Vamos ver se eles conseguem lidar com o caos de uma sala de estar real". Eles forneceram dois novos conjuntos de vídeos bagunçados e reais e desafiaram os programadores mais inteligentes a construir modelos que possam detectar o erro de um robô ou adivinhar um desastre antes que ele aconteça. Os resultados mostram que, embora seja possível fazer melhor do que os métodos antigos, a habilidade de "bola de cristal" para prever erros ainda é um trabalho em progresso. Os autores esperam que essas ferramentas ajudem a construir robôs que sejam mais conscientes, mais confiáveis e prontos para a realidade bagunçada da vida humana.