ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

로봇이 샌드위치를 만들려고 애쓰는 모습을 보고 있다고 상상해 보세요. 때로는 로봇이 빵을 떨어뜨리기도 합니다. 때로는 토스터기를 냉장고에 넣으려고 시도하기도 하죠. 과거에 과학자들은 로봇에게 실수(예: "빵이 바닥에 있는가?")라는 '특징(features)'의 체크리스트를 주고, 이미 정제되고 정리된 데이터를 보게 함으로써 로봇이 이러한 실수를 알아차리도록 가르치려 노력했습니다. 하지만 이 논문의 저자들은 이렇게 말합니다. "잠깐만요! 그건 마치 완벽하게 조명이 갖춰진 스튜디오에서 자전거 도면을 보고 자전거 타는 법을 배우려는 것과 같습니다. 실제 삶은 아주 무질서하니까요!"

이 논문은 로봇이 자신의 실수를 발견하고, 심지어 실수가 일어나기 전에 미리 짐작할 수 있도록 돕기 위해 설계된 챌린지인 ERR@HRI 3.0을 소개합니다. 이는 사람들이 (로봇이나 인간의 실패를 보며 보이는) 실제의 무질서한 반응을 관찰함으로써 이루어집니다.

두 가지 큰 미션

이 챌린지는 연구자들에게 로봇(또는 인간)이 실패하는 모습을 지켜보는 사람들의 가공되지 않은 웹캠 영상을 사용하여 해결해야 할 두 가지 서로 다른 "비디오 게임 레벨"을 제공했습니다.

레벨 1: "앗!" 탐지기 (BAD 데이터셋)
45명의 사람이 화면 앞에 앉아 로봇이나 인간이 실수를 저지르는 영상을 보고 있다고 상상해 보세요. 여기서의 목표는 **반응적(reactive)**인 것입니다. 즉, 컴퓨터가 실수가 일어난 후에 사람의 얼굴을 보고 "오, 방금 실패를 목격했구나!"라고 말할 수 있는가 하는 점입니다.

• 함정: 영상은 가공되지 않은 상태(raw)입니다. 조명이 변하고, 카메라 각도는 엉망이며, 사람들은 제각기 다른 위치에 앉아 있습니다. 실험실이 아닌 실제 세상입니다.
• 데이터: 총 46개의 서로 다른 실패 시나리오와 1,645개의 영상 클립이 있었습니다. 각 클립의 길이는 약 15.5초입니다.
• 결과: 이 챌린지에는 3개 팀이 모델을 제출했습니다. 모든 팀은 논문의 자체 "베이스라인(baseline)" 모델(최선을 다하고 있는 표준 신경망)보다 더 나은 성적을 거두었습니다. 베이스라인 모델은 0.502 macro F1(단순한 정확도가 아니라 실패와 비실패를 모두 얼마나 잘 탐지하는지를 나타내는 특정 점수)을 기록했지만, 새로운 모델들은 이를 능가했습니다.

레벨 2: "이건 안 좋은 생각이야!" 예측기 (Bad Idea 데이터셋)
이 부분은 더 멋지고 교묘한 부분입니다. 29명의 사람이 로봇이 무언가를 시작하는 영상을 보고 있는데, 영상은 성공 여부가 밝혀지기 전에 끊깁니다. 사람들은 다음과 같이 추측해야 합니다. "이게 잘 될까, 아니면 안 될까?"

• 목표: 컴퓨터가 사람들이 추측하는 동안 그들의 얼굴을 보고, 그들이 어떤 일이 일어날 것이라고 생각하는지 알아낼 수 있는가? 이것은 **예측적(anticipatory)**인 작업입니다. 충돌이 발생하기 전, "어라?" 하는 표정을 포착하는 것에 관한 것입니다.
• 데이터: 30개의 시나리오와 865개의 클립이 있었습니다. 이 클 클립들은 약 1.95초 정도로 매우 짧습니다.
• 결과: 역시, 이 레벨에 참여한 3개 팀은 베이스라인을 이겼습니다. 베이스라인 모델의 AUC-ROC 점수는 0.564였습니다(모델이 '좋은 추측'과 '나쁜 추측'을 얼마나 잘 구별하는지를 나타내는 척도로, 0.5는 무작위 추측을 의미함). 이는 찰나의 얼굴 표정을 통해 미래를 예측하는 것이 정말, 정말 어렵다는 것을 보여줍니다.

이 논문이 "아니오"라고 말하는 것들

저자들은 무엇이 이 문제에 잘 맞지 않는지 명확히 밝히고 있으며, 기존의 방식들을 명시적으로 배제했습니다.

1. "사전 정제된" 데이터 사용 금- 이 논문은 이전의 대부분의 연구가 미리 추출된 특징(pre-extracted features)에 의존하여 연구자들이 사용할 수 있는 방법의 종류를 제한했다고 지적합니다. 이를 해결하기 위해 챌린지는 가공되지 않은 영상(raw video) 데이터를 공개했습니다. 이러한 설계 선택은 특징 공학(feature engineering)을 금지하기 위함이 아니라, 연구자들이 픽셀 데이터에 직접 현대적인 엔드 투 엔드(end-to-end) 학습 방법을 적용하여 기존 방식보다 실제 세상의 무질서함을 더 잘 다룰 수 있는지 확인하기 위함이었습니다.
2. "실험실처럼 완벽한" 환경 거부 - 그들은 로봇이 완벽한 조명 아래 통제된 방에서만 배워야 한다는 생각을 거부했습니다. 그들은 실제 세계에서 로봇이 실제로 마주하게 될 다양한 카메라, 이상한 각도 등 크라우드소싱된 데이터의 무질서함을 원했습니다.
3. "그저 반응하기" 거부 - 그들은 실수가 일어날 때까지 기다렸다가 수정하는 것은 너무 늦다고 주장했습니다. 그들은 예측(anticipation), 즉 일이 완전히 벌어지기 전에 무엇이 잘못되었는지 파악하는 것을 밀어붙였습니다.

결과에 대한 확신은 어느 정도인가?

이 논문은 로봇 안전 문제를 영원히 해결했다고 주장하지 않습니다. 대신, 그들은 자신들의 새로운 데이터셋과 방법론이 더 나은 출발점이라고 제안합니다.

• 그들은 팀들이 한 번도 본 적 없는 테스트 세트를 사용하여 특정 수학적 점수(macro F1 및 AUC-ROC)로 결과를 측정했습니다.
• 그들은 새로운 모델들이 기존 베이스라인보다 우수했지만, "예측" 작업(레벨 2)은 여전히 까다롭다는 것을 발견했습니다. 베os라인은 신호를 감지하기 시작하는 데 클립 시간의 **35.6%**를 소요한 반면, 반응적 작업(레벨 1)은 **8.8%**만을 소요했습니다. 이는 "나쁜 생각"의 얼굴을 읽는 것이 "앗!" 하는 얼굴을 읽는 것보다 훨씬 어렵다는 것을 시사합니다.
• 저자들은 3개 팀이 유효한 모델을 제출했으며, 모두 베이스라인을 넘어섰다고 밝혔습니다. 그들은 모델이 완벽하다고 말하는 것이 아니라, 한 단계 진전되었다고 말합니다.

핵심 요약

이 논문을 과학 박람회의 주최자가 "로봇을 유리 상자 안에서만 작동하게 만드는 일을 멈추세요. 실제 거실의 혼란 속에서도 잘 해낼 수 있는지 봅시다"라고 말하는 상황이라고 생각해보세요. 그들은 두 가지 새로운 무질서한 실제 영상을 제공했고, 가장 똑똑한 코더들에게 로봇의 실수를 찾아내거나 재앙을 미리 예측할 수 있는 모델을 만들라고 도전했습니다. 결과는 기존 방식보다 더 나은 성과를 내는 것이 가능하지만, "수정구슬"처럼 오류를 예측하는 능력은 여전히 진행 중인 과제임을 보여줍니다. 저자들은 이 도구들이 로봇이 더 인지 능력을 갖추고, 더 신뢰할 수 있으며, 인간 삶의 무질서한 현실에 대비할 수 있도록 돕기를 희망합니다.