당신이 우주선의 함장이라고 상상해 보세요. 하지만 단 한 척의 배를 조종하는 것이 아니라, 도시를 가로지르는 수많은 자율 주행 피자 배달 드론 군단을 감독하고 있습니다. 당신의 임무는 여러 개의 화면이 있는 제어실에 앉아 각기 다른 드론의 시야를 지켜보는 것입니다. 만약 어떤 드론이 어딘가에 끼이거나 이상한 장애물을 발견한다면, 당신은 즉시 이를 알아차리고 어떻게 해야 할지 알려주어야 합니다. 이것이 바로 **다중 로봇 감독(multi-robot supervision)**의 세계입니다. 하지만 까다로운 점이 있습니다. 당신의 뇌는 주의력의 한계가 있다는 것입니다. 만약 지루한 드론을 너무 오래 쳐다보고 있다면, 다른 화면에서 일어나고 있는 위기를 놓칠 수도 있습니다. 반대로 너무 자주 화면을 옮겨 다니면, 지치고 혼란스러워질 수 있습니다. 과학자들은 이를 "운용자 주의력(operator attention)"이라고 부르며, 사람들이 이 화면들을 어떻게 바라보는지 파악하여 더 나은 제어실을 구축하고자 합니다. 핵심적인 질문은 이것입니다. "어떻게 하면 필요할 때는 당신의 주의를 끌고, 평온할 때는 당신을 휴식하게 만드는 로봇 행동을 설계할 수 있을까?"

여기에 조지 메이슨 대학교 연구진이 만든 새로운 도구인 Attune이 있습니다. Attune을 로봇 운용자의 마음을 읽는 거울이라고 생각해보세요. Attune은 단순히 로봇 운용자가 왜 특정 화면을 보는지 추측하는 대신, 운용자가 로봇을 관찰하는 자신의 영상을 직접 보게 한 뒤, "방금 왜 그 화면으로 눈길을 돌렸나요?"라고 묻습니다. 마치 스포츠 경기의 리플레이를 보는 것과 같지만, 선수의 움직임을 분석하는 대신 당신 자신의 눈을 분석하여 스스로의 습관을 이해하는 과정입니다. 연구진은 모든 운용자가 서로 다르다는 점을 이해하기 위해 이 도구를 만들었습니다. 즉, 어떤 사람에게는 눈길을 끄는 것이 다른 사람에게는 무시될 수도 있다는 점을 말이죠. 이러한 개인별 "주의력 프로필(attention profiles)"을 파악함으로써, 설계자들은 궁극적으로 제어석에 앉은 사람에게 맞춰 로봇의 행동을 미세하게 조정하여 시스템을 더 안전하고 스트레스 없이 만들 수 있습니다.

문제점: "너무 많은 화면"의 딜레마

당신이 동시에 6개의 카메라를 지켜봐야 하는 비디오 게임을 하고 있다고 상상해 보세요. 한 카메라는 로봇의 머리를, 다른 하나는 로봇의 그리퍼(손)를, 또 다른 하나는 천장을 보여줍니다. 만약 로봇이 상자를 떨어뜨린다면, 당신은 즉시 그것을 봐야 합니다. 하지만 로봇이 그저 천천히 걷고 있다면, 굳이 뚫어지게 쳐다볼 필요는 없습니다. 문제는 인간 운용자가 왜 하나의 카메라를 보다가 갑자기 다른 카메라로 시선을 옮기는지 우리가 잘 모른다는 점입니다. 로봇이 무언가 멋진 행동을 해서일까요? 아니면 무언가 반짝이는 것이 눈에 띄어서일까요? 아니면 그냥 지루해졌기 때문일까요?

현재 로봇 설계자들은 추측에 의존해야 합니다. 그들은 주의를 끌기 위해 로봇이 크게 비프음을 내게 만들 수도 있지만, 이는 운용자를 짜증 나게 하거나 나중에 로봇을 무시하게 만들 수도 있습니다. 연구진은 추측을 넘어선 방법을 원했습니다. 그들은 운용자에게 "왜 저기를 봤나요?"라고 묻고 실제 답변을 얻을 수 있는 방법을 원했습니다. 하지만 로봇을 보고 있는 도중에 질문을 던지면, 운용자가 주의가 분산되어 자연스러운 업무 수행을 방해할 수 있습니다. 그래서 그들은 기억을 해치지 않으면서도 사후에 영리하게 질문할 수 있는 방법을 찾아야 했습니다.

해결책: "아이 트레이스(Eye-Trace)" 탐정, Attune

연구진은 Attane이라는 도구를 만들었습니다. 작동 방식은 다음과 같습니다.

1단계: 영화 관람
먼저, 운용자는 두 대의 로봇이 과업(주방 청소나 복도 탐색 등)을 수행하는 영상을 시청합니다. 시청하는 동안 Attune은 안구 추적 카메라를 사용하여 운용자의 눈이 어디를 보고 있는지 밀리초 단위로 기록합니다. 이는 마치 운용자의 눈동자만을 촬영하는 고성능 영화 카메라와 같습니다. 시스템은 눈이 한 화면에서 다른 화면으로 이동하는 순간, 즉 "시선 이동(gaze shifts)"을 기록합니다.

2단계: 리플레이와 "왜?"
영상이 끝나면 운용자는 특별한 "주석(annotation)" 공간으로 들어갑니다. Attune은 그들의 눈이 이동했던 시점들의 하이라이트 목록을 보여줍니다. 이는 마치 자신의 주의력 하이라이트 영상을 보는 것과 같습니다. 운용자는 특정 시점 이동을 선택하고 "리플레이"를 누릅니다. 그러면 시스템은 해당 순간을 확대하여, 눈이 이동하기 직전과 직후의 로봇 동작 및 영상 피드를 보여줍니다.

그 후, 운용자는 자신을 설명해야 합니다. Attune은 두 가지 간단한 질문을 던집니다.

1. 왜 이전 화면을 떠났나요? (로봇이 멈췄나요? 지루했나요?)
2. 왜 새로운 화면에 도착했나요? (사람을 보았나요? 로봇이 어려움에 처한 것처럼 보였나요?)

또한 운용자는 그 이동이 **반응적(reactive)**이었는지(예: 갑작스럽고 큰 움직임 같은 "상향식(bottom-up)" 유인), 아니면 **주도적(proactive)**이었는지(예: 궁금해서 로봇을 확인하기로 결정한 "하향식(top-down)" 선택)를 말할 수 있습니다.

3단계: 패턴 탐정 (AI의 등장)
운용자가 몇 번의 이동에 대해 설명을 마치면, Attune은 스마트한 컴퓨터 뇌(AI)를 사용하여 패턴을 찾습니다. 이는 마치 탐정이 "로봇이 컵을 떨어뜨릴 때마다 운용자가 그리퍼 카메라를 본다"거나, "로봇이 멈출 때마다 천장 카메라를 본다"는 규칙을 발견하는 것과 같습니다. AI는 이러한 설명들을 그룹화하여 "당신은 로봇이 사람 근처를 걸을 때 항상 헤드 카메라를 확인하는군요"라고 말해줍니다.

4단계: 자동 주석(Auto-Annotation)
이제 도구는 더욱 놀라워집니다. 처음 학습한 패턴을 나머지 영상에 적용합니다. "당신이 이 화면을 본 이유는 로봇이 사람 근처를 걷고 있었기 때문이라고 추측되는데, 맞습니까?"라고 묻는 식입니다. 운용자는 그저 "예" 또는 "아니요"라고 답하거나 답변을 수정하기만 하면 됩니다. 이 과정은 길고 지루한 작업을 "패턴 찾기" 게임처럼 매우 빠르게 만들어 줍니다.

5단계: 개인 프로필
마지막으로, Attune은 운용자에게 자신의 "주의력 프로필(Attention Profile)" 요약본을 제공합니다. 이는 "당신은 로봇이 무거운 것을 들고 있을 때 손 부분을 주로 보고, 로봇이 그냥 걸어갈 때는 천장을 확인하는 경향이 있습니다"라고 적힌 성적표와 같습니다. 이 프로필은 로봇 설계자들에게 전달됩니다. 설계자들은 이 정보를 활용해 특정 운용자의 사고 방식에 맞춘 로봇 행동을 구축할 수 있습니다.

무엇을 발견했는가?

연구진은 이 도구를 처음 접하는 12명의 참가자를 대상으로 테스트를 진행했습니다. 참가자들은 거실, 주방, 복도라는 세 가지 다른 환경에서 로봇이 등장하는 영상을 시청했습니다. 연구 결과는 다음과 같습니다.

• 모두가 다르다: 가장 큰 발견은 똑같은 사람은 없다는 것입니다. 어떤 사람은 6개의 카메라 뷰를 균등하게 관찰했지만, 어떤 사람은 2~3개만 보았습니다. 어떤 사람은 무언가 움직일 때마다 즉각 반응하는 반면, 어떤 사람은 특정 순서에 따라 화면을 확인하는 주도적인 모습을 보였습니다. 이는 하나의 "완벽한" 로봇 인터페이스란 존재하지 않으며, 개인에게 맞춤화되어야 함을 시사합니다.
• 로봇이 눈을 움직인다: 연구 결과, 로봇의 행동이 사람의 시선을 움직이는 가장 큰 이유였습니다. 로봇이 정밀한 작업(컵을 집는 등)을 할 때 사람들은 집중해서 관찰했습니다. 반면 로봇이 가만히 있거나 느리게 움직이면 시선을 돌렸습니다. 연구진은 로봇의 행동이 모호하거나 이해하기 어려우면, 운용자가 상황을 파악하려고 애쓰는 과정에서 시선이 방황하게 된다고 제안합니다.
• "가짜 기억"의 함정: 리플레이 방식에 대해 흥다로운 점을 발견했습니다. 가끔 리플레이를 볼 때, 사람들은 그 순간 실제로 생각했던 것을 기억하는 것이 아니라, 결과를 알고 난 뒤에 현재 시점에서 말이 되는 이야기를 만들어내곤 했습니다. 예를 들어, 리플레이에서 로봇이 컵을 떨어뜨리는 것을 보면, "컵이 떨어질 것을 알았기 때문에 저기를 봤다"라고 말할 수 있지만, 실제 그 순간에는 몰랐을 수도 있습니다. 이 도구는 이를 인지하게 도와주었으나, 자신의 주의력을 되돌아보는 것이 항상 100% 정확하지는 않다는 점을 상기시켜 줍니다.
• AI는 조력자이지, 주인이 아니다: 참가자들은 AI의 제안을 좋아했지만, 오직 AI가 옳다고 느낄 때만 그러했습니다. 만약 AI가 틀린 예측을 하면, 운용자는 이를 수정하기 위해 더 많은 노력을 들여야 한다고 느꼈습니다. 연구진은 사람들이 AI가 단순한 도구가 아니라, 생각을 돕는 "비계(scaffold, 지지 구조)" 역할을 하길 원한다는 것을 발견했습니다. 참가자들은 AI를 완전히 신뢰하기 위해서는 약 80%에서 90%의 정확도가 필요하다고 추정했습니다.

이것이 왜 중요한가

이 논문은 이 도구가 로봇 감독 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 오히려 연구진은 이 도구가 첫 단계일 뿐이라고 신중하게 밝히고 있습니다. 이들은 단 두 대의 로봇과 사전 녹화된 영상을 사용했으며, 실제 병원에서 돌아다니는 로봇 군단을 다룬 것이 아닙니다. 또한 전문가가 아닌 일반인을 대상으로 했기에, 실제 로봇 운용자들은 다르게 행동할 수도 있습니다.

하지만 이 연구는 로봇 설계에 대한 강력한 새로운 관점을 제시합니다. 로봇 설계자들이 인간이 원하는 것을 추측하는 대신, "왜 저기를 봤나요?"라고 묻고 그 답변을 사용하여 더 나은 시스템을 구축할 수 있다는 것입니다. 이를 통해 운용자는 수동적인 관찰자에서 로봇의 행동을 설계하는 능동적인 파트너로 변모합니다.

또한 연구진은 주의력을 너무 밀접하게 추적할 경우 발생할 수 있는 사생활 보호 문제도 지적합니다. 이러한 "주의력 프로필"이 노동자를 감시하거나 성과를 판단하는 데 사용되어서는 안 됩니다. 이 도구의 목적은 인간을 판단하는 것이 아니라, 로봇이 인간을 위해 더 잘 작동하도록 돕는 것입니다.

결국, Attune은 가교 역할을 합니다. 인간의 눈이 움직이는 무질서하고 예측 불가능한 방식과 로봇의 논리적이고 프로그래밍된 세계를 연결합니다. "어디를 보느냐"의 이면에 숨겨진 "왜"를 이해함으로써, 우리는 언젠가 로봇 군단이 혼란스러운 화면의 교통 체증처럼 느껴지는 것이 아니라, 인간 함장이 차분하고 집중하며 통제력을 유지할 수 있도록 설계된 정교한 춤처럼 느껴지게 될 것입니다.