로봇에게 샌드위치를 만드는 법을 가르치고 있다고 상상해 보세요. 단순히 마지막 접시를 보고 빵이 있으니까 "잘했어!"라고 말하고 싶지는 않을 것입니다. 여러분은 로봇이 실제로 빵 위에 피넛 버터를 발랐는지, 아니면 그냥 병을 집어서 바닥에 떨어뜨린 것인지 알아야 합니다. 이것이 바로 로봇이 3D 공간에서 살아가며 단계별로 지침을 따라야 하는 '체화된 AI(embodied AI)'의 까다로운 세계입니다. 큰 과제는 로봇이 작업을 마친 아주 마지막 순간이 아니라, 작업하는 도중에 잘하고 있는지 어떻게 알려줄 것인가 하는 점입니다. 보통 컴퓨터는 최종 사진을 설명글과 비교하여 진행 상황을 추측하려 하는데, 이는 영화의 마지막 프레임만 보고 영화를 판단하는 것과 같습니다. 중간의 중요한 반전들을 놓치게 되는 것이죠.

여기서 ALVA라는 새로운 아이디어가 등장합니다. ALVA를 로봇을 위한 매우 똑똑하고 엄격한 영화 평론가라고 생각해보세요. ALVA는 단순히 마지막 장면을 훑어보는 대신, 로봇의 행동이 담긴 전체 영상을 보고, 원래의 지침을 읽으며, 매 단계마다 로봇이 실제로 무엇을 했는지에 주의를 기울입니다. ALVA는 두 가지 큰 질문을 던집니다. "로봇의 행동이 장면을 논리적인 방식으로 변화시켰는가?" 그리고 "그 변화가 목표에 더 가까워지게 만들고 있는가?" 이렇게 함으로써, ALVA는 로봇에게 정확히 얼마나 잘하고 있는지 점수를 부여하며, 인간이 계속 지켜보며 지시를 외칠 필요 없이 로봇이 더 나은 샌드위치(혹은 방 청소, 혹은 램프 수리)를 만들 수 있도록 돕습니다.

로봇의 영화 평론가

로봇 공학의 세계에서는 "컵을 집어서 싱크대로 가서 물을 틀어라"와 같은 복잡한 다단계 지침을 따르도록 기계를 가르치는 데 끊임없는 투쟁이 있습니다. 오랫동안 로봇이 성공했는지 확인하는 표준적인 방법은 로봇이 찍은 마지막 사진 한 장을 보고 그것을 지침의 텍스트와 비교하는 것이었습니다. 이는 학생의 에세이를 마지막 문장만 읽고 채점하는 것과 비슷합니다. 만약 그 문장이 제대로 되어 있다면, 학생이 중간 단락을 건너뛰었거나 앞부분에 횡설수설을 썼더라도 A를 주는 격입니다. 이 방식은 문제가 발생하는 지저-한 중간 과정들을 놓치기 쉽습니다.

이 논문의 저자인 KAIST의 김환희와 동료들은 이를 해결하기 위해 ALVA(Action- and Language-Conditioned Video Assessment)를 개발했습니다. 그들은 로봇의 여정을 단 한 장의 사진이 아닌 하나의 '비디오 영화'로 취급했습니다. 이 시스템에서 로봇은 배우이고, 자연어 지침은 대본이며, 비디오 프레임은 장면이 됩니다. ALVA는 배우가 대본을 제대로 따랐는지 지켜보는 감독입니다.

ALVA는 영화를 어떻게 관찰하는가

ALVA는 단순히 추측하지 않습니다. 사전 학습된 '시각-언어 모델(이미지와 단어를 모두 이해하는 유형의 AI)'을 사용하여 두 단계의 과정을 거칩니다. 이 모델을 수백만 권의 책을 읽고 수백만 편의 영화를 본 매우 관찰력 있는 인턴이라고 생각해보세요.

1단계: 행동 요약 (The Action Summary)
먼저, ALVA는 로봇이 움직이는 영상을 살펴봅니다. 단순히 "로봇이 움직인다"라고 보는 것이 아닙니다. 로봇이 보낸 구체적인 명령(예: "앞으로 이동" 또는 "집어 올리기")을 확인하고, AI 인턴에게 그 명령 때문에 이미지가 어떻게 변했는지 묘사하도록 요청합니다.

• 비유: 당신이 마술 쇼를 보고 있다고 상상해 보세요. 단순히 토끼가 나타나는 것을 보는 대신, 인턴은 다음과 같이 기록합니다. "마술사가 지팡이를 휘둘렀고(행동), 갑자기 모자가 비어 있게 되었다(시각적 변화)." ALVA는 모든 단계에 대해 이 작업을 수행하며, 로봇의 움직임과 공간의 변화를 연결하는 요약을 생성합니다.

2단계: 진행 상황 체크 (The Progress Check)
다음으로, ALVA는 그 요약본을 가져와 원래의 지침과 비교합니다. ALVA는 묻습니다. "이 변화의 요약을 바탕으로 볼 때, 로봇이 실제로 목표에 더 가까워졌는가?"

• 비유: 만약 대본이 "샌드위치를 만들어라"였고, 요약이 "로봇이 빵을 잡았고, 그다음 치즈를 잡았고, 그다음 둘을 합쳤다"라고 한다면, ALVA는 높은 점수를 줍니다. 하지만 요약이 "로봇이 빵을 잡았고, 그다음 빵을 바닥에 떨어뜨렸다"라고 한다면, ALVA는 낮은 점수를 줍니다. ALVA는 단순히 마지막의 엉망진창인 상태만 보는 것이 아니라, 로봇이 빵을 떨어뜨렸기 때문에 실패했다는 것을 알고 있습니다.

결과: 매우 엄격한 선생님

연구진은 주방, 욕실, 거실, 침실과 같은 시뮬레이션된 3D 집 환경에서 ALVA를 테스트했습니다. 이곳은 로봇이 텍text 지침에 따라 집안일을 수행하는 디지털 세계입니다. 그들은 최종 사진만 보거나 이미지 간의 단순한 수학적 비교를 사용하는 다른 방법들과 ALVA를 비교했습니다.

결과는 ALVA가 굉장히 **보수적(conservative)**이라는 것을 보여주었습니다. 채점의 세계에서 이것은 로봇이 실제로 작업을 완료하지 않았을 때 "통과"를 주는 경우가 거의 없음을 의미합니다. 테스트에서 ALVA의 "오탐률(false-positive rate)"은 거의 제로에 가까웠습니다. 즉, 로봇이 실패했을 때 ALVA가 성공했다고 말하는 경우가 거의 없었다는 뜻입니다. 이는 실제 생활에서 매우 중요한데, 로봇이 일을 끝내지 않았는데도 끝냈다고 생각하게 해서 실수를 바로잡으려는 노력을 멈추게 하고 싶지는 않기 때문입니다.

하지만 이러한 엄격함에는 트레이드오프(trade-off)가 따릅니다. ALVA는 매우 신중하기 때문에, 행동과 시각적 변화 사이의 연결이 약간 모호하다는 이유로 로봇이 완벽하게 임무를 마쳤음에도 불구하고 "좋음"(예: 3점 만점에 2점)이라는 점수를 주기도 합니다. 이는 마치 당신이 정답을 맞혔다는 것은 알지만, 혹시 찍어서 맞춘 것은 아닐까 걱정되어 A+ 대신 A-를 주는 선생님과 같습니다. 그러나 저자들은 이것이 대안보다 낫다고 주장합니다. 즉, 실패한 로봇에게 통과 점수를 주는 것보다는 차라리 엄격한 것이 낫다는 것입니다.

이것이 미래에 중요한 이유

이 논문은 이러한 종류의 "비디오 평가"를 사용하는 것이 단순히 결과만을 보는 것보다 로봇을 가르치는 데 더 스마트한 방법임을 시사합니다. ALVA의 점수를 사용하여 로봇의 학습(정책 최적화라고 불리는 과정)을 도왔을 때, 로봇은 기존의 더 단순한 방법들을 사용할 때보다 더 빠르게 과제를 수행하는 법을 배웠습니다.

연구진은 이러한 결과가 시뮬레이션—디지털 테스트 세계—에서 나온 것임을 명시했습니다. 아직 실제 집에서 실제 로봇을 대상으로 테스트하지는 않았습니다. 하지만 이 결과는 우리가 로봇이 신뢰할 수 있는 조력자가 되기를 원한다면, 그들의 마지막 포즈를 보고 판단하는 것이 아니라 그들이 하는 일의 전체 영화를 지켜봐야 한다는 점을 시사합니다. 로봇이 한 일과 로봇이 본 것을 결합함으로써, ALVA는 로봇에게 "잘하고 있어요" 또는 "다른 동작을 시도해야 해요"라고 말해주는 명확하고 이해 가능한 방법을 제공하며, 더 똑똑하고 유용한 로봇으로 가는 길을 덜 모호하게 만들어 줍니다.