ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

주방에서 무거운 팬이 조리대에서 미끄러지거나, 복도에서 키 큰 옷장이 넘어지기 시작하는 상황을 상상해 보십시오. 찰나의 순간, 인간의 뇌는 시각적 위험을 처리하고, 물체가 어디에 떨어질지 예측하며, 몸에 움직여서 잡거나 옆으로 피하라는 명령을 내립니다. 이 순식간의 반응은 단순한 반사가 아닙니다. 그것은 물체가 무엇인지 이해하고, 얼마나 무거운지 알고, 정확히 어디로 갈지를 계산하는 복잡한 융합입니다. 과학자들이 우리와 함께 집에서 살고 일할 수 있는 로봇을 만들기 위해 노력함에 따라, 그들은 중요한 질문에 직면해 있습니다. 인공지능이 이와 동일한 속도와 안전성을 가지고 반응하는 법을 배울 수 있을 것인가 하는 점입니다. 현재 이러한 지능형 시스템에 대한 테스트는 대개 비디오에 관한 질문에 답하게 하거나 방 청소와 같은 장기적인 과제를 계획하게 하는 데 중점을 두고 있지만, 이러한 방식은 위험이 나타나는 순간 생명을 구할 수 있는 결정을 내릴 수 있는지를 테스트하지는 못합니다.

새로운 한 연구는 인공지능이 갑작스러운 물리적 위험에 직면했을 때 유능한 인간처럼 행동할 수 있는지 확인하기 위해 설계된 'ReactHuman'이라는 엄격한 테스트를 소개합니다. 연구진은 디지털 로봇이 방 안에 서서 떨어지는 칼, 미끄러지는 선반, 또는 로봇을 향해 튀어 오는 공과 같이 일련의 위험한 사건들이 펼쳐지는 것을 지켜보는 시뮬레이션 세계를 구축했습니다. 시스템은 재난이 일어나기 직전에 시뮬레이션을 일시 정지하고, 로봇에게 여러 카메라 각도에서 해당 사건의 몇 초 전 모습을 보여줍니다. 로봇의 뇌 역할을 하는 인공지능은 그다음 무엇을 할지 결정하고 구체적인 명령을 내려야 합니다: 새로운 위치로 이동하기, 손을 뻗어 물체를 잡기, 또는 가만히 있기 중 하나입니다. 단순히 목록에서 정답을 고르는 기존의 테스트와 달리, 이 시스템은 로봇이 물리 시뮬레이션 내에서 실제로 그 동작을 수행하도록 강제합니다. 만약 로봇이 떨어지는 물체를 잡기로 결정했다면, 시뮬레이션은 로봇의 손이 제시간에 물체와 만나는지를 확인하기 위해 실행됩니다. 만약 피하기로 결정했다면, 시뮬레이션은 로봇이 성공적으로 경로를 벗어났는지를 확인합니다.

연구진은 단순한 낙하부터 한 물체가 떨어지며 다른 물체를 치는 복잡한 연쇄 반응에 이르기까지 17가지 유형의 갑작스러운 사건을 다루는 1,000개 이상의 고유한 장면을 만들었습니다. 심지어 그들은 형태는 하나지만 실제로는 다르게 작동하는 '속임수' 물체들도 포함했는데, 예를 들어 무거워 보이지만 가벼운 스티로폼 모루나, 과일처럼 보이지만 무겁고 위험한 강철 사과 같은 것들입니다. 이 설정은 로봇이 사물의 외형에 의존하는지, 아니면 실제로 어떻게 움직이는지에 의존하는지를 테스트합니다. 연구팀은 이 과제에 7가지의 다양한 첨단 인공지능 모델을 평가했습니다. 결과는 냉혹했습니다. 모델들은 약 3번 중 1번꼴로 올바르게 반응하는 데 실패했습니다. 위험으로부터 멀어져야 하는 것이 정답이었을 때, 로봇들은 종종 제자리에 얼어붙거나 물체를 잡으려고 시도하여 안전하지 못한 결과를 초래했습니다.

아마도 가장 드러나는 사실은, 로봇들이 더 커지거나 더 복잡해짐에 따라 실수로부터 배우지 못하는 것처럼 보였다는 점일 것입니다. 가장 크고 강력한 모델들이 작은 모델들보다 눈에 띄게 더 안전하거나 정확하지 않았습니다. 각 모델은 눈앞의 특정 장면을 분석하는 대신, 고정된 성향을 가진 것처럼 보였습니다: 어떤 모델은 항상 도망가는 것을 선호했고, 다른 모델은 상황에 상관없이 항상 무언가를 잡으려고 했습니다. 로봇들은 또한 속도를 판단하는 데 어려움을 겪었습니다. 그들은 무언가가 움직이고 있다는 것은 알 수 있었지만, 그것이 느리게 움직이는지 빠르게 움직이는지는 알 수 없었으며, 종종 느리게 움직이는 위험을 전혀 위협이 아닌 것처럼 취급했습니다. 로봇들이 올바른 행동을 선택했을 때조차, 그들은 자주 제대로 실행하는 데 실패했습니다. 물체를 향해 손을 뻗었지만 필요한 위치에서 1미터 떨어진 곳에서 멈추기도 했습니다.

이 연구는 인공지능 시스템이 세상을 이해하는 능력은 향상되고 있지만, 갑작스러운 물리적 위험에 안전하게 반응하는 데에는 여전히 갈 길이 멀다고 결론짓습니다. 이 연구는 단순히 모델을 크게 만드는 것이 안전 문제를 해결해주지는 않는다는 점을 강조합니다. 우리 집에서 진정으로 살 수 있는 로봇을 만들기 위해서, 개발자들은 로봇이 물체의 외형에 의존하기보다는 눈앞에서 일어나는 현상을 신뢰하도록 가르쳐야 하며, 인간이 가진 본능적인 정밀함과 같이 속도와 거리를 판단하는 법을 배우도록 해야 할 것입니다. 그때까지, 떨어지는 물체를 설명할 수 있는 기계와 그것을 안전하게 잡을 수 있는 기계 사이의 간극은 여전히 넓습니다.