당신이 세상을 보고, 음성 명령을 이해하고, 그 다음 과업을 수행하기 위해 팔을 움직일 수 있는 로봇을 만들고 있다고 상상해 보세요. 오랫동안 엔지니어들은 로봇을 더 안전하고 똑똑하게 만드는 가장 좋은 방법은 움직이기 전에 "생각하는 단계"를 주는 것이라고 생각했습니다. 이것은 마치 인간에게 "빨간 컵을 집을 수 있니?"라고 물었을 때, 인간이 실제로 행동하기 전에 "좋아, 빨간 컵이 보이네, 팔을 오른쪽으로 움직여서 잡아야겠다"라고 생각하며 잠시 멈추는 것을 기대하는 것과 같습니다. 이 아이디어는 **시각-언어-행동(Vision-Language-Action, VLA)**이라고 불립니다. "시각" 부분은 로봇의 눈이고, "언어" 부분은 단어를 이해하는 로봇의 뇌이며, "행동" 부분은 팔을 움직이는 근육입니다. 큰 희망은 만약 로봇이 생각하기 위해 멈춘다면, 카메라 피드의 이상한 글리치나 속임수를 무시하는 데 더 나을 것이라는 점이었습니다. 마치 인간이 "잠깐, 저 그림자는 가짜 같아, 저기에 걸려 넘어지면 안 돼"라고 깨닫는 것처럼 말이죠. 반면 반사 신경은 그냥 움찔하게 만들 수도 있습니다.

하지만 여기 백만 달러짜리 질문이 있습니다: 실제로 생각하기 위해 멈추는 것이 로봇을 더 조심스럽게 만들까요, 아니면 상황이 잘못되었을 때 로봇을 더 혼란스럽게 만들까요? 이 논문은 바로 그 질문에 대한 심층적인 탐구입니다. 연구진은 "생각하는 층(thinking layer)"을 추가하는 것이 오류에 대한 방패 역할을 하는지, 아니면 세상이 엉망이 되었을 때 로봇의 성능을 깎아먹는 양날의 검이 되는지를 확인하고자 했습니다. 그들은 다양한 종류의 "노이즈"—예를 들어 TV 화면의 노이즈 같은 정적이나 뒤섞인 명령들—로 세 가지 서로 다른 유형의 로봇 뇌를 찔러보며 어떤 로봇이 계속 작동하고 어떤 로бо가 무너지는지 테스트했습니다.

위대한 로봇 뇌 대결: 생각하기 vs 행동하기

연구진은 로봇들이 문제를 어떻게 다루는지 보기 위해 세 가지 서로 다른 로봇 "성격" 사이의 결투를 설정했습니다. 이 세 로봇이 가상의 방에서 퍼즐을 풀고 있다고 상상해 보세요.

1. "반사" 로봇 (OpenVLA-OFT): 이 로봇는 별로 생각하지 않습니다. 사진을 보고, 명령을 들으면, 즉시 팔을 움직입니다. 빠르고 직설적입니다.
2. "말하는" 로봇 (DeepThinkVLA): 이 로봇은 움직이기 전에 자신에게 짧은 메모를 쓰며 잠시 멈춥니다. "좋아, 토마토 소스를 집어서 바구니에 담아야지"와 같이 말이죠. 이 로봇은 **텍스트 사고의 사슬(text chain-of-thought)**을 사용하며, 말 그대로 자신의 계획을 글로 적습니다.
3. "명상하는" 로봇 (RD-VLA): 이 로봇은 가장 복잡합니다. 메모를 적는 대신, 보이지 않는 곳에서 머릿속으로 문제를 반복해서 돌리는 조용하고 투명한 루프를 실행합니다. 이는 마치 움직이기 전에 머릿속에서 그 동작을 12번 시뮬레이션하는 것과 같습니다.

과학자들은 입력값을 망가뜨림으로써 이 로봇들을 테스트하기로 했습니다. 그들은 두 가지 주요 유형의 "공격"을 시도했습니다:

• "정적" 공격 (가우시안 노이즈): 로봇의 카메라 렌즈 위에 TV 신호가 안 좋을 때처럼 뿌연 정적 레이어를 씌운다고 상상해 보세요.
• "해커" 공격 (PGD-10): 이것은 컴퓨터가 로봇의 시각을 혼란스럽게 하기 위해 필요한 아주 미세하고 계산된 픽셀 변화를 찾아내는 매우 똑똑한 트릭입니다. 마치 로봇의 눈에는 빨간 컵이 파란 컵으로 보이게 만드는 마술과 같습니다.

충격적인 결과: 생각하는 자의 몰락

당신은 가장 많이 생각하는 로봇(명상하는 로봇)이 가장 강할 것이라고 추측할지도 모릅니다. 결국, 검토할 시간이 있다면 더 안전해야 하니까요, 그렇죠?

틀렸습니다.

이 시뮬레이션에서 **명상하는 로봇 (RD-VLA)**은 완전히 무너졌습니다. 과학자들이 카메라에 약간의 정적 노이즈를 추가하자, 이 로봇의 성공률은 거의 90%에서 **14.8%**로 폭락했습니다. "해커" 공격을 사용했을 때, 명상하는 로봇은 성공하지 못했습니다—**0.0%**였습니다. 그것은 마치 누군가가 귀에 헛소리를 속삭이는 와중에 수학 문제를 풀려고 노력하는 사람과 같았습니다. 더 많이 생각하려고 할수록 더 혼란스러워졌습니다.

반면 다른 두 로봇은 훨씬 더 끈질겼습니다. 말하는 로봇(텍스트 메모가 있는)과 반사 로봇(생각이 없는)은 자리를 지켰습니다. 반사 로봇은 정적 노이즈 아래에서도 **89.0%**의 성공률을 유지했고, 말하는 로봇은 **92.7%**로 더 나았습니다. 해커 공격 아래에서도 말하는 로봇은 **49.8%**의 확률로 성공한 반면, 반사 로봇은 **18.2%**를 기록했습니다. 그러나 명상하는 로봇은 전멸했습니다.

왜 "생각하는 자"는 실패했는가?

연구진은 질문했습니다: "명상하는 로봇이 너무 많이 생각해서 실패하는 것일까? 만약 12번 생각한다면, 실수를 12번 더 크게 만드는 것일까?"

그들은 로봇이 생각하는 횟수를 변경하여(8회에서 12회로) 이를 테스트했습니다. 놀랍게도 그것은 중요하지 않았습니다. 로봇은 8번을 생각하든 12번을 생각하든 똑같이 형편없이 실패했습니다. 이는 문제가 로봇이 너무 오래 생각해서 발생하는 "누적된" 오류가 아님을 증명했습니다. 대신, 문제는 구조적이었습니다. 명상하는 로봇의 뇌가 구축된 방식—특히 그 숨겨ed 된, 루프 형태의 생각 과정—이 본질적으로 취약했습니다. 그것은 마치 카드로 만든 집과 같았습니다. 아무리 조심스럽게 카드를 쌓아 올린다 해도, 바람이 불면 무너지도록 설계된 구조였습니다.

"생각하기"를 통해 로봇을 구할 수 있을까?

말하는 로봇은 자신의 계획("토마토 소스를 집는다")을 작성하기 때문에, 연구진은 의문을 가졌습니다: "그 계획을 읽고 그것이 타당한지 확인할 수 있지 않을까?" 만약 계획은 "토마토를 집는다"라고 되어 있는데 카메라에는 "파란 컵"이 보인다면, 로봇이 충돌하기 전에 멈출 수 있을지도 모릅니다.

그들은 로봇의 텍스트 계획을 읽고 그것이 행동과 일치하는지 확인하는 "안전 모니터"를 구축했습니다.

• 좋은 소식: 만약 로봇의 계획이 단순히 무작위로 뒤섞인 경우(오타 같은 경우)라면, 모니터는 거의 완벽하게 잡아냅니다 (99.6% 탐지율).
• 나쁜 소식: 로봇이 모니터의 존재를 아는 똑똑한 해커에게 공격받을 때, 로봇은 모니터에게는 완벽해 보이지만 실제로는 틀린 계획을 쓰는 법을 배웁니다. 이 "공정한 싸움" 시나리오에서, 모니터의 탐지 능력은 **49.3%**로 떨어졌습니다—이는 사실상 동전 던지기와 다를 바 없는 추측 수준이었습니다.

이 텍스트 체크와 "움직임 체크"(로봇의 팔이 이상하게 움직이는지 관찰하는 것)를 결합했을 때도 결과는 같았습니다. 두 가지 체크를 어떻게 조합하더라도 로봇을 구할 수 없었습니다. 그들이 할 수 있는 최선은 로봇을 움직이지 못하게 하는 것이었는데, 이는 결국 로봇이 성공하지 못함을 의미했습니다.

요점

이 논문은 우리에게 새로운 슈퍼 로봇이나 마법 같은 해결책을 제시하지 않습니다. 대신, 매우 중요한 현실적인 경고를 줍니다.

1. 생각하는 것이 항상 더 안전한 것은 아니다: 복잡한 "생각 루프"(명상하는 로봇과 같은)를 추가하는 것은 오히려 로봇을 오류에 더 취약하게 만들 수 있습니다. 이 취약성은 설계 자체에 내재된 문제입니다.
2. 계획을 확인하는 것이 만능 열쇠는 아니다: 로봇의 생각을 읽는 것이 훌륭한 안전 아이디어처럼 들리지만, 똑똑한 공격자는 체크 시스템을 쉽게 속일 수 있습니다. 로봇이 공격받고 있다면, 그가 작성한 "계획"은 실제로는 재앙으로 이끌고 있음에도 불구하고 완벽해 보일 수 있습니다.
3. 한계점: 연구진은 안전의 "천장"을 발견했습니다. 이러한 특정하고 혹독한 테스트 하에서는, 단순히 로봇의 출력(텍스트 또는 움직임)을 확인하는 것만으로는 체크 전의 로봇보다 더 안전하게 만들 수 없었습니다.

요약하자면, 글리치에 강한 로봇을 원한다면 단순히 "생각하는 단계"를 추가하는 것이 정답이 아닐 수도 있습니다. 사실, 어떤 종류의 로봇에게는 그것이 당신이 원하는 것과 정반대의 결과를 초래할 수도 있습니다. 더 안전한 로봇을 향한 길은 단순히 로봇이 더 많이 생각하게 만드는 것이 아니라, 기초부터 다시 설계하는 것을 요구할 것입니다.