Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

핵심 아이디어: 요리를 할 줄 모르는 "똑똑한 셰프"

모든 요리책을 읽었고, 모든 요리 프로그램을 시청했으며, 인터넷에 있는 수백만 개의 음식 설명을 암기한 매우 똑똑한 셰프를 상상해 보세요. 이 셰프는 "매콤한 토마토 수프"가 어떻게 생겼는지, 어떤 향이 나는지, 레시피에는 무엇이라고 적혀 있는지 정확히 알고 있습니다.

이제 여러분이 이 셰프에게 실제 주방에서 직접 그 수프를 만들어 보라고 요청한다고 가정해 봅시다.

이 논문은 우리가 현재 이 셰프가 수프를 완벽하게 설명하거나 적절한 재료를 가리킬 수 있다는 이유만으로 합격점을 주고 있다고 주장합니다. 우리는 그들이 단어와 사진을 아주 잘 알고 있기 때문에, 무거운 냄자를 다루고, 열기를 조절하고, 손을 데지 않고 저을 줄도 알 것이라고 당연하게 가정합니다.

저자들은 이렇게 말합니다: "우리는 아직 그들이 실제로 요리를 할 수 있는지 테스트하지 않았습니다. 우리는 단지 요리에 대해 말할 수 있는지만을 테스트했을 뿐입니다."

문제점: "아는 것"과 "하는 것"의 혼동

이 논문은 시각-언어-행동(Vision-Language-Action, VLA) 모델이라는 일종의 로봇 두뇌에 초점을 맞춥니다. 이 로봇들은 인터넷 사진과 텍스트로 학습된 거대한 "시각-언어 모델(VLM)"을 사용하여 무엇을 할지 결정합니다.

저자들은 로봇의 두뇌를 두 부분으로 나눕니다:

1. 의미론적 지도 (The "What" - 무엇인가): 이는 사물을 인식하는 부분입니다. 로봇은 빨간 공을 보고 "저것은 공이다. 지시 사항은 '공을 집어라'이다"라고 이해합니다. 이 부분은 언어와 이미지를 이해하는 데 탁ual합니다.
2. 물리적 결정 (The "How" - 어떻게 하는가): 이는 공을 어떻게 잡을지 결정하는 부분입니다. 공이 미끄러운가? 무거운가? 너무 세게 잡으면 깨질까? 여기에는 물리, 무게, 마찰에 대한 이해가 필요합니다.

결함: 이 논문은 현재의 로봇들이 다음과 같은 숨겨진 가정 위에 구축되어 있다고 주장합니다: "로봇이 사진과 단어를 완벽하게 이해한다면, 팔을 올바르게 움직이는 방법도 자동으로 알게 될 것이다."

저자들은 이 가정이 증명되지 않았다고 말합니다. 로봇이 사진 속의 "무겁고 미끄러운 컵"을 식별할 수 있다고 해서, 그것을 떨어뜨리지 않고 들어 올리기 위해 얼마만큼의 힘을 주어야 하는지까지 안다는 뜻은 아닙니다.

왜 차이를 알 수 없는가? ("성적표" 문제)

현재 우리는 로봇에게 과제(예: "컵을 탁자 위에 놓으시오")를 주고 성공 여부를 확인합니다. 만약 컵이 탁자 위에 놓이면, 우리는 "성공" 점수를 줍니다.

논문은 이 성적표가 고장 났다고 주장하는데, 그 이유는 로봇이 왜 성공했는지 알려주지 않기 때문입니다.

• 시나리오 A: 로봇이 단어를 이해했고, 물리학을 파악했으며, 일을 아주 잘 해냈습니다. (진정한 성공).
• 시나리오 B: 로봇이 물리 법칙을 이해하지 못했더라도, 훈련 데이터에서 본 것과 똑같은 설정을 보고 정답 동작을 맞춘 것입니다. (운 좋은 추측).
• 시나리오 C: 로봇이 단어는 완벽하게 이해했지만, 컵이 너무 무거워서 들어 올리는 데 실패했습니다. (물리적 실패).

비유: 학생이 수학 시험을 치른다고 상상해 보세요. 정답을 맞히면 우리는 그 학생이 수학을 안다고 가정합니다. 하지만 만약 그 학생이 단순히 정답지를 외운 것이라면 어떨까요? 혹은 찍어서 맞힌 것이라면요?
현재의 로봇 테스트는 결과값만 보는 시험과 같습니다. 우리는 그들이 실제로 수학(물리)을 했는지, 아니면 단순히 패턴을 맞춘 것인지를 확인하지 않습니다.

"내러티브 드리프트(Narrative Drift)" (놓쳐버린 이야기)

논문은 **"내러티브 드리프트(Narrative Drift)"**라는 현상을 설명합니다.

1. 첫 번째 로봇: "우리는 인터넷 지식을 사용하여 팔을 제어하는 로봇을 만들었습니다. 조금 작동합니다!"
2. 두 번째 로봇: "더 큰 것을 만들었습니다! 더 잘 작동합니다! 이것은 인터넷 지식이 물리학에 더 능숙해지고 있기 때문임이 틀림없습니다!"
3. 세 번째 로봇: "더 큰 것을 만들었습니다! 놀랍습니다! 이것은 물리 분야의 천재임이 틀림없습니다!"

저자들은 이것이 우리가 스스로에게 계속 들려주는 이야기라고 말합니다. 로봇의 점수가 약간 높아질 때마다, 우리는 그것이 로봇이 물리학에 더 똑똑해졌기 때문이라고 가정합니다. 하지만 저자들은 우리가 물리 부분을 실제로 분리하여 증명한 적이 없다고 주장합니다. 우리는 단지 인터넷 사진이 벽돌의 무게감을 가르쳐주지 못한다는 사실을 간과한 채, "인터넷 지식(VLM)"이 핵심적인 역할을 하고 있다고 계속 가정했을 뿐입니다.

세 가지 수준의 혼란

논문은 왜 우리가 무엇이 일어나고 있는지 알 수 없는지를 세 가지 수준으로 설명합니다:

1. 레벨 1 (결과): 우리는 성공을 목격하지만, 그것이 로봇이 과제를 이해해서인지 아니면 단순히 정답 동작을 추측한 것인지 알 수 없습니다.
2. 레벨 2 (출처): 로봇이 "인터넷 읽기"(VLM)에서 배웠는지, 아니면 "로봇 훈련"(물리적 연습)에서 배웠는지 알 수 없습니다. 이 둘은 뒤섞여 있습니다.
3. 레벨 3 (두뇌): 우리가 로봇에게 팔을 움직이는 법을 가르칠 때, 로봇이 가진 똑똑한 "인터넷 추론" 능력을 오히려 잃어버린 것은 아닌지 알 수 없습니다. 우리가 단순히 "하라"는 대로만 하게 강제하면서, 불가능한 작업에 대해 "안 된다"고 말하는 법을 잊어버렸을 수도 있습니다.

해결책: 더 나은 테스트

저자들은 이 로봇들이 쓸모없다고 말하는 것이 아닙니다. 단지 추측을 멈춰야 한다고 말할 뿐입니다. 그들은 새로운 테스트 방식을 제안합니다:

"통제된 변수(Controlled Variation)" 테스트:
단순히 로봇에게 과제를 주고 승패를 보는 대신, 한 번에 하나씩 변화를 주어야 합니다:

• "무엇(What)"을 테스트하기: 물리적 환경은 똑같이 유지하되, 단어나 사진을 바꿉니다. 로봇이 여전히 무엇을 해야 할지 아는가? (이것은 언어 부분을 테스트합니다).
• "어떻게(How)"를 테스트하기: 단어와 사진은 똑같이 유지하되, 물리적 조건(예: 물체를 더 무겁게 하거나, 테이블을 미끄럽게 함)을 바꿉니다. 로봇이 여전히 성공하는가? (이것은 물리 부분을 테스트합니다).

이렇게 하면 드디어 다음과 같이 말할 수 있습니다: "좋아, 이 로봇은 단어를 이해하는 데는 뛰어나지만, 물리가 변하면 실패하는구나." 또는 "이 로봇은 물리에는 뛰어나지만, 새로운 단어에는 혼란을 느끼는구나."

결론

이 논문은 세상에 대해 아는 것(인터넷으로부터 얻은 지식)이 세상 속에서 움직이는 법(물리)을 이해하는 것과 같다고 가정하는 것을 멈추라는 촉구입니다.

현재 우리는 로봇이 과제에 대해 "말하는 것"을 잘한다고 해서, 그들이 과제를 "수행하는 것"도 잘할 것이라고 가정하며 칭찬하고 있습니다. 저자들은 우리가 이 두 가지 기술을 분리하여 테스트함으로써, 로봇이 실제로 물리적 에이전트가 되는 법을 배우고 있는지, 아니면 그저 패턴 매칭을 아주 잘하는 것뿐인지를 실제로 파악하기를 원합니다.

요약하자면: 로봇이 "무겁다"는 단어를 안다고 해서 무거운 상자를 들 수 있다고 가정하지 마십시오. 우리는 로봇이 실제로 그것을 들 수 있는지 테스트해야 합니다.