로봇에게 집안일을 가르치고 있다고 상상해 보세요. 당신은 그 비결이 단순히 인간의 언어를 구사하는 거대한 뇌를 주는 것이라고 생각할 수도 있습니다. 하지만 여기 까다로운 문제가 있습니다. 로봇이 당신을 이해한다고 '말한다'고 해서, 그것이 실제로 '이해하고 있다'는 뜻은 아니라는 점입니다. 이것이 바로 컴퓨터가 단순히 책을 읽는 것이 아니라, 실제 물리적 세계와 상호작용하며 배우려고 노력하는 '체화된 AI(embodied AI)' 분야의 핵심입니다. 과학자들이 던지는 큰 질문은 이것입니다. 로보가 행동을 파악하기 위해 언어를 사용할 때, 그 언어가 실제로 보고 움직이는 데 도움을 주고 있는 것일까요, 아니면 그저 화려한 장식에 불 Bull 뿐일까요? GPS를 생각해 보세요. 만약 GPS가 "좌회전하세요"라고 말한다면, 그것은 단지 하나의 문장일 뿐입니다. 하지만 만약 GPS가 실제로 그곳에 벽이 있다는 것을 '알고' 당신을 충돌로부터 멈춰 세운다면, 그것은 전혀 다른 이야기입니다. 우리는 로봇의 언어가 스마트한 내비게이터인지, 아니면 지도를 한 번도 쳐다보지 않는 승객인지 알고 싶습니다.

이 논문은 저자들이 정확히 언어가 어떤 역할을 하고 있는지, 그리고 더 중요한 것은 누군가가 그것이 작동한다는 것을 실제로 증명했는지 알아내기 위해 105개의 서로 다른 로봇 프로젝트를 조사하는 탐정 이야기와 같습니다. 그들은 과학자들이 종종 로봇이 '무엇을 하는지 말하는 것'과 로봇이 '실제로 하는 것'을 혼동한다는 사실을 깨달았습니다. 이를 해결하기 위해 그들은 언어가 수행할 수 있는 다섯 가지 '직업'으로 로봇을 분류하는 새로운 방법을 만들었습니다. 그들은 이 직업들을 다음과 같이 부릅니다: 명시(Specification) (로봇에게 무엇을 할지 알려주는 것), 체화된 표현(Embodied Representation) (로봇이 언어로 세상을 볼 수 있게 돕는 것), 행동 오케스트레이션(Action Orchestration) (어떤 기술을 사용할지 결정하는 것), 접지 조절(Grounding Regulation) (상황이 잘못되었을 때 실수를 바로잡는 것), 그리고 실행 결합(Execution Coupling) (단어를 직접적인 근육 움직임으로 바꾸는 것).

저자들은 우스꽝스럽지만 좌절스러운 패턴을 발견했습니다: 많은 연구자가 자신의 로봇이 언어를 사용하기 때문에 매우 똑똑하다고 주장하지만, 자세히 들여다보면 언어가 실제로 핵심적인 역할을 수행하고 있지 않은 경우가 많다는 것입니다. 이는 마치 마술사가 자신의 모자가 마술의 원천이라고 주장하지만, 실제로는 소매 안에서 기술을 부리고 있는 것과 같습니다. 이 논문은 로봇이 계획에 대해 말할 수 있다고 해서 그 계획이 올바른 것은 아니며, 로봇이 과업을 완수했다고 해서 언어가 그 성공의 이유였다는 것을 의미하지 않는다는 점을 보여줍니다. 저자들은 거의 모든 논문이 언어에서 행동으로 이어지는 경로를 추적할 수 있음을 보여주었지만, 언어를 바꿨을 때 로봇의 실제 행동이 바뀐다는 것을 실제로 증명한 논문은 매우 적었습니다. 요컨대, 이 논문은 우리가 단순히 말을 할 줄 아는 로봇을 찬양하는 것을 멈추고, 그 말이 실제로 움직임을 만들어낸다는 증거를 요구해야 한다고 주장합니다.

로봇 언어의 다섯 가지 직업

저자들은 "언어"가 단 하나가 아니라는 점을 깨달았습니다. 그것은 용도에 따라 다른 도구를 사용하는 스위스 아미 나이프와 같습니다. 그들은 연구한 로봇들을 언어가 실제로 '무엇을 하고 있는지'에 따라 다섯 가지 범주로 분류했습니다:

1. 명시 (The Task Master - 과업 관리자): 이것은 언어가 로봇에게 목표가 무엇인지 알려주는 경우입니다. 마치 배달 기사에게 "피자를 메인 스트리트 123번지로 배달하세요"라고 적힌 쪽지를 건네는 것과 같습니다. 언어가 규칙을 설정합니다.
2. 체화된 표현 (The Translator - 번역가): 이것은 언어가 로봇이 물리적 세계를 이해하도록 돕는 경우입니다. 로봇이 컵을 보고 "저것은 유리로 된 깨지기 쉬운 물체다"라고 생각하는 것을 상상해 보세요. 언어는 물리적 세계를 나중에 기억할 수 있도록 단어로 번역합니다.
3. 행동 오케스트레이션 (The Conductor - 지휘자): 이것은 언어가 어떤 기술을 사용할지 결정하는 경우입니다. 로봇에게 '잡기' 기술과 '밀기' 기술이 있다면, 언어는 "이 컵에는 잡기 기술을 사용하고, 저 상자는 밀어라"라고 말할 수 있습니다. 팀을 조직합니다.
4. 접지 조절 (The Referee - 심판): 이것은 "앗" 하는 순간입니다. 로봇이 컵을 잡으려다 떨어뜨렸을 때, 언어는 "잠깐, 내가 떨어뜨렸어! 다시 시도해야 해"라고 깨닫도록 돕습니다. 새로운 증거를 사용하여 계획을 수정합니다.
5. 실행 결합 (The Muscle - 근육): 이것은 가장 직접적인 연결입니다. 언어는 단순히 계획만 하는 것이 아니라, 모터에 직접 무엇을 할지 명령합니다. 마치 단어 자체가 움직임의 지침이 되는 것과 같습니다.

거대한 증거 감사 (The Great Evidence Audit)

저자들은 단순히 이 직업들을 나열한 것이 아니라, 모든 논문을 테스트에 부쳤습니다. 그들은 다음과 같이 물었습니다: "당신의 언어가 이 직업을 수행한다는 것을 실제로 증명했습니까?" 그들은 "증거 감사"라고 부르는 다섯 가지 특정 유형의 증거를 찾았습니다.

여기서 발견된 큰 문제는 **"증거적 대체(The Evidential Substitution)"**입니다. 이것은 연구자들이 흔히 약한 증거를 강한 주장으로 바꾼다는 것을 의미하는 세련된 표현입니다. 그들은 네 가지 흔한 속임수를 발견했습니다:

• "읽기 가능한" 함정 (The "Readable" Trap): 로봇이 명확한 영어로 계획을 작성한다고 해서 그 계획이 반드시 옳은 것은 아닙니다. 그것은 케이크를 위한 완벽한 레시피를 써놓고 정작 재료는 잘못 넣은 것과 같습니다. 레시피는 읽기 좋지만, 케이크는 실패할 것입니다.
• "내부적 변화" 함정 (The "Internal Change" Trap): 때때로 로봇은 자신의 뇌 내부에서(예: "왼쪽으로 꺾어야겠다"라는 생각 주머니처럼) 마음을 바꾸지만, 실제로 왼쪽으로 꺾지는 않습니다. 저자들은 로봇이 변화를 '생각'했다고 해서, 그것이 실제 세계에서 무언가를 다르게 '행동'했다는 것을 의미하지 않는다는 것을 발견했습니다.
• "성공" 함정 (The "Success" Trap): 로봇이 과업을 완수하면 모두가 환호합니다. 하지만 언어가 도움이 되었을까요, 아니면 로봇이 운이 좋았던 것일까요? 이 논문은 게임에서 이겼다고 해서 언어가 MVP였다는 것을 증명하는 것은 아니라고 말합니다. 아마도 로봇의 눈이 매우 좋았거나, 혹은 과업 자체가 쉬웠을 수도 있습니다.
• "행동에 근접함" 함정 (The "Close to Action" Trap): 어떤 로봇들은 언어를 모터 바로 옆에 배치하여 그것이 더 "강력하다"고 생각합니다. 하지만 저자들은 그것이 운전자가 핸들 근처에 앉아 있다고 해서 더 나은 운전자라고 말하는 것과 같다고 말합니다. 운전자가 실제로 운전할 줄 모른다면, 좌석 위치는 중요하지 않습니다.

숫자가 말해주는 것

저자들은 105개의 서로 다른 논문을 살펴보았습니다. 증거 감사는 다음과 같은 결과를 보여주었습니다:

• **100%**의 논문이 언어에서 행동으로 이어지는 경로를 추적할 수 있음을 보여주었습니다 (이를 경로 추적 가능성/Route Traceability라고 부릅니다). 즉, 로봇은 단어를 동작으로 연결할 수 있었습니다.
• 92.4% (97개 논문)는 언어를 건드렸을 때 행동의 결과가 나타남을 보고했습니다 (대상 행동 테스트/Targeted Behavioral Test). 이는 언어를 변경했을 때 어떤 결과가 나타나기는 했지만, 그것이 반드시 성공적이거나 의도된 변화였음을 의미하지는 않습니다.
• 72.4% (76개 논문)는 로봇의 단어가 실제 세계와 일치하는지 확인했습니다 (예를 들어, 보고 있는 '컵'이 실제로 컵인지 확인하는 것, 체화된 제약 검사/Embodied-constraint check).
• 81.0% (85개 논문)는 로봇을 다른 언어 설정 버전과 비교하여, 언어가 가장 유력한 다른 설명에 비해 진정한 주인공인지 확인했습니다 (주장 상대적 고립/Claim-relative isolation). 이는 언어를 완전히 제거했다는 뜻이 아니라, 가장 가능성 높은 다른 원인에 맞서 언어의 구체적인 역할을 격리하여 확인했다는 뜻입니다.
• 단 28.6% (30개 논문)만이 로봇이 실수를 했을 때, 언어가 수정(revision)을 유발하여 변화된 시도로 이어졌음을 실제로 보여주었습니다 (폐쇄 루프 피드백/Closed-loop feedback). 결정적으로, 이 수치는 로봇이 성공적으로 회복하거나 과업을 마쳤는지 여부가 아니라, 실수 후에 계획이 변경되었는지를 기준으로 계산된 것입니다.

이 마지막 숫자가 큰 놀라움을 줍니다. 많은 로봇이 말하고 계획할 수는 있지만, 실세계에서의 실패 이후에 언어가 접근 방식의 변화를 유발하는 데 도움을 준다는 것을 실제로 보여준 논문은 매우 적었습니다. 저자들은 대부분의 경우, 로봇의 "스마트한" 부분은 실제로는 시각 시스템이나 모터 컨트롤러이며, 언어는 그저 곁다리로 끼어 있는 것뿐이라고 제안합니다.

시사점

이 논문은 "언어 접지(language grounding)"를 로봇을 똑똑하게 만드는 마법의 라벨로 취급하는 것을 멈춰야 한다고 결론짓습니다. 대신, 우리는 더 구체적이어야 합니다. 우리는 다음과 같이 물어야 합니다: "언어가 수행하는 구체적인 직업은 무엇이며, 그 직업을 수행하고 있다는 증거가 있는가?"

저자들은 언어가 쓸모없다고 말하는 것이 아닙니다. 단지 더 나은 증거가 필요하다고 말하는 것입니다. 만약 로봇이 언어를 사용하기 때문에 똑똑하다고 주장한다면, 우리는 그 말을 그대로 믿어서는 안 됩니다. 우리는 언어가 단순히 지도를 들고 있는 것이 아니라, 실제로 배를 조종하고 있다는 증거를 보아야 합니다. 그러한 증거를 확보하기 전까지, 우리는 어쩌면 단어에 너무 많은 공을 돌리고, 이 로봇들이 학습하는 실제 메커니즘에는 충분한 공을 돌리지 않고 있는 것일지도 모릅니다.