Action-aligned Representation Geometry in Vision–Language–Action Models

보고, 언어를 이해하며, 자신의 몸을 스스로 움직일 수 있는 로봇은 더 이상 공상 과학의 영역이 아닙니다. 이들은 '체화된 인공지능(embodied artificial intelligence)'이라 불리는 급격히 성장하는 분야의 중심에 있습니다. 수년간 연구자들은 "컵을 집어라"와 같은 단순한 문장을 기계 팔의 정밀하고 연속적인 움직임으로 어떻게 번역할 것인가를 가르치는 데 어려움을 겪어왔습니다. 가장 성공적인 현대적 접근 방식은 방대한 비디오 시연 라이브러리를 통해 거대한 컴퓨터 모델을 학습시키는 것이며, 이 과정을 '행동 복제(behavior cloning)'라고 합니다. 흔히 '시각-언어-행동(Vision-Language-Action)' 시스템이라 불리는 이 모델들은 로봇의 두뇌 역할을 하며, 이미지와 텍스트를 입력받아 일련의 명령을 출력합니다. 그러나 이러한 시스템들이 점점 더 유능해지고 있음에도 불구하고, 그 내부 작동 방식은 여전히 미스터리로 남아 있습니다. 우리는 그것들이 작동한다는 사실은 알지만, 모델이 받은 방대한 시각 및 언어 정보를 어떻게 조직하여 특정한 물리적 동작을 결정하는지는 진정으로 이해하지 못하고 있습니다. 이러한 이해 없이는 로봇이 왜 실패하는지, 어떻게 고칠 수 있는지, 또는 어떻게 더 신뢰할 수 있게 만들 수 있는지를 알기 어렵습니다.

하버드 대학교의 연구팀은 이제 이 '블랙박스'의 커튼을 걷어내고, 이 복잡한 모델들 내부에 숨겨진 놀랍고도 질서 정연한 구조를 밝혀냈습니다. 과학자들은 이 인공 두뇌가 정보를 처리하는 방식을 연구함으로써, 모델이 과업을 수행하는 법을 배 way에 따라 내부의 세계 표현이 혼란스러운 덩어리로 남지 않는다는 사실을 발견했습니다. 대신, 그 정보들은 로봇이 취해야 할 행동과 완벽하게 일치하는 매우 구조적이고 기하학적인 패턴으로 자발적으로 배열됩니다. 이 발견은 로봇의 성공 비결이 단순히 로봇이 보는 데이터에 있는 것이 아니라, 데이터를 유사한 행동은 함께 묶고 서로 다른 행동은 명확히 분리하는 깨끗하고 예측 가능한 지도로 내부적으로 조직하는 방식에 있음을 시사합니다.

연구진은 단순한 이미지 인식 네트워크가 학습하는 방식을 연구하기 위해 원래 개발된 프레임워크인 '신경 붕괴(neural collapse)'를 사용하여 이 현상을 조사했습니다. 로봇 공학의 맥맥락에서 이 개념은 특정 행동에 대한 모델의 내부 '생각'이 믿을 수 없을 정도로 조밀하고 일관되게 되는 상태를 설명합니다. 여러 출구를 찾아가는 사람들이 가득 찬 방을 상상해 보십시오. 무질서한 상태에서는 사람들이 무작별로 헤맵니다. 하지만 공간의 구조를 익히게 되면, 같은 문으로 향하는 사람들은 촘촘하게 모이고, 다른 문으로 향하는 그룹들은 서로 멀리 떨어져서 명확하고 조직된 지도를 형성합니다. 하버드 팀은 시각-언어-행동 모델이 이와 유사한 변환을 거친다는 것을 발견했습니다. 수천 번의 로봇 시연을 통해 훈련됨에 따라, "손잡이를 잡다"와 같은 동일한 물리적 움직임에 대응하는 내부 신호들은 단단하고 균일한 클러스터로 응축되기 시작합니다. 반면, "버튼을 누르다"와 "상자를 들어 올리다"와 같이 서로 다른 움직임을 위한 신호들은 모델이 올바른 경로를 쉽게 선택할 수 있도록 균형 잡히고 대칭적인 배치로 조직됩니다.

이 기하학적 질서는 단일 실험의 우연한 결과가 아니었습니다. 연구진은 다양한 로봇 모델, 연속적인 움직임을 디지털 명령으로 변환하는 다양한 방식, 그리고 블록 쌓기부터 테이블 치우기까지 다양한 과업에 걸쳐 이를 테스트했습니다. 그들은 동일한 패턴이 일관되게 나타나는 것을 관찰했습니다: 로봇의 성능이 향상됨에 따라 내부 기하학적 구조는 더욱 구조화되었습니다. 모델들은 단순히 특정 사례를 암기하는 것이 아니라, 행동을 그룹화하는 근본적인 규칙을 배우고 있었습니다. 이 구조는 모델이 훈련됨에 따라 점진적으로 나타났는데, 네트워크의 초기 층에서 시작하여 로봇이 움직임을 결정하기 직전인 최종 층에서 가장 뚜렷해졌습니다. 또한 연구진은 이 질서가 당면한 과업에 특화되어 있음을 확인했습니다. 올바른 행동 레이블을 무작위 레이블로 교체했을 때 기하학적 구조가 형성되지 않았으며, 이는 이 조직화가 데이터를 그룹화하려는 컴퓨터의 일반적인 경향이 아니라 로봇을 제어하려는 실제 목표에 의해 유도되었음을 증명합니다.

이 기하학적 구조가 단순한 부수 효과가 아니라 로봇이 생각하는 방식의 핵심적인 부분임을 증명하기 위해, 연구팀은 일련의 섬세한 개입을 수행했습니다. 그들은 훈련된 로봇 모델을 가져와 실행 중인 상태에서 내부 신호를 미세하게 교란했습니다. 유사한 행동의 밀집된 클러스터링을 방해하거나 서로 다른 행동 그룹의 배치를 뒤섞었을 때, 로봇의 성능은 즉시 저하되었고 더 많은 실수를 저질렀습니다. 반대로, 이 자연스러운 기하학적 질서를 강화하도록 신호를 조정했을 때 로 la의 행동은 안정적이고 정확하게 유지되었습니다. 이는 구조화된 기하학이 로봇이 올바른 결정을 내리기 위한 기능적 필수 요소라는 강력한 증거를 제공했습니다. 그것은 단순히 학습의 부산물이 아니라, 모델이 시각적 장면으로부터 성공적인 행동으로 나아가기 위해 사용하는 메커니즘입니다.

또한 이 연구는 왜 더 많은 데이터를 로봇에게 공급하는 것이 그들을 더 똑똑하게 만드는지에 대한 빛을 던져주었습니다. 연구진은 다양한 양의 시연 데이터로 모델을 훈련시켰고, 데이터의 양과 내부 기하학적 구조의 품질 사이에 직접적인 연관성이 있음을 발견했습니다. 더 큰 데이터셋으로 훈련된 모델은 더 정교하고 조직적이며 견고한 기하학적 구조를 발달시켰습니다. 이는 빅데이터의 이점이 단순히 더 많은 사례를 보는 것뿐만 아니라, 모델이 세상에 대한 더 명확하고 신뢰할 수 있는 내부 지도를 구축할 수 있도록 충분한 정보를 제공하는 데 있다는 것을 시사합니다. 모델이 더 많은 데이터를 볼수록, 행동에 대한 이해를 더 잘 조직할 수 있으며, 이는 더 일관되고 성공적인 행동으로 이어집니다.

이러한 발견은 기계의 지능을 바라보는 새로운 방식을 제시합니다. 우리는 이러한 모델을 단순히 입력을 출력으로 매핑하는 불투명한 시스템으로 보는 대신, 구조화된 '행동 정렬 경관(action-aligned landscape)'을 구축하는 시스템으로 볼 수 있습니다. 이 경관 속에서 성공적인 움직임으로 가는 길은 유사한 행동을 자연스럽게 그룹화하고 서로 다른 행동을 분리하는 기하학에 의해 닦여 있습니다. 이 발견은 로봇이 왜 실패하는지 진단하고, 서로 다른 모델 설계를 비교하며, 이러한 시스템이 새로운 상황에 어떻게 일반화되는지 이해할 수 있는 강력한 도구를 제공합니다. 로봇 학습의 혼돈 속에서 숨겨진 질서를 밝혀냄으로써, 이 연구는 우리가 더 유능할 뿐만 아니라 이해 가능하고 신뢰할 수 있는 물리적 세계의 파트너로서의 기계를 구축하는 데 한 걸음 더 다가가게 해줍니다.