💻 computer science

Geometry Conditioning in an Embodied SLM: Training Controls and Robustness Diagnostics in a 0.8B Hybrid Model

본 논문은 0.8B 하이브리드 체화된 언어 모델(hybrid embodied language model)에 대한 기하학적 조건화(geometric conditioning)의 영향을 조사하며, 물리적 상태 입력의 훈련 시 정렬이 셔플되거나 부재한 기하학적 정보에 비해 신뢰할 만한 이점을 제공하지 못함을 밝히고, 시각적 정책(visual policies)에서 좌표 불변성(coordinate invariance)과 물리적 레이아웃 일반화 사이의 상당한 격차를 강조한다.

원저자: Hao Li, Haofei Sun, Lin He

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Li, Haofei Sun, Lin He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 공학의 세계에서, 기계에게 컵을 집기 위해 팔을 움직이는 법을 가르치는 것은 종종 수천 개의 사례를 보여주는 문제로 귀결됩니다. 로봇은 인간이 과제를 수행하는 것을 관찰한 다음, 그 동작을 모방하려고 시도합니다. 수년 동안 과학자들은 로봇에게 물리적 세계에 대한 더 나은 이해, 즉 물체 사이의 정확한 거리와 각도를 제공하는 것이 로봇을 더 똑똑하게 만들 수 있을지 궁금해해 왔습니다. 로봇이 단순히 컵과 탁자의 사진을 보는 것이 아니라, 그들 사이의 정밀한 수학적 관계를 이해한다고 상상해 보십시오. 이러한 추가적인 기하학적 지식이 컵이 약간 움직이거나 카메라 각도가 변할 때 로봇이 적응하는 데 도움이 되기를 바라는 것입니다. 이 질문은 로봇 팔을 제어하도록 설계된 작고 특화된 컴퓨터 두뇌를 포함하는 새로운 연구의 핵심에 자리 잡고 있습니다. 연구진은 이 두뇌에 물리적 공간에 대한 명시적인 지침을 입력하는 것이 실제로 학습에 도움이 되는지, 아니면 로봇이 단순히 관찰하는 것만으로 스스로 알아낼 수 있는지를 알고 싶었습니다.

이 연구는 현대적 기준으로는 작지만 기능적인 로봇 제어기로서 충분한 규모인 0.8 tỷ(8억) 개의 파라미터를 가진 아주 작은 인공지능 모델에 초점을 맞추었습니다. 연구팀은 시뮬레이션된 환경에서 물체를 움직이는 일련의 과제들에 대해 이 모델을 학습시켰으며, 로봇이 어떻게 행동할지 가르치기 위해 총 620만 개의 조절 가능한 설정값을 사용했습니다. 그들은 로봇에게 기하학적 정보를 제공하는 두 가지 주요 방법을 테스트했습니다. 첫 번째 방법은 데이터를 로봇의 결정 과정을 제어하는 스위치 역할을 하는 '게이트'에 직접 입력하는 것이었습니다. 두 번째 방법은 동일한 기하학적 데이터를 문장 속의 단어처럼 취급하여 로의 입력 스트림에 넣는 것이었습니다. 공정한 테스트를 보장하기 위해, 연구진은 학습 단계에서 기하학적 데이터를 뒤섞어, 로봇이 숫자는 보되 그것이 실제 움직임과 일치하지 않도록 학습된 버전의 로봇도 함께 훈련했습니다. 마지막으로, 기하학적 정보 대신 단순한 시계 신호를 사용하는 버전을 테스트하여 로봇이 단순히 타이머를 따르는 법을 배우는 것인지 확인했습니다.

결과는 놀라웠으며, 더 많은 기하학적 세부 정보가 더 나은 성능으로 이어진다는 일반적인 가설에 도전했습니다. 로봇이 올바르고 섞이지 않은 기하학적 데이터로 훈련되었을 때, 성공률은 약 29%였습니다. 그러나 섞이고 의미 없는 기하학적 데이터로 훈련된 버전은 실제로 거의 37%의 성공률을 보이며 약간 더 높은 성능을 나타냈습니다. 기하학적 데이터가 전혀 주어지지 않은 버전은 약 24%의 성공률을 기록했습니다. 이는 이 실험의 특정 조건 하에서, 정밀하고 정확한 기하학적 지침을 제공하는 것이 무작위적이거나 뒤섞인 숫자를 주는 것보다 명확한 이점을 제공하지 못했음을 시사합니다. 연구진은 로봇이 이러한 숫자들의 올바른 정렬에 의존하여 과제를 해결하는 것이 아님을 발견했습니다. 사실, 뒤섞인 버전이 올바른 버전보다 때때로 더 나은 성과를 냈습니다. 이는 로봇이 물리적 거리 사이를 계산하기보다는 카메라의 시각적 패턴이나 행동의 순서와 같은 다른 단서들을 통해 문제를 해결하는 법을 배우고 있을 가능성을 나타냅니다.

연구진은 또한 이 로봇들이 환경의 변화를 얼마나 잘 처리할 수 있는지 테스트했는데, 이는 실제 세계 적용을 위한 필수적인 시험입니다. 연구진이 전체 좌표계를 회전시켜(본질적으로 "위"가 이제 "왼쪽"이라고 로봇에게 알려줌으로써), 절대적 위치에만 의존하는 로봇은 완전히 실패했습니다. 그러나 고정된 지도보다는 로봇의 손과 물체의 상대적 위치에 집중하도록 훈련된, 즉 상대적 관계를 이해하는 로봇은 10번의 시도 중 7번을 성공했습니다. 이는 유연성을 확보하는 데 있어 상대적 관계를 이해하는 것이 매우 중요하다는 것을 보여주었습니다. 하지만 연구진이 물체를 탁자 위에서 단 5cm만 이동시켰을 때, 기하학적 훈련을 받은 정책을 포함한 모든 시각적 정책들이 무너졌습니다. 성공률은 거의 0에 가깝게 떨어졌습니다. 이는 중요한 격차를 드러냈습니다. 즉, 로봇들이 관점의 변화는 처리할 수 있었지만, 물체의 물리적 위치가 약간 변하는 것은 처리할 수 없었다는 점입니다. 기하학적 훈련은 이러한 실패로부터 그들을 보호해주지 못했습니다.

궁극적으로, 이 논문은 단순히 물리적 상태 정보를 작은 로봇 두뇌에 추가하는 것이 더 나은 성능이나 견고함을 보장하지 않는다고 결론짓습니다. 연구진은 훈련 시의 기하학적 정렬이 로봇이 새로운 상황에 일반화되는 데 도움이 된다는 신뢰할 만한 증거를 찾지 못했습니다. 서로 다른 훈련 실행 간의 미세한 성공률 차이는 결과가 기하학적 데이터로부터 오는 근본적인 개선이라기보다 우연과 특정 과제의 세부 사항에 민감하다는 것을 시사했습니다. 이 연구는 로봇이 관점의 변화에는 유연하게 대처할 수 있더라도, 물리적 배치가 약간만 변해도 여전히 취약하다는 것을 보여줌으로써 해당 분야에 대한 신중한 점검 역할을 합니다. 이러한 발견은 진정으로 견고한 로봇 조작의 길은 단순히 시스템에 물리적 세계의 더 나은 지도를 입력하는 것 이상을 요구할 수 있음을 시사합니다. 즉, 이러한 시스템이 현실과 상호작용하는 방식에 대한 더 깊은 변화가 필요할 수도 있다는 것입니다.

기술 요약: Embodied SLM에서의 기하학적 컨디셔닝(Geometry Conditioning)

문제 정의
본 논문은 물리적 상태 입력, 특히 객체 및 목표 위치에 관한 기하학적 정보가 로봇 조작을 위해 적응된 소형 언어 모델(SLM)의 성능에 어떻게 영향을 미치는지 조사한다. 최근 연구들은 하이브리드 언elle 모델(어텐션과 게이트 재귀를 결합한 모델)이 불과 수백만 개의 학습 가능한 파라미터만으로 로봇 정책으로 적응될 수 있음을 보여주었으나, 입력 토큰이나 재귀적 감쇠 게이트(recurrent decay gates)를 통해 기하학적 신호를 주입하는 것이 학습을 개선하는지 여부는 여전히 불분명하다. 또한, 겉으로 드러나는 성능 향상이 훈련 중 데모스트레이션(demonstrations)과 기하학적 신호가 시공간적으로 정렬되어 있기 때문인지, 아니면 모델이 다른 수단을 통해 강건성(robustness)을 학습할 수 있는지에 대해서도 불확실하다.

방법론
저자들은 LIBERO-Spatial 조작 벤치마크에 적응된 **0.8B 하이브리드 언어 모델(Qwen3.5-0.8B)**을 사용하여 실험을 수행한다. 베이스 모델의 가중치는 고정되며, 어텐션 프로젝션, 선형 입력 프로젝션, 그리고 액션 헤드에 대한 저차원 적응(LoRA)을 통해 적응이 이루어진다. 총 학습 가능한 파라미터 수는 모든 조건에서 엄격하게 일치시킨다(약 6.2M).

본 연구는 기하학적 데이터를 주입하기 위한 몇 가지 컨디셔닝 경로를 비교한다:

토큰 기반 컨디셔닝 (Token-based Conditioning):
- c1: 토큰-MLP 어댑터가 6차원의 불변 기하학적 증분( $g_t$ )을 받아 입력 프로젝션 전 단계에서 이를 2차원으로 투영한다.
- c2: 토큰 어댑터가 더 풍부한 14차원의 상대적 상태 특징을 받는다.
- c0 (Baseline): 명시적인 객체/목표 기하학 정보가 제공되지 않는다.
감쇠 게이트 컨디셔닝 (Decay-Gate Conditioning):
- f0: 6차원의 불변 증분( $g_t$ )이 학습 가능한 스칼라와 tanh-스쿼싱 변환을 통해 18개 Gated Delta Network (GDN) 레이어의 감쇠 로짓(decay logits)에 바이어스로 추가된다.
- f0-shuffled: 동일한 $g_t$ 를 사용하지만, 훈련 중에 시간적 정렬(temporal alignment)을 셔플(순열)하여 올바른 시간적 정렬의 필요성을 테스트한다.
- b1 (Clock Control): 기하학 대신, 감쇠 게이트에 제어 신호의 존재를 제어하기 위해 6개의 정규화된 "토큰 클록(token clock)" 채널을 입력한다.

실험 프로토콜

태스크: LIBERO-Spatial의 세 가지 태스크.
훈련: 액션 청킹(action chunking, $K=8$ )을 사용하는 행동 복제(behavior cloning)를 통해 태스크당 35개의 데모스트레이션으로 공동 훈련.
평가: 540개의 홀드아웃 롤아웃 (3개 시드 $\times$ 3개 태스크 $\times$ 10개 초기 상태).
강건성 테스트:
- 프레임 리레이블링 (Frame Relabeling): 물리적 장면을 이동시키지 않고 입력 포즈의 좌표계를 회전시킴.
- 물리적 변위 (Physical Displacement): 테이블 평면 상에서 타겟 객체를 5cm 및 10cm 이동시킴.

주요 결과

훈련 시 정렬 (Training-Time Alignment): 기하학의 올바른 시간적 정렬(f0)이 셔플된 훈련(f0-shuffled)보다 성능이 우수하지 않았다.
- f0 (Correct): 성공률 28.9% (26/90).
- f0-shuffled: 성공률 36.7% (33/90).
- c0 (No Geometry): 성공률 24.4% (22/90).
- 올바른 기하학과 셔플된 기하학 사이의 차이는 통계적으로 유의미하지 않았으며( $p=0.28$ ), 이는 올바른 정렬이 이 설정에서 명확한 이점을 제공하지 않음을 시사한다.
토큰 vs. 게이트 경로 (Token vs. Gate Pathways):
- 토큰 어댑터 c1(27.8% 성공)은 게이트 어댑터 f0(28.9% 성공)와 유사한 성능을 보였으며, 시드 간의 차이는 결정적이지 않았다.
- 더 풍부한 토кен 어댑터 c2(34.4% 성공)는 베이스라인 대비 개선되는 경향을 보였으나, 샘플 크기를 고려했을 때 통계적으로 유의미하지 않았다( $p=0.093$ ).
클록 컨디셔닝 (Clock Conditioning): 클록 조건(b1)은 성능이 저조했으며(11.1% 성공), 수렴에 실패한 시드가 하나 포함되어 있었다. 이는 감쇠 게이트 인터페이스가 입력의 의미론(semantics)과 최적화 안정성에 민감함을 나타낸다.
좌표 변화에 대한 강건성:
- 프레임 리레이블링: 상대 좌표를 사용하는 상태 전용(state-only) 정책은 45° 및 90° 회전에서도 7/10의 성공률을 유지한 반면, 절대 좌표 정책은 완전히 실패했다. 이는 상대 좌표가 강체 변환(rigid transform)에 대해 불변함을 확인시켜 준다.
- 물리적 변위: 기하학적 컨디셔닝을 포함한 모든 테스트된 비주얼 정책은 물리적 객체 변위 하에서 붕괴되었다. 성공률은 5cm 이동 시 최대 3/20, 10cm 이동 시 0/20으로 급락했다. 이는 좌표 불변성이 새로운 물리적 레이아웃에 대한 일반화와 동일하지 않음을 보여준다.

의의 및 주장
본 논문은 기하학적 컨디셔닝의 외견상 이점을 해석하기 위한 통제 변수들을 제공한다고 주장한다. 주요 발견은 사용된 특정 적응 레시피(고정된 SLM, LoRA, 작은 파라미터 예산) 하에서, 훈련 시의 기하학적 정렬이 셔플된 훈련보다 성능을 확실하게 향상시키지 못한다는 것이다.

본 연구는 좌표 불변성(회전된 프레임 처리)과 물리적 레이아웃 일반화(변위된 객체 처리) 사이의 결정적인 격차를 강조한다. 상대 좌표 특징이 프레임 리레이블링은 성공적으로 처리했음에도 불구하고, 어떤 정책도 물리적으로 변위된 객체에는 일반화되지 못했다. 저자들은 기하학적 컨디셔닝의 효과가 작은 적응 예산 하에서는 한계가 있으며, 유사한 연구에서 관찰된 이점은 물리적 인과관계를 학습하는 내재적 능력보다는 기하학적 신호가 데모스트레이션과 정렬되어 있는 상태에 크게 의존할 수 있음을 이 연구가 보여준다고 결론짓는다.

한계점
저자들은 베이스라인 성능(24.4%)이 상대적으로 낮다는 점을 언급하며, 더 강력한 훈련 레시피가 기하학적 이점을 드러낼 가능성을 열어두었다. 또한, 매칭된 입력 비교(c1 vs. f0)는 토큰 어댑터의 2D 병목 현상으로 인해 제한적이며, 강건성 테스트가 특정 시드와 태스크에 국한되어 관찰된 실패 모드의 일반성을 제한할 수 있다.

유사한 논문