기술 요약: Sigma – 시각-언어-행동 모델의 텔레파시 정렬을 위한 핵심

1. 문제 정의

RT-2 및 OpenVLA와 같은 현재의 시각-언어-행동(VLA) 아키텍처는 고수준의 언어적 의미론과 연속적인 저수준 제어 사이의 **시간 업데이트 가능한 매개적 사고 공간(time-updatable mediating thought space)**이 부재하다는 근본적인 한계에 직면해 있다. 기존 모델들은 이산적인 잠재 토큰을 형성하기 위해 생각의 사슬(Chain-of-Thought, CoT) 추론을 활용하지만, 암묵적 맥락을 흡수하거나 인간의 의도를 추론할 때 안정적이고 해석 가능한 정신 상태를 유지하는 데 종종 실패한다. 이러한 결함은 휴머노이드 로봇에서 파편화된 전략, 의도 드리프트(intention drift), 그리고 의미론적 불일치를 초래한다. 순수하게 의미론 중심적인 파이프라인이나 하드웨어 결합형 제어 방식 모두, 고수준의 맥락을 전달하면서 동시에 행동 잔차(behavioral residuals)를 정밀하게 정렬할 수 있는 추상화 계층을 제공하지 못하고 있다.

2. 방법론

본 논문은 "텔레파시적" 인지 공간을 내재화하도록 설계된 VLA 모델인 Sigma를 소개한다. Sigma는 $\pi0.5\_base$ 오픈 소스 백본을 기반으로 구축되었으며, 단일 NVIDIA RTX 4090을 사용하여 svla_so101_pickplace 데이터셋으로 학습되었다. 이 아키텍처는 세 가지 주요 모듈을 통해 심층적인 의미 이해와 연상 추론을 통합한다.

A. 핵심 아키텍처

1. 텔레파시 인자 ($\tau$): 심층적인 의미 내용과 연상 구조를 연속적인 내부 사고 상태로 압축하기 위해 공식화된 시간 공유 잠재 인지 벡터이다.
2. 시각 변조 (Vision Modulation): 멀티모달 인코더는 시각적 기초 토큰을 생성하며, 이는 트랜스포머 내에서 FiLM 스타일의 게이팅을 통해 $\tau$에 의해 변조된다. 이를 통해 장면 표현을 현재의 의미론적 및 연상적 맥락에 구속한다.
3. 언어 의도 워크스페이스 (Language Intent Workspace): 멀티모달 대규모 언어 모델(MLLM) 백본은 구조화된 의미 인자를 추출한다. 이들은 게이트형 재귀 업데이트를 통해 **의미 기억($m_t$)**에 통합된다. 의도 헤드는 입력에 명시적으로 드러나지 않은 잠재적 의도($z_{intent}$)를 추론한다.
4. 행동 궤적 워크스페이스 (Action Trajectory Workspace): 모델은 안전한 베이스라인 행동($\tau=0$)을 계산하고, **텔레파시 잔차 헤드(Telepathy Residual Head)**를 통해 명시적인 **잔차($\Delta a$)**를 생성한다. 이 잔차들은 베이스라인과 융합되어 물리적 안정성을 유지하면서도 "마음이 준비된(mind-ready)" 인간의 의도에 근접한 행동 변조를 가능하게 한다.

B. 학습 파이프라인

학습 과정은 단일 GPU 상에서 투명한 파이프라인을 채택한다:

• 데이터 전처리: 자동화된 스크립트가 svla_so101_pickplace 데이터셋을 처리하며, 슬라이딩 윈도우(호라이즌 $T=16$)를 사용하여 궤적을 분할한다. 효과적인 조작을 유지하기 위해 정적인 윈도우는 필터링된다.
• LoRA 미세 조정 (LoRA Fine-Tuning): $\pi0.5\_base$ 백본은 혼합 정밀도 및 그래디언트 누적을 사용하여 특정 레이어(q, k, v, 출력 투영)에 대해 저차원 적응(LoRA, $r=16$) 방식으로 미세 조정된다.
• 텔레파시 잔차 행동 집중 (TRAF): 이 알고리즘은 $\pi0.5$ 베이스라인에 대한 텔레파시 잔차만을 학습한다. 이는 어려운 정렬 사례에 학습을 집중시키기 위해 상위-$k$의 난이도 높은 세그먼트에 가중치를 높게 부여하는 난이도 가중 메커니즘을 채택한다.
• 텔레파시 의미 정렬 커리큘럼 (TSAC): 제어를 안정화하기 위해 초기에는 행동 회귀를 강조한 후, 의미적 일관성과 방향성 규칙성을 위한 가중치를 선형적으로 증가시키는 단계적 학습 스케줄이다. 이는 모델이 내부 사고 구조를 명시적인 행동 궤적과 정렬하도록 유도한다.
• 추론 어댑터 (Inference Adapter): 추론 중에는 훅-앤-루프(hook-and-loop) 체계를 통해 보조 메커니즘이 개입한다. 이는 잔차 대 베이스라인 노름 비율과 텔레파시 인자 정렬을 기반으로 리스크 점수를 계산하여, 기본 모델 가중치를 수정하지 않고도 텔레파시 잔차를 동적으로 스케일링함으로써 안정성을 보장한다.

3. 주요 기여

• 텔레파시 정렬 메커니즘: 언어적 의미론을 연속적 제어에 연결하여, 지각과 행동 사이의 "텔레파시 스타일" 정렬을 가능하게 하는 시간 업데이트 가능한 매개적 사고 공간($\tau$)을 도입하였다.
• 잔차 기반 변조: 고수준의 의미론이 학습된 잔차($\Delta a$)를 통해 안정적인 베이스라인 정책을 변조하는 새로운 아키텍처를 제시하여, 물리적 안정성을 보존하면서도 심층적인 의미론적 교정을 허용한다.
• 커리큘럼 및 집중 알고리즘: 베이스 모델을 재학습하지 않고도 모델이 공유된 정신적 좌표계로 수렴할 수 있도록 하는 난이도 인식 학습을 위한 TRAF와 점진적 의미 정렬을 위한 TSAC를 개발하였다.
• 효율적 배포: LoRA와 추론 어댑터를 사용하여 소비자급 GPU(RTX 4090) 하나만으로 이러한 역량을 달 수 있음을 입증함으로써, 의미론적 정렬을 위한 재현 가능한 경로를 제공한다.

4. 실험 결과

실험은 동일한 데이터셋에 대해 **오프라인 폐쇄 루프 재생(offline closed-loop replays)**을 사용하여 $\pi0.5\_base$와 Sigma를 비교 수행되었다.

• 제어 정밀도: Sigma는 세 가지 규모에서 일관된 평균 제곱 오차(MSE) 감소를 보여주었다:
  • 벡터 수준 ($\text{mse\_vec}$): ~98.83 ($\pi0.5$)에서 ~79.03 (Sigma)으로 감소, 약 20% 개선.
  • 프래그먼트 수준 ($\text{mse\_chk}$): ~228.97에서 ~203.05로 감소, 약 10% 개선.
  • 궤적 수준 ($\text{mse\_trj}$): ~191.03에서 ~174.71로 감소, 약 10% 개선.
• 표현의 안정성: 텔레파시 인자 노름($\text{tau\_l2}$)과 의미-텍스트 정렬($\text{sem\_align}$) 지표가 실험군과 대조군 사이에서 일관되게 유지되었다. 이는 성능 향상이 신호 자체의 변화가 아니라, 제어 결정에서 이러한 신호들을 효과적으로 활용했기 때문임을 확인시켜 준다.
• 리스크 제어: 추론 어댑터는 제어 안정성을 성공적으로 유지하여, 미세한 의미론적 개입을 허용하면서도 그래디언트 폭발이나 모드 붕괴를 방지하였다.

5. 의의 및 주장

본 논문은 Sigma가 베이스 모델을 재학습하지 않고도 의미론적 및 연상적 아키텍처 구성 요소의 통합을 통해 마음 반응형 정렬 제어가 가능하다는 것을 정량적으로 입증한다고 주장한다.

• 간극 해소: 본 연구는 매개적 인지 공간을 도입함으로써 "사고-행동" 간극을 해결하며, 이를 통해 휴머노이드 로봇이 기존의 파이프라인보다 암묵적 맥락과 계층적 의미론을 더 효과적으로 다룰 수 있게 한다.
• 재현 가능성: LoRA와 단일 GPU를 활용함으로써, 본 연구는 기존의 VLA 모델을 의도 중심 시스템으로 변환하는 재현 가능한 경로를 제시한다.
• 제한된 범위: 저자들은 현재 검증이 svla_so101_pickplace 데이터셋과 단일 작업에 국한되어 있음을 언급하며 한계를 명시적으로 인정하였다. 그들은 교차 작업 및 교차 기계 일반화에 관한 결론은 보수적으로 유지하며, 지각적 노이즈 및 안전 제약 조건 하에서의 물리적 로봇에 대한 강건성을 검증하기 위해 향후 연구가 필요함을 밝히고 있다.

요약하자면, Sigma는 심층적인 의미 이해와 연상 추론이 정밀하고 안정적이며 의도에 부합하는 물리적 행동으로 번역되는, "텔레파시적" 인간-로봇 상호작용을 향한 한 단계로서의 진전을 나타낸다.