기술 요약: Splash – MLLM을 위한 마스크 격리형 촉각 정렬 학습

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 체화된 로보틱스(embodied robotics) 분야에서 점점 더 많이 사용되고 있으며, 여기서 마찰이나 순응도(compliance)와 같은 물리적 특성을 이해하는 것은 매우 중요합니다. 그러나 소형 MLLM(sMLLM, 예: 파라미터 3B 이하)에 촉각 추론 능력을 갖추게 하는 것은 상당한 도전 과제입니다. 바로 파괴적 망각(catastrophic forgetting) 문제입니다.

촉각 모달리티를 통합하는 기존 방식들은 종종 모델 전체나 거대한 파라미터 하위 집합을 업데이트해야 합니다. 자원이 제한된 sMLLM에서 이러한 촉각 신호 최적화는 사전 학습된 시각-언어(VL) 특징을 왜곡하여, 모델이 가진 범용적인 추론 능력을 상실하게 만듭니다. 본 논문에서 입증되었듯이, 아주 적은 양의 촉각 학습 데이터만으로도 VL 성능이 저하될 수 있으며, 이는 새로운 감각 모달리티를 습득하는 것과 기존의 추서 능력을 보존하는 것 사이의 제로섬(zero-sum) 트레이드오프를 생성합니다.

2. 방법론: Splash 프레임워크

저자들은 추가적인 추론 오버헤드 없이 또는 파괴적 망각 없이 sMLLM에 촉각 감지를 통합하도록 설계된 마스크 격리형 촉각 정렬 프레임워크인 Splash를 제안합니다. 핵심 철학은 모든 촉각 적응을 "휴면(dormant)" 상태의(덜 중요한) 파라미터 하위 공간에 국한시키고 "핵심(critical)" 파라미터는 동결된 상태로 유지하는 것입니다.

2.1 휴면 하위 공간의 위치 파악

Splash는 사전 학습된 모델에서 기능 유지를 위해 필수적인 파라미터는 오직 일부뿐이라는 자연적 희소성(natural sparsity) 가설을 활용합니다.

• 중요도 지표: 시각-언어 데이터(예: CC12M)의 작은 캘리브레이션 세트를 사용하여, LLM의 선형 레이어(linear layers) 내 각 가중치에 대한 시각 상대적 중요도 점수($S_{i,j}$)를 계산합니다. 이 점수는 가중치의 크기와 그에 대응하는 입력 활성화의 $\ell_2$-노름의 곱으로 정의됩니다:
  $$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$$
• 마스크 생성: 희소성 비율($s\%$)을 기반으로 이진 마스크($\mathbf{M}$)가 생성됩니다. 점수가 임계값보다 낮은 파라미터는 "휴면"(학습 가능) 상태로 표시되는 반면, 임계값보다 높은 파라미터는 "핵심"(동결) 상태로 표시됩니다.
• 안정성 제약: 입력 그라운딩과 고차원 의미 표현을 보존하기 위해 첫 번째와 마지막 트랜스포머 블록은 마스킹에서 제외되어 학습 안정성을 보장합니다.

2.2 마스크 격리형 촉각 정렬

두 단계로 이루어진 기존 방식(엔코더를 먼저 정렬한 후 LLM을 미세 조정하는 방식)과 달리, Splash는 통합된 단일 단계 학습(unified, single-stage training) 프로세스를 채택합니다.

• 구조: 모델은 동결된 시각 프런트엔드, 학습 가능한 촉각 프런트엔드(ImageNet으로 초기화된 ViT-Tiny), 그리고 LLM 백본으로 구성됩니다.
• 학습 목표: 모델은 RGB 이미지, 접촉 이미지, 텍스트 프롬프트가 주어졌을 때 촉각 설명을 생성하기 위한 교차 엔트로피 손실(cross-entropy loss)을 최소화합니다.
• 파라미터 업데이트:
  • 핵심 파라미터: 동결됨 ($\nabla \mathcal{L} = 0$). 이들은 사전 학습된 VL 매니폴드를 위한 안정적인 앵커 역할을 합니다.
  • 휴면 파라미터: 마스크를 사용하여 경사 하강법을 통해 업데이트됨 ($\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$).
  • 촉각 프런트엔드: 완전히 학습 가능함.
• 메커니즘: 업데이트를 휴면 하위 공간으로 엄격히 격리함으로써, Splash는 전체 파라미터 매니폴드의 섭동을 방지하며, LoRA와 같이 추론 지연을 유발하는 외부 모듈을 도입하지 않고도 파괴적 망각을 효과적으로 피합니다.

3. 주요 기여

1. Splash 프레임워크: 시각 관련 파괴적 망각을 완화하면서 추가적인 추론 오버헤드 없이 sMLLM에 촉각 감지를 통합하는 새로운 파라미터 격리형 적응 방법입니다.
2. 통합 학습: 촉각 프런트엔드와 휴면 LLM 하위 공간을 동시에 최적화하는 단일 단계 학습 체계를 제공하여, 다단계 정렬 절차의 필요성을 제거했습니다.
3. 성능 보존: 소규모 모델(1B 및 3B)에서 최첨단(SOTA) 촉각 추론 능력을 달면서도 모델의 기존 범용 VL 능력을 보존할 수 있음을 입증했습니다.

4. 실험 결과

저자들은 세 가지 시각-촉각-언어(VTL) 벤치마크(SSVTP, TVL, TacQuad)와 다섯 가지 범용 시각-언어(VL) 벤치마크(MMMU, MathVista, MME, MMBench)에서 Splash를 평가했습니다.

• 촉각 추론 (VTL 벤치마크):

  • Splash-3B (Qwen2.5-VL-3B 기반)는 평균 점수 4.91을 기록하여, 4.31점을 기록한 가장 강력한 베이스라인인 TVL-LLaMA(7B 백본)를 능가했습니다.
  • Splash-1B (InternVL2.5-1B 기반)는 평균 5.01을 달성하여, UniTouch(7B 백본, 3.74)와 TVL-Qwen(4.50)을 넘어섰습니다.
  • Splash는 (IA)3와 같은 다른 방법들이 상당한 성능 저하를 겪었던 분포 변화(예: TacQuad) 상황에서도 우수한 강건성을 보여주었습니다.

• 능력 보존 (VL 벤치마크):

  • Splash-3B는 제로샷 베이스라인 및 다른 적응 모델들과 비교하여 일반 VL 작업에서 성능을 유지하거나 향상시켰습니다. 예를 들어, MMMUval을 50.0(TVL-Qwen)에서 55.3으로, MathVista를 52.8에서 65.3으로 개선했습니다.
  • 반면, VL 능력을 보존하는 (IA)3와 같은 방법들은 촉각 역학을 효과적으로 학습하지 못하는(과소 적합) 경우가 많았고, 풀 파인튜닝(full fine-tuning)이나 LoRA는 종종 VL 성능을 저하시켰습니다.

• 절제 연구 (Ablation Studies):

  • 희소성 비율: 60% 희소성 비율(파라미터의 60%를 동결)이 촉각 학습과 VL 보존 사이의 최적의 트레이드오프를 제공했습니다. 100% 희소성(전체 튜닝)은 파괴적 망각을 일으켰고, 매우 낮은 희소성은 촉각 학습을 제한했습니다.
  • 캘리브레이션 데이터: 이 방법은 캘리브레이션 데이터셋의 선택에 견고함을 입증했으며, 쌍이 맞지 않는 노이즈 데이터로도 잘 작동했습니다. 이는 이 방법이 특정 의미적 정렬에 과적합되는 것이 아니라 구조적 아키텍처의 내재적 중복성을 포착함을 시사합니다.

5. 의의 및 주장

본 논문은 Splash가 자원이 제한된 엣지 로봇을 위한 고차원 촉각 지능으로 가는 실질적인 경로를 제공한다고 주장합니다. 활용되지 않는 "휴면" 가중치를 식별하고 재활성화함으로써, 이 프레임워크는 컴팩트한 모델이 기초적인 추론 능력을 희생하지 않고 복잡한 접촉 역학을 내재화할 수 있도록 합니다.

저자들은 Splash가 **비파괴적 모달리티 확장(non-destructive modality expansion)**을 달성한다고 강조합니다. 전체 파라미터 공간을 섭동시킬 수 있는 가산적 파라미터 효율적 미세 조정(PEFT) 방법들과 달리, Splash의 구조적 격리는 사전 학습된 VL 추론 경로가 근본적으로 건드려지지 않도록 보장합니다. 이를 통해 7B 이상의 대형 모델이 가진 계산적 병목 현상을 극복하고, 실제 로봇 엣지 배포에 적합한 소형 모델(≤3B)에서 정교한 시각-촉각 추론을 구현할 수 있게 합니다.