기술 요약: 포스트 디플로이먼트 물리적 AI를 위한 지속적 필드 적응형 모델 (CFAMs)

1. 문제 정의

본 논문은 미션 크리티컬 물리적 AI(예: 국방, 재난 대응, 심해 탐사)의 핵심적인 격차를 다룹니다. 즉, 배포된 자율 시스템이 파괴적 망각(catastrophic forgetting)을 일으키거나 광범위한 재학습을 요구하지 않고도, 새롭고 약간 벗어난 분포(OOD)의 현장 조건에 적응할 수 없다는 점입니다.

현재의 자율 시스템은 두 가지 패러다임에 의존합니다: 감시(관찰 전용) 또는 일회성 타격(사전 결정된 행동). 이들은 환경과 상호작용하거나 적응하지 못합니다. 이러한 도메인을 위한 적응형 시스템 구축은 세 가지 구체적인 과제에 직면해 있습니다:

1. 데이터 희소성: 미션 크로티컬 환경은 위험하고 제한적이어서, 현대적인 로봇 학습 모델에 필요한 수천 개의 데모 대신 아주 적은 수의 시연만을 제공합니다.
2. 컴퓨팅 제약: 자산(예: 드론, 광산 내 사족보행 로봇)은 데이터 센터와 단절된 채 제한된 전력과 메모리를 가진 엣지 디바이스에서 작동하므로, 중앙 집중식 재학습이나 대규모 모델 증류가 불가능합니다.
3. 필드 참신성(Field Novelty): 배포 시 새로운 물체 배치, 하중, 지형이 도입됩니다. 고정된(frozen) 모델은 이러한 사례에서 성능이 저하되는 반면, 현장에서의 업데이트는 기존에 학습된 기술의 "파괴적 망각"을 초래할 위험이 있습니다.

본 논문은 간헐적 연결성, 에피소드 기반 감독, 엄격한 실시간 제어 주기 제약의 특징을 갖는 **필드 학습 레짐(Field Learning Regime)**을 정의합니다. 이 레짐을 위한 아키텍처는 네 가지 요구사항을 충족해야 합니다:

• R1 (효율적 학습): 소수의 시연(few-shot demonstrations)으로부터 역량을 구축한다.
• R2 (유형화된 성장): 익숙한 실수를 교정하는 것과 새로운 유사 사례(within-family instances)로 확장하는 것을 구분한다.
• R3 (유계된 응집): 간섭을 방지하기 위해 고정된 메모리 풋프린트 내에서 중복된 역량을 병합한다.
• R4 (필드 실행 가능한 성장): 새로운 지식을 제어 주기 내에서, 그래디언트 없이, 온디바이스(on-device)로, 원샷(one shot) 방식으로 작성한다.

2. 방법론: CFAM 아키텍처

저자들은 **상보적 학습 시스템(Complementary Learning Systems, CLS)**에 기반한 뇌 모사 아키텍처인 **지속적 필드 적응형 모델(CFAM)**을 제안합니다. 이 시스템은 학습을 느린 학습(slow-learning) 구성 요소(배포 후 고정됨)와 빠른 학습(fast-learning) 구성 요소(현장에서 지속적으로 업데이트됨)로 분리합니다.

2.1 핵심 구성 요소

아키텍처는 네 가지 기능적 조각으로 구성됩니다:

1. 센서 피질 (Sensor Cortex, 느린 학습):

   • 기능: 멀티모달 입력(시각, LiDAR, 촉각)을 안정적인 3D 지면 기하 구조로 들어 올립니다(lift).
   • 구현: 뇌 모사형 준지도 학습 인코더인 **ScatterNet Hybrid Deep Learning (SHDL)**을 사용합니다. 이는 판별적 임베딩($z$)과 센서 이벤트 신호를 출력하여, 장면을 3D 표현(포인트 클라우드)으로 들어 올려 작업 관련 앵커(물체 중심점, 파지점)를 추출합니다.
   • 제약: 실험실 이후 고정되며, 인식을 위한 안정적인 기질을 제공합니다.

2. 추론 피질 (Reasoning Cortex, 느린 학습):

   • 기능: 고수준 작업을 일련의 기술로 분해하고 결과를 판단합니다.
   • 구현: 배포 후 고정되는 커스텀 비전-언어 모델(VLM)을 사용합니다. 이는 캡슐 시퀀서(기술 계획 검색) 및 결과 오라클(의미론적 작업 진행 검증) 역할을 수행합니다.
   • 제약: 읽기 전용이며, 현장에서 학습하지 않습니다.

3. 액션 피질 (Action Cortex, 느린 학습):

   • 기능: 저장된 캡슐을 검색하고 이를 현재 3D 장면에 워핑(warping)하여 기술을 실행합니다.
   • 구현: **기하학적 잔차 변환(Geometric Residual Transform, GRT)**을 사용합니다. 프레임 단위로 액션을 디코딩하는 대신, 저장된 "시드 궤적(seed trajectory)"을 검색하고 이를 현재 장면 앵커(예: 물체 위치)에 맞게 기하학적으로 워핑합니다.
   • 효율성: 액션 디코딩 호출 횟수를 제어 단계 $T$에서 기술 단계 $M$($M \ll T$)으로 줄입니다.

4. 캡슐 필드 (Capsule Field, 빠른 학습 메모리):

   • 기능: 현장에서 습득한 새로운 역량을 저장하는 시스템의 "해마" 역할을 합니다.
   • 단위: 역량 캡슐(Competence Capsule, CC). 다음을 포함하는 압축된 기록입니다:
     • 상황 키 ($h_i$): 검색을 위한 이진 코드.
     • 인식 교정 ($\Delta z_i$): 센서 임베딩을 이동시킴.
     • 액션 교정 ($\Delta a_i$): 기본 정책 출력에 더해지는 잔차.
     • 액션 앵커 ($a^*_i$): 시드 궤적 및 3D 앵커.
     • 레짐 태그 ($\psi_i$): CORR(익숙한 오류의 교정)과 EXT(새로운 유사 사례로의 확장)를 구분함.
   • 제약: 모든 캡슐은 엣지 디바이스의 고정된 메모리 예산 내에 존재합니다.

2.2 학습 메커니즘: CFUR

**지속적 필드 업데이트 규칙(CFUR)**은 그래디언트 없이 현장에서 시스템이 학습하는 방식을 규정합니다:

• 트리거: 기본 정책의 신뢰도가 떨어지고, 검색 거리가 저장된 기술 지원 영역의 "가장자리(edge)"에 있음을 나타내며, 실행이 센서 기반 단계 목적 함수($\Phi_{succ}$)에 의해 성공으로 검증되었을 때만 새로운 캡슐이 작성됩니다.
• 프로세스:
  1. 포착(Capture): 시스템이 검증된 근사 OOD 성공 사례(예: 더 무거운 하중이나 가려진 물체에 대한 파지)를 식별합니다.
  2. 작성(Write): 새로운 역량 캡슐이 하나의 순방향 패스와 하나의 메모리 삽입을 통해 생성됩니다. 그래디언트는 계산되지 않으며, 고정된 베이스 모델은 건드리지 않습니다.
  3. 응집(Consolidation): 중복된 캡슐은 병합되고, 사용되지 않는 캡슐은 유지 메커니즘(persistence mechanism)에 의해 소멸되어 고정된 메모리 풋프린트를 유지합니다.
• 성장(Growth): 라이브러리는 기존 기술 엔벨로프의 가장자리에 새로운 캡슐을 추가함으로써 확장되며, 이를 통해 베이스 모델을 재학습하지 않고도 새로운 변형에 일반화할 수 있습니다.

3. 주요 기여

1. 아키텍처 (CFAM): 물리적 AI를 위한 엔드 투 엔드 필드 적응형 모델 클래스입니다. 이는 추론 단위의 전환(GRT를 통한 per-skill 캡슐 방출)과 학습 단위의 전환(그래디언트 없는 원샷 캡슐 작성)을 도입합니다.
2. 데이터셋: 5가지 물리적 플랫폼(매니퓰레이터, 사족보행 로봇, 휴머노이드, 쿼드로터, 오프로드 차량)에 걸쳐 260만 개 이상의 궤적을 포함하는 자체 제작 멀티 임보디먼트 데이터셋(Skylark)을 제공합니다. 모든 베이스라인은 공정한 비교를 위해 이 동일한 데이터셋에서 훈련되었습니다.
3. 효율적인 랩 학습: CFAM은 데이터의 100%를 사용하여 훈련된 표준 정책($\pi_0$, CogACT, SpatialVLA 등)의 운용 지점에 도달하는 데 단 **40%**의 데이터(2.5배 적은 궤적)만을 사용합니다.
4. 자율적 포스트 디플로이먼트 성장: CFAM은 검증된 성공 사례를 자율적으로 포착하여, 변형 스트림($D_{var}$)에서 액션 성공률을 13.9 퍼센트 포인트(74.0%에서 87.9%로) 증가시킵니다. 반면 적응형 베이스라인(LoRA, MemoryVLA)은 개선되지 않거나 성능이 저하됩니다.
5. 유지(Retention): 순차적 시뮬레이션에서 CFAM은 이전 역량을 유지하며, LoRA가 -11.4 pp의 성능 저하를 보이는 것과 대조적으로 -0.5 pp의 역방향 전이(backward transfer)를 보여줍니다. 이는 거의 제로에 가까운 파괴적 망골을 입증합니다.

4. 실험 결과

본 논문은 합성 벤치마크(SimplerEnv, LIBERO)와 5가지 실제 로봇 플랫폼을 통해 CFAM을 검증합니다.

• 빌드 단계 (Stage A & B):

  • CFAM은 동일한 데이터로 훈련된 표준 정책($\pi_0$, CogACT, SpatialVLA)보다 우수한 성능을 보입니다.
  • 홀드아웃 테스트 세트($D_{test}$)에서 CFAM은 가장 잘 매칭된 데이터 베이스라인보다 +9.7 pp 앞섭니다.
  • 원샷 빌드(태스크당 하나의 데모)는 5가지 모든 임보디먼트에 걸쳐 일반화됩니다.

• 성장 단계 (Stage C):

  • 변형 스트림($D_{var}$)에서 CFAM은 검증된 성공 사례를 자율적으로 포착합니다.
  • 결과: 액션 성공률이 **74.0%에서 87.9%**로 상승합니다 (+13.9 pp).
  • 베이스라인: 그래디언트 기반(LoRA) 및 메모리 증강(MemoryVLA, CronusVLA) 베이스라인은 동일한 노출 환경에서도 개선이나 성능 저하를 보입니다.

• 유지 단계 (Stage D):

  • 5개 환경의 순차적 시뮬레이션 스위트에서 CFAM은 이전 태스크에 대한 성능을 유지합니다.
  • 망각: 이전 태스크 중 5% 이상의 성공률을 잃은 경우는 **2.1%**에 불년에 불과합니다.
  • 비교: LoRA는 **34.7%**의 파괴적 망각을 겪습니다.

• 어블레이션(Ablation) 연구:

  • 캡슐 필드 컨트롤러를 제거하면 8.3 pp의 손실이 발생합니다.
  • 응집(consolidation)을 제거하면 3.0 pp의 손실이 발생합니다.
  • 교정(CORR)과 확장(EXT) 레짐의 결합은 개별 기여의 합을 넘어서는 시너지 효과를 냅니다.

5. 의의 및 주장

본 논문은 CFAM이 제한된 형태의 포스트 디플로이먼트 물리적 지능을 제공한다고 주장합니다. 이는 다음을 입증합니다:

1. 재학습 없이 지속적 학습 가능: 시스템은 별도의 빠른 학습 메모리에 기록함으로써, 느린 학습 기질(즉, "뇌")을 고정된 상태로 유지하면서 현장에서 자율적으로 역량을 키울 수 있습니다.
2. 데이터 효율성 달성 가능: 캡슐 아키텍처를 활용함으로써 훨씬 적은 데이터(40%)로 고성능 정책을 구축할 수 있습니다.
3. 설계에 의한 망각 완화: 학습을 서로 간섭하지 않는 별개의 서브시스템(느린 학습 vs 빠른 학습)으로 분리함으로써, 그래디언트 기반 미세 조정에서 발생하는 파괴적 망각을 피할 수 있습니다.
4. 필드에서의 자율성 가능: 시스템은 운영자의 라벨이나 인간의 개입 없이도, 새로운 사례가 기존 기술 패밀리의 범위 내에 있다면 자신의 실행 신호로부터 새로운 기술을 식별, 검증 및 저장할 수 있습니다.

저자가 인정한 한계점:

• 시스템은 근사 OOD(near-OOD) 사례(알려진 기술의 변형)는 처리하지만, 오픈 월드 참신성(open-world novelty)(완전히 새로운 태스크나 물체)은 처리하지 못합니다.
• 시스템은 고정된 베이스 모델이 "충분히 좋은" 시작점을 제공할 수 있다는 점에 의존하며, 베이스 모델의 근본적인 지각이나 구동 능력의 결량은 수리할 수 없습니다.
• 유지(retention) 결과는 현재 시뮬레이션에서 검증되었습니다. 장기적 성장에 따른 실제 플랫폼에서의 유지 능력은 아직 테스트되지 않았습니다.
• 시스템은 '빌드' 단계에서 인간의 데모를 필요로 합니다. 즉, 현장에서 아무것도 없는 상태에서 처음부터 배우는 것은 아닙니다.

요약하자면, CFAM은 물리적 AI의 안정성-가소성 딜레마(stability-plasticity dilemma)에 대한 구조적 솔루션을 제공하며, 위험하고 데이터가 희소한 환경에서 기계가 이미 배운 것을 보존하면서도 "계속 성장"할 수 있게 합니다.