Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?

다음은 논문 **"Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?"**에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 딥 강화학습 (RL) 을 사용하여 로봇의 고차원 연속 제어에서 발생하는 샘플 효율성 및 최적화 안정성의 과제를 다룹니다.

• 국소적 대 글로벌적 트레이드오프: 표준 경사 기반 방법들 (예: TD3, SAC) 은 고차원 매개변수 공간에서 국소적 업데이트를 수행합니다. 확장성은 뛰어나지만, 비볼록 (non-convex) 한 지형으로 인해 종종 최적하지 않은 지역에 갇히거나 수렴이 느려지는 경향이 있습니다. 반면, 전역 탐색 방법들 (예: 진화 전략, 집단 기반 학습) 은 더 넓은 영역을 탐색하지만, '차원의 저주'로 인해 막대한 롤아웃 비용 (환경 상호작용) 이 발생합니다.
• 대리 모델의 한계: 베이지안 최적화 (BO) 는 대리 모델을 사용하여 롤아웃 비용을 줄이려 시도합니다. 그러나 고전적인 BO 는 데이터의 희소성으로 인해 고차원 공간 (수만에서 수십만 개의 매개변수) 에서 실패합니다. 또한, RL 의 정책 지형은 학습 중에 비정상적 (non-stationary) 으로 진화하므로, 고정된 영역을 가정하는 전통적인 BO 의 가정을 위반합니다.
• 격차: 거대한 상호작용 예산 없이도 고차원이고 진화하는 RL 정책에 필요한 적응성과 대리 모델 기반 탐색의 샘플 효율성을 결합할 수 있는 방법이 필요합니다.

2. 방법론: TFM-S3

저자들은 표준 경사 기반 국소 업데이트와 주기적인 대리 모델 기반 전역 탐색 라운드를 번갈아 수행하는 하이브리드 프레임워크인 TFM-S3(Tabular Foundation Model–guided Subspace Search) 를 제안합니다.

A. 동적 저차원 부분공간 구성

TFM-S3 는 전체 고차원 매개변수 공간 ($\mathbb{R}^D$) 을 탐색하는 대신, 동적으로 업데이트되는 저차원 부분공간 ($\mathbb{R}^r$) 으로 전역 탐색을 제한합니다.

• 경사 정보 기반 기저: 각 탐색 라운드 $t$에서, 이 방법은 가장 최근의 $Q$개 정책 경사 스냅샷 ($G^{(t)}$) 을 수집합니다.
• SVD 분해: $G^{(t)}$에 대해 잘라낸 특이값 분해 (SVD) 를 수행하여 상위 $r$개의 왼쪽 특이벡터 ($U_r$) 를 추출합니다. 이러한 벡터들은 최근 학습 동안 관찰된 지배적인 업데이트 방향을 포착하는 정규 직교 기저 $A^{(t)}$를 형성합니다.
• 적응성: 부분공간은 학습이 진행됨에 따라 진화하여, 정적 무작위 투영에 의존하는 대신 변화하는 정책 지형에 탐색 기하구조가 적응하도록 보장합니다.

B. 대리 모델 기반 전역 탐색

저차원 부분공간 내에서 TFM-S3 는 최소한의 롤아웃으로 고성능 정책 후보를 찾기 위한 반복적 탐색을 수행합니다.

1. 컨텍스트 초기화: 부분공간 내에서 소수의 후보 정책들을 샘플링하여 실제 환경 롤아웃을 통해 평가하고 컨텍스트 세트($C$) 를 형성합니다.
2. 테이블 기반 파운데이션 모델 (TFM): 사전 훈련된 테이블 기반 파운데이션 모델 (구체적으로 TabPFN-v2) 을 대리 모델로 사용합니다. 전통적인 가우시안 프로세스와 달리, TFMs 는 다양한 회귀 작업에 사전 훈련되어 강력한 유도 편향을 제공하며 매우 작은 샘플 크기 (예: $K=16$) 에서도 강력한 일반화 능력을 보입니다.
3. 반복적 정제 루프:
   • TFM 은 현재 최선 후보 주변에서 샘플링된 새로운 후보들의 대량 풀 ($N=256$) 에 대한 반환값을 예측합니다.
   • 예측된 반환값이 가장 높은 후보가 선택됩니다.
   • 오직 이 단일 최선 후보만 실제 롤아웃을 통해 평가됩니다.
   • 그 결과는 컨텍스트 세트에 추가되어 다음 라운드의 TFM 조건을 업데이트합니다.
   • 이 루프는 각 탐색 라운드당 $T$회 (예: 16 회) 반복됩니다.
4. 정책 업데이트: 탐색 라운드 동안 발견된 최선 후보는 원래 고차원 공간으로 투영되어 다음 국소 경사 기반 학습 단계를 초기화하는 데 사용됩니다.

3. 주요 기여

1. 동적 부분공간 탐색: 저자들은 진화하는 최적화 궤적에 적응하는 저차원 정책 부분공간을 구축하기 위해 경사 정보 기반 SVD 절차를 도입하여, RL 고유의 비정상성 문제를 해결합니다.
2. 파운데이션 모델 대리 모델: 사전 훈련된 테이블 기반 파운데이션 모델이 RL 에서 반환값 예측을 위한 효과적이고 튜닝이 필요 없는 대리 모델로 기능할 수 있음을 입증하여, 극히 제한된 데이터 (소규모 샘플 일반화) 로도 후보를 신뢰성 있게 선별할 수 있게 합니다.
3. 샘플 효율적 하이브리드 프레임워크: TFM-S3 는 경사 기반 RL 과 전역 탐색을 성공적으로 연결하여, 동일한 롤아웃 예산 하에서 베이스라인보다 빠른 수렴과 더 나은 최종 성능을 달성합니다.

4. 실험 결과

이 방법은 TD3를 백본으로 사용하여 세 가지 MuJoCo 연속 제어 벤치마크인 HalfCheetah-v5, Ant-v5, Humanoid-v5에서 평가되었습니다.

• 성능: TFM-S3 는 순수 TD3, 동일한 부분공간 내 무작위 탐색, 그리고 반복적 정제가 없는 '원샷 (One-Shot)' 변형에 비해 일관되게 초기 단계 수렴을 가속화하고 더 높은 최종 반환값을 달성했습니다.
• 효율성: 100 만 환경 단계의 고정 예산 하에서, TFM-S3 는 목표 성능 임계값에 훨씬 빠르게 도달했습니다 (예: Humanoid 의 경우 최종 성능의 90% 에 도달하는 데 약 38% 의 단계만 소요된 반면, 순수 TD3 는 48% 가 소요됨).
• 안정성: 이 방법은 무작위 시드 간의 변동성을 줄여 더 안정적인 정책 업데이트를 나타냈습니다.
• 내부 역학:
  • 순위 일관성: TFM 은 초기 워밍업 단계 이후 예측된 반환값과 실제 반환값 간의 높은 스피어만 순위 상관관계 (최대 0.97) 를 보였습니다.
  • 선택 품질: TFM 이 선택한 상위 1 위 후보는 무작위 선택의 20% 에 비해 실제 반환값 상위 20% 내에 63.5% 의 빈도로 포함되었습니다.
  • 반복적 이점: '원샷' 변형은 전체 반복 버전보다 성능이 저하되어, 새로운 실제 데이터로 대리 모델을 업데이트하는 순차적 정제가 성공에 필수적임을 입증했습니다.

5. 의의

• RL 을 위한 새로운 패러다임: 이 연구는 테이블 기반 파운데이션 모델을 정적 테이블 데이터의 전통적 용도를 넘어 동적이고 고차원인 제어 문제로 확장하여 로봇 정책 학습을 위한 강력한 도구로 확립합니다.
• 격차 해소: 차원 축소 (SVD) 와 데이터 효율적 사전 지식 (TFM) 을 결합함으로써 집단 기반 방법의 막대한 계산 비용 없이 전역 탐색을 가능하게 하여, 로봇 공학의 '샘플 효율성' 병목 현상에 대한 실용적인 해결책을 제시합니다.
• 모듈성: 이 프레임워크는 하부 RL 알고리즘 (TD3 로 시연되었으나 SAC, PPO 등에 적용 가능) 에 직교하므로, 기존 정책 최적화 파이프라인을 위한 다목적 향상 도구로 활용 가능합니다.

결론적으로, TFM-S3 는 동적으로 재구성된 저차원 매니폴드 내에서 사전 훈련된 파운데이션 모델을 활용함으로써 로봇 정책 학습의 샘플 효율성과 견고성을 획기적으로 개선할 수 있음을 보여줍니다.