기술 요약: 대규모 언어 모델을 통한 강화 학습 인터페이스 발견

문제 정의

강화 학습 (RL) 시스템은 에이전트가 경험하는 마르코프 결정 과정 (MDP) 을 정의하기 위해 환경 인터페이스, 구체적으로 관측 매핑 ($\phi$) 과 보상 함수 ($R$) 에 의존합니다. 최근의 발전들은 대규모 언어 모델 (LLM) 을 활용하여 보상 설계를 자동화해 왔으나, 이러한 접근법들은 일반적으로 고정되고 사전 조정된 관측 공간을 전제로 합니다. 많은 시나리오에서 원시 시뮬레이터 상태는 학습을 방해하는 구조가 잘 잡히지 않은 정보를 포함하고 있으며, 관측과 보상 모두에 대한 수동 엔지니어링은 여전히 중요한 병목 현상으로 남아 있습니다.

본 논문은 원시 시뮬레이터 상태로부터의 RL 인터페이스 발견 문제를 다룹니다. 목표는 궤적 수준의 성공 지표 $F$를 최대화하기 위해 관측 매핑 $\phi: S \to O$와 보상 함수 $R: S \times A \times S \to \mathbb{R}$을 공동으로 생성하는 것입니다. 저자들은 이를 이계 최적화 (bilevel optimization) 문제로 형식화했는데, 외부는 최적 인터페이스 $(\phi, R)$를 탐색하고 내부는 유도된 MDP $M_I = (O, A, T_\phi, R)$에서 RL 에이전트 $\pi$를 훈련시켜 성능을 평가합니다. 탐색 공간은 시뮬레이터 상태 변수를 직접 조작하는 실행 가능한 프로그램들로 구성됩니다.

방법론: LIMEN

저자들은 효과적인 인터페이스를 발견하도록 설계된 LLM 기반 진화 프레임워크인 LIMEN(MDP-guided EvolutioN 을 통한 인터페이스 학습) 을 제안합니다.

핵심 구성 요소

1. 실행 가능한 프로그램 표현: 관측 매핑과 보상 함수 모두 JAX 호환 수치 연산을 사용하는 Python 프로그램으로 표현됩니다. 이는 고정된 공간 내의 임베딩 학습을 넘어 에이전트의 입력 공간과 보상 신호의 차원, 구조, 의미론을 변경할 수 있게 합니다.
2. LLM 기반 진화: 이 프레임워크는 LLM 을 구조화된 변이 연산자로 취급합니다. 작업 설명에서 시작하여 시스템은 후보 인터페이스를 생성합니다. 후속 반복에서 LLM 은 작업 설명, 아카이브에서 선택된 부모 인터페이스, 그리고 최상위 성능 후보와 실패한 후보 (오류 추적 포함) 로부터의 피드백을 포함하는 프롬프트를 받습니다. 이 피드백 루프는 LLM 이 부정적인 코드 패턴에서 벗어나도록 유도합니다.
3. 품질 - 다양성 탐색 (MAP-Elites): 탐색이 단일 전략으로 수렴하는 것을 방지하기 위해 LIMEN 은 MAP-Elites 아카이브를 사용합니다. 아카이브는 두 가지 행동 기술자로 구조화됩니다:
   • 관측 차원성: 균일한 범위로 구간화 (예: 1–50, 51–100 개 특징).
   • 보상 구조적 복잡성: 추상 구문 트리 (AST) 노드 수로 측정.
     이는 구조적으로 다양한 솔루션 (예: 단순한 보상과 함께 컴팩트한 관측 vs. 정교한 형상화와 함께 복잡한 관측) 의 유지를 보장합니다.
4. 평가 캐스케이드: 계산 비용을 관리하기 위해 후보들은 "단축 예산" 캐스케이드 필터를 거칩니다. 인터페이스는 전체 다중 시드 평가로 진행되기 전에 단축된 훈련 실행에서 최소 성공 임계값을 초과해야 합니다. 적합도 (Fitness) 는 평가 시드 전반의 평균 성공률로 정의됩니다.

실험 설정

저자들은 LIMEN 을 이산적 추론과 연속적 제어를 아우르는 다섯 가지 새로운 작업에 대해 평가했습니다:

• XLand-MiniGrid (이산): 구성 복잡성이 증가하는 세 가지 작업 (쉬움: 물체 줍기; 중간: 관계적 배치; 어려움: 다단계 규칙 체인). 기본 관측은 평면화된 자기 중심 그리드입니다.
• MuJoCo Robotics (연속): 두 가지 작업 (Go1 Push Recovery: 힘 하에서의 4 족 보행자 균형; Panda Tracking: 매니퓰레이터 궤적 추종). 이러한 작업은 희소 보상과 고차원 제어를 특징으로 합니다.

실험은 공동 발견(LIMEN) 을 세 가지 베이스라인과 비교했습니다:

• Sparse: 이진 성공 보상을 가진 원시 관측.
• Obs-Only: 고정된 보상과 함께 진화하는 관측.
• Reward-Only: 고정된 원시 관측과 함께 진화하는 보상 (Eureka 와 같은 방법 구현).

주요 결과

1. 공동 최적화의 우위성: LIMEN 은 모든 베이스라인을 일관되게 능가했습니다. 모든 작업에서 높은 성공률을 달성했습니다 (쉬움/중간 99%, 어려움 85%, Panda 45%, Go1 48%).
2. 단일 구성 요소 최적화의 치명적 실패:
   • Reward-Only는 구성적 그리드월드 작업에서 실패했습니다 (중간 19%, 어려움 1%), 이는 이러한 도메인에서 잘 구조화된 보상조차도 구조화되지 않은 관측을 보상할 수 없음을 나타냅니다.
   • Observation-Only는 Panda 추적 작업에서 완전히 실패했습니다 (0% 성공), 이는 보상 신호가 학습을 유도하기에 너무 희소할 때 원시 관측만으로는 불충분함을 보여줍니다.
   • 이는 서로 다른 도메인이 근본적으로 다른 이유로 실패하며, 공동 설계가 필요함을 확인시켜 줍니다.
3. 진화적 피드백의 필요성: 독립적인 LLM 샘플링 베이스라인 (진화적 선택 없이 30 개의 무작위 샘플) 은 LIMEN 보다 훨씬 낮은 성능을 보였습니다 (예: 중간에서 2.1% 대 97%). 이는 인터페이스 설계에 대한 LLM 의 사전 지향만으로는 부족하며, 조합 공간을 탐색하기 위해 반복적인 평가 및 정제 루프가 필수적임을 시사합니다.
4. 강건성: 진화된 인터페이스는 분포 변화 (예: 증가된 밀어내기 힘 또는 추적 속도) 하에서 작업 관련 구조를 유지하며 붕괴 대신 점진적으로 저하되어, 일반화 가능한 구조적 패턴의 발견을 시사합니다.

발견된 인터페이스 분석

진화된 프로그램에 대한 분석은 수동 RL 엔지니어링 전략과 유사한 일관되고 해석 가능한 패턴을 드러냈습니다:

• 관측: 정규화된 거리, 방향 지시자 등 상대적 기하학적 특징의 빈번한 구성, 다중 스케일 인코딩, 명시적 작업 단계 지시자.
• 보상: 잠재 기반 형상화, 단계 전환을 위한 마일스톤 보너스, 그리고 매끄러움 패널티의 통합.
• 구조적 발견: Go1 작업에서 진화는 보상 함수의 구조적 변화 (위치 보상에 대한 "수직성 게이트" 제거) 를 발견했는데, 이는 학습 역학을 크게 개선하여 시스템이 보상의 매개변수뿐만 아니라 구조 자체를 수정할 수 있음을 보여주었습니다.

중요성과 주장

본 논문은 원시 상태로부터 RL 인터페이스의 자동 구축이 수동 엔지니어링 노력을 크게 줄일 수 있다고 주장합니다. 주요 기여는 관측과 보상 구성 요소가 종종 공동 설계의 혜택을 받는다는 점의 입증이며, 이를 분리하여 최적화하면 평가 스위트 내의 적어도 하나의 도메인에서 치명적인 실패로 이어진다는 것입니다.

저자들은 LIMEN 을 RL 문제의 "유도적 편향"을 자동화하는 한 걸음으로 위치시킵니다. 유도된 MDP 자체를 정의하는 실행 가능한 프로그램을 탐색함으로써, 이 방법은 학습된 신경 임베딩 대신 해석 가능하고 전이 가능한 코드 산출물을 생성합니다. 이 연구는 현재 방법들이 보상 설계에 초점을 맞추고 있지만, 관측 인터페이스는 동등하게 중요하며 종종 복잡하고 구성적인 작업에서 제한 요인이 된다는 점을 강조합니다.

한계점: 저자들은 이 접근법이 구조화된 시뮬레이터 상태 변수 (특권 정보) 와 신뢰할 수 있는 궤적 수준 성공 지표에 대한 접근에 의존한다고 인정합니다. 또한, 계산 비용은 RL 훈련 요구 사항에 따라 확장되므로 여전히 병목 현상이지만, 현재 실험에서는 JAX 기반 병렬 처리가 이를 완화합니다. 향후 연구는 더 대규모의 환경과 비전 기반 관측을 위해 제안됩니다.