기술 요약: 비지도 계층적 기술 발견 (HiSD)

문제 정의

본 논문은 강화학습 (RL) 에서의 비지도 기술 분할 및 계층적 구조 발견이라는 과제를 다룹니다. 인간의 계획은 원시 행동이 아닌 목표와 하위 작업의 관점에서 추론하는 계층적으로 작동하지만, 현재 RL 에이전트들은 고차원 환경 (예: 마인크래프트) 에서 이러한 구조를 효율적으로 학습하는 데 어려움을 겪고 있습니다.

기존의 기술 발견 접근법은 일반적으로 다음과 같은 강력한 감독에 의존합니다:

• 행동 레이블: 에이전트가 취한 특정 행동에 대한 접근이 필요합니다.
• 보상 신호: 기술 경계를 정의하기 위해 밀집되거나 희소한 보상 구조에 의존합니다.
• 수동 주석: 작업 분해 (예: 계층적 작업 네트워크) 를 정의하기 위해 인간의 전문성이 요구됩니다.

이러한 의존성들은 행동, 보상, 또는 정답 분할 정보가 없는 풍부한 레이블 없는 비디오 데이터를 다룰 때 특히 확장성을 제한합니다. 또한, 많은 기존 방법들은 복잡한 장기 과제에 필요한 깊고 구성적인 계층 구조보다는 "평탄한" 분할을 생성합니다.

방법론: 계층적 기술 발견 (HiSD)

저자들은 HiSD를 제안합니다. 이는 관찰 데이터 (원시 픽셀 또는 특징 시퀀스) 에서만 재사용 가능한 다수 수준의 기술 계층을 추출하는 완전 비지도 프레임워크입니다. 이 방법은 구조 발견과 정책 실행을 분리하며 두 가지 명확한 단계로 작동합니다:

1. 비지도 기술 식별 (분할)

첫 번째 단계는 연속적인 관찰 궤적을 잠재적 기술의 이산 시퀀스로 변환합니다.

• 입력: 레이블 없는 관찰 궤적 $T = (X_1, \dots, X_n)$. 여기서 $X$는 특징 벡터 (예: PCA 축소 픽셀 또는 CLIP 임베딩) 를 나타냅니다.
• 알고리즘: 프레임워크는 ASOT(Unbalanced Optimal Transport) 접근법을 통한 **Temporal Action Segmentation (TAS)**을 활용합니다.
• 메커니즘: ASOT은 분할을 최적 수송 문제로 공식화합니다. 이는 다음을 균형 있게 조정하는 정규화된 목적 함수를 최소화합니다:
  • 시각 매칭 비용: 관찰 특징과 잠재적 기술 프로토타입 간의 비유사성.
  • 시간적 규칙성: 시간적 반경 내에서 빠른 레이블 전환을 패널티로 부과하여 국소적 매끄러움을 보장하는 Gromov-Wasserstein (GW) 구성 요소를 통해 강제됩니다.
  • 주변 패널티: 일부 기술이 드문 경우를 처리할 수 있도록 허용하는 KL-발산 항.
• 출력: 원시 행동 단위를 나타내는 이산 기술 인덱스 시퀀스 $z_{1:n}$.

2. 심볼릭 추상화 및 문법 유도 (구조 발견)

두 번째 단계는 이산 기술 시퀀스 위에 계층적 구조를 유도합니다.

• 코퍼스 구성: 동일한 기술 레이블을 공유하는 연속된 프레임은 단일 원시 심볼로 축소됩니다. 모든 에피소드 시퀀스는 고유한 경계 토큰 $\phi$로 구분되어 통합된 코퍼스로 연결됩니다.
• 알고리즘: 수정된 Sequitur 알고리즘이 코퍼스에 적용됩니다. Sequitur은 반복되는 패턴을 식별하여 계층적 구조를 추론하는 선형 시간 문법 유도 알고리즘입니다.
• 제약 조건:
  • 이항 고유성: 인접한 심볼 쌍이 한 번 이상 나타나지 않습니다. 반복은 새로운 비단말 규칙으로 대체됩니다.
  • 규칙 유용성: 규칙은 최소 두 번 사용되어야 유지됩니다.
  • 경계 보호: 생성 규칙에 경계 토큰 $\phi$가 나타나지 않도록 하여, 학습된 서브루틴이 한 에피소드의 끝과 다른 에피소드의 시작을 병합하는 것이 아니라 에피소드 내 행동을 포착하도록 보장합니다.
• 출력: 단말 노드가 원시 기술이고 내부 노드가 발견된 서브루틴 (예: "나무 수집" + "작업대 제작") 을 나타내는 문맥 자유 문법 (CFG) $G$.

주요 기여

1. 비지도 프레임워크: 행동 레이블, 보상, 또는 수동 주석 없이 다수 수준의 계층을 발견하기 위해 시간적 행동 분할과 문법 유도를 통합한 HiSD 의 도입.
2. 관찰 전용 파이프라인: 레이블 없는 시연에 적합한 방법으로, 구조 발견과 정책 실행을 분리하여 대규모 비디오 데이터로의 확장성을 가능하게 함.
3. 실증적 검증: CompILE, OMPN 과 같은 베이스라인 대비 복잡한 도메인에서 우수한 분할 품질과 추상화 깊이를 입증.
4. 하류 유틸리티: 소수의 행동 레이블이 있는 시연만으로도 정책 정박을 위해 발견된 계층이 하류 RL 작업에서 학습을 가속화하고 안정화한다는 개념 증명.

실험 결과

저자들은 HiSD 를 두 가지 도메인에서 평가했습니다: Craftax(완전 관찰 가능, 결정론적 2D 환경) 와 Minecraft(부분 관찰 가능, 확률적, 고차원 환경).

베이스라인

비교는 CompILE과 OMPN에 대해 수행되었으며, 이들은 최적의 조건에서 작동하도록 정답 하위 작업 순서와 행동 레이블을 제공받았습니다. HiSD 는 최대 기술 수 $K$를 사전 지식으로만 요구했습니다.

기술 분할 성능

• 지표: Mean-over-Frames (MoF), F1 점수, 평균 Intersection-over-Union (mIoU).
• 결과: HiSD 는 특히 복잡성, 확률성, 그리고 더 긴 지평을 가진 작업에서 베이스라인보다 일관되게 우수한 성능을 보였습니다.
  • Craftax에서 HiSD 는 더 높은 mIoU 점수를 달성하여, 서로 다른 각도에서 나무에 접근하는 것과 같이 지각적으로 구별되지만 의미적으로 동등한 행동을 단일 기술 클러스터로 올바르게 그룹화했습니다.
  • Minecraft에서 지각적 별칭 (예: 1 인칭 시점에서 나무나 돌을 향해 걷는 것이 동일하게 보임) 이 있음에도 불구하고, HiSD 의 시간적 일관성 사전 지식은 베이스라인이 실패한 곳에서 일관된 분할을 가능하게 했습니다.

계층 품질

• 지표: 고유 트리 (일관성), 평균 깊이, 트리 크기, 분기 계수.
• 결과:
  • HiSD 는 OMPN 에 비해 에피소드 간 더 일관된 분해를 생성했습니다 (더 적은 고유 트리). OMPN 은 종종 모든 에피소드에 대해 고유한 계층을 생성했습니다.
  • HiSD 계층은 일반적으로 더 작고 해석 가능하며, 더 낮은 분기 계수를 가지며, 이는 중간 서브루틴의 더 나은 식별을 나타냅니다.
  • 노이즈가 많은 "All" Minecraft 작업에서는 환경의 확률성으로 인해 HiSD 가 일관된 단일 구조를 찾는 데 어려움을 겪었지만, "Mapped"(의미론적으로 그룹화된) 작업에서는 훨씬 더 잘 수행되었습니다.

하류 RL 배포

저자들은 발견된 기술을 옵션으로 사용하여 **Maskable Proximal Policy Optimization (PPO)**으로 고수준 에이전트를 훈련시킴으로써 발견된 계층의 유틸리티를 입증했습니다.

• 효율성: HiSD 계층을 사용하는 에이전트는 원시 행동 PPO(실패) 및 평탄한 기술 에이전트에 비해 근사 최적 보상에 훨씬 빠르게 도달했습니다 (예: Craftax 에서 약 3 만 단계 이내).
• 데이터 효율성: 초기 기술 발견이 완전히 비지도였음에도 불구하고, 계층적 에이전트는 정책 정박을 위해 최소 250 개의 행동 레이블이 있는 시연으로 높은 성능을 달성했습니다.

중요성 및 주장

이 논문은 HiSD 가 풍부한 레이블 없는 데이터에서 학습할 수 있는 범용 에이전트로 나아가는 확장 가능한 경로를 제공한다고 주장합니다. 최첨단 시간적 행동 분할과 문법 기반 압축을 연결함으로써, 이 방법은 원시 관찰 궤적에서 직접 다수 수준의 계층을 유도합니다.

저자들은 다음과 같은 점을 강조합니다:

• 구조는 행동 감독 없이도 시간적 일관성과 시각적 유사성에서 순수하게 복원될 수 있습니다.
• 결과적으로 생성된 계층은 의미론적으로 의미 있고 재사용 가능하여, 하류 RL 에서의 시간적 신용 할당을 위한 필요한 귀납적 편향을 제공합니다.
• 이 접근법은 밀집된 감독과 행동 레이블의 필요성을 제거함으로써 유능한 에이전트 훈련의 장벽을 낮추고, 투명하고 해석 가능한 구조를 통해 인간-AI 상호작용을 촉진합니다.

이 작업은 개념 증명으로 제시되며, 높은 노이즈에 어려움을 겪는 결정론적 문법 유도의 특성이나 기술 수 $K$에 대한 고정된 사전 지식에 대한 의존성과 같은 한계를 인정합니다. 그러나 결과는 비지도 구조 발견이 복잡하고 고차원인 강화학습 환경에 대한 실현 가능하고 효과적인 전략임을 시사합니다.