Modernising Reinforcement Learning-Based Navigation for Embodied Semantic Scene Graph Generation

이 논문은 Embodied Semantic Scene Graph Generation (ESSG, 신체화된 의미 장면 그래프 생성) 작업을 위한 내비게이션 구성 요소를 현대화하고, 강화 학습 (RL) 기반의 의사 결정 방식을 개선하는 방법을 제시합니다. 유기 컴퓨팅 (Organic Computing) 관점에서 불확실성과 자원 제약 하에서 에이전트가 제한된 행동 예산 내에서 세계 모델의 품질을 극대화하는 것이 핵심 과제입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 자율 에이전트는 알려지지 않은 환경에서 객체, 관계, 공간적 맥락을 이해하기 위해 의미 있는 세계 모델 (Semantic World Models) 이 필요합니다. 이를 위해 **의미 장면 그래프 (Semantic Scene Graph, SSG)**가 효율적인 표현 수단으로 사용됩니다.
• 과제: 제한된 행동 횟수 (Action Budget) 내에서 에이전트가 SSG 를 최대한 완전하게 구축하기 위해서는 탐색 전략이 필수적입니다.
• 기존 한계: Li et al. [13] 의 선구적인 ESSG 접근법은 RL 을 사용하지만, REINFORCE 알고리즘을 사용하여 학습 불안정성과 수렴 문제를 겪고 있습니다. 또한, 탐색 효율성을 제한하는 **매우 제한된 이산 행동 공간 (Discrete Action Space)**을 사용합니다. 내비게이션이 명시적으로 최적화 가능한 구성 요소로 다루어지지 않아 다양한 유틸리티 신호에 적응하지 못합니다.

2. 방법론 (Methodology)

저자들은 새로운 엔드 - 투 - 엔드 파이프라인을 제안하기보다, 고정된 행동 예산 하에서 내비게이션을 독립적인 자기 최적화 구성 요소로 격리하여 연구했습니다.

• 최적화 알고리즘 교체: 불안정한 REINFORCE 를 **PPO (Proximal Policy Optimization)**로 교체하여 학습 안정성과 성능을 개선했습니다. 보상 설계 (Reward Shaping) 는 기존과 동일하게 유지하여 알고리즘의 영향만을 분리했습니다.
• 행동 공간 (Action Space) 설계 비교:
  • 단일 헤드 (Single-Head, SH): 원자적 행동 (Atomic Actions) 을 하나의 클래스로 예측.
    • SH16: 16 개 행동 (8 각도 × 2 거리).
    • SH504: 504 개 행동 (24 각도 × 21 거리, 더 세분화된 해상도).
  • 다중 헤드 분해 (Multi-Head, MH): 행동을 구성 요소로 분해하여 예측.
    • 3 개의 헤드: 회전 각도 (24 옵션), 이동 거리 (21 옵션), 정지 (Stop, 2 옵션).
    • 이 방식은 각 구성 요소를 독립적으로 선택하여 제어의 유연성을 높입니다.
• 추가 기법 평가:
  • 커리큘럼 학습 (Curriculum Learning, CL): 복잡한 행동 공간을 단순한 단계에서 점진적으로 확장.
  • 심도 기반 충돌 감시 (Depth-based Collision Supervision): 깊이 정보를 입력으로 사용하여 충돌 예측 보조 헤드를 추가하고, 이를 통해 학습 안정성과 안전성을 높임.
  • 시뮬레이션 환경: AI2-THOR 를 사용하며, SSG 정보는 시뮬레이션 메타데이터 (Ground Truth) 에서 직접 얻어 이상적인 인식 조건을 가정했습니다.

3. 주요 기여 (Key Contributions)

1. 최적화 알고리즘의 효과 입증: 동일한 보상 설계 하에서 REINFORCE 를 PPO 로 교체하는 것만으로도 SSG 완전성 (Completeness) 이 21% 향상됨을 보였습니다.
2. 행동 공간 해상도의 영향 분석: 이산 운동 표현력 (Discrete motion expressiveness) 이 제한된 행동 예산 내에서 완전성과 행동에 미치는 영향을 체계적으로 규명했습니다.
3. 분해된 제어의 우수성: 원자적 행동 집합 (Atomic set) 대비 **분해된 고해상도 제어 (Factorised MH)**가 최적화 행동과 안전성 진단을 개선하면서도 동등하거나 더 높은 완전성을 유지함을 증명했습니다.
4. 학습 및 실행 분석: 커리큘럼 학습과 심도 기반 감시가 다양한 행동 체제 하에서 학습과 실행에 미치는 영향을 분석했습니다.

4. 실험 결과 (Results)

• 알고리즘 성능: PPO 는 REINFORCE 대비 학습 안정성과 SSG 완전성 (Node Recall) 에서 압도적인 우위를 보였습니다. REINFORCE 는 학습이 불안정하거나 국소 최적점에 갇히는 경향이 있었습니다.
• 행동 공간 비교:
  • SH504 (고해상도 단일 헤드): 더 넓은 탐색 범위를 제공하지만 학습이 어렵고, 훈련 중 충돌 발생률 (Move Success Rate) 이 낮아 안전성이 떨어졌습니다.
  • MH (분해형 다중 헤드): 가장 강력한 성능을 보였습니다. SH504 와 유사한 완전성을 달성하면서도 더 높은 이동 성공률과 더 빠른 수렴을 보였습니다. 분해된 구조가 복잡한 행동 공간에서의 제어 가능성을 높여주었습니다.
• 커리큘럼 학습 (CL) 의 역할: MH 설정에서 CL 은 최종 완전성에는 큰 영향을 주지 않았지만, 학습 초기 및 수렴 시의 안전성 (Move Success Rate) 을 크게 향상시켰습니다. 이는 학습 속도와 실행 안전성 간의 트레이드오프를 제공합니다.
• 심도 (Depth) 정보: 컴팩트한 PPO 설정에서는 안전성과 Episodic Return 을 향상시켰으나, 고해상도 MH 설정에서는 추가적인 이점이 미미했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 유기 컴퓨팅 (OC) 관점: 내비게이션을 세계 모델의 완전성을 극대화하는 '자기 최적화 구성 요소'로 성공적으로 정립했습니다. 이는 향후 자가 구성 (Self-configuration) 및 자가 치유 (Self-healing) 와 같은 OC 기능의 기반이 됩니다.
• 실용적 시사점:
  • PPO + 분해형 다중 헤드 (MH) 조합이 최적화 안정성, 효과적인 이동, 완전성 간의 가장 균형 잡힌 트레이드오프를 제공합니다.
  • 커리큘럼 학습은 배포 환경의 우선순위 (학습 속도 vs. 안전성) 에 따라 선택적으로 적용할 수 있는 도구로 제시됩니다.
• 향후 과제: 실제 센서 노이즈와 데이터 연동 (Data Association) 이 포함된 현실적인 파이프라인으로 확장하고, 더 복잡하고 큰 환경에서의 확장성을 검증할 필요가 있습니다.

요약하자면, 이 연구는 ESSG 작업에서 PPO 알고리즘의 도입과 **행동 공간의 분해 (Factorisation)**가 기존 방법론의 한계를 극복하고, 에이전트가 제한된 자원 하에서 더 안전하고 완전한 세계 모델을 구축할 수 있게 하는 핵심 요소임을 입증했습니다.