Geometry-Aligned LLM Fine-Tuning for Sequential Narrow-Opening Planning

1. 연구 배경 및 문제 정의 (Problem Statement)

• 핵심 문제: 복잡한 환경에서 여러 개의 연속된 좁은 개구부 (narrow openings, 예: 문, 장애물 사이 좁은 통로) 를 통과하는 강체 (rigid-body) 운동 계획 (Motion Planning) 문제입니다.
• 주요 난제: 단일 개구부 통과와 달리, 장기적 기하학적 추론 (Long-horizon geometric reasoning) 이 필요합니다.
  • 초기 개구부를 통과할 때의 자세 (configuration) 가 후속 개구부 도달 가능성을 결정합니다.
  • 예를 들어, 첫 번째 문을 통과할 때 단순히 충돌만 피하는 것이 아니라, 다음 개구부로 진입하기 위해 필요한 회전과 정렬을 고려한 자세를 선택해야 합니다.
  • 좁은 통로에서는 재회전 (reorientation) 이 불가능하므로, 첫 번째 선택이 전체 계획의 성패를 좌우합니다.
• 기존 방법의 한계:
  • 모델 기반 (Model-based): 기하학적 정확성은 보장하지만, 좁은 영역에서의 샘플링 효율이 낮고 파라미터 튜닝에 민감하여 전역 최적 해를 찾는 데 시간이 많이 소요되거나 실패할 수 있습니다.
  • 학습 기반 (Learning-based): 빠른 추론이 가능하지만, 이산적인 웨이포인트 (waypoint) 만 생성하여 웨이포인트 간의 연속적인 운동 (swept motion) 에서의 충돌을 보장하지 못합니다. 또한 훈련 분포와 다른 환경에서는 성능이 급격히 떨어집니다.

2. 제안 방법론 (Methodology)

저자는 기하학적 정렬 LLM 미세조정 프레임워크 (Geometry-Aligned LLM Fine-Tuning Framework) 를 제안하며, 이는 이중 단계 (Bi-level) 학습 파이프라인을 특징으로 합니다.

A. 데이터 및 입력

• 입력: 2D 작업 공간, 장애물, 물체 기하학, 시작/목표 포즈에 대한 상징적 텍스트 (Symbolic text) 설명.
• 출력: 고정된 길이의 기계 판독 가능한 SE(2) 웨이포인트 시퀀스 (각 개구부별 웨이포인트 블록으로 구조화됨).
• 데이터: 합성 환경에서 인간이 수행한 성공적인 내비게이션 데모를 수집하여 지도 학습 (SFT) 의 기초로 사용합니다.

B. 1 단계: 실패 주도 LoRA 지도 미세조정 (Failure-driven LoRA SFT)

• 목적: LLM 이 고정된 형식의 출력을 생성하도록 하고, 일반적인 기하학적 실패 패턴을 학습하게 합니다.
• 프로세스:
  1. 인간 데모를 기반으로 LoRA (Low Rank Adaptation) 를 사용하여 LLM 을 미세조정합니다.
  2. 실패 피드백 루프: 모델이 생성한 웨이포인트 시퀀스를 모델 기반 플래너로 밀도화 (Densification, 연속 궤적으로 변환) 한 후, 기하학적 검증기를 통해 검증합니다.
  3. 검증 실패 시, 첫 번째 실패한 웨이포인트 인덱스와 위반된 제약 조건 유형 (경계, 충돌, 스윕드 충돌, 스텝 크기 등) 을 구조화된 노트로 생성합니다.
  4. 이 실패 노트를 프롬프트에 포함시켜 모델을 다시 학습시킵니다. 이를 통해 모델은 단순히 데모를 모방하는 것을 넘어, 왜 실패하는지 학습합니다.

C. 2 단계: 기하학적 검증 기반 GRPO 정교화 (GRPO with Geometric Verification)

• 목적: 웨이포인트 수준의 유효성을 넘어 연속 운동의 기하학적 실현 가능성을 최적화합니다.
• 알고리즘: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 적용합니다.
• 프로세스:
  1. 동일한 프롬프트에 대해 여러 개의 웨이포인트 시퀀스 (그룹) 를 샘플링합니다.
  2. 각 시퀀스를 밀도화하여 연속 궤적을 만든 후, 기하학적 검증기로 평가합니다.
  3. 결정론적 보상 (Deterministic Reward): 궤적이 제약 조건 (경계, 장애물 회피, 스윕드 안전, 스텝 크기) 을 얼마나 잘 만족하는지에 따라 스코어를 부여합니다. (보통 0~1 사이 값, 1 에 가까울수록 완벽)
  4. 그룹 내 상대적 우위 (Relative Advantage) 를 계산하여 보상 점수가 높은 시퀀스를 생성하도록 정책을 업데이트합니다.
  5. 이 과정에서 베이스 모델은 고정되고 LoRA 어댑터만 업데이트됩니다.

3. 주요 기여 (Key Contributions)

1. 구조화된 장기 추론 LLM: LLM 의 순차적 추론 능력을 활용하여, 여러 개구부를 통과하는 데 필요한 연속된 개구부 간 조율 (Coordination) 이 포함된 고정 길이 SE(2) 웨이포인트 시퀀스를 생성합니다. 특히 다음 개구부 진입을 용이하게 하는 '출구 자세 (Exit Pose)'를 명시적으로 선택합니다.
2. 실패 주도 학습 루프: 검증기로부터 얻은 구조화된 실패 피드백 (첫 번째 실패 지점 및 위반 유형) 을 SFT 에 통합하여, 모델이 반복되는 기하학적 오류를 스스로 교정하도록 합니다.
3. GRPO 기반 기하학적 최적화: 학습된 reward 모델 없이 결정론적 기하학적 검증기를 직접 보상 함수로 사용하여, 생성된 궤적의 연속 운동 실현 가능성을 직접 최적화합니다. 이는 기존 학습 기반 방법의 '웨이포인트 간 충돌' 문제를 해결합니다.

4. 실험 결과 (Results)

• 실험 설정: 합성 시뮬레이션 환경에서 분포 내 (In-Distribution, ID) 및 분포 외 (Out-of-Distribution, OOD) 환경으로 평가했습니다.
• 비교 대상:
  • 기본 Llama-3.1-8B-Instruct (미세조정 없음)
  • 인간 데모 기반 LoRA SFT
  • 실패 피드백이 추가된 LoRA SFT
  • 제안 방법 (실패 피드백 SFT + GRPO)
  • 기존 방법: 하위 목표 분해 PRM (Probabilistic Road Map) 등
• 정량적 결과:
  • 성공률: 제안 방법은 ID 환경에서 92.6%, OOD 환경에서 77.3% 의 성공률을 기록하여 모든 베이스라인을 압도했습니다. (기존 SFT 만은 OOD 에서 10.4% 로 급감했으나, 제안 방법은 OOD 에서도 높은 일반화 성능을 보임)
  • 제약 조건 위반: 경계 위반 (C1), 충돌 (C2), 스윕드 충돌 (C3), 스텝 크기 (C4) 위반률이 모두 현저히 감소했습니다. 특히 C3(스윕드 충돌) 은 22.8% 에서 5.4% 로 대폭 개선되었습니다.
  • 기하학적 보상: 제안 방법은 평균 기하학적 보상 점수 (0.94) 에서 가장 높은 점수를 받았습니다.
• 정성적 결과:
  • 제안 방법은 첫 번째 개구부를 통과할 때, 다음 개구부 진입에 필요한 방향 (Heading) 을 미리 고려한 자세를 선택하는 것을 시각적으로 확인했습니다.
  • 반면, 하위 목표 분해 PRM 은 각 개구부를 독립적으로 계획하여 다음 개구부 진입을 위한 회전 공간이 부족해 실패하는 경우가 많았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기하학적 추론과 LLM 의 융합: LLM 이 단순히 텍스트를 생성하는 것을 넘어, 수학적/기하학적 제약 조건을 엄격하게 준수하는 운동 계획을 수행할 수 있음을 입증했습니다.
• OOD 일반화 능력: 훈련 데이터와 다른 환경 (장애물 배치, 개구부 간격 등) 에서도 높은 성공률을 보이며, 학습된 전략이 단순한 패턴 매칭이 아닌 진정한 기하학적 추론에 기반함을 보여줍니다.
• 확장성: 현재는 2D 환경 (SE(2)) 에서 검증되었으나, 이 프레임워크는 3D 환경 (SE(3)) 과 실제 로봇 적용으로 확장될 수 있는 잠재력을 가지고 있습니다.

이 논문은 모델 기반 플래너의 정확성과 학습 기반 방법의 효율성을 결합하면서도, LLM 의 추론 능력을 기하학적 검증과 결합하여 복잡한 연속적 제약 조건 하의 운동 계획 문제를 효과적으로 해결한 획기적인 접근법으로 평가됩니다.