기술 요약: 농업 분야의 효율적인 객체 탐색을 위한 시뮬레이션 학습 기반 RL 드론

문제 정의

무인 항공기(드론)는 조기 질병 탐지, 잡초 위치 파악, 토양 평가와 같은 작업을 가능하게 하여 정밀 농업 분야에서 상당한 잠재력을 제공한다. 그러나 운영 효율성은 제한된 배터리 용량에 의해 크게 제약받으며, 이는 단일 비행으로 커버할 수 있는 면적을 제한한다. 전통적인 방식은 전체 필드를 균일한 공간 분포로 매핑하는 **전체 피복 플래너(full coverage planners)**에 의존한다. 이는 대상 객체(예: 특정 잡초 종 또는 질병 패치)가 무작위로 흩어져 있기보다는 비균일하게 분포된 클러스터 형태를 띠는 농업 작업에는 최적화되지 않을 수 있다. 이러한 시나리오에서는 철저한 전수 조사가 반드시 필요하지 않으며, 목표는 최소한의 비행 경로로 대다수의 객체를 탐지하는 것이다. 적응형 경로 플래너가 존재하기는 하지만, 규칙 기반 방법은 새로운 환경에 대해 명시적인 재설계가 필요하며 불확실성에 취약하다. 본 논문은 비균일하게 분포된 객체를 효율적으로 탐색하고, 탐지 재현율(recall)과 비행 경로 길이 사이의 균형을 맞추며, 시뮬레이션에서 실제 환경 배포로의 성공적인 전이를 달성할 수 있는 학습 기반 적응형 경로 플래너 개발 문제를 다룬다.

방법론

강화 학습 프레임워크

이 접근 방식의 핵심은 마르코프 결정 과정(MDP) 내에서 순차적 결정을 내려 장기적인 보상을 최대화하도록 훈련된 심층 Q-네트워크(Deep Q-Network, DQN) 에이전트이다.

• 상태 공간(State-Space): 에이전트는 드론 중심의 글로벌 맵(저해상도, 필드 전체를 커버)과 로컬 맵(고해상도, 카메라의 시야각에 대응)을 관찰한다. 이 맵들은 필드 경계, 이전에 발견된 객체, 중복 방문을 방지하기 위한 커버리지 맵, 그리고 사전 지식 맵(고고도 조사로부터 유도됨) 레이어를 포함한다. 상태에는 드론의 현재 배터리 잔량도 포함된다.
• 행동 공간(Action-Space): 에이전트는 8가지 방향 행동(북, 남, 동, 서 및 4방향 대각선)과 탐색을 종료하기 위한 "착륙(land)" 행동 중에서 선택한다. 각 행동은 드론을 고정된 수의 그리드 셀만큼 이동시킨다.
• 보상 함수(Reward Function): 에이전트는 객체를 정확히 탐지했을 때 양(+)의 보상을 받고, 비행 단계, 비행 금지 구역 진입, 충돌(배터리 고갈), 이미 탐색한 그리드 셀 재방문에 대해 음(-)의 페널티를 받는다.

시뮬레이션 및 도메인 무작위화

훈련은 심투리얼(sim-to-real) 간극을 메우기 위해 **도메인 무작위화(domain randomization)**를 적용한 추상 시뮬레이션 환경에서 수행된다.

• 환경: 필드는 무작위 볼록 또는 오목 다각형으로 생성된다. 객체 분포는 다양한 클러스터 수와 객체 수를 가진 다변량 가우시안 분포를 따르는 클러스터로 모델링된다.
• 노이즈 모델링: 시뮬레이션은 관측 맵(시뮬레이션 카메라)과 사전 지식 맵 모두에 대해 현실적인 탐지 오류(거짓 양성 및 거짓 음성)를 포함한다.
• 훈련: 에이전트는 경험 재생(experience replay)과 0.99의 할인 계수를 사용하여 $2 \times 10^7$ 스텝 동안 훈련된다. 네트워크 아키텍처는 병렬 컨볼루션 레이어를 통해 글로벌 및 로컬 맵을 처리하고, 이를 배터리 상태와 결합한 후 완전 연결 레이어를 통해 행동 값을 출력한다.

실세계 적용 파이프라인

시뮬레이션에서 훈련된 정책을 배포하기 위한 절차는 다음과 같다:

1. 객체 탐지: YOLOv11-m 네트워크가 드론의 실시간 이미지를 통해 객체를 탐지한다.
2. 좌표 변환: 실제 UTM 좌표를 필드 회전 및 스케일을 고려하여 시뮬레이션의 그리드 시스템으로 변환한다.
3. 사전 지식 생성: 고고도 전수 피복 비행(중첩 없음)을 통해 이진 사전 지식 맵을 생성한다. 이 맵은 잠재적인 타겟을 놓치지 않도록 정밀도(precision)보다 재현율(recall)을 우선시하여 의도적으로 노이즈를 포함한다.
4. 실행: RL 에이전트의 행동을 GPS 좌표로 변환하여 DJI M350 드론의 커스텀 MAVLink 애플리케이션을 통해 실행한다.

평가 전략: 6단계의 현실성

본 논문은 심투리얼 간극에 대한 각 구성 요소의 기여도를 정량화하기 위해 **6단계의 현실성(six levels of realism)**을 사용하는 체계적인 평가 프레임워크를 도입한다.

• Level 1: 순수 시뮬레이션 (모든 구성 요소가 시뮬레이션됨).
• Level 2: 시뮬레이션 환경 내의 실제 객체 위치 (정사영상으로부터 추출).
• Level 3: 실제 객체 위치 + 실제 사전 지식 (정사영상으로부터 생성).
• Level 4: 실제 객체 위치 + 실제 사전 지식 + 실제 관측 (정사영상 작물에 YOLOv11 적용).
• Level 5: 실제 객체 위치 + 실제 사전 지식 (비행 중 수집) + 실제 관측 (정사영상으로부터).
• Level 6: 완전한 실세계 배포 (실제 컨트롤러 및 실시간 카메라 피드를 사용하는 실제 비행).

주요 기여

1. 강화된 시뮬레이터: 더 큰 무작위 모양의 필드와 확장된 대각선 비행 행동을 포함하도록 기존 시뮬레이터를 확장함.
2. 도메인 무작위화: 일반화 능력을 높이기 위해 다양한 객체 분포, 클러스터 수, 필드 모양에 대해 훈련함.
3. 실세계 사전 지식: 실제 고고도 비행에서 유도된 사전 지식을 통합함.
4. 체계적 간극 분석: 28회의 정사영상 기반 반복 실험과 2회의 실세계 비행 실험을 사용하여 성능 저하의 특정 원인을 격리하기 위해 6단계 현실성 수준에 걸쳐 평가함.
5. 실세계 배포: 내비게이션 결정을 위해 RL 에이전트가 DJI M350 드론을 직접 제어하는 것을 입증함.
6. 오픈 소스: 코드, 데이터 및 평가 파이프라인을 공개함.

결과

시뮬레이션-실세계 성능

• 효율성 vs 재현율 트레이드오프: 순수 시뮬레이션(Level 1)에서 RL 에이전트는 전체 피복 플래너와 비교하여 57% 짧은 비행 경로를 달성했으나, 재현율은 13% 낮았다 (0.85 vs. 0.98).
• 실세계 정사영상 (Level 4): 실제 정사영상 데이터에서 RL 에이전트는 전체 피복 대비 38% 짧은 비행 경로를 달성했으나, 재현율은 21% 낮았다 (0.77 vs. 0.98).
• 일반화: 에이전트는 실제 객체 분포에 잘 일반화되었다 (Level 1에서 2로의 하락은 약 2%에 불과함). 실제 탐지 네트워크로의 전환(Level 3에서 4)은 재현율 6% 하락을 초래했으며, 이는 시뮬레이션된 탐지 오류가 상당히 정확했음을 나타낸다.

실세계 비행 시험

두 차례의 실세계 비행(Level 6)이 수행되었다:

• 시험 1: 에이전트는 91 스텝 만에 잡초의 **73%**를 찾아냈다.
• 시험 2: 에이전트는 93 스텝 만에 잡초의 **23%**만을 찾아냈다.
• 원인 분석: 시험 2(및 정사영상 평가 대비 시험 1의 성능 저하)의 주요 원인은 저품질의 사전 지식으로 판명되었다. 시험 2에서 사전 지식의 재현율은 **0%**로 떨어져 에이전트에 아무런 가이드를 제공하지 못했다. 시험 1에서는 사전 지식 재현율이 5%에 불과했다. 연구는 사전 지식이 완벽할 필요는 없지만, 재현율이 0%가 되면 성능 저하가 심각해진다는 점을 명시한다.

비행 경로 비효율성

에이전트는 루핑 동작(두 지점 사이를 반복해서 왕복함)을 보였으며, 대부분의 타겟을 찾은 후에도 계속 비행하는 경우가 있었다. 이는 복잡한 실세계 시나리오에서 재방문 페널티($r_{nocov}$)가 이러한 행동을 완전히 억제하기에는 불충분했음을 시사한다.

의의 및 주장

본 논문은 대상이 클러스터 형태로 존재하는 잡초 및 질병 탐지와 같은 정밀 농업 작업에서, 전수 조사가 필수적이지 않을 때 학습 기반 적응형 경로 계획이 데이터 수집 효율성을 크게 향 향상시킬 수 있다고 주장한다. 적당한 재현율 감소를 대가로 상당한 비행 시간 단축(38% 짧은 경로)을 얻음으로써, 이 접근 방식은 전체 피복 플래너의 실행 가능한 대안을 제공한다.

저자들은 심투리얼 간극이 관리 가능하지만 특정 구성 요소에 민감하다는 점을 강조한다:

• 객체 분포: 에이전트는 실제 공간 패턴에 잘 일반화된다.
• 탐지 네트워크: 시뮬레이션된 오류는 실제 탐지 노이즈에 대비하는 데 효과적이다.
• 사전 지식: 이것이 가장 결정적인 요소이다. 연구는 부정확하거나 누락된 사전 지식이 비행 컨트롤러나 실시간 카메라 품질보다 실세계 배포 실패의 더 지배적인 원인임을 밝혀냈다.

결론적으로, 본 논문은 이 접근 방식이 유망하지만, 광범위한 채택을 위해서는 사전 지식의 품질 개선(예: 이전 비행 데이터 재사용) 및 비행 경로 효율성(예: 하이브리드 라우팅 또는 계층적 전략)에 대한 추가적인 개선이 필요하다고 결론짓는다. 이 연구는 시뮬레이션에서 훈련된 RL 정책이 적응형 탐색 작업을 위해 실제 드론으로 전이될 수 있음을 보여주는 개념 증명 역할을 한다.