Assessing airborne laser scanning and aerial photogrammetry for deep learning-based stand delineation

본 논문은 남동부 노르웨이의 6 개 지자체를 대상으로 한 딥러닝 기반 산림 구획 분할 연구에서, 항공 사진측량으로 생성된 수관 높이 모델 (CHM) 이 항공 레이저 스캐닝 (ALS) 기반 데이터와 유사한 정확도를 보이며 지형 모델 (DTM) 추가는 성능 향상에 유의미하지 않음을 입증하여, 시공간적으로 정렬된 다양한 원격탐사 데이터를 활용한 대규모 데이터셋 구축의 가능성을 제시했습니다.

핵심

이 논문은 **"숲을 관리할 때 나무들이 모여 있는 구역 (임단, Forest Stand) 을 어떻게 자동으로 그리고 정확하게 그릴 수 있을까?"**라는 질문에 답하는 연구입니다.

기존에는 숲을 관리하는 전문가들이 항공 사진을 보고 눈으로 직접 구역을 나누었는데, 이는 시간이 많이 들고 사람마다 기준이 달라서 불일치가 생기기 쉬웠습니다. 최근에는 인공지능 (딥러닝) 을 이용해 이 작업을 자동화하려는 시도가 있었지만, 데이터가 서로 다른 시기에 찍혀서 문제가 생겼습니다.

이 연구는 **"인공지능이 숲을 그릴 때, 레이저로 측정한 고도 데이터 (ALS) 가 꼭 필요한가, 아니면 항공 사진으로 만든 고도 데이터 (DAP) 로도 충분한가?"**를 실험했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🌲 비유: "숲 지도 그리기 대결"

상상해 보세요. 거대한 숲을 하나의 거대한 퍼즐로 생각해보죠. 우리는 이 퍼즐 조각들 (각각의 숲 구역) 을 찾아내서 경계선을 그어야 합니다.

1. 문제: "낡은 지도와 최신 지도의 괴리"

과거에는 숲의 높이를 재기 위해 **레이저 (ALS)**를 쏘고, 나무의 색깔을 보기 위해 항공 사진을 찍었습니다. 하지만 이 두 데이터는 서로 다른 해에 찍힌 경우가 많았습니다.

• 상황: 레이저로 찍을 때는 나무가 없었는데, 사진 찍을 때는 이미 나무가 자라났다면?
• 결과: 인공지능이 혼란을 겪고, 훈련할 수 있는 데이터가 줄어들어 숲 지도를 그리는 데 어려움을 겪었습니다.

2. 해결책 제안: "동일한 순간의 사진"

연구진은 **"항공 사진으로만 3D 입체 지도 (DAP)"**를 만들어 보았습니다.

• 비유: 마치 스마트폰으로 사진을 찍어서 3D 모델을 만드는 것과 같습니다. 사진과 3D 지도가 동시에 찍힌 것이니 시간 차이가 없어 완벽하게 맞습니다.
• 우려: 하지만 사진으로 만든 3D 지도는 레이저로 만든 것보다 나무 사이사이의 구멍 (공백) 이 매끄럽게 채워져 세부적인 구조가 흐릿해질 수 있다는 의문이 있었습니다. "이걸로 숲의 경계를 정확히 그릴 수 있을까?"

3. 실험: "세 가지 팀의 대결"

연구진은 인공지능 (U-Net 이라는 AI) 을 세 팀으로 나누어 숲을 그리는 대회를 열었습니다.

1. 팀 A (전통파): 항공 사진 + 레이저 3D 지도 (ALS)
2. 팀 B (신개념): 항공 사진 + 사진 기반 3D 지도 (DAP)
3. 팀 C (보너스): 항공 사진 + 사진 기반 3D 지도 + 지형도 (DTM, 땅의 높이 정보)

4. 결과: "놀라운 동점과 인간 실수"

• 성적표: 세 팀 모두 매우 비슷한 점수를 받았습니다! (정확도 90% 이상)
  • 레이저 데이터가 없어도, 사진으로 만든 3D 지도만으로도 인공지능은 숲을 아주 잘 그렸습니다.
  • 땅의 높이 정보 (지형도) 를 더 넣었다고 해서 점수가 오르지 않았습니다. (아마도 연구 지역이 평탄해서 땅의 영향이 적었기 때문일 것입니다.)
• 가장 중요한 발견: 인공지능 세 팀이 서로 그린 숲 지도는 서로 매우 비슷하게 일치했습니다. 하지만 인간 전문가가 그린 지도와는 조금 달랐습니다.
  • 해석: 이는 인공지능이 서로 다른 데이터를 쓰더라도 숲의 구조를 일관되게 이해한다는 뜻입니다. 동시에, "숲의 경계"라는 것이 사람마다 다르게 그릴 수 있는 주관적인 영역임을 보여줍니다. AI 가 틀린 게 아니라, 인간 전문가들끼리도 의견이 다를 수 있다는 뜻입니다.

5. 약간의 흠 (결점)

인공지능이 그린 지도를 자세히 보면, 너무 작은 조각들이 가끔 섞여 있거나, 숲과 길 사이의 경계가 약간 어색하게 그려진 경우가 있었습니다.

• 비유: 마치 퍼즐을 맞추다가 아주 작은 조각을 너무 세분화해서 붙여놓은 것처럼, 나중에 사람이 손봐주면 (후처리) 더 완벽해질 것입니다.

---

💡 결론: 왜 이 연구가 중요한가요?

1. 비용과 시간 절감: 이제 숲을 관리할 때 비싼 레이저 측정이 꼭 필요하지 않을 수도 있습니다. 항공 사진만으로도 충분히 좋은 숲 지도를 만들 수 있습니다.
2. 데이터의 일치: 사진과 3D 지도가 동시에 찍힌 데이터를 사용하면 인공지능 학습이 훨씬 수월해집니다.
3. 미래의 숲 관리: 인공지능이 숲을 자동으로 구분해 주면, 숲 관리자들은 더 많은 시간을 실제 나무를 돌보는 데 쓸 수 있게 됩니다.

한 줄 요약:

"인공지능이 항공 사진만으로 숲을 그리는 데도 레이저만큼 잘합니다! 이제 숲 관리가 훨씬 쉽고 빨라질 것입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 임업 구역 delineation 의 중요성: 임업 관리, 인벤토리, 수확 계획의 기본 단위인 '임업 구역 (Forest Stand)'의 정확한 delineation 은 필수적이지만, 현재는 전문가의 수작업과 주관적 판단에 의존하고 있어 비효율적이고 일관성이 부족합니다.
• 기존 딥러닝 접근법의 한계: 최근 연구 (Sandum et al., 2025) 에서 항공 사진과 항공 레이저 스캐닝 (ALS) 데이터를 결합한 딥러닝 (U-Net) 모델이 인간 전문가 수준의 delineation 을 보여준 바 있습니다. 그러나 **데이터 소스 간의 시간적 불일치 (Temporal Misalignment)**가 운영적 확장성을 제한하는 주요 병목 현상입니다. (예: 항공 사진과 ALS 데이터 수집 시기가 달라 식생 변화로 인한 불일치 발생)
• 연구 질문:
  1. 항공 사진으로부터 생성된 디지털 항공 사진 측량 (DAP) 기반의 수관 높이 모델 (CHM) 이 ALS 기반 CHM 을 대체하여 딥러닝 모델 훈련에 효과적으로 사용될 수 있는가? (DAP 는 시간적 정렬이 용이하지만 수관 구조의 세부 사항이 매끄러워질 수 있음)
  2. 디지털 지형 모델 (DTM) 을 추가하는 것이 delineation 성능을 향상시키는가?

2. 연구 방법론 (Methodology)

• 연구 지역: 노르웨이 남동부 Follo 지역 (6 개 자치구, 753 km²). 2021 년에 수집된 시간적으로 정렬된 데이터 (항공 사진, ALS, DAP 포인트 클라우드, 임업 관리 계획) 를 사용했습니다.
• 데이터셋:
  • 참조 데이터 (Ground Truth): 전문가 2 인이 입체 항공 사진과 ALS 데이터를 기반으로 수작업으로 delineation 한 임업 구역 지도 (5 개 발달 단계 클래스: 무림지/재생림, 어린/성숙한 간벌림, 성숙림).
  • 입력 데이터:
    1. RGBI-ALS: 다중 분광 항공 사진 + ALS 기반 CHM.
    2. RGBI-DAP: 다중 분광 항공 사진 + DAP 기반 CHM.
    3. RGBI-DAP-DTM: 항공 사진 + DAP 기반 CHM + DTM.
• 모델 아키텍처: U-Net 기반의 시맨틱 세그멘테이션 (Semantic Segmentation) 프레임워크 사용.
• 학습 전략:
  • 손실 함수: Focal Tversky Loss (불균형 클래스 처리 및 어려운 샘플에 집중).
  • 하이퍼파라미터 튜닝: Optuna 프레임워크를 사용하여 학습률, 필터 수, 커널 크기 등을 최적화.
  • 검증 방식: 6 개 자치구를 기준으로 한 공간적 교차 검증 (Municipality-level Cross-Validation). 각 자치구를 테스트 세트로, 나머지를 학습/검증 세트로 사용하여 모델의 일반화 성능 평가.
• 평가 지표: 전체 정확도 (OA), 매크로 평균 Matthews 상관 계수 (mMCC), IoU, F1 점수 등. 또한, 서로 다른 모델 간의 예측 일치도 (Inter-model agreement) 를 참조 데이터와의 일치도와 비교 분석했습니다.

3. 주요 결과 (Results)

• 성능 비교: 세 가지 입력 데이터 조합 (RGBI-ALS, RGBI-DAP, RGBI-DAP-DTM) 모두 매우 유사한 성능을 보였습니다.
  • 전체 정확도 (OA): 0.90 ~ 0.91.
  • 매크로 평균 MCC (mMCC): 약 0.60 ~ 0.62.
  • DAP 기반 CHM 은 ALS 기반 CHM 과 성능 차이가 없었으며, 수관 구조의 세부 정보가 줄어듦에도 불구하고 딥러닝 모델이 광학적 이미지와 공간적 맥락 정보를 효과적으로 활용하여 이를 보완한 것으로 판단됩니다.
• DTM 의 영향: DTM 을 추가한 모델은 성능 향상이 없었으며, 오히려 과적합 (Overfitting) 경향을 보여 조기 종료 (Early Stopping) 가 더 빈번하게 발생했습니다. 연구 지역의 지형이 비교적 평탄하고 임업 관리가 지형적 특징을 이미 반영하고 있어 DTM 의 추가 정보가 유의미하지 않았을 가능성이 큽니다.
• 모델 간 일치도 vs 참조 데이터 일치도:
  • 서로 다른 입력 데이터를 사용한 모델들 간의 예측 일치도 (mMCC ≈ 0.84) 가 참조 데이터 (전문가 지도) 와의 일치도 (mMCC ≈ 0.60) 보다 훨씬 높았습니다.
  • 이는 모델들이 일관된 패턴을 학습했음을 의미하며, 동시에 임업 구역 delineation 에 내재된 인간 전문가의 주관성이 결과의 불일치 원인이 될 수 있음을 시사합니다.
• 시각적 분석:
  • 모델은 전반적으로 잘 작동했으나, 숲길 (Forest road) 인식 실패, 재생림 경계의 과대 추정, 그리고 관리 단위보다 작은 작은 패치 (Over-segmentation) 생성 등의 경향을 보였습니다.

4. 주요 기여 및 의의 (Key Contributions & Significance)

• DAP 의 실용성 입증: ALS 데이터가 없거나 시간적 정렬이 어려운 상황에서도, DAP 기반 CHM 은 ALS 기반 CHM 을 효과적으로 대체할 수 있음을 입증했습니다. 이는 대규모 딥러닝 데이터셋 구축 시 시간적 정렬이 용이한 DAP 데이터 활용의 중요성을 강조합니다.
• 모델의 강건성 (Robustness): 입력 데이터의 구조적 세부 사항 (CHM 의 정밀도) 이나 지형 정보 (DTM) 의 유무에 관계없이 U-Net 기반 프레임워크가 일관된 성능을 유지함을 보여주었습니다.
• 임업 delineation 의 본질적 한계 규명: 모델 간 일치도가 인간 전문가 간 일치도보다 높다는 발견은, 자동화 시스템의 오류가 아니라 참조 데이터 자체의 주관성이 성능 평가의 한계 요인일 수 있음을 시사합니다.
• 운영적 확장성: 시간적으로 정렬된 ALS 와 DAP 데이터를 활용한 대규모 훈련 데이터셋 구축이 가능해짐에 따라, 딥러닝 기반 자동 임업 구역 delineation 의 실용적 적용 가능성이 높아졌습니다.

5. 결론 및 향후 과제

• 결론: 딥러닝 기반 임업 구역 delineation 은 다양한 데이터 조합에서 강력한 성능을 발휘하며, DAP 기반 CHM 은 ALS 의 대안이 될 수 있습니다.
• 향후 과제:
  • 예측 결과의 노이즈 (작은 조각, 복잡한 경계) 를 줄이기 위한 후처리 기술 개발.
  • 수작업 주석 (Annotation) 비용 절감을 위한 약지도 (Weakly-supervised) 또는 반지도 (Semi-supervised) 학습 방법 연구.
  • 복잡한 지형 지역이나 개별 임목 단위 (Instance Segmentation) delineation 으로의 확장 연구.

이 연구는 노르웨이 산림 산업의 디지털 전환 (Industry 4.0) 에 기여하며, 원격 탐사 데이터와 딥러닝을 결합한 효율적이고 일관된 임업 관리 시스템의 기반을 마련했다는 점에서 의의가 큽니다.