Enhancing Tree Species Classification: Insights from YOLOv8 and Explainable AI Applied to TLS Point Cloud Projections

이 논문은 TLS 3D 포인트 클라우드를 기반으로 YOLOv8 모델을 활용해 7 종의 유럽 수종을 96% 의 정확도로 분류하고, Finer-CAM 을 적용한 설명 가능한 AI 기법을 통해 모델이 수종 식별 시 주로 수관이나 줄기 등 어떤 구조적 특징에 의존하는지 해석 가능하게 분석한 연구입니다.

핵심

이 논문은 **"컴퓨터가 나무를 어떻게 구분하는지, 그리고 그 판단 근거가 무엇인지"**를 밝히기 위한 연구입니다. 마치 수업 시간에 선생님이 학생들의 시험 답안을 채점할 때, 왜 정답이라고 생각했는지 그 '생각의 과정'을 설명해 주는 것과 비슷합니다.

이해하기 쉽게 비유를 들어 설명해 드릴게요.

1. 문제 상황: "정답은 맞는데, 왜 맞았는지 모르겠어요"

최근 인공지능 (AI) 은 지상 레이저 스캐너 (TLS) 라는 고가의 카메라로 나무를 3D 로 스캔한 데이터를 보고 나무 종 (예: 소나무, 참나무) 을 매우 정확하게 구분해 냅니다. 정확도가 96% 나 됩니다.

하지만 문제는 AI 가 "어떻게" 그 나무가 소나무라고 판단했는지 아무도 모른다는 점입니다. 마치 시험 점수가 100 점인데, 풀이 과정을 설명해 주지 않는 학생처럼요. AI 가 단순히 "이 나무는 소나무야"라고 말만 할 뿐, "왜?"라는 질문에 답을 못 하면 우리는 그 결과를 믿기 어렵고, 실제 현장에서 실수가 날 때 원인을 찾기 어렵습니다.

2. 해결책: "AI 의 눈속임 찾기 (XAI)"

연구진은 AI 의 머릿속을 들여다보기 위해 **'Finer-CAM'**이라는 특수한 안경을 썼습니다.

• 비유: AI 가 나무를 볼 때, 어떤 부분을 가장 집중해서 보는지 형광펜으로 칠해 주는 것입니다.
• 이 안경은 AI 가 "이 나무는 소나무야"라고 말할 때, 소나무와 비슷해 보이는 다른 나무 (예: 전나무) 와는 다른 부분을 형광펜으로 강조해 줍니다.

3. 연구 결과: AI 는 나무의 어디를 보고 있을까?

연구진은 7 가지 유럽 나무 종 (자작나무, 너도밤나무, 소나무 등) 을 대상으로 AI 가 어떤 부분을 보고 판단하는지 분석했습니다.

• 대부분의 나무 (자작나무, 너도밤나무, 전나무 등):
  AI 는 나무의 **가지를 뻗은 모양 (수관, Crown)**을 가장 중요하게 여겼습니다. 마치 사람의 얼굴을 보고 눈, 코, 입의 모양으로 구분하듯, 나무의 가지가 어떻게 퍼져 있는지, 끝이 어떻게 생겼는지를 보고 구분한 것입니다.
• 예외적인 나무 (유럽 애쉬, 소나무, 더글러스 전나무):
  이 나무들은 **줄기 (Stem)**를 더 중요하게 여겼습니다.
  • 특히 소나무와 더글러스 전나무는 줄기에 붙어 있는 죽은 가지를 보고 구분했습니다. (이 나무들은 죽은 가지를 잘 떨어뜨리지 않는 특징이 있거든요.)
  • **유럽 애쉬 (Ash)**의 경우, AI 는 줄기가 구부러진 부분을 보고 "아, 이건 애쉬구나!"라고 판단했습니다. 하지만 연구진은 이것이 데이터의 함정일 수 있다고 지적합니다. 실제 애쉬 나무는 줄기가 구부러지지 않아도 되는데, 학습용 데이터에 애쉬 나무들만 유독 줄기가 구부러져 있어서 AI 가 그걸로 구분한 것일 수 있다는 것입니다.

4. 중요한 발견: "세부 묘사가 중요해요"

연구진은 AI 에게 나무의 세부적인 가지 구조를 보이지 않게 하거나, 나무의 윤곽선 (실루엣) 만 보여주도록 실험을 했습니다.

• 결과: AI 는 가지의 세부적인 구조가 잘 보이는 이미지일 때 가장 잘 구분했습니다.
• 비유: 고해상도 사진으로 나무를 보면 AI 가 잘 구분하지만, 실루엣만 있는 그림으로 보여주면 성능이 떨어집니다. 하지만 윤곽선만으로도 어느 정도는 구분할 수 있다는 점은, AI 가 나무의 전체적인 '체형 (Habitus)'도 기억하고 있다는 뜻입니다.

5. 결론 및 시사점

이 연구는 다음과 같은 중요한 메시지를 줍니다.

1. AI 는 나무의 '생물학적 특징'을 배우고 있습니다: AI 는 단순히 픽셀을 외운 게 아니라, 가지의 모양이나 줄기의 특징 같은 실제 나무의 생김새를 학습하고 있다는 것을 확인했습니다.
2. 데이터의 함정을 발견했습니다: 만약 AI 가 "줄기가 구부러진 나무 = 애쉬"라고만 학습했다면, 나중에 줄기가 구부러지지 않은 애쉬 나무를 보면 틀릴 수 있습니다. 이런 **편향 (Bias)**을 찾아내는 것이 이 연구의 큰 성과입니다.
3. 미래의 방향: 앞으로는 AI 가 왜 그런 판단을 내렸는지 설명할 수 있어야 (해석 가능성) 숲 관리 현장에서 더 신뢰할 수 있게 사용할 수 있습니다.

한 줄 요약:
이 논문은 **"인공지능이 나무를 구분할 때, 단순히 전체 모양만 보는 게 아니라 가지와 줄기의 미세한 특징까지 꼼꼼히 분석하고 있다"**는 것을 증명하고, **"만약 학습 데이터에 실수가 있다면 AI 가 그 실수를 그대로 답습할 수 있으니 주의해야 한다"**는 것을 알려줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 지상 레이저 스캐닝 (TLS) 으로 얻은 3D 포인트 클라우드 데이터를 활용한 수종 분류는 최근 딥러닝 (특히 CNN) 을 통해 높은 정확도를 보이고 있습니다.
• 문제점:
  • 기존 연구들은 모델의 성능 (정확도, F1 점수 등) 에만 초점을 맞추고, 모델이 어떻게 의사결정을 내리는지 (Decision Process) 에 대한 해석 가능성 (Interpretability) 이 부족합니다.
  • 모델이 실제 수종 특징이 아닌 데이터의 아티팩트 (예: 스캐너 고유의 점 분포 패턴) 나 단순한 특징 (Shortcut Learning) 을 학습하여 실제 환경에서 일반화되지 않을 위험이 있습니다.
  • 기존 설명 가능한 AI(XAI) 기법 (CAM 등) 은 유사한 수종 간의 차이를 구분하는 판별력 있는 특징 (Discriminative Features) 을 식별하는 데 한계가 있습니다.

2. 연구 방법론 (Methodology)

가. 데이터 및 전처리

• 데이터셋: FOR-Species20k 벤치마크 데이터셋의 서브셋을 사용했습니다. 7 가지 유럽 수종 (자작나무, 유럽 너도밤나무, 유럽 물푸레나무, 소나무, 노르웨이 전나무, 더글러스전나무, 영국 참나무) 의 TLS 3D 포인트 클라우드 2,445 개를 포함합니다.
• 2D 투영 (Orthographic Projection): 3D 포인트 클라우드를 2D 측면 뷰 이미지 (Side-view images) 로 변환했습니다. 4 가지 방향 (0°, 45°, 90°, 135°) 에서 투영하여 각 나무당 4 개의 이미지를 생성했습니다.
• 데이터 증강: 스캐너 고유의 규칙적인 점 패턴이 모델 학습에 편향을 줄 수 있으므로, 점들을 무작위로 최대 0.5cm 이동시켜 아티팩트를 제거했습니다.

나. 모델 아키텍처

• YOLOv8: 수종 분류를 위해 YOLOv8 (Classification) 모델을 사용했습니다. 기존 YOLOv5 기반 연구보다 더 높은 해상도 (640x640) 와 더 나은 성능을 제공합니다.
• 학습 전략: 5 폴드 교차 검증 (Cross-validation) 을 통해 5 개의 독립적인 모델을 훈련시켰으며, 불균형 클래스 보정을 위해 가중치 교차 엔트로피 손실 (Weighted Cross-Entropy Loss) 을 사용했습니다.

다. 설명 가능한 AI (XAI) 프레임워크

• Finer-CAM 적용: 기존 CAM 기반 방법의 한계를 극복하기 위해 Finer-CAM을 도입했습니다.
  • 원리: 목표 클래스 ($c$) 와 가장 유사한 대비 클래스 ($c'$) 간의 차이를 기반으로 saliency map 을 생성합니다. 이는 목표 수종을 구별하는 데 중요한 특징은 강조하고, 유사한 수종과 공통된 특징은 억제합니다.
• 구조적 특징 매핑 (Heuristic Integration): 생성된 Saliency Map 을 수목의 구조적 특징 (줄기, 수관, 수관 하부/중부/상부, 수관 가장자리 등) 과 매핑하기 위해 이진 마스크 및 경로 추적 알고리즘을 사용하여 이미지를 세그먼트로 분할했습니다.
• 신뢰성 평가 (Faithfulness): Least Relevant First (LeRF) 전략을 사용하여, 중요도가 낮은 픽셀부터 순차적으로 제거 (화이트색으로 변경) 했을 때 모델의 확신도 (Confidence) 가 어떻게 변하는지 분석하여 Finer-CAM 의 신뢰성을 검증했습니다.

라. 이미지 변형 실험 (Image Perturbation)

• 모델이 내부 구조 (가지 등) 나 수형 (Shape) 에 얼마나 의존하는지 확인하기 위해 이미지를 변형한 실험을 수행했습니다.
  • Binary Shape: 수형의 윤곽만 남긴 이진 이미지.
  • 내부 구조 가시성 감소: 이미지를 다운샘플링하여 내부 가지 등의 디테일을 흐리게 함.

3. 주요 결과 (Key Results)

가. 분류 성능

• 5 개 YOLOv8 모델의 평균 정확도는 96% (SD=0.24%) 로 매우 높은 성능을 보였습니다.
• Macro F1-Score 는 92.5%, Recall 은 93.1% 를 기록했습니다.

나. Finer-CAM 신뢰성 및 해석

• Faithfulness: Finer-CAM 기반 픽셀 제거 실험에서 모델의 확신도가 80% 이상의 불필요한 픽셀이 제거될 때까지 안정적으로 유지되다가 급격히 감소했습니다. 이는 Finer-CAM 이 모델의 의사결정에 실제로 중요한 영역을 정확하게 식별함을 의미합니다.
• 수종별 특징 의존도:
  • 수관 (Crown) 중심: 자작나무, 너도밤나무, 참나무, 노르웨이 전나무는 수관 영역의 특징 (특히 가지 패턴) 이 분류에 가장 크게 기여했습니다.
  • 줄기 (Stem) 중심: 물푸레나무, 소나무, 더글러스전나무는 줄기 영역의 특징이 더 자주 중요하게 작용했습니다.
    • 소나무/더글러스전나무: 줄기에 붙은 죽은 가지 (Dead branches) 가 중요한 특징으로 식별됨.
    • 물푸레나무: 64.4% 의 사례에서 줄기의 굽힘 (Bends) 이 중요한 특징으로 나타났으나, 이는 데이터셋 내 특정 편향 (아티팩트) 일 가능성이 제기됨.

다. 이미지 변형 실험 결과

• 내부 구조의 중요성: 내부 구조 (가지 등) 가 잘 보이는 2D 이미지가 가장 높은 성능을 보였습니다.
• 해상도 영향: 이미지 해상도가 약 0.5m(다운샘플링 40px) 이하로 떨어지면 성능이 급격히 감소하여, 모델이 미세한 가지 구조를 학습하고 있음을 시사합니다.
• 수형 (Shape) 만의 분류: 내부 구조가 제거된 단순한 수형 (윤곽) 이미지만으로도 78.8% 의 F1-Score 를 기록하여, 수형 자체도 분류에 일정 부분 기여하지만 내부 구조가 더 결정적임을 확인했습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 새로운 해석 가능성 프레임워크: TLS 3D 포인트 클라우드 기반 수종 분류 모델의 의사결정 과정을 구조적 특징 (줄기, 수관 등) 과 연결하여 체계적으로 분석하는 새로운 프레임워크를 제안했습니다.
2. Finer-CAM 의 유효성 입증: 유사 수종 간의 차이를 구분하는 데 Finer-CAM 이 효과적이며 신뢰할 수 있음을 실증했습니다.
3. 모델 학습 메커니즘 규명: 모델이 단순히 수형뿐만 아니라 수종별 고유한 가지 패턴, 줄기 형태, 내부 구조를 학습하여 분류함을 밝혔습니다.
4. 편향 및 아티팩트 발견: 특정 수종 (물푸레나무) 의 경우 데이터셋 내 특정 특징 (줄기 굽힘) 에 과도하게 의존할 수 있음을 발견하여, 실제 환경 적용 시 일반화 문제를 경고했습니다.
5. 데이터셋 품질 향상 방향 제시: 모델의 해석 가능성을 통해 학습 데이터셋의 편향을 파악하고, 더 나은 데이터 수집 및 라벨링 프로토콜을 수립하는 데 기여할 수 있음을 강조했습니다.

5. 결론

이 연구는 YOLOv8 과 Finer-CAM 을 결합하여 TLS 기반 수종 분류 모델이 "어떻게" 그리고 "무엇을" 보고 분류하는지를 해석 가능하게 만들었습니다. 연구 결과, 모델은 수관의 가지 구조와 줄기 형태 등 생물학적으로 의미 있는 특징을 학습하고 있음을 확인했으나, 일부 데이터셋 특유의 아티팩트에 의존할 가능성도 지적되었습니다. 이는 향후 딥러닝 기반 산림 원격탐사 모델의 신뢰성 향상과 편향 제거를 위한 중요한 기초 연구로 평가됩니다.