The Effects of Synthetic Data and Label Distribution on Canola Branch Counting

기술 요약: 합성 데이터 및 레이블 분포가 카놀라 가지 수 세기에 미치는 영향

문제 정의
지도 학습 기반의 자동화된 식물 표현형 분석(phenotyping)은 일반적으로 대규모의 주석(annotation)이 달린 데이터셋을 필요로 하지만, 이는 비용과 시간이 많이 소요됩니다. 절차적 L-시스템 식물 모델은 정확한 기관 개수 레이블을 가진 무제한의 합성 이미지를 생성할 수 있지만, 기존 연구에 따르면 단순히 합성 데이터를 추가하는 것만으로는 성능 향상을 보장할 수 없습니다. 합성 데이터 통합의 효용성은 합성 데이터와 실제 데이터의 비율, 그리고 합성 데이터셋의 레이블 분포라는 두 가지 핵심 요인에 결정적으로 달려 있습니다. 본 논문은 카놀라 가지 수 세기라는 구체적인 맥락에서 이 두 요인이 모델 성능에 어떻게 영향을 미치는지 체계적으로 정량화하고자 합니다.

방법론
저자들은 보정된 L-시스템 식물 모델을 사용하여 합성 카놀라 이미지를 생성함으로써, 합성된 가지 수가 실제 관찰 결과와 질적으로 일치하도록 했습니다. 연구에는 브랜치 개수 회귀(regression)를 위해 미세 조정된 ResNet-18 모델(ImageNet으로 사전 학습됨)이 사용되었습니다. 평가는 실제 가지 수(1~40 범위)의 정답(ground-truth)이 포함된 788장의 실제 카놀라 이미지 데이터셋을 바탕으로 수행되었습니다.

실험 설계는 네 가지 별도의 실험을 통해 두 가지 주요 변수를 분리하여 조사했습니다:

1. 비율 스윕(Ratio Sweep): 저자들은 실제 데이터셋을 고정한 상태에서 합성 데이터와 실제 데이터의 비율을 1:0에서 1:29까지 변화시켰습니다(총 30개의 비율 테스트).
2. 분포 보간(Distribution Interpolation): 합성 레이블 분포를 균등 분포(Step 0)에서 실제 데이터 분포(Step 10)로 향하는 열 가지의 동일한 단계로 이동시켰습니다. 이는 400장의 실제 훈련 이미지와 함께 18k 및 36k의 합성 이미지를 사용하여 테스트되었습니다.
3. 가우시안 평활화(Gaussian Smoothing): 실제 레이블 분포 히스토그램에 가우시안 커널을 컨볼루션하여 인접한 값들 간의 가지 수 빈도를 평활화했습니다. 10가지의 $\sigma$ 값(0.0에서 3.6까지)이 테스트되었습니다.
4. 레이블당 최소 샘플 수: 희귀한 고빈도 레이블을 타겟 분포에 대한 완전한 지식 없이도 업샘플링할 수 있도록, 레이블 값당 최소 이미지 수를 보장하는 하드 플로어(hard-floor) 제약을 적용했습니다(레이블당 10개 및 100개 이미지).

모든 실험은 5회 반복되었으며, 성능은 평균 절대 차이(Mean Absolute Difference, abs. diff.)를 주요 지표로 하여 홀드아웃(held-out) 테스트 세트에서 평가되었습니다.

주요 결과

• 합성-실제 비율: 본 연구는 합성 데이터와 실제 데이터의 비율이 1:5에서 1:22 사이의 광범위한 "유익한 범위"를 가지고 있음을 확인했습니다. 이 범위 내에서는 일반적으로 실제 데이터만 사용했을 때보다 성능이 향ar되었습니다. 최적의 비율은 1:7로 나타났으며, 이는 실제 데이터만 사용했을 때(1.069)보다 평균 절대 차이를 7.6%(0.988) 감소시켰습니다. 1:22를 초과하는 비율은 도메인 격차 노이즈를 증폭시켜 성능 저하를 초래했습니다.
• 레이블 분포 (보간): 균등한 합성 분포는 매우 비효율적인 것으로 나타났습니다(abs. diff. $\approx$ 1.70). 합성 분포를 실제 분포 쪽으로 90% 보간했을 때(Step 9)는 0.927의 abs. diff.를 기록하여, 실제 분포 자체(0.942)보다도 우수한 성능을 보였습니다. 이는 희귀 레이블을 약간 과대표하고 빈도의 극단값을 평활화하는 것이 일반화 성능을 높인다는 것을 시사합니다.
• 레이블 분포 (가우시안 평활화): 실제 레이블 분포에 가우시안 평활화를 적용했을 때 모든 실험 중 가장 좋은 결과를 얻었습니다. $\sigma = 3.6$에서 모델은 0.912의 abs. diff.를 달축하였으며, 이는 실제 데이터만 사용했을 때보다 14.7% 개선된 수치입니다. 성능 곡선은 $\sigma$ 값이 2.0에서 4.0 사이일 때 평탄해졌습니다.
• 최소 샘플 수: 레이블당 최소 10개의 합성 이미지를 강제하는 방식(min-10)은 실제 데이터만 사용했을 때보다 완만한 이득(abs. diff. 0.993)을 제공했습니다. 그러나 최소 100개를 강제하는 방식(min-100)은 성능을 저해했습니다(abs. diff. 1.109). 이는 희귀 레이블을 공격적으로 업샘플링함으로써 분포를 균등 분포 쪽으로 이동시켜, 균등 분포와 관련된 문제를 재발시켰기 때문입니다.

의의 및 기여
본 논문은 식물 표현형 분석을 위한 합성 데이터 설계 선택지에 대한 체계적인 특성을 제공합니다. 주요 기여는 세 가지입니다:

1. 비율의 관용성(Ratio Forgiveness): 합성-실제 비율이 상당히 관용적임을 입증했습니다. 즉, 실무자는 비율을 정밀하게 튜닝할 필요가 없으며, 1:5에서 1:22 사이의 어떤 값이 실제 데이터만 사용하는 것보다 우수한 성능을 보입니다.
2. 분포 최적화: 레이블 분포가 성능에 가장 큰 영향을 미친다는 것을 입증했습니다. 구체적으로, 균등 분포를 피하고 실제 레이블 분포에 가우시안 평활화를 적용하거나(또는 실제 분포 쪽으로 90% 보간하는 것) 하면 합성-실제 도메인 격차를 크게 줄일 수 있습니다.
3. 실용적 대안: 분포 재샘플링이 불가능한 상황을 위한 더 간단한 대안을 제시합니다. 레이블당 10개의 이미지를 최소 하한선으로 설정하는 것입니다. 다만, 더 높은 하한선(예: 100)은 해로울 수 있다고 경고합니다.

저자들은 모델 구축과 보정에 상당한 노력이 필요하지만, 적절한 분포 매칭과 결합된 합성 데이터 증강은 실제 데이터만 사용한 베이스라인보다 우수함을 결론지었습니다. 이러한 결과는 단순한 관측 레이블 분포의 조정을 통해 모델 성능을 크게 향상시킬 수 있음을 시사하지만, 저자들은 이 결과가 다른 작물에도 일반화될 수 있는지, 그리고 도메인 격차를 줄이는 데 L-시스템 모델의 어떤 특정 구성 요소가 가장 중요한지에 대한 추가 조사가 필요하다고 언급했습니다.