기술 요약: 데이터 희소성이 높은 해충 인스턴스 분할을 위한 어노테이션 일관성 유지 확산 증강(Annotation-Consistent Diffusion Augmentation)

1. 문제 정의

종합적 해충 관리(IPM)에서 점착 트랩은 해충 개체군을 모니터링하기 위한 표준 도구이다. 딥러닝을 통한 이 과정의 자동화는 이미지 분류를 넘어 인스턴스 분할(instance segmentation) 단계로 발전하였으며, 이는 종 구성, 개체 수, 형태학적 특성에 대한 중요한 픽셀 단위 데이터를 제공한다. 그러나 강건한 인스턴스 분할 모델을 학습시키는 데에는 심각한 병목 현상이 존재하는데, 바로 희귀 해충 종에 대한 폴리곤 주석(polygon-annotated) 데이터의 부족이다.

기하학적 변환이나 복사-붙여넣기(copy-paste) 방식이 일부 증강 효과를 제공하기는 하지만, 점착 트랩 이미지 특유의 진정한 새로운 형태학적 변이(예: 건조로 인한 변형, 자세 왜곡)를 합성하는 데는 한계가 있다. 또한, GAN이나 범용 확산 모델(diffusion models)과 같은 기존 생성 기법들은 다음 두 가지 특정 과제에 어려움을 겪는다:

1. 어노테이션 일관성(Annotation Consistency): 인스턴스 분할은 생성된 객체와 그 폴리곤 마스크 사이의 엄격한 공간적 정렬을 요구한다. 경계선이 미세하게만 어긋나도 기존 라벨이 무효화되어 비용이 많이 드는 재라벨링 작업이 필요하다.
2. 도메인 적응(Domain Adaptation): 일반 모델은 점착 트랩의 표본(예: 접착면에 납작하게 붙어 있는 곤충)을 생성하는 데 필요한 시각적 사전 지식(visual priors)이 부족하여, 도메인 특화 미세 조정 없이는 현실적인 생성을 수행하기 어렵다.

2. 방법론

저자들은 추가적인 수동 라벨링 없이도 어노테이션 일관성이 유지되는 합성 훈련 이미지를 생성하도록 설계된 도메인 특화 확산 기반 데이터 증강 프레임워크를 제안한다. 이 파이프라인은 네 가지 통합된 구성 요소로 이루어진다:

2.1. 폴리곤 가이드 시각적 사전 지식 추출

HED, Canny와 같은 일반적인 에지 검출기를 사용하는 기존 연구와 달리, 본 방법은 지면 진실(ground-truth) 분할 폴리곤을 구조적 사전 지식으로 직접 활용한다.

• 구축: 지면 진실 폴리곤 윤곽선을 이미지 위에 흰색 외곽선으로 렌더링하여 구조적 가이드로 사용한다.
• 공간적 복제: 다양성을 높이기 위해 이러한 폴리곤 윤곽선을 이미지 내에서 무작위 위치와 방향으로 복제한다. 유효성 검사를 통해 기존 인스턴스와 겹치지 않고 이미지 경계 내에 머물도록 보장한다.
• 차별점: 결정적으로, 오직 구조적 사전 지식(폴리곤)만을 복제하며 해충의 시각적 외형은 복제하지 않는다. 이는 본 방법이 전통적인 복사-붙여넣기 증강과 구별되는 지점이다.

2.2. 인페인팅 마스크 생성

원래의 폴리곤 주석과 복제된 폴리곤 주석으로부터 인페인팅 마스크를 도출한다.

• 마스크는 재생 영역(해충 인스턴스 및 주변 여백)과 보존 영역(점착 트랩 배경)을 정의한다.
• 폴리곤 마스크에 형태학적 팽창(morphological dilation, 7×7 커널, 4회 반복)을 적용하여 보호 여백을 생성함으로써, 확산 모델이 해충과 그 즉각적인 맥락을 재생하는 동시에 접착제 배경 질감을 보존하도록 보장한다.

2.3. 제어 가능한 확산 모델

생성 과정은 새로운 해충의 외형을 합성하기 위해 ControlNet 가이드 확산 모델(Qwen-Image-2512 기반)을 활용한다.

• 조건화(Conditioning): 모델은 복제된 시각적 사전 지식(구조적 가이드)과 인페인팅 마스크(공간적 제약)를 입력받는다.
• 클래스별 적응: 일반 확산 모델과 점착 트랩 이미지 사이의 도메인 격차를 줄이기 위해, 각 대상 해충 종에 대한 클래스별 LoRA(Low-Rank Adaptation) 어댑터를 미세 조정한다. 이 어댑터들은 생성 과정 중 네트워크의 인코더와 중간 레이어에 주입된다.
• 프롬프트 엔지니어링: 텍xt 프롬프트에는 종 특유의 형태학적 묘사, 점착 트랩 맥락(노란색 접착 표면), 이미지 품질 속성이 포함되며, 비현실적인 출력을 억제하기 위한 부정 프롬프트(negative prompts)도 함께 사용된다.

2.4. 자기 정보 기반 사후 필터링(Self-Informed Post-Filtering)

외부 모델 없이 생성된 샘플의 품질을 보장하기 위해, 저자들은 원본 데이터셋으로 학습된 베이스라인 세그멘테이션 모델($M_{base}$)을 이용한 자기 정보 필터링 전략을 도입한다.

• 특징 추출: $M_{base}$의 백본(backbone)은 실제 해충 인스턴스로부터 특징 벡터를 추출하여 클래스별 참조 프로토타입을 생성한다.
• 코사인 유사도: 생성된 각 인스턴스에 대해 특징 벡터를 추출하고, 이를 실제 클래스 프로토타입과 코사인 유사도를 사용하여 비교한다.
• 필터링 로직:
  • 어노테이션 수준: 유사도 점수가 임계값($\tau = 0.3$) 미만인 인스턴스는 폐기한다. 이를 통해 이미지 전체를 버리지 않고도 단일 이미지 내에서 실패한 생성을 제거할 수 있다.
  • 이미지 수준: 남은 유효 어노테이션들의 평균 유사도를 기준으로 이미지를 순위 매기고, 상위 비율($\gamma$)만큼을 훈련에 유지한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 도메인 특화 프레임워크: 폴리곤 가이드 ControlNet 인페인팅, 공간적 복제, 클래스별 LoRA 적응을 사용하여 어노테이션 일관성이 유지되는 합성 데이터를 생성하는 통합된 점착 트랩 인스턴스 분할 파이프라인을 제시한다.
2. 자기 정보 필터링: 타겟 태스크의 특징 공간을 활용하여 고품질의 합성 샘플을 자동으로 선택함으로써, 외부 필터링 모델이나 수동 검사가 필요 없는 새로운 사후 필터링 메커니즘을 제공한다.
3. 교차 아키텍처 검증: 다섯 가지 서로 다른 세그멘테이션 아키텍처(YOLOv8, YOLOv11, YOLOv26, Mask R-CNN, Mask2Former)에 대한 포괄적인 검증을 통해, 과소 표현된 종에 대한 일관된 성능 향상을 입증하였다.

4. 실험 결과

프레임워크는 두 가지 희귀 종(Ricania sublimata 및 Metcalfa pruosa)에 초점을 맞춘 AI Hub(대한민국) 데이터셋을 통해 평가되었다. 데이터는 미지의 환경에 대한 일반화 능력을 테스트하기 위해 온실 위치별로 분할되었다.

• 어노테이션 일관성: 모델 기반 평가 결과, 재사용된 폴리곤 어노테이션의 **87.2%**가 생성된 해충 인스턴스와 공간적으로 일치함(Mean IoU > 0.72)을 확인하였으며, 이는 생성된 라벨의 신뢰성을 입증한다.
• 성능 향상:
  • 다섯 가지 아키텍처 모두에서 제안된 방법은 mean mAP50을 77.1%에서 87.5%로, mAP50-95를 63.2%에서 65.5%로 증가시켰다.
  • 최적의 이미지 수준 필터링 비율은 데이터 다양성과 품질의 균형을 맞추는 $\gamma = 0.7$인 것으로 나타났다.
  • 본 방법은 데이터 희소성이 심각할 때 특히 희귀 종에 대해 일관되거나 부정적인 영향을 미치는 기존 증강 전략(CutMix, MixUp, Copy-Paste)보다 우수한 성능을 보였다.
• 아키텍처 민감도: 개선 효과는 모델 전반에서 일관되게 나타났으나, 더 표현력이 풍부한 마스크 예측 모듈을 가진 아키텍처(예: Mask R-CNN, Mask2Former)에서 엄격한 위치 측정 지표(mAP50-95)의 가장 큰 향상을 보였다.

5. 의의 및 주장

저자들은 이 연구가 농업 모니터링의 핵심적인 역설을 해결한다고 주장한다. 즉, 희귀 해충 종은 조기 경보에 가장 중요함에도 불구하고 데이터 부족으로 인해 모델 성능이 가장 낮다는 점이다.

• 어노테이션 격차 해소: 폴리곤 가이드 확산 증강이 추가적인 수동 폴리곤 어노테이션의 막대한 비용 없이도 과소 표현된 종을 위한 훈련 데이터셋을 효과적으로 확장할 수 있음을 보여준다.
• 태스크 정렬 품질 제어: 타겟 태스크의 특징 공간을 기반으로 한 "자기 정보(self-informed)" 필터를 사용함으로써, 합성 데이터가 단순히 시각적으로 그럴듯할 뿐만 아니라 특정 세그멘테이션 태스크에 기능적으로 유용함을 보장한다.
• 실제 현장 배치 가능성: 위치 기반 훈련-테스트 분할은 환경적 변화(조명, 배경 오염 등)가 흔한 실제 현장 배치의 잠재력을 검증한다.

결론적으로, 현재의 검증은 특정 점착 트랩 데이터셋과 종에 국한되어 있으나, 제안된 프레임워크는 어노테이션된 데이터가 본질적으로 부족한 도메인 특화 세그멘테이션 태스크에 대한 광범위한 적용을 위한 방법론적 기초를 제공한다.