기술 요약: GoodQ – 기성 생성 모델을 이용한 객체 탐지기용 제로샷 양자화(Zero-Shot Quantization)

1. 문제 정의

자원 제한적인 에지 장치에 객체 탐지(Object Detection, OD) 모델을 배포하기 위해서는 양자화를 통한 모델 압축이 필수적입니다. 표준적인 양자화 인식 학습(Quantization-Aware Training, QAT)은 모델을 미세 조정하기 위해 원래의 훈련 데이터셋에 대한 접근 권한을 요구합니다. 그러나 많은 실제 환경에서는 개인정보 보호 규정 및 보안 문제로 인해 원본 데이터에 대한 접근이 금지되는 경우가 많습니다.

이러한 문제를 해결하기 위해 합성 프록시 데이터셋을 활용하는 제로샷 양자화(Zero-Shot Quantization, ZSQ)가 등장했지만, 기존의 OD용 ZSQ 방식들은 다음과 같은 상당한 한계점에 직면해 있습니다:

• 저비트 성능 저하: 노이즈 최적화에 의존하는 TSOD와 같은 기존의 ZSQ 방식은 극단적인 저비트 영역(예: W4A4 및 W3A3)에서 성능을 유지하는 데 어려움을 겪습니다.
• 데이터 다양성: 노이즈 최적화된 합성 데이터셋은 원본 데이터 분포를 효과적으로 근사하는 데 필요한 다양성이 부족하여, 양자화 비트 폭이 줄어들 때 과도한 성능 저하를 초래합니다.
• 태스크 특화된 과제: 객체 탐지는 이미지 분류와 근본적으로 다릅니다. 이는 밀집된 의미 정보(이미지당 여러 인스턴스)를 필요로 하며, 본질적으로 불균형한 클래스 분포를 다루고, 정밀한 공간적 위치 지정(경계 상자)에 의존합니다. 표준적인 생성 방식은 이러한 특정 제약 사항을 해결하는 데 실패하는 경우가 많습니다.

2. 방법론: GoodQ 프레임워크

저자들은 ZSQ-OD의 고유한 과제를 해결하기 위해 맞춤 설계된 기성 생성 모델(특히 확산 모델)을 활용하는 파이프라인인 GoodQ(Generative off-the-shelf models for object detector Quantization)를 제안합니다. 이 프레임워크는 세 가지 뚜렷한 단계로 작동합니다.

단계 1: 정보 밀집 프롬프팅 (Information-Dense Prompting, IDP)

정보 밀도 문제(이미지당 여러 객체가 필요한 요구사항)를 해결하기 위해, GoodQ는 분류 작업에서 사용되는 단일 객체 프롬프트를 넘어섭니다.

• 전략: 이 방식은 *"A {D} photo of {Q} {C1} and {Q} {C2}"*라는 특정 프롬프트 템플릿을 사용합니다. 여기서 {D}는 묘사적인 형용사, {Q}는 양적 형용사(예: "multiple"), {C1}과 {C2}는 클래스 레이블입니다.
• 결과: 이를 통해 여러 객체 인스턴스와 경계 상자를 포함하는 합성 이미지 풀(160k 이미지)을 생성하여, MS-COCO와 같은 실제 OD 데이터셋의 밀도를 더 잘 반영하게 합니다.

단계 2: 내재적 분포 인식 선택 (Intrinsic Distribution-Aware Selection, IDAS)

클래스 불균형 문제(OD 데이터셋에서의 왜곡된 클래스 분포)를 해결하기 위해, GoodQ는 원본 레이블에 대한 접근 없이 생성된 풀에서 대표성 있는 서브셋을 선택합니다.

• 분포 추정: 원본 데이터를 사용할 수 없으므로, 이 방법은 사전 훈련된 탐지 헤드의 바이어스(bias) 항을 분석하여 타겟 클래스 분포를 추정합니다. 이 바이어스 파라미터는 클래스 사전 확률(priors)을 암묵적으로 포착합니다.
• 선택 알고리즘: 그리디(greedy) 선택 알고리즘은 추정된 타겟 분포와 일치하도록 이미지를 반복적으로 선택합니다. 이 알고리즘은 과소 표현된 클래스를 우선시하고, 밀도를 보장하기 위해 경계 상자 수가 가장 많은 이미지를 선택함으로써, 실제 OD 데이터의 롱테일 분포를 모사하는 데이터셋을 효과적으로 큐레이션합니다.

단계 3: 교사 가이드 적응형 노이즈 감소 (Teacher-guided Adaptive Noise Reduction, TANR)

프리트레인된 탐지기를 통해 합성 이미지에 레이블을 할당할 때 발생하는 노이즈(Pseudo-Label Challenge)를 해결하기 위해, GoodQ는 QAT 손실 함수를 수정합니다.

• 소프트 타겟 (Soft Targets): 감독 노이즈를 유발하는 하드 의사 레이블(one-hot 벡터) 대신, 이 방법은 전체 정밀도(full-precision) "교사(Teacher)" 모델의 소프트 예측(logits)을 그라운드 트루스 타겟으로 사용합니다.
• 적응형 가중치 부여: 손실 함수는 QFocal 기반의 적응형 가중치 부여(Adaptive Weighting, AW) 메커니즘을 포함합니다. 이를 통해 학생(student) 모델이 양자화로 인한 노이즈에 취약한 인스턴스에 더 집중할 수 있게 하여, 훈련 중 레이블 노이즈의 부정적인 영향을 효과적으로 완화합니다.

3. 주요 기여

1. 과제 식별: 본 논문은 기성 생성 모델을 ZSQ-OD에 적용할 때 발생하는 세 가지 구체적인 장애물인 정보 밀도, 클래스 불균형, 의사 레이블 노이즈를 체계적으로 식별했습니다.
2. 새로운 프레임워크 (GoodQ): 정보 밀집 프롬프팅, 내재적 분포 인식 선택, 교사 가이드 적응형 노이즈 감소를 포함하는 맞춤형 파이프라인을 도입하여 이러한 장애물을 극복했습니다.
3. 최첨단 성능 (SOTA): GoodQ는 저비트 ZSQ(W4A4)에서 최첨단 성능을 달স্য하며, 극단적인 비트 폭(W3A3)까지 성공적인 양자화를 확장하여 TSOD와 같은 최적화 기반 방법들을 능가합니다.
4. 포괄적 분석: 저자들은 데이터 다양성과 분포 정렬이 견고한 저비트 양자화의 핵심 요소임을 입증하는 광범파적인 어블레이션 연구와 시각화(예: CLIP 임베딩의 UMAP)를 제공합니다.

4. 실험 결과

실험은 MS-COCO 2017 검증 세트를 사용하여 YOLOv5 및 YOLOv11 모델에 대해 수행되었습니다.

• 저비트 강건성: W4A4 환경에서 GoodQ는 TSOD를 크게 앞섭니다. 예를 들어, YOLOv5-s에서 GoodQ는 21.0 mAP를 달성한 반면, TSOD는 18.4 mAP를 기록했습니다. 극단적인 W3A3 환경에서도 GoodQ는 10.2 mAP를 유지하지만, TSOD는 5.0 mAP로 떨어집니다.
• 고비트 성능: GoodQ는 높은 비트 폭(W8A8, W6A6)에서도 경쟁력 있는 성능을 유지하며, 실제 데이터 서브셋이나 노이즈 최적화 데이터셋을 사용하는 방법들과 대등한 결과를 달성합니다.
• 어블레이션 결과:
  • 다양성: 확산 모델으로 생성된 데이터셋은 노이즈 최적화된 데이터셋보다 높은 특징 다양성(코사인 거리로 측정)을 보이며, 이는 더 나은 저비트 성능과 상관관계가 있습니다.
  • 분포: IDAS 선택 전략은 무작위 선택이나 단순 "많은 경계 상자" 선택보다 성능이 훨씬 뛰어나며, 이는 내재적 클래스 분포를 일치시키는 것이 매우 중요하다는 것을 확인시켜 줍니다.
  • 노이즈 감소: TANR 구성 요소는 특히 레이블 노이즈가 더 빈번하게 발생하는 확산 생성 데이터에서 성능을 지속적으로 개선합니다.

5. 의의 및 주장

본 논문은 GoodQ가 기성 생성 모델의 능력과 객체 탐지 작업의 특정 요구 사항 사이의 간극을 성공적으로 메움으로써, 객체 탐지를 위한 제로샷 양자화 분야에서 중요한 진전을 이루었다고 주장합니다.

저자들은 이 접근 방식이 원본 훈련 데이터에 대한 접근 권한 없이도 에지 장치에 고도로 압축된 OD 모델(최대 3비트까지)을 배포할 수 있게 해준다는 점을 강조합니다. OD의 구조적 및 통계적 과제(밀도, 불균형, 레이블 노이즈)를 해결함으로써, GoodQ는 이 영역에서 역사적으로 저비트 양자화를 괴롭혀온 성능 저하 문제를 극복합니다. 이 연구는 훈련 데이터의 다양성을 극대화하고 클래스 분포를 정확하게 정렬하는 것이 생성 기반 ZSQ-OD의 효능을 결정짓는 근본적인 요인임을 시사합니다.