[기술 요약] RAWDET-7: 양자화된 RAW 이미지에서의 객체 탐지 및 묘사를 위한 다중 시나리오 벤치마크

1. 문제 정의 (Problem Statement)

대부분의 컴퓨터 비전 모델은 인간의 시각적 인지에 최적화된 ISP(Image Signal Processor) 파이프라인을 거친 8비트 sRGB 이미지를 기반으로 학습됩니다. 그러나 이 과정에서 센서 수준의 풍부한 정보(높은 동적 범위, 정밀한 측정값 등)가 손실될 수 있습니다.

RAW 데이터는 기계 추론에 유용한 풍부한 정보를 담고 있지만, 다음과 같은 연구적 한계가 존재합니다:

• 데이터셋 부족: 대규모의 고품질 주석(Annotation)이 달린 RAW 데이터셋이 드뭅니다.
• 데이터 불일치: 센서마다 비트 깊이(Bit-depth)와 ISP 파이프라인이 달라 일반화가 어렵습니다.
• 양자화 연구 미비: 메모리 및 전력 효율을 위해 RAW 데이터를 저비트(Low-bit)로 양자화할 때, 이것이 하위 태스크(객체 탐지, 묘사 등)의 성능에 미치는 영향에 대한 체계적인 연구가 부족합니다.

2. 연구 방법론 (Methodology)

A. RAWDET-7 데이터셋 구축

연구진은 기존의 4개 RAW 데이터셋(PASCAL RAW, NOD, RAOD, Zurich)을 통합 및 재구성하여 RAWDET-7을 구축했습니다.

• 규모: 약 25,000장의 학습 이미지와 7,600장의 테스트 이미지.
• 주석 고도화: 기존 데이터셋의 오류(환각, 오분류, 누락된 주석)를 해결하기 위해 Foundation Model(Grounded-DINO 1.5)을 사용하여 7개 객체 카테고리(Car, Truck, Tram, Person, Bicycle, Motorcycle, Bus)에 대해 정밀한 주석을 다시 생성하고 인간이 검증했습니다.
• 객체 묘사(Description) 데이터: 고해Resolution sRGB 이미지에서 Gemini-2.5-Pro를 이용해 객체별 상세 설명을 생성하여, RAW 이미지 처리 시 정보 보존력을 평가할 수 있는 기준(Ground Truth)을 마련했습니다.

B. 양자화 및 스케일링 방법론 (Scaling Methods)

저비트(4, 6, 8비트) 양자화 시 성능 저하를 막기 위해 네 가지 입력 스케일링 방식을 비교 분석했습니다:

1. Linear Scaling: 단순 선형 양자화.
2. Logarithmic Scaling: 로그 함수를 이용한 동적 범위 압축.
3. $\gamma$-Scaling (Learnable): 신경망과 함께 학습 가능한 $\gamma$ 파라미터를 사용하여 입력 강도를 조절.
4. Log + $\gamma$-Scaling: 로그 스케일링과 학습 가능한 $\gamma$를 결합한 방식.

C. 평가 지표

• 객체 탐지: mAP (mean Average Precision), AP50, AP75.
• 객체 묘사: BLEU, Regex Match, Semantic Similarity, Detail Level, Detail Match (LLM-as-a-judge 방식 활용).

3. 주요 기여 (Key Contributions)

1. 대규모 통합 데이터셋 제공: 다양한 조명, 센서, 비트 깊이를 포함하는 최초의 대규모 RAW 객체 탐지 벤치마크를 제안했습니다.
2. 양자화 인식 연구 가이드라인: 4-bit, 6-bit, 8-bit 양자화 환경에서의 성능을 체계적으로 벤치마킹했습니다.
3. 객체 수준 묘사 태스크 도입: 단순 탐지를 넘어, 양자화된 RAW 이미지에서 세부 정보(색상, 질감, 위치 등)가 얼마나 잘 보존되는지 평가할 수 있는 프레임워크를 구축했습니다.
4. 효율적인 스케일링 전략 제시: 학습 가능한 $\gamma$-Scaling이 저비트 환경에서 ISP 없이도 높은 성능을 낼 수 있음을 증명했습니다.

4. 실험 결과 (Results)

• 탐지 성능: 단순 선형 양자화는 성능이 급격히 저하되지만, Log + $\gamma$-Scaling을 적용할 경우 4비트 양자화된 RAW 이미지에서도 표준 8비트 sRGB 모델과 대등하거나 오히려 능가하는 성능을 보였습니다.
• 모델 일반화: RAWDET-7 통합 데이터셋으로 학습했을 때, 개별 데이터셋으로만 학습했을 때보다 다양한 센서와 조명 조건에서 훨씬 높은 일반화 성능을 보였습니다.
• 대형 VLM(Large Vision-Language Models) 적용: MM-Grounding DINO와 같은 최신 모델에서도 $\gamma$-Scaling을 통해 저비트 RAW 입력에 대한 제로샷(Zero-shot) 성능을 유의미하게 향상시켰습니다.
• 묘사 품질: Log + $\gamma$ 방식으로 처리된 RAW 이미지는 생성된 캡션의 세부 사항(Detail)과 유사성(Similarity) 측면에서 고해상도 sRGB 이미지의 설명과 매우 유사한 수준을 유지했습니다.

5. 연구의 의의 (Significance)

본 연구는 **"센서-알고리즘 공동 설계(Co-design)"**의 가능성을 열었습니다. 전통적인 ISP 파이프라인을 거치지 않고, 센서에서 직접 추출된 저비트 RAW 데이터를 적절한 스케일링 기법과 함께 사용함으로써 컴퓨터 비전 시스템의 전력 소모와 메모리 사용량을 획기적으로 줄이면서도 높은 지능적 성능을 유지할 수 있음을 입증했습니다. 이는 저전력 에지 디바이스(Edge Device)나 초고속 센싱이 필요한 자율 주행 시스템 등에 매우 중요한 기술적 토대를 제공합니다.