기술 요약: UniISP

문제 제기

현재 이미지 파이프라인은 인간의 시각적 지각과 머신 비전 요구사항 사이의 이분법에 직면해 있습니다. 전통적인 이미지 신호 처리 (ISP) 파이프라인은 인간의 소비를 위해 시각적으로 매력적인 RGB 이미지를 생성하도록 수동으로 설계되었습니다. 그러나 이러한 연산들 (예: 노이즈 제거, 선명도 향상, 톤 매핑) 은 종종 압축 아티팩트와 정보 손실을 초래하여, 특히 저조도 환경과 같은 까다로운 조건에서 하류 컴퓨터 비전 작업의 성능을 저하시킵니다.

반면, 머신 비전을 위해 설계된 방법들은 전통적인 ISP 를 우회하여 원시 센서 데이터를 직접 활용하거나 공동으로 훈련된 ISP 네트워크를 사용합니다. 이러한 접근 방식은 작업별 지표 (예: 객체 감지 정확도) 를 개선하지만, 결과적인 RGB 이미지는 종종 인간의 미적 기준을 충족하지 못해 시각화 불가능하거나 색 충실도가 부족하게 나타납니다. 인간의 감시를 위한 고품질 이미지 생성과 기계 해석을 위한 정보 무결성 보존이라는 이중 요구 사항을 동시에 충족하는 전용 최적화 프레임워크가 부족합니다.

방법론

본 논문은 U-Net 아키텍처를 기반으로 한 경량 엔드 - 투 - 엔드 신경 ISP 프레임워크인 UniISP를 제안합니다. UniISP 는 원시 센서 데이터를 인간의 시각적 품질과 하류 머신 비전 작업 모두에 최적화된 sRGB 이미지로 변환하도록 설계되었습니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 하이브리드 어텐션 모듈 (HAM)

인간 지각에 적합한 고품질 이미지 재구성을 보장하기 위해 UniISP 는 백본으로 하이브리드 어텐션 모듈을 사용합니다.

• 채널별 자기 어텐션 (Channel-wise Self-Attention): Restormer 에서 영감을 받아, 이 모듈은 공간 차원이 아닌 채널 차원에서 자기 어텐션을 적용합니다. 이는 계산 복잡도를 $O((H \cdot W)^2)$에서 $O(C^2)$로 줄여 고해상도 이미지에서 글로벌 상호작용을 가능하게 합니다.
• 동적 특징 향상: 정적 어텐션 메커니즘과 달리, 채널별 자기 어텐션은 컨텍스트에 따라 정보성이 높은 채널을 동적으로 증폭하고 노이즈가 있는 채널을 억제합니다. 이는 RAW-to-RGB 변환에 매우 중요합니다.
• 상대적 위치 인코딩 (RPE): RPE 는 채널의 상대적 위치에 대한 단서를 제공하여 구조적 정보를 보존하도록 통합되며, 국소 및 장거리 의존성 모델링을 강화합니다.
• 지도 학습: HAM 은 생성된 이미지가 인간의 시각적 선호도와 일치하도록 지도 학습으로 훈련됩니다.

2. 특징 어댑터

ISP 단계와 하류 컴퓨터 비전 네트워크 (일반적으로 RGB 데이터로 사전 훈련됨) 간의 간극을 메우기 위해 특징 어댑터가 도입되었습니다.

• 주파수 도메인 퓨전: 어댑터는 FreqFusion 모듈을 사용하여 다중 스케일 인코더 출력 (D1–D4) 을 집계합니다. 이를 통해 특징을 저주파 (전역 컨텍스트) 와 고주파 (세부적인 디테일) 구성 요소로 분리합니다.
• 다단계 통합: 퓨전된 특징은 연결 및 잔여 연결을 통해 하류 네트워크의 백본으로 점진적으로 병합됩니다. 이 메커니즘은 네트워크가 RAW 도메인 정보를 유연하게 통합하도록 하여 도메인 시프트를 줄이고 사전 훈련된 가중치 전이를 용이하게 합니다.

3. 적응형 훈련 프레임워크

UniISP 는 인간 비전과 머신 비전 목표 간의 균형을 맞추기 위해 공동 최적화 전략을 사용합니다.

• 손실 함수: 총 손실 $L_{total}$은 인간 비전 손실 ($L_{human}$) 과 머신 비전 손실 ($L_{machine}$) 의 가중 합으로 정의됩니다.
• 동적 가중치: 가중치 인자 $\lambda$는 손실의 지수 이동 평균 (EMA) 을 사용하여 각 훈련 단계에서 적응적으로 계산됩니다. 인간 비전 손실이 높으면 $\lambda$가 감소하여 머신 성능을 강조하고, 그 반대의 경우도 마찬가지입니다.
• 정렬 처리: 정렬되지 않은 데이터셋 (RAW 및 참조 RGB 이미지가 서로 다른 카메라에서 온 경우) 의 경우, 프레임워크는 전역 색상 매핑 (GCM) 모듈과 강력한 광학 흐름 일관성 마스크를 통합합니다. 이 마스크는 (가림, 반복 패턴 등) 부정확한 정렬 영역을 필터링하여 신뢰할 수 있는 지도를 보장합니다.

주요 기여

1. 통합 프레임워크: 인간의 시각적 지각과 머신 비전 작업의 요구 사항을 동시에 충족할 수 있는 학습 가능하고 경량인 ISP 프레임워크인 UniISP 의 제안.
2. 하이브리드 어텐션 모듈 (HAM): 자기 어텐션과 고전적인 컨볼루션 어텐션을 결합한 새로운 어텐션 메커니즘의 도입. 이 설계는 다양한 어텐션 유형을 활용하여 특징 표현과 일반화를 강화하면서도 계산 효율성을 유지합니다.
3. 특징 어댑터: ISP 단계의 다중 스케일 특징을 하류 네트워크에 통합하고 적응시키는 모듈 개발. 이는 모델의 이해도를 풍부하게 하고 시각적 품질을 희생하지 않으면서 하류 작업 성능을 향상시킵니다.
4. 종합 평가: RAW-to-RGB 매핑, 객체 감지, 시맨틱 분할 등 여러 작업과 다양한 데이터셋을 통한 광범위한 실험을 통해 프레임워크의 효과성과 일반화 능력을 입증했습니다.

실험 결과

본 논문은 다양한 데이터셋 (ZRR, PASCAL RAW, LOD, ADE20K RAW) 을 사용하여 세 가지 주요 작업에 대해 UniISP 를 평가했습니다:

• RAW-to-RGB 매핑: ZRR 데이터셋에서 UniISP 는 PSNR, SSIM, LPIPS 지표 전반에 걸쳐 AWNet, MW-ISPNet, LiteISP, FourierISP 를 포함한 최첨단 방법들보다 우수한 성능을 발휘했습니다. 경량 HAM 설계로 인해 훨씬 적은 파라미터와 낮은 계산 복잡도 (GFLOPs) 로 이러한 결과를 달성했습니다. 정성적 결과는 더 선명한 이미지, 풍부한 디테일, 높은 색 충실도를 보여줍니다.
• 객체 감지: PASCAL RAW 및 LOD 데이터셋에서 UniISP 는 RAW-Adapter 와 같은 방법에 비해 저조도 시나리오에서 감지 성능을 크게 향상시켰습니다. 특징 어댑터의 포함이 ISP 단계 특징을 활용하는 데 결정적임이 입증되었습니다. UniISP 는 인간 시각적 품질을 우수하게 제공하면서도 머신 전용 최적화에서 흔히 보이는 거친 대비를 피하여 균형 잡힌 성능을 달성함으로써, 정상, 과노출, 어두운 조건 전반에 걸쳐 견고한 감지를 가능하게 합니다.
• 시맨틱 분할: ADE20K RAW 데이터셋에서 UniISP 는 다양한 백본 크기 (MIT-B0, B3, B5) 와 조명 수준에서 경쟁 방법들을 능가했습니다. 특히, 더 작은 백본 (MIT-B3) 을 가진 UniISP 모델이 저조도 조건에서 더 큰 백본 (MIT-B5) 을 사용하는 다른 방법들을 능가했는데, 이는 어댑터의 효과적인 특징 퓨전에 기인합니다.

중요성 및 주장

본 논문은 인간 시각적 지각과 머신 비전 작업을 동시에 최적화하는 ISP 에 대한 최초의 탐구라고 주장합니다. 기존 연구는 이러한 목표를 대부분 별도로 다루어 인간 감시나 기계 분석 어느 쪽에도 최적이지 않은 해결책을 초래했다고 봅니다.

UniISP 의 중요성은 다음과 같은 능력에 있습니다:

• 정보 무결성 보존: 전통적인 2 단계 파이프라인 (RAW $\to$ Human-ISP $\to$ Machine Task) 에 내재된 정보 손실을 피함으로써 UniISP 는 원시 센서에서 물리적으로 의미 있는 정보를 유지합니다.
• 도메인 간극 해소: 특징 어댑터는 RAW 특징을 하류 네트워크로 효과적으로 전파하여 사전 훈련된 RGB 모델이 원시 데이터에서 효과적으로 작동하도록 합니다.
• 이중 최적화 달성: 적응형 훈련 프레임워크는 미적 품질과 시맨틱 성능이라는 종종 상충되는 목표를 성공적으로 균형 잡아, 통합 접근 방식이 개별 최적화 전략보다 실현 가능하고 우수함을 입증합니다.

저자들은 이 작업이 자율 주행과 같은 하이브리드 시나리오에서 사용자를 위한 실시간 시각화와 기계를 위한 환경 인식 모두 요구되는 미래 ISP 시스템에 대한 잠재적 방향을 제시한다고 결론지었습니다.