AMIEOD: Adaptive Multi-Experts Image Enhancement for Object Detection in Low-Illumination Scenes

기술 요약: AMIEOD – 저조도 장면에서의 객체 감지를 위한 적응형 다중 전문가 이미지 향상

문제 제기
표준적이고 잘 조명된 데이터셋으로 훈련된 객체 감지 시스템은 저조도 시나리오 (예: 야간, 역광, 짧은 노출) 에 적용될 때 종종 성능이 크게 저하됩니다. 기존 솔루션은 일반적으로 세 가지 범주로 분류됩니다: 감지 전에 저조도 이미지 향상 (LLIE) 을 수행하는 방식, 향상과 감지를 공동 최적화하는 방식 (JED), 그리고 조명 불변 특징 추출 (IIFE) 입니다. 그러나 이러한 접근법들은 종종 단일 개선 방식에 의존하여 서로 다른 장면과 촬영 조건에 걸친 이미지의 다양한 특성에 유연하게 적응하지 못합니다. furthermore, 향상된 이미지와 감지 모델이 기대하는 데이터 분포 사이에는 종종 도메인 격차가 존재하여 어두운 환경에서의 시각적 인식의 효과를 제한합니다.

방법론
저자는 감지 성능 지향 방식으로 이미지 향상과 객체 감지를 공동 최적화하는 프레임워크인 AMIEOD(Adaptive Multi-Experts Image Enhancement for Object Detection) 를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 다중 전문가 이미지 향상 모듈 (MEIEM):
   단일 향상 전략에 의존하는 대신, MEIEM 은 저조도 이미지에서 상호 보완적인 정보를 추출하기 위해 세 가지 서로 다른 서브 모듈을 통합합니다:

   • PIEM(사전 훈련된 이미지 향상 모듈): SCI(Self-Calibrated Illumination) 모델을 동결하여 밝기를 향상시키고 더 명확한 객체 단서를 제공합니다.
   • JIEM(공동 최적화 향상 모듈): PIEM 과 아키텍처를 공유하지만 감지기 (detector) 와 공동으로 최적화되어 향상이 감지 인식 표현과 일치하도록 보장합니다.
   • IAEM(이미지 적응형 향상 모듈): IAYOLO 기반이며, 이 모듈은 파라미터 예측 (PP) 네트워크를 사용하여 미분 가능 이미지 처리 (DIP) 모듈을 위한 적응형 파라미터를 예측하며, 전역 이미지 특성에 기반하여 대비, 화이트 밸런스, 톤을 조정합니다.
     훈련 중 입력 이미지는 모든 전문가에 의해 처리되어 원본과 함께 여러 개의 향상된 변형 ($I_1, I_2, ..., I_n$) 을 생성하며, 이는 감지기에 입력됩니다.

2. 감지 유도 회귀 손실 (DGRL):
   서브 모듈들이 감지에 유리한 정보를 학습하도록 보장하기 위해 DGRL 이 도입됩니다. DGRL 은 원본과 모든 향상된 변형 중 감지 손실이 가장 낮은 향상된 출력을 회귀 목표로 식별합니다. 그런 다음 다른 전문가들은 이 최적 목표 방향으로 회귀됩니다. 이 과정은 최적 솔루션 주변의 다중 전문가 출력의 분산을 최소화하고 초기 훈련 중 노이즈를 억제하여, 감지기의 최적화를 방해하지 않으면서 향상 모듈을 효과적으로 유도합니다.

3. 감지 유도 교차 엔트로피 (DGCE) 를 갖춘 전문가 선택 모듈 (ESM):
   추론 중에는 하나의 향상 전략만 적용될 수 있으므로, 주어진 입력 이미지에 가장 적합한 전문가를 적응적으로 선택하기 위해 ESM 이 구성됩니다. ESM 은 전문가 선택을 분류 문제로 간주하는 DGCE 를 사용하여 훈련됩니다. 훈련을 위한 정답 레이블은 특정 이미지에 대해 최소 감지 손실을 생성하는 전문가입니다. 이를 통해 ESM 은 최적 전문가의 사후 확률을 근사하는 정책을 학습하여, 입력을 최상의 전처리 전략으로 동적으로 라우팅할 수 있습니다.

주요 기여

• 다중 전문가 프레임워크: 사전 훈련, 공동 최적화, 이미지 적응형 등 다양한 향상 전략을 활용하여 저조도 이미지 특성을 포괄적으로 탐색하는 MEIEM 의 도입.
• 감지 유도 최적화: 향상 모듈을 감지 결과에 기반하여 최적화하여 향상된 이미지가 감지 작업에 맞게 조정되도록 보장하는 DGRL 의 제안.
• 적응형 라우팅: 각 입력 이미지의 전역 특성에 기반하여 정적이거나 단일 방식의 접근법 대신 가장 적합한 향상 전략을 동적으로 선택할 수 있도록 하는 ESM 과 DGCE 손실의 개발.
• 일반화성: 이 방법은 감지기에 유연하게 설계되어 다양한 YOLO 아키텍처 (v3, v5, v7, v9) 에서 효과적으로 작동함이 입증되었습니다.

실험 결과
광범위한 실험이 ExDark 데이터셋에서 수행되었으며, DarkFace, LLVIP, M3FD에서 추가 검증이 이루어졌습니다.

• 성능: ExDark 데이터셋에서 AMIEOD 는 mAP **82.1%**를 달성하여 베이스라인 YOLOv3 보다 5.6% 높았고, 현재 최첨단 방법 (EMV-YOLO) 보다 2.4% 더 뛰어났습니다. 12 개 객체 카테고리 중 9 개에서 가장 높은 평균 정밀도 (AP) 를 기록했습니다.
• 일반화: 이 방법은 다양한 데이터셋과 감지 백본 (YOLOv3, v5s, v7, v9) 에서 일관되게 성능을 향상시켜 다양한 저조도 조건에서 견고함을 입증했습니다.
• 효율성: ESM 의 추가적인 복잡성에도 불구하고, 이 프레임워크는 640×640 해상도에서 약 70 FPS의 실시간 추론 속도를 유지하여 정확도와 효율성 사이의 유리한 균형을 제공합니다.
• 애블레이션 연구: 결과들은 다중 전문가 훈련, DGRL, 그리고 적응형 전문가 선택 (DGCE) 의 조합이 관찰된 성능 향상에 필수적임을 확인시켰습니다. 구체적으로 DGRL 은 수렴을 크게 가속화하고 훈련을 안정화시켰으며, DGCE 는 모델이 고정된 및 무작위 전문가 선택 전략 모두를 능가하도록 했습니다.

의의 및 주장
이 논문은 AMIEOD 가 이미지 향상을 감지 목표와 직접 정렬시키는 유연하고 적응적인 프레임워크를 도입함으로써 단일 방식 향상 방법의 한계를 해결한다고 주장합니다. 다양한 향상 전문가들을 공동 최적화하고 감지 유도 선택 메커니즘을 적용함으로써, 이 방법은 어두운 장면에서 객체 감지 정확도를 크게 향상시킵니다. 저자들은 그들의 접근 방식이 구조적 및 의미론적 정보를 효과적으로 보존하여 작고, 어둡게 조명되거나, 부분적으로 가려진 객체에 대한 견고성을 향상시킨다고 강조합니다. 시각적으로 모호하거나 위장된 객체에 대한 과제를 인정하면서도, 이 작업은 휴리스틱 라우팅에 대한 원칙적인 대안을 제시하며 저조도 환경에서 기대되는 감지 위험을 최소화하기 위한 이론적으로 근거 있는 접근법을 제공합니다.