Visual Accommodation: Rethinking Image Scale as a Learnable Variable for Object Detection

기술 요약: Ciliary-DETR

문제 제기
현대적인 객체 감지 네트워크, 특히 DETR(DEtection TRansformer) 아키텍처에 기반한 네트워크들은 일반적으로 추론 시 고정된 입력 해상도에서 작동합니다. 훈련 중 다중 스케일 데이터 증강은 스케일 변화에 대한 강건성을 향상시키지만, 추론 단계에는 샘플별 적응성이 부족합니다. 인간의 시각 시스템이 안정적인 인식을 유지하기 위해 초점 깊이 (조절) 를 동적으로 조절하는 것과 달리, 현재 감지기는 이미지 해상도를 동적이고 데이터에 의존적인 변수가 아닌 정적인 설계 선택으로 취급합니다. 기존 적응형 스케일링 방법들은 종종 다중 분기 아키텍처, 다중 추론 전략, 또는 사전 정의된 해상도 세트에 의존하는데, 이는 확장성과 엔드 - 투 - 엔드 최적화를 저해합니다. 또한, 특정 이미지에 대한 최적의 입력 스케일은 본질적으로 관측 불가능하며 명시적인 감독이 부재하기 때문에, 표준 훈련 설정 하에서 직접적인 스케일 최적화는 잘 정의되지 않은 (ill-posed) 문제가 됩니다.

방법론: Ciliary-DETR
저자들은 이미지 해상도를 눈의 수정체를 조절하는 생물학적 수정체 근육과 유사한 학습 가능한 변수로 취급하는 Ciliary-DETR 프레임워크를 제안합니다. 이 방법은 감지 백본 앞에 배치된 경량 스케일 예측기 (Scale Predictor) 모듈을 도입하여 입력에 의존하는 스케일 인자 ($\phi$) 를 동적으로 추정합니다.

• 아키텍처: 스케일 예측기는 경량 백본 (ResNet-18) 과 예측 헤드로 구성됩니다. 입력 이미지를 받아 계산 오버헤드를 줄이기 위해 다운샘플링한 후, 원하는 범위 $[\tau_{min}, \tau_{max}]$ 내로 제한된 스칼라 스케일 인자를 출력합니다. 이 인자는 비선형 보간을 통해 이미지를 리사이즈하는 데 사용되며, 그 후 감지 네트워크 (예: DN-DETR) 로 전달됩니다.
• 훈련 전략: 이 프레임워크는"슈퍼넷 (supernet)"철학을 활용하는 2 단계 훈련 과정을 사용합니다:
  1. 다중 스케일 (MS) 훈련: 감지 네트워크는 스케일 변화에 대한 강건성을 구축하기 위해 초기에 MS 데이터 증강으로 훈련됩니다.
  2. 공동 최적화: 스케일 예측기와 감지 네트워크가 공동으로 훈련됩니다. 이 단계에서 해상도 범위가 변형 (서브넷 훈련) 되어 가중치를 공유하면서 성능 - 효율성 트레이드오프를 탐색합니다.
• 최적화 목적: 정답 스케일 레이블의 부재를 해결하기 위해 저자들은 두 가지 상호 보완적인 손실 기반 목적 함수를 도입합니다:
  1. 스케일 손실 (Scale Loss): 이진 교차 엔트로피 (BCE) 에 기반한 확률론적 공식입니다. 이는 객체 크기의 함수로서 업스케일링 또는 다운스케일링에 대한 선호도를 모델링하며, 앵커 크기 ($A_{min}, A_{max}$) 를 사용하여 포화 영역을 정의합니다. 이 손실은 네트워크가 작은 객체는 업스케일링하고 큰 객체는 다운스케일링하여 유효 크기를 정규화하도록 장려합니다.
  2. 분포 손실 (Distribution Loss): 이 손실은 명시적인 감독 없이 스케일링 결정과 하류 감지 성능을 정렬합니다. 이는 학습 가능한 베타 분포 (Beta distribution) 를 사용하여 객체 스케일과 감지 손실 간의 관계를 모델링합니다. 이 매개변수 분포와 감지 손실에서 유도된 경험적 관측 분포 간의 1-워asserstein 거리를 최소화함으로써, 네트워크는 데이터의 성능 민감 영역과 일치하도록 앵커 크기 ($A_{min}, A_{max}$) 를 조정하는 법을 학습합니다.

주요 기여

1. 학습 가능한 이미지 스케일: 이 논문은 이미지 스케일을 직접 학습 가능한 변수로 취급하는 새로운 공식을 제안하여, 단일 순전파 내에서 동적이고 데이터에 의존적인 해상도 조정을 가능하게 합니다.
2. 손실 기반 최적화: 명시적인 스케일 주석이 필요 없는 스케일링 행동을 위한 매개변수형 확률론적 프레임워크를 도입합니다. 스케일 손실과 분포 손실의 결합은 안정적이고 데이터 기반의 적응을 가능하게 합니다.
3. 단일 패스 다중 스케일 추론: 이 방법은 훈련 시간 강건성 (MS 증강을 통해) 과 테스트 시간 적응 사이의 간극을 메우며, 명시적인 다중 해상도 추론의 계산 오버헤드 없이 효과적인 다중 스케일 추론을 달성합니다.
4. 모듈성과 호환성: 이 프레임워크는 감지 파이프라인 자체의 아키텍처 수정 없이 현대적인 DETR 기반 감지기와 호환되도록 설계되어 감지 네트워크의 단순성을 유지합니다.

실험 결과
MS COCO 및 LVIS 데이터셋에 대한 광범위한 실험은 Ciliary-DETR 의 효과성을 입증합니다:

• 성능 - 효율성 트레이드오프: 강력한 베이스라인 (예: DN-DETR-R50 및 Swin-S) 과 비교하여 Ciliary-DETR 은 일관된 정확도 향상 (예: R50 에서 +1.3 AP, Swin-S 에서 +1.1 AP) 을 달성하는 동시에 계산 복잡성 (GFLOPs) 을 약 17–19% 감소시킵니다.
• 제로샷 일반화: 스케일 예측기는 Deformable-DETR, DINO-DETR, H-DETR 과 같은 보이지 않는 감지 아키텍처에 제로샷으로 적용될 수 있으며, AP 를 유지하거나 약간 향상시키면서 GFLOPs 를 18–19% 감소시킵니다.
• TTA 와의 비교: 이 방법은 무작위 해상도 선택 및 단순한 다중 스케일 테스트 시간 증강 (TTA) 보다 우수한 성능을 발휘합니다. 최적의 해상도에 대한 브루트포스 검색 (BFS) 과 유사한 결과를 달성 (0.4–0.5 AP 차이 내) 하지만, 완전히 학습 가능한 단일 패스 방식으로 이를 수행합니다.
• 강건성: 이 모델은 테스트 시 광범위한 해상도에서 강력한 강건성을 보여주며, 훈련 범위 밖의 해상도에서도 고정 해상도 베이스라인보다 우수한 성능을 보입니다.

의의 및 주장
이 논문은 Ciliary-DETR 이 입력 수준 적응에 초점을 맞춤으로써 전통적인 아키텍처 최적화에 대한 직교적인 방향을 제시한다고 주장합니다. 생물학적 시각 조절을 모방함으로써, 이 프레임워크는 각 이미지의 콘텐츠에 동적으로 적응하는 유연하고 효율적인 단일 패스 추론을 가능하게 합니다. 저자들은 이 접근 방식이 훈련 시간 증강과 테스트 시간 적응 사이의 간극을 메워 현대적인 감지 파이프라인의 모듈성을 저해하지 않으면서 확장 가능한 배포를 가능하게 한다고 강조합니다. 이 연구는 해상도를 학습 가능한 변수로 취급하는 것이 객체 감지 시스템의 정확성과 효율성 모두를 개선하기 위한 실현 가능하고 효과적인 전략임을 시사합니다.