💻 computer science

Contrastive-SDXL: Annotation-Preserving Night-Time Augmentation for Pedestrian Detection

본 논문은 SDXL-Turbo 와 LoRA 를 활용하고 의미적 대비 손실 함수를 적용하여 현실적이고 주석 정보를 보존하는 야간 이미지를 생성함으로써 주간 데이터만 학습하는 경우보다 보행자 탐지 성능을 크게 향상시키는 Contrastive-SDXL 이라는 낮에서 밤으로의 증강 프레임워크를 소개합니다.

원저자: Franky George, Muhammad Khalid, Adil Khan

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Franky George, Muhammad Khalid, Adil Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Contrastive-SDXL" 논문을 쉬운 언어와 일상적인 비유로 설명합니다.

큰 문제: 어둠 속에서 자동차에게 시선을 가르치기

바쁜 도시를 걷는 로봇을 가르친다고 상상해 보세요. 햇살이 비치는 낮 시간대의 도시 사진 수천 장을 가지고 있으며, 로봇이 각 인물을 식별할 수 있도록 모든 사람 주위에 상자를 그렸습니다. 로봇은 완벽하게 학습합니다.

하지만 로봇을 밤에 데리고 나가면 갑자기 혼란에 빠집니다. 가로등, 그림자, 그리고 어둠은 로봇이 공부했던 햇살 가득한 사진들과 전혀 다릅니다. 로봇은 사람을 완전히 놓치거나 그림자를 사람으로 오인할 수 있습니다.

명백한 해결책은 밤에 사진 수천 장을 찍고 다시 사람 주위에 상자를 그리는 것입니다. 하지만 이는 비용이 많이 들고 느리며, 모든 곳에서 수행하기 어렵습니다.

제안된 해결책: "마법 번역기"

이 논문의 저자들은 Contrastive-SDXL이라는 도구를 개발했습니다. 이를 마법 사진 번역기로 생각하세요.

새로운 밤 사진을 찍는 대신, 이 도구는 기존에 있는 햇살 가득한 낮 사진을 가져와 즉시 사실적인 밤 사진으로 변환합니다. 가장 좋은 점은 "상자"(주석) 를 원래 위치에 그대로 유지한다는 것입니다. 낮에 사람이 도로 한가운데에 있었다면, 밤에도 여전히 도로 한가운데에 있습니다. 이를 통해 로봇은 누군가 수동으로 새로운 상자를 그릴 필요 없이 밤 사진으로부터 학습할 수 있습니다.

도전 과제: 사람들을 잃지 마세요!

여기가 까다로운 부분입니다. 표준 "야간 모드" 필터나 기본적인 AI 만 사용하면 하늘을 검게, 거리를 어둡게 만들 수는 있지만, 실수로 사람들을 지워버리거나, 기괴한 형태로 늘리거나, 보도로 이동시킬 수 있습니다. AI 가 사람을 이동시키면, 이전에 그린 "상자"가 이제 틀리게 되고 로봇은 잘못된 것을 학습하게 됩니다.

이 논문은 안전이 중요한 작업 (예: 보행자 회피) 의 경우 번역이 완벽해야 한다고 주장합니다. 사람은 어둠 속에서만 있을 뿐, 사람처럼 보이고 정확히 제자리에 있어야 합니다.

어떻게 해결했나: "엄격한 편집자"와 "똑똑한 눈"

마법 번역기가 사람들을 망치지 않도록 하기 위해 저자들은 시스템에 두 가지 특별한 "안전 가드"를 추가했습니다.

"똑똑한 눈" (DINOv2):
다른 언어를 구사하는 번역기가 있다고 상상해 보세요. 이야기를 번역해 달라고 하면 줄거리를 바꿀 수 있습니다. 이를 막기 위해 번역은 못 하지만 사물이 무엇인지 알고 있는 "똑똑한 눈"(사전 훈련된 AI 인 DINOv2) 을 고용합니다.
시스템은 새 밤 사진의 모든 패치를 기존 낮 사진과 비교합니다. "똑똑한 눈"은 "잠깐, 낮 사진의 그 패치는 사람의 다리였어. 밤 사진에서도 그 패치는 여전히 사람의 다리야. 좋아."라고 말합니다. 만약 다리가 나무로 변했다면 시스템은 이를 거부합니다. 이를 통해 조명 변화가 있더라도 이미지의 의미가 동일하게 유지되도록 합니다.
"엄격한 편집자" (객체 일관성 손실):
이는 오직 한 가지 것만 신경 쓰는 상사와 같습니다: 사람들은 여전히 있는가?
시스템은 새로운 밤 사진을 보기 위해 전문 보행자 탐지기 (사람을 찾도록 훈련된 로봇) 를 사용합니다. 탐지기가 새 사진에서 사람을 찾지 못하면 시스템은 실패한 것을 인지합니다. 사람이 명확하게 보이고 올바른 위치에 있을 때까지 번역기가 다시 시도하도록 강제합니다.

결과: 완벽한 연습장

저자들은 도구를 테스트한 결과 다음과 같은 사실을 발견했습니다:

사실적입니다: 가짜 밤 사진은 실제 밤 사진과 거의 구별할 수 없을 정도로 보입니다 (FID 라는 점수로 측정되었으며, 매우 낮고 좋은 점수인 22.5 를 기록했습니다).
다른 것들보다 더 잘 작동합니다: 그들은 이 도구를 다른 인기 있는 AI 번역기와 비교했습니다. 다른 도구들은 이미지를 너무 어둡게 만들거나, 사람을 잃어버리거나, 기괴한 아티팩트를 생성했습니다. 반면 그들의 도구는 사람들을 안전하고 선명하게 유지했습니다.
더 나은 로봇을 훈련시킵니다: 그들이 이 가짜 밤 사진을 사용하여 보행자 탐지기를 훈련시켰을 때, 로봇은 어둠 속에서 사람을 찾는 능력이 크게 향상되었습니다. 실제로 그들의 가짜 밤 사진으로 훈련된 로봇은 수천 장의 실제 밤 사진으로 훈련된 로봇만큼이나 잘 수행했습니다.

결론

이 논문은 사람들 없이 잃어버리지 않고 햇살 가득한 낮 사진을 사실적인 밤 사진으로 변환하는 방법을 제시합니다. 세부 사항을 확인하는 "똑똑한 눈"과 사람들이 지워지지 않도록 보장하는 "엄격한 편집자"를 사용하여 자율주행차를 위한 안전하고 고품질의 연습장을 만들었습니다. 이는 수백만 개의 위험한 야간 주행 영상을 수집할 필요 없이 자동차에게 어둠 속에서 보기를 훨씬 더 빠르고 저렴하게 가르칠 수 있음을 의미합니다.

"Contrastive-SDXL: 보행자 감지를 위한 주석 보존 야간 증강" 논문에 대한 상세한 기술 요약입니다.

문제 제기

야간 보행자 감지는 자율주행 차량 및 첨단 운전자 보조 시스템 (ADAS) 에 있어 중요한 과제입니다. 감지기는 주간 조건에서는 잘 작동하지만, 가시성 저하, 눈부심, 노이즈, 그리고 큰 조명 차이로 인해 저조도 환경에서는 신뢰성이 크게 떨어집니다. 대규모 야간 데이터셋을 수집하고 주석을 달기는 비용이 많이 들고 확장하기 어렵습니다.

교차 도메인 증강은 라벨이 지정된 주간 이미지를 야간 스타일 이미지로 변환하여 원래 주석을 재사용할 수 있게 함으로써 대안을 제공합니다. 그러나 기존 확산 기반 이미지 간 변환 방법들은 종종 특정 객체 수준의 세부 사항 보존보다 지각적 사실성을 우선시합니다. 보행자 감지와 같은 안전-중요 작업에서 변환이 보행자를 왜곡, 제거 또는 이동시킨다면, 상속된 바운딩 박스 주석은 신뢰할 수 없게 되어 하류 감지기가 잘못된 단서를 학습하게 될 수 있습니다. 유효한 감지 훈련에 필요한 작고, 가려진, 그리고 복잡한 보행자의 보존을 명시적으로 보장하는 잠재 확산 모델 (LDMs) 을 증강에 활용하는 데에는 간극이 존재합니다.

방법론: Contrastive-SDXL

저자들은 SDXL-Turbo를 기반으로 구축되고 **Low-Rank Adaptation (LoRA)**을 사용하여 미세 조정된 일대 야간 증강 프레임워크인 Contrastive-SDXL을 제안합니다. 이 프레임워크는 주간 이미지를 야간 이미지로 변환하면서도 의미론적 구조와 보행자의 무결성을 엄격하게 보존하도록 설계되었습니다.

이 방법은 네 가지 상호 보완적인 목표와 이단계 데이터 선별 파이프라인에 의해 안내됩니다:

생성기 백본 및 효율적 적응:
- 이 프레임워크는 생성기 백본으로 1 단계 사전 학습 잠재 확산 모델인 SDXL-Turbo 를 활용합니다.
- 전체 재학습 없이 모델을 야간 도메인에 적응시키기 위해, LoRA 가 UNet 교차 주의 계층, 트랜스포머 MLP, 합성곱 계층, 그리고 VAE 인코더/디코더 계층에 적용됩니다.
- 세밀한 공간 구조를 보존하기 위해 인코더 - 디코더 스킵 연결이 유지됩니다.
패치 단위 의미론적 대비 감독 (DINOv2 기반):
- 생성기 인코더 특징 (확산 모델에서 확률적 노이즈로 인해 불안정할 수 있음) 에 의존하는 이전의 비쌍대 변환 방법 (예: PSCUT) 과 달리, Contrastive-SDXL 은 동결된 사전 학습 DINOv2 인코더를 사용합니다.
- 이 외부 인코더는 소스 (주간) 와 변환된 (야간) 이미지 모두에서 다중 수준 의미론적 특징을 추출합니다.
- 이러한 특징에 대해 두 가지 손실 함수가 계산됩니다:
  - 의미론적 관계 일관성 손실 (SRC): 제이슨 - 샤먼 발산을 사용하여 소스 이미지 내 패치 간의 상대적 의미론적 관계와 변환된 이미지 내 대응 패치 간의 관계를 보존합니다.
  - 하드 네거티브 대비 손실 (hDCE): 대응하는 소스 및 변환된 패치를 서로 가깝게 끌어당기고, 불일치하지만 의미론적으로 유사한 패치는 서로 멀게 하여 차별성을 강제합니다.
감지기 안내 객체 일관성 손실:
- 보행자가 감지 가능하게 유지되도록 명시적으로 보장하기 위해, EuroCity Persons 에서 미세 조정된 사전 학습 YOLO11 감지기가 고정된 감독자로 사용됩니다.
- 생성기는 변환된 이미지에서 원래 주간 바운딩 박스 주석에 대해 계산된 감지 손실 ( $L_{det}$ ) 을 최소화합니다. 이는 보행자가 왜곡, 삭제되거나 정렬되지 않은 변환에 패널티를 부과하여 원래 주석이 유효하게 유지되도록 보장합니다.
적대적 정렬 및 정체성 정규화:
- CLIP 특징으로 증강된 판별기와 함께 적대적 손실 ( $L_{adv}$ ) 은 생성된 이미지가 실제 야간 장면의 통계적 분포와 정렬되도록 보장합니다.
- 정체성 손실 ( $L_{idt}$ ) 은 이미 목표 도메인에 있는 이미지에서 모델이 최소한의 변경만 하도록 장려합니다.
이단계 데이터 선별 파이프라인:
- 합성 데이터의 신뢰성을 보장하기 위해 감지기를 학습하기 전에 필터링 과정이 적용됩니다:
  - 1 단계 (신뢰성): 소스와 목표 간의 DINOv2 특징 유사성이 임계값 (0.95) 미만으로 떨어지는 변환을 필터링하여 의미론적 충실도를 보장합니다.
  - 2 단계 (보행자 보존): 변환된 이미지에서 원래 주석 위치에서 잘라낸 보행자 패치가 여전히 보행자로 분류되는지 확인하기 위해 YOLOv8 기반 이진 분류기를 사용합니다. 이 검사를 통과하지 못한 이미지는 폐기됩니다.

주요 기여

LDMs 조사: 이 작업은 안전-중요 야간 보행자 감지를 위한 교차 도메인 증강 도구로서 사전 학습 잠재 확산 모델을 평가합니다.
Contrastive-SDXL 프레임워크: 생성기 특징이 아닌 DINOv2 기반 패치 단위 의미론적 대비 학습에 의해 안내되는 SDXL-Turbo 와 LoRA 를 사용하는 새로운 일대 야간 변환 프레임워크를 제안합니다.
객체 일관성 손실: 변환 중 주석 유효성을 보장하기 위해 보행자 보존을 명시적으로 강제하는 감지기 안내 손실을 도입합니다.
실증적 검증: 일관성 기반 확산 증강이 안전-중요 감지를 효과적으로 지원할 수 있음을 보여주며, 실제 야간 데이터로 학습한 것과Comparable 한 성능을 달성함을 입증합니다.

실험 결과

이 방법은 EuroCity Persons (ECP) 데이터셋을 사용하여 평가되었으며, 두 가지 하류 감지기인 Pedestron과 YOLO26에서 테스트되었습니다.

이미지 품질: Contrastive-SDXL 은 실제 ECP 야간 이미지에 대해 Fréchet Inception Distance (FID) 22.57과 Wasserstein Distance (WD) 11.27 을 달성했습니다. 이는 InstructPix2Pix (FID 64.11) 와 CycleGAN-Turbo (FID 38.36) 와 같은 기준선보다 현저히 우수했습니다. UMAP 시각화는 합성 이미지가 다른 방법들보다 실제 야간 데이터에 더 가깝게 군집화되었음을 확인시켜 주었습니다.
감지 성능:
- 실제 야간 데이터 없이 Contrastive-SDXL 합성 이미지로 학습된 감지기는 주간-only 기준선에 비해 미스율 6~7% 감소를 달성했습니다.
- 구체적으로, Pedestron 감지기의 경우, 야간 검증 세트의 "All" 미스율이 합성 데이터만 사용하여 주간 기준선 (20.0%) 에서 **16.0%**로 감소했습니다.
- 실제 야간 데이터를 **20%**만 혼합했을 때, Contrastive-SDXL 은 **14.0%**의 미스율을 달성하여 100% 실제 야간 데이터로 학습된 모델의 성능과 일치했습니다.
- YOLO26 감지기에서도 유사한 개선이 관찰되어 아키텍처 전반에 걸친 일반화를 입증했습니다.
일반화: 이 방법은 TJU-DHD 데이터셋과 같은 분포 외 도시 장면으로 일반화되는 능력을 보여주었으며, 낯선 환경에서도 보행자 구조를 보존했습니다.

의의 및 주장

이 논문은 Contrastive-SDXL이 일관성 기반 확산 증강이 안전-중요 야간 보행자 감지를 위한 실현 가능하고 효과적인 전략임을 보여준다고 주장합니다. 저자들은 안전-중요 인식에 있어 시각적 사실성만으로는 부족하며, 객체 수준의 의미론 보존과 주석 유효성이 가장 중요하다고 강조합니다.

결과들은 다음과 같이 시사합니다:

사전 학습 LDM 들은 명시적 일관성 제약 (의미론적 대비 및 객체 수준 손실) 으로 안내될 경우 강력한 증강 도구가 될 수 있습니다.
이 프레임워크에 의해 생성된 합성 데이터는 실제 데이터의 최소한의 주입으로 실제 야간 데이터로 학습된 모델의 성능에 근접하는 일간과 야간 간의 도메인 간극을 크게 줄일 수 있습니다.
제안된 프레임워크는 특정 감지기 아키텍처에 묶여 있지 않으며, Pedestron 과 YOLO 모두에서 이점이 관찰되었습니다.

저자들은 이 방법이 유망함을 보여주지만, 향후 연구는 교통 표지 인식과 같은 다른 교통 작업으로의 적용을 탐구하고 감지기 아키텍처 및 미세 조정 전략이 적응 성능에 미치는 영향을 조사해야 한다고 결론지었습니다.