Out-of-Distribution Object Detection in Street Scenes via Synthetic Outlier Exposure and Transfer Learning
이 논문은 생성 모델과 오픈-보카불러리 검출기를 활용하여 합성 이상치 데이터를 생성하고 전이 학습을 적용함으로써, 기존 검출기가 배경으로 오인하던 이상치 (OOD) 객체를 효과적으로 탐지하는 통합 프레임워크 'SynOE-OD'를 제안하여 스트리트 씬에서의 성능을 획기적으로 개선했습니다.
원저자:Sadia Ilyas, Annika Mütze, Klaus Friedrichs, Thomas Kurbiel, Matthias Rottmann
상상해 보세요. 여러분이 **매우 똑똑한 운전 기사 (물체 탐지 AI)**를 고용했다고 가정해 봅시다. 이 기사는 훈련을 통해 '자동차', '버스', '보행자' 같은 익숙한 것들을 아주 잘 알아봅니다.
하지만 갑자기 길가에 **거대한 '로봇 펭귄'**이나 **날아다니는 '우주선'**이 나타난다면요?
기존 AI 의 반응: "어? 이건 훈련받지 않은 물건이네? 아, 그냥 배경 (도로) 이겠지."라고 생각하고 완전히 무시해 버립니다.
위험: 자율주행차라면 이 무시당한 물체가 갑자기 튀어나와 사고를 낼 수 있습니다. 즉, "알 수 없는 것 (Out-of-Distribution, OOD)"을 찾아내지 못하는 것이 큰 문제입니다.
2. 해결책: "가짜 괴물 (Synthetic Outlier) 로 훈련시키기"
이 논문 (SynOE-OD) 은 이 문제를 해결하기 위해 아주 창의적인 방법을 썼습니다. 바로 **"가짜 괴물을 만들어서 실전 훈련을 시키는 것"**입니다.
🎨 비유: "디지털 사진 보정 (인페인팅) 과 역할극"
가짜 괴물 만들기 (Synthetic Outlier Exposure):
연구자들은 Stable Diffusion이라는 최신 AI 그림 도구와 ChatGPT를 사용했습니다.
ChatGPT 에게 "도로에 있으면 이상한 것들 (예: 코끼리, 피아노, 우주인) 을 알려줘"라고 물었습니다.
그리고 실제 도로 사진 속의 '자동차'나 '빈 공간'을 AI 그림 도구로 지우고, 그 자리에 가짜 '코끼리'나 '우주선'을 자연스럽게 합성했습니다.
마치 포토샵으로 도로에 이상한 물건을 뚝딱 만들어 넣은 것과 같습니다.
정확한 라벨링 (GDINO 활용):
합성된 가짜 괴물들이 어디에 있는지, 이름이 뭔지 AI 가 스스로 찾아서 "이건 '코끼리'야, 여기가 몸통이야"라고 정확한 테두리 (Bounding Box) 를 그어주었습니다.
이때 GroundingDINO라는 아주 똑똑한 AI 를 써서, 사람이 일일이 손으로 라벨을 붙일 필요 없이 자동으로 정확한 위치를 잡게 했습니다.
함께 훈련하기 (Transfer Learning):
이제 AI 운전 기사에게 **실제 도로 사진 (진짜 자동차)**과 가짜 괴물이 섞인 도로 사진을 함께 보여줍니다.
"이건 '자동차' (알고 있는 것), 저건 '코끼리' (알고 있지 않은 것) 로 분류해!"라고 가르칩니다.
결과적으로 AI 는 **익숙한 것 (ID)**도 잘 찾고, **처음 보는 이상한 것 (OOD)**도 "아, 이건 내가 모르는 물건이네!"라고 정확히 찾아내어 경고할 수 있게 됩니다.
3. 왜 이 방법이 특별한가요?
기존 방식의 한계: 예전에는 "이건 배경이야"라고 무시하거나, 복잡한 추가 장치를 달아야 했습니다. 아니면 "이게 뭐지?"라고만 묻고 정답을 못 맞추는 경우가 많았습니다.
이 방법의 장점:
하나의 뇌로 두 마리 토끼 잡기: 하나의 AI 가 '알고 있는 것'과 '모르는 것'을 동시에 처리합니다.
현실적인 훈련: 가상의 데이터지만, 실제 도로처럼 복잡한 환경에 가짜 괴물을 넣어서 훈련했기 때문에, 실제 도로에 이상한 물체가 나와도 잘 찾아냅니다.
성능 증명: 이 방법을 쓰니, 기존에 가장 똑똑하다고 알려진 AI 들보다 이상한 물체를 찾는 능력 (정확도) 이 훨씬 좋아졌습니다.
4. 결론: "안전한 자율주행을 위한 '경고등'"
이 연구는 **"AI 가 모르는 것을 모른다고 무시하지 않고, '이건 내가 모르는 위험한 물건이야!'라고 확실하게 알려주는 시스템"**을 만들었습니다.
마치 비행기 조종사가 훈련받지 못한 구름 모양을 보더라도 "이건 이상한 구름이야, 주의해야 해"라고 즉시 경고하는 것과 같습니다. 이 기술이 발전하면 자율주행차가 길에서 마주치는 예상치 못한 위험 (예: 넘어진 트럭, 길고양이, 이상한 장난감 등) 을 놓치지 않고 안전하게 대처할 수 있게 될 것입니다.
한 줄 요약:
"AI 에게 가짜 괴물을 만들어서 훈련시켜, 실제 길에서 진짜 이상한 물건을 놓치지 않게 만든 기술!"
1. 문제 정의 (Problem Statement)
배경: 자율주행과 같은 안전 필수 (Safety-critical) 응용 분야에서, 학습 데이터의 분포에 속하지 않는 객체 (Out-of-Distribution, OOD) 를 정확히 탐지하고 배경으로 오인하지 않는 것은 매우 중요합니다.
현황의 한계:
기존 객체 탐지기는 훈련 시 보지 못한 OOD 객체를 탐지하지 못하거나, 이를 배경 (Background) 으로 잘못 분류하여 "침묵하는 실패 (Silent Failure)"를 일으킵니다.
기존 OOD 탐지 연구는 주로 이미지 분류나 시맨틱 세그멘테이션에 집중되어 있었으며, 객체 탐지 (Object Detection) 분야에서는 통합된 프레임워크가 부족했습니다.
최근 등장한 오픈 보카불러리 객체 탐지기 (OVODs, 예: GroundingDINO) 는 제로샷 (Zero-shot) 성능이 뛰어나지만, 복잡한 거리 장면에서 OOD 객체를 탐지하는 데에는 한계가 있으며 프롬프트 의존적이라는 문제가 있습니다.
목표: 단일 탐지기가 훈련된 클래스 (In-Distribution, ID) 와 훈련되지 않은 OOD 객체를 동시에 탐지하고, OOD 객체를 배경이 아닌 'OOD 클래스'로 명시적으로 분류할 수 있는 프레임워크를 구축하는 것입니다.
2. 제안 방법론: SynOE-OD (Methodology)
저자들은 SynOE-OD (Synthetic Outlier-Exposure-based Object Detection) 라는 새로운 프레임워크를 제안합니다. 이는 생성 모델과 전이 학습 (Transfer Learning) 을 결합하여 OOD 탐지 능력을 강화합니다.
A. 핵심 구성 요소
합성 이상치 생성 (Synthetic Outlier Generation):
Stable Diffusion: 거리 장면 (Street-scene) 이미지 내의 특정 영역 (ID 객체 위치 또는 빈 공간) 에 합성된 OOD 객체를 인페인팅 (Inpainting) 합니다.
ChatGPT 활용: 거리 장면에서 비정상적으로 보일 수 있는 객체 목록 (가정용품, 동물 등) 을 생성하여 다양한 OOD 클래스를 확보합니다.
정밀한 라벨링 (Label Refinement via GDINO):
생성된 합성 이미지에 대해 GroundingDINO (GDINO) 를 사용하여 정확한 바운딩 박스와 클래스 라벨을 자동 생성합니다.
3 가지 시나리오 처리:
성공적 인페인팅: 생성된 OOD 객체에 대해 GDINO 로 바운딩 박스를 정제하고 'OOD' 클래스로 라벨링.
실패한 인페인팅 (ID 변형): 원래 ID 객체가 제대로 대체되지 않고 변형된 경우, 이를 ID 클래스로 재할당하여 데이터의 난이도를 높임.
빈 인페인팅: 객체가 생성되지 않은 경우 해당 바운딩 박스를 제거.
전이 학습 (Transfer Learning):
생성된 합성 OOD 데이터와 실제 ID 데이터를 혼합하여 기존 강력한 객체 탐지기 (DINO-DETR, GroundingDINO 등) 를 미세 조정 (Fine-tuning) 합니다.
기존 N 개의 ID 클래스에 더해 N+1 번째 클래스 (OOD 클래스) 를 추가하여, 탐지기가 미지의 객체를 '배경'이 아닌 'OOD'로 분류하도록 학습시킵니다.
3. 주요 기여 (Key Contributions)
SynOE-OD 프레임워크 제안: 기존 객체 탐지기를 OOD 탐지 가능하도록 적응시키는 통합 프레임워크를 제시했습니다.
데이터 생성 파이프라인: 생성 모델 (Stable Diffusion) 과 오픈 보카불러리 탐지기 (GDINO) 를 활용하여 합성 객체 수준의 이상치 (Synthetic Outliers) 를 체계적으로 생성하고 라벨링하는 파이프라인을 구축했습니다.
성능 입증: 다양한 훈련 구성과 데이터 조합에 대한 광범위한 평가를 통해, 제안된 방법이 기존 제로샷 OVOD 기반 방법론보다 우수한 OOD 탐지 성능을 보이며, 동시에 ID 객체 탐지 성능도 유지함을 증명했습니다.
4. 실험 결과 (Results)
벤치마크: OODIS 벤치마크 (RoadObstacle, RoadAnomaly, Fishyscapes, LostAndFound 등) 에서 평가 수행.
성능 비교:
기존 최첨단 방법인 제로샷 OVOD (ZS-OVODs) 와 UGainS 보다 압도적으로 우수한 성능을 기록했습니다.
RoadObstacle: AP50..95 기준 5.49%p 향상 (48.53% → 54.02%).
RoadAnomaly: 6.7%p 향상 (22.72% → 29.42%).
Fishyscapes: 10.75%p 향상 (33.31% → 41.23%).
모델 아키텍처: DINO-DETR (ResNet-50, Swin-L) 과 GroundingDINO (Swin-T) 모두에서 SynOE-OD 적용 시 성능 향상이 확인되었습니다.
ID 성능 유지: OOD 탐지 능력을 강화하면서도, 훈련된 ID 클래스 (차량, 보행자 등) 에 대한 탐지 성능 (mAP) 을 크게 저하시키지 않고 유지하거나 오히려 개선하는 것을 확인했습니다.
Ablation Study:
합성 데이터의 양과 비율 (OOD-to-ID ratio) 을 조절했을 때, 적절한 비율에서 ID 성능과 OOD 성능 간의 최적 균형을 찾을 수 있었습니다.
도로 영역 (Road-region) 에 집중된 인페인팅이 OOD 탐지 성능 향상에 긍정적 영향을 미쳤습니다.
5. 의의 및 결론 (Significance)
안전성 강화: 자율주행과 같은 분야에서 알려지지 않은 객체 (OOD) 를 배경으로 무시하지 않고 정확히 식별함으로써 시스템의 안전성을 크게 높일 수 있습니다.
방법론적 혁신: OOD 탐지를 위한 별도의 복잡한 아키텍처나 보조 브랜치를 추가하지 않고, 단일 탐지기를 합성 데이터로 미세 조정하는 방식으로 문제를 해결했습니다. 이는 기존 OOD 연구 (분류/세그멘테이션 중심) 와 객체 탐지 간의 간극을 메우는 중요한 시도입니다.
실용성: 생성 모델과 오픈 보카불러리 모델의 장점을 결합하여, 실제 데이터 수집의 어려움 없이도 다양한 OOD 시나리오에 대응 가능한 모델을 구축할 수 있음을 입증했습니다.
요약하자면, 이 논문은 Stable Diffusion 을 이용한 합성 이상치 노출 (Synthetic Outlier Exposure) 과 전이 학습을 통해, 기존 객체 탐지기가 훈련 데이터에 없는 OOD 객체를 배경이 아닌 '알려지지 않은 객체'로 정확히 탐지하도록 만드는 혁신적인 프레임워크를 제안하고, 이를 통해 거리 장면에서의 OOD 탐지 성능을 획기적으로 개선했다는 점에서 의의가 큽니다.