FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

이 논문은 로봇 공학의 이상 분할 작업을 위해 정규화 흐름 (Normalizing Flow) 모델에 대비 학습 (Contrastive Learning) 과 아웃라이어 노출 (Outlier Exposure) 전략을 결합하여, 기존 방법론의 한계를 극복하고 여러 벤치마크에서 새로운 최첨단 성능을 달성한 'FlowCLAS' 프레임워크를 제안합니다.

핵심

🚨 문제: 로봇은 왜 이상한 물체를 못 찾을까?

상상해 보세요. 로봇이 길을 걷고 있는데, 갑자기 길가에 분장한 어린이나 이국적인 동물이 나타났습니다. 로봇은 훈련받지 않은 이 물체를 "이상한 것 (Anomaly)"으로 알아차려야 합니다.

기존의 기술 (Normalizing Flow) 은 마치 **"매우 꼼꼼한 도서관 사서"**와 같습니다.

• 이 사서는 "평범한 책 (정상 데이터)"만 아주 많이 읽어서, 어떤 책이 도서관에 있는지 완벽하게 기억합니다.
• 하지만 **새로운 책 (이상한 물체)**이 들어오면, 사서는 "이 책도 도서관에 있을 법한 책이야"라고 착각하며 **"아, 이거 평범한 책이야"**라고 말해버립니다.
• 특히 길거리처럼 사물이 복잡하고 빛이 변하는 곳에서는, 사서가 너무 많은 종류의 '평범한 책'을 기억해야 하니까 혼란이 와서 이상한 물체를 놓치는 경우가 많습니다.

💡 해결책: FlowCLAS (Flow + Contrastive Learning)

저희가 만든 FlowCLAS는 이 도서관 사서에게 **"비밀 훈련"**을 시킨 것입니다.

1. 기존의 능력 유지 (도서관 사서):
   • 여전히 '평범한 책' (정상 데이터) 의 특징을 아주 잘 기억합니다.
2. 새로운 훈련 추가 (이상한 물체 노출):
   • 훈련 도중, 사서에게 **"이건 도서관에 없는 이상한 책이야!"**라고 알려주면서 이상한 물체 (Outlier) 를 보여줍니다.
   • 이때, **대조 학습 (Contrastive Learning)**이라는 기술을 씁니다.
   • 비유: 사서에게 "평범한 책 (A)"과 "이상한 책 (B)"을 보여주고, **"A 와 B 는 완전히 다른 공간에 있어야 해! 서로 멀리 떨어뜨려!"**라고 명령합니다.
   • 마치 **친구 (정상)**와 **낯선 사람 (이상)**을 구별할 때, 친구는 가까이 두고 낯선 사람은 멀리서 경계하듯, 로봇의 뇌 (잠재 공간) 에서 두 가지를 명확히 분리시키는 것입니다.

🌟 FlowCLAS 의 핵심 아이디어

• 혼합 훈련: 평범한 사진에 이상한 물체를 잘라 붙여서 (예: 도로에 갑자기 나타난 헬리콥터) 로봇에게 보여줍니다.
• 분리 학습: 로봇이 "이건 정상"인지 "이건 이상"인지 명확히 구분할 수 있도록, 두 가지 특징을 서로 반대 방향으로 밀어냅니다.
• 결과: 로봇은 더 이상 이상한 물체를 "평범한 것"으로 착각하지 않습니다.

📊 실제 성과: 얼마나 잘할까요?

이 기술은 여러 가지 어려운 시험 (벤치마크) 에서 **최고의 점수 (State-of-the-Art)**를 받았습니다.

• 도로 위: 갑자기 나타난 쓰레기나 동물, 공사 장비 등을 정확히 찾아냅니다.
• 우주 공간: 우주 정거장 (ISS) 주변에 갑자기 나타난 이상한 물체 (예: 헬리콥터) 를 찾아냅니다.
  • 참고: 기존 기술 (FastFlow) 은 헬리콥터의 분홍색 부분만 보고 "이상하다"고 했지만, FlowCLAS 는 헬리콥터 전체를 정확히 찾아냈습니다.

🏆 왜 이 기술이 특별한가요?

기존의 '이상 탐지' 기술들은 두 가지 극단으로 나뉩니다.

1. 생성형 모델 (Flow): 확률적으로 설명이 가능하지만, 복잡한 상황에서는 이상한 것을 못 찾음.
2. 판별형 모델 (Discriminative): 이상한 것은 잘 찾지만, "왜 이상한지"에 대한 확률적 설명이 부족함.

FlowCLAS는 이 두 장점을 합쳤습니다.

"확률적으로 설명 가능한 능력 (생성형)" + "이상한 것을 확실히 가르는 힘 (판별형)"

마치 **"정확한 지도를 가지고 있으면서도, 길을 잃었을 때 바로 방향을 잡아주는 나침반"**을 동시에 가진 것과 같습니다.

🚀 결론

이 연구는 로봇이 안전하고 복잡한 세상 (도로, 우주) 에서 예상치 못한 위험을 놓치지 않고, 더 똑똑하게 대처할 수 있게 해줍니다. 앞으로 자율주행차나 우주 로봇이 더 안전해질 수 있는 중요한 기술입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 로봇 공학 (자율 주행, 우주 로봇 등) 과 같은 안전-중요 (safety-critical) 응용 분야에서는 훈련 데이터에 없는 예상치 못한 객체 (이상치, Anomaly) 를 탐지하고 분할하는 이상 분할 (Anomaly Segmentation) 이 필수적입니다.
• 기존 방법의 한계:
  • 판별식 모델 (Discriminative Models): 현재 자율 주행 분야에서 SOTA 성능을 보이지만, 블랙박스 특성을 가지며 명시적인 확률적 의미를 제공하지 못해 안전 시스템에 부적합할 수 있습니다. 또한, 훈련 데이터와 다른 이상치에 대한 강건성이 보장되지 않습니다.
  • 정규화 흐름 (Normalizing Flows, NF): 생성 모델의 일종으로 정상 데이터의 분포를 모델링하여 이상치를 탐지하는 데 유망합니다. 그러나 동적인 장면 (자율 주행, 우주 환경) 에서 복잡한 다중 모달 (multi-modal) 분포를 처리하는 데 어려움을 겪습니다.
  • 핵심 문제: 기존 NF 기반 방법들은 저수준의 픽셀 통계에 집중하여 고수준의 의미론적 (semantic) 객체 이해가 부족하며, 이상치 샘플에 대해 오히려 높은 확률 (Likelihood) 을 부여하는 실패 모드를 보입니다. 이로 인해 판별식 모델과의 성능 격차가 존재합니다.

2. 제안 방법론: FlowCLAS (Methodology)

저자들은 NF 의 확률적 기반을 유지하면서 판별식 학습의 강점을 결합한 하이브리드 프레임워크인 FlowCLAS를 제안합니다.

• 기본 구조:
  • 고정된 백본 (Frozen Backbone): DINOv2 와 같은 사전 훈련된 비전 파운데이션 모델을 사용하여 이미지에서 특징 맵 (Feature Maps) 을 추출합니다.
  • 정규화 흐름 (Normalizing Flow): 추출된 특징을 잠재 공간 (Latent Space) 으로 매핑하여 밀도를 추정합니다.
• 핵심 혁신: 대조적 학습 (Contrastive Learning) 과 이상치 노출 (Outlier Exposure, OE)
  • 이상치 노출 (OE): 보조 데이터셋 (COCO 등) 에서의 이상 객체를 정상 이미지에 복사 - 붙여넣기 (Copy-Paste) 하여 혼합 데이터셋을 생성합니다.
  • 하이브리드 손실 함수:
    1. 최대 우도 추정 (MLE, $L_{ml}$): 정상 영역의 잠재 벡터가 기본 다변량 가우시안 분포에 가깝도록 유도합니다.
    2. 대조적 손실 (Contrastive Loss, $L_{con}$): 잠재 공간에서 정상 (Inlier) 과 이상 (Outlier) 특징을 명확히 분리하도록 강제합니다. 이를 위해 투영 헤드 (Projection Head) 를 통해 저차원 공간으로 매핑한 후 InfoNCE 손실을 적용합니다.
    3. 보조 분할 손실: 교차 엔트로피 ($L_{ce}$) 와 Lovasz-Softmax ($L_{Lovasz}$) 를 사용하여 잠재 특징의 분할 정확도를 높입니다.
  • 총 손실 함수: $L_{NF} = \alpha L_{ml} + L_{con} + L_{ce} + L_{Lovasz}$
• 추론 (Inference):
  • 학습된 흐름 모델을 통해 테스트 이미지의 잠재 벡터에 대한 로그-우도 (Log-likelihood) 를 계산하여 이상 점수 맵을 생성합니다.
  • 마스크 기반 스무딩: 객체 내의 점수 불일치를 해결하기 위해 외부 객체 감지기 (SAM 2) 를 사용하여 생성된 마스크 내에서 이상 점수를 평균화하는 후처리 단계를 적용합니다.

3. 주요 기여 (Key Contributions)

1. FlowCLAS 프레임워크 제안: NF 기반 밀도 추정에 이상치 기반 대조적 손실을 통합하여, 동적인 장면에서도 강건한 이상 분할이 가능한 새로운 하이브리드 학습 목표를 제시했습니다.
2. 대조적 학습의 중요성 입증: 다양한 실험을 통해 대조적 학습이 NF 의 성능에 결정적임을 증명했습니다. 이는 단순한 이상치 노출이나 재구성 오류 기반 전략보다 우월하며, 저수준 패턴이 아닌 고수준 의미론적 특징 학습에 필수적입니다.
3. 새로운 SOTA 달성: Fishyscapes Lost & Found, Road Anomaly, SegmentMeIfYouCan (ObstacleTrack), ALLO 등 4 가지 로봇 공학 벤치마크에서 SOTA 성능을 기록하며, 생성 모델과 최상위 판별식 모델 간의 성능 격차를 해소했습니다.

4. 실험 결과 (Experimental Results)

• 벤치마크 성능:
  • Road Anomaly (자율 주행): FS-L&F 와 Road Anomaly 데이터셋에서 기존 NF 기반 방법 (FastFlow 등) 과 최신 판별식 방법 (UNO, RPL 등) 을 모두 능가하는 AUPRC 및 FPR95 점수를 기록했습니다.
  • ALLO (우주 로봇): 복잡한 우주 환경 (ISS 주변) 에서 FastFlow 는 헬리콥터의 일부만 탐지하는 데 그친 반면, FlowCLAS 는 객체 전체를 정확하게 분할했습니다.
• Ablation Study:
  • 이상치 노출 (OE) 의 효과: OE 없이 훈련된 모델은 성능이 낮았으며, OE 를 도입한 모든 전략이 성능을 향상시켰습니다.
  • 대조적 학습의 우위: 단순 분할 손실이나 이상치 로그-우도 최소화보다 대조적 손실 ($L_{con}$) 을 추가했을 때 가장 큰 성능 향상을 보였습니다. 이는 잠재 공간에서 정상과 비정상의 분리를 명확히 하기 때문입니다.
  • 백본 모델의 영향: DINOv2-L-Rein 과 같은 강력한 사전 훈련된 특징 추출기가 필수적이며, 이를 FlowCLAS 의 대조적 목표와 결합할 때 최대의 성능이 발휘됨을 확인했습니다.
  • 범용성: FastFlow 및 UFlow 와 같은 기존 NF 모델에 FlowCLAS 의 대조적 학습 전략을 적용해도 성능이 크게 향상되었습니다 (FastFlow AUPRC +11.7, UFlow AUPRC +28.0).

5. 의의 및 결론 (Significance)

• 성능 격차 해소: 생성 모델 (NF) 이 가진 확률적 해석 가능성 (Probabilistic Interpretability) 을 유지하면서, 판별식 모델의 높은 탐지 성능을 달성했습니다. 이는 안전-중요 로봇 공학 응용 분야에서 매우 중요한 의미를 가집니다.
• 동적 환경 적응: 복잡한 다중 모달 분포를 가진 동적 장면에서도 NF 가 효과적으로 작동할 수 있도록 하여, 기존 NF 의 한계를 극복했습니다.
• 미래 지향성: 오프 - 더 - 쉘 (Off-the-shelf) 비전 파운데이션 모델의 발전에 따라 FlowCLAS 의 성능도 자연스럽게 향상될 수 있도록 설계되어, 향후 로봇 비전 시스템의 표준 아키텍처로 자리 잡을 잠재력을 가집니다.

요약하자면, FlowCLAS는 정규화 흐름의 확률적 강점과 대조적 학습의 판별적 강점을 결합하여, 로봇이 예측 불가능한 환경에서 안전하고 정확하게 이상을 탐지할 수 있는 새로운 기준을 제시한 연구입니다.