🤖 AI

S $^3$ POT: Contrast-Driven Face Occlusion Segmentation via Self-Supervised Prompt Learning

이 논문은 정답 오클루전 마스크 없이도 얼굴 오클루전을 정확하게 분할하기 위해 얼굴 생성과 공간적 프롬프팅을 결합한 대조 기반의 자기 지도 학습 프레임워크인 S $^3$ POT을 소개한다.

원저자: Lingsong Wang, Mancheng Meng, Ziyan Wu, Terrence Chen, Fan Yang, Dinggang Shen

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

원저자: Lingsong Wang, Mancheng Meng, Ziyan Wu, Terrence Chen, Fan Yang, Dinggang Shen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 얼굴 사진을 찍으려고 하는데, 누군가 당신의 코 바로 앞에 커피잔을 들고 있거나, 친구가 장난스럽게 손으로 당신의 눈을 가리고 있다고 상상해 보세요. 만약 당신이 일반적인 컴퓨터 프로그램에 "얼굴 주위에 선을 그려라"라고 요청한다면, 프로그램은 혼란에 빠질 것입니다. 프로그램은 그 커피잔이나 손을 보고 "오, 이게 얼굴의 일부구나!"라고 생각합니다. 그리고는 그 장애물을 마치 당신의 코나 뺨인 것처럼 포함시키려 할 것입니다.

이 논문은 이 지저치고 복잡한 문제를 해결하기 위한 새로운 도구인 S3POT를 소개합니다. S3POT를 "얼굴"이 어떻게 생겼는지 배우기 위해 매뉴얼이 필요 없는 영리한 탐정이라고 생각해 보세요. 대신, S3POT는 같은 사진의 두 가지 버전을 비교함으로써 정답을 찾아냅니다.

작동 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. "마법 거울" (참조 생성)

먼저, 시스템은 커피잔이 앞에 놓인 당신의 사진을 살펴봅니다. 그런 다음 "마법 거울"(얼굴 생성기)을 사용하여, 만약 커피잔이 없다면 당신의 얼굴이 어떻게 보일지 상상합니다.

비유: 이것은 거울에 비친 모습을 보는 것과 같습니다. 그 거울은 시야를 가리는 물체를 마법처럼 제거하여, 당신의 정확한 형태와 위치를 유지하면서도 방해 요소가 없는 깨끗한 얼굴을 보여줍니다.
목표: 이를 통해 원래의 기하학적 구조는 유지하되 장애물은 없는 "깨끗한 참조(clean reference)" 이미지를 생성합니다.

2. "틀린 그림 찾기" 게임 (특징 강화)

이제 시스템은 커피잔이 있는 원래 사진과 커피잔이 없는 깨끗한 참조 사진을 나란히 놓습니다. 그리고 강력한 AI(SAM이라 불리는, 매우 정확한 형광펜 같은 존재)에게 차이점을 찾아내라고 요청합니다.

비유: 똑같이 생긴 쌍둥이가 나란히 서 있다고 상상해 보세요. 한 명은 모자를 쓰고 있고, 다른 한 명은 쓰지 않았습니다. 만약 아이에게 차이점을 찾아보라고 한다면, 아이는 조명이나 그림자 때문에 혼란스러워할 수 있습니다. S3POT는 아이가 다른 부분은 무시하고 오직 '모자'에만 집중할 수 있도록 도와주는 똑똑한 선생님 역할을 합니다. 즉, 컴퓨터의 "눈"을 미세하게 조정하여 커피잔이 속하지 않는 유일한 부분임을 명확히 알 수 있게 합니다.

3. "스마트 형광펜" (프롬프트 선택)

이제 시스템은 잠재적인 "차이점 지점" 목록을 갖게 되었습니다. 하지만 때때로 이 목록이 너무 길거나 노이즈(예를 들어, 차이점처럼 보이지만 실제로는 아닌 그림자 등)를 포함할 수 있습니다.

비유: 당신에게 커다란 구슬 주머니가 있고, 그중에서 빨간색 구슬만 골라내야 한다고 상상해 보세요. S3POT는 단순히 한 움큼 집어 드는 것이 아니라, 특별한 필터(자기 주의 집중 네트워크, self-attention network)를 사용하여 주머니를 흔들어 가장 정확한 빨간 구슬들만 걸러냅니다. 이를 통해 형광펜이 어디가 장애물인지 정확히 알려줄 수 있도록 완벽한 "점"들을 선택합니다.

4. "선생님 없는" 학습 (자기 지도 학습)

보통 컴퓨터에게 이 일을 가르치려면, 사람이 일일이 커피잔이나 손 주변에 선을 그려 넣은 수천 장의 사진이 필요합니다. 이는 시간과 비용이 많이 듭니다.

비유: S3POT는 선생님이 모든 시험지를 채점해 주는 대신, 스스로 "틀린 그림 찾기" 게임을 하며 배우는 학생과 같습니다. S3POT는 세 가지 영리한 규칙(목적 함수)을 사용하여 자신의 작업을 스스로 검토합니다.
1. 내가 컵을 찾았는가? (장애물이 강조되었는지 확인합니다).
2. 얼굴은 그대로 두었는가? (피부가 실수로 컵으로 표시되지 않았는지 확인합니다).
3. 오보를 피했는가? (주근깨를 컵으로 표시하지 않았는지 확인합니다).

이것이 왜 중요한가요?

알 수 없는 것도 처리합니다: 컴퓨터에게 "컵", "손", 또는 "선글라스"가 무엇인지 가르칠 필요가 없습니다. 시스템은 단지 실제 얼굴과 "깨끗한" 얼굴 사이의 차이점이 무엇인지만 알면, 그것이 바로 장애물이라는 것을 알아냅니다.
정확합니다: 테스트에서 S3POT는 기존 방식들보다 훨씬 뛰어난 성능을 보였습니다. 기존 방식들은 종종 혼란을 느껴 커피컵을 코의 일부로 칠해버리곤 했습니다.
강력합니다: "마법 거울"이 완벽하게 깨끗한 얼굴을 만들어내지 못하더라도, 시스템은 얼굴의 "구조"에 의존하기 때문에 여전히 잘 작동합니다.

요약하자면, S3POT는 얼굴을 가로막고 있는 것이 무엇인지 알아내기 위해, 방대한 양의 사전 라벨링된 예시 없이도, 원래 얼굴이 어떠해야 하는지를 상상하고 그 차이점을 강조함으로써 스스로 학습하는 영리한 시스템입니다.

기술 요약: S3POT

문제 정의

기존의 얼굴 파싱(face parsing) 방법들은 폐쇄(occlusion, 예: 손, 물체, 액세서리 등)를 얼굴 구성 요소로 오분류하는 경우가 빈번합니다. 이는 '폐쇄'가 구체적인 객체 카테고리가 아닌 고차원적인 공간적 개념이기 때문에, 가능한 모든 폐쇄 유형을 아우르는 실제 세계의 데이터셋을 구축하는 것이 거의 불가능하기 때문입니다. 또한, 폐쇄 마스크를 정확하게 수동으로 주석 처리하는 것은 매우 많은 노동력을 필요로 합니다. 합성 데이터 생성이 시도되기도 했으나, 이는 종종 실제 환경에 대한 일반화 능력이 부족하다는 문제를 겪습니다. 더불어, Segment Anything Model(SAM)과 같은 시각적 파운데이션 모델은 정밀한 세그멘테이션 능력을 제공하지만, 이를 위해서는 정확한 프롬프트가 필요한데, 그라운드 트루스(ground-truth) 마스크 없이는 이를 생성하기가 어렵습니다.

방법론: S3POT

저자들은 얼굴 생성과 자기 지도 학습 기반의 공간적 프롬프팅을 결합한 대조 기반 프레임워크인 S3POT(Segmentation via Self-Supervised Prompting Occlusion with conTrast)를 제안합니다. 이 방법은 훈련 과정에서 폐쇄에 대한 그라운드 트루스 마스크 없이 작동하며, 세 가지 주요 모듈로 구성됩니다.

1. 참조 생성 (Reference Generation, RG)

대조를 위한 기초를 만들기 위해, 프레임워크는 원래의 폐쇄된 이미지( $I$ )로부터 폐쇄가 없는 '참조' 얼굴( $I_r$ )을 생성합니다.

메커니즘: 텍스처를 위한 원본 이미지와 구조를 위한 예측된 파싱 마스크( $M_r$ )를 조건으로 하는 E4S의 Regional GAN Inversion(RGI)을 활용합니다.
목표: 얼굴의 기하학적 구조를 보존하면서 폐쇄된 영역을 현실적으로 재구성하여, 공간적 가이드 역할을 할 깨끗한 버전의 얼굴을 만드는 것입니다.

2. 특징 강화 (Feature Enhancement, FE)

이 모듈은 SAM의 이미지 인코더에서 추출된 가공되지 않은 특징 표현만으로는 단순한 대조를 통해 얼굴과 폐쇄를 구분하기에 불충분하다는 한계를 해결합니다.

초기 프롬프팅: 시스템은 원본 이미지의 토큰( $Z$ )과 참조 이미지의 토큰( $Z_r$ ) 사이의 코사인 유사도를 계산합니다. 가장 높은 유사성을 가진 픽셀 위치가 초기 프롬프트( $p_i$ )로 선택되는데, 이는 유사도가 높은 영역이 공유된 얼굴 구조를 나타내는 반면, 유사도가 낮은 영역은 폐쇄나 노이즈를 포함할 가능성이 높다는 가정에 근거합니다.
교차 주의 집중 융합 (Cross-Attention Fusion): 초기 프롬프트는 SAM의 마스크 디코더에서 영감을 얻은 특징 조정 컴포넌트를 통해 처리됩니다. 여기에는 다음이 포함됩니다:
- 프롬프트-이미지 교차 주의 집중 ( $p_iZCA$ ): 프롬프트가 이미지 특징에 주목할 수 있게 합니다.
- 이미지-프롬프트 교차 주의 집중 ( $Zp_iCA$ ): 이미지 특징이 다시 프롬프트에 주목할 수 있게 합니다.
- MLP: 비선형 변환을 수행합니다.
결과: 이러한 양방향 융합은 특징 공간에서 얼굴 영역과 폐쇄 사이의 대비를 더욱 뚜렷하게 만드는 강화된 이미지 토큰( $Z_e$ 및 $Z_{re}$ )을 생성합니다.

3. 프롬프트 선택 (Prompt Selection, PS)

이 모듈은 Global-Local-Global (GLG) 전략을 사용하여 SAM 마스크 디코더를 위한 양성(폐쇄) 및 음성(얼굴) 프롬프트 세트를 구축합니다.

얼굴 영역 추출: 파싱된 마스크로부터 얼굴 영역 마스크( $M_f$ )를 도출하여 얼굴 토큰( $Z_{re}^{M_f}$ 및 $Z_e^{M_f}$ )을 분리합니다.
탐욕적 매칭 (Greedy Matching): 그리디 매칭 알고리즘(Algorithm 1)을 통해 참조 이미지와 원본 이미지 간의 토큰을 유사도에 따라 쌍을 맺습니다.
- 비-폐쇄 프롬프트 ( $P_N$ ): 참조 이미지와 원본 이미지 사이에서 성공적으로 매칭된 토큰들입니다.
- 폐쇄 프롬프트 ( $P_O$ ): 원본 이미지에서 매칭되지 않은 토큰들로, 폐쇄 후보로 식별됩니다.
자기 주의 집중 스크리닝 (Self-Attention Screening): 과도한 프롬프트는 SAM의 성능을 저하시킬 수 있으므로, 자기 주의 집중 네트워크를 통해 결합된 프롬프트 세트( $P$ )의 가중치를 재조정하여 중복과 노이즈를 필터링합니다.
훈련 목적 함수: 폐쇄 그라운드 트루스 마스크 없이도 학습이 가능하도록 세 가지의 새롭고 상호 보완적인 목적 함수를 사용하여 네트워크를 훈련합니다:
1. 폐쇄 프롬프트 재현 (Occlusion Prompt Recall, OPR): 폐쇄 프롬프트에 대한 예측 확률을 최대화합니다.
2. 얼굴 프롬프트 재현 (Face Prompt Recall, FPR): 얼굴 프롬프트에 대한 예측 확률을 최소화합니다 (OPR과 상보적).
3. 얼굴 프롬프트 패널티 (Face Prompt Penalty, FPP): 오탐지를 방지하기 위해 비정상적으로 높은 확률을 가진 얼굴 프롬프트에 대해 특정 패널티를 부여합니다.

주요 기여

대조 기반 프레임워크: 현대적인 얼굴 생성 모델의 생성 능력을 활용하여 참조 이미지를 만들어냄으로써, 폐쇄 그라운드 트루스 없이도 자기 지도 학습을 가능하게 하는 새로운 얼굴 폐쇄 세그멘테이션 접근 방식을 제시했습니다.
2단계 프롬프트 전략: 교차 주의 집중을 통한 특징 강화와 그리di 매칭 알고리즘을 결합하여 파운데이션 모델을 위한 양성/음성 프롬프트를 자동으로 생성하고 스크리닝하는 방법을 제안했습니다.
새로운 목적 함수: 폐쇄 레이블 데이터가 없는 상황에서도 모델이 정확한 세그멘테이션을 수행하도록 유도하기 위해 OPR, FPR, FPP를 도입했습니다.
전용 데이터셋: 해당 분야의 데이터 부족 문제를 해결하기 위해, 수동으로 주석 처리된 폐쇄 마스크를 포함하는 특화된 데이터셋(CelebA 1,389장 및 FFHQ 1,104장)을 수집했습니다.

실험 결과

저자들은 수집된 데이터셋을 바탕으로 얼굴 파싱, 시각적 참조 세그멘테이션, 텍스트 유도 추론 세그멘테이션 분야의 최신 기법들과 S3POT을 비교 평가했습니다.

성능: S3POT은 표준 훈련 모드에서 76.2의 IoU를, 이미지별 과적합(per-image overfitting) 모드에서 80.4의 IoU를 달치했습니다.
비교 분석:
- 얼ace 파싱: 적응형 모델인 SegFace* (73.1 IoU) 및 DML-CSR* (72.4 IoU)를 능가했습니다. 기존 파싱 모델들은 손이나 손가락을 피부로 오분류하여 제대로 세그멘테이션하지 못하는 경우가 많았습니다.
- 시각적 참조 세그멘테이션: PerSAM, Matcher, VRP-SAM (범위: 21.3 ~ 51.2 IoU)을 크게 앞질렀습니다. 이 모델들은 피부색이 비슷하거나 경계 문제로 인해 폐쇄를 얼굴 특징과 구분하는 데 어려움을 겪었습니다.
- 추론 세그멘테이션: LISA 및 Sesame (폐쇄 세그멘테이션의 경우 약 6.5 IoU)보다 우수한 성능을 보였습니다. 저자들은 이를 모델들이 특정 훈련 없이 '폐쇄'라는 언어적 개념을 이해하는 데 어려움이 있기 때문이라고 설명합니다.
절제 연구 (Ablation Studies):
- 특징 강화(FE)를 제거하면 성능이 급격히 하락(56.9)하여, 특징 공간에서의 변별력 확보가 필수적임을 입증했습니다.
- 프롬프트 선택(PS)을 제거하거나 고정된 임계값을 사용할 경우 성능이 심각하게 저하되어, 그리디 매칭과 자기 주의 집중 스크리닝 메커니즘의 유효성을 검증했습니다.
- 최적의 결과를 얻기 위해서는 세 가지 목적 함수가 모두 필요했습니다. 재현(recall) 항만 사용할 경우 과소 세그멘테이션 또는 과다 세그멘테이션 문제가 발생했습니다.

의의 및 주장

S3POT은 직접적인 분류에서 대조 기반 프롬프트 생성으로 패러다임을 전환함으로써 얼굴 폐쇄 세그멘테이션의 모호성을 해결한다고 주장합니다. 생성된 참조 얼굴의 구조적 일관성과 파운데이션 모델의 적응형 특징 수정을 활용함으로써, 이 방법은 다양한 폐쇄 카테고리를 주석 처리하는 막대한 비용 없이도 고정밀 세그멘테이션을 달성합니다.

저자들은 본 방식이 픽셀 단위의 완벽한 재구성이 아닌 고차원적인 구조적 가이드에 의존하기 때문에 참조 이미지 품질의 변화에 강건하다고 강조합니다. 이 방법은 일반적인 폐쇄는 효과적으로 처리하지만, 극도로 미세한 폐쇄(예: 안면 모발)나 모호한 경계(예: 반투명한 물체)에 대해서는 한계가 있음을 인정하며, 이를 향후 다중 스케일 특징 융합이나 불확실성 인지 마스킹을 통한 연구 과제로 제시했습니다.