🤖 AI

Weakly Supervised Camouflaged Object Detection Based on the SAM Model and Mask Guidance

본 논문은 camouflaged object detection 을 위한 새로운 약지도 프레임워크인 MGNet 을 제안하며, 이는 바운딩 박스 프롬프트를 활용한 Segment Anything Model(SAM) 을 통해 고품질 의사레이블을 생성하고, 주석의 한계를 극복하며 분할 정확도를 향상시키기 위해 컨텍스트 강화 및 특징 집계 모듈과 병렬로 작동하는 캐스케이드 마스크 디코더를 활용한다.

원저자: Xia Li, Xinran Liu, Lin Qi, Junyu Dong

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Xia Li, Xinran Liu, Lin Qi, Junyu Dong

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

'월도 찾기' 게임을 상상해 보세요. 하지만 만화 캐릭터 대신 배경에 완벽하게 숨어 있는 동물, 곤충, 또는 의학적 문제를 찾아야 합니다. 이것이 바로 위장된 객체 감지 (Camouflaged Object Detection, COD) 의 과제입니다. 나뭇잎 위의 카멜레온을 찾는 것과 같습니다. 객체와 배경이 거의 동일하게 보여 컴퓨터가 어디에서 하나가 끝나고 다른 하나가 시작되는지 구분하기가 매우 어렵습니다.

보통 컴퓨터에게 이를 가르치려면 인간이 수천 장의 이미지에서 숨겨진 객체의 모든 픽셀을 성실하게 채워 넣어야 합니다. 이는 컴퓨터에게 나뭇잎이 무엇인지 보여주기 위해 나무의 모든 나뭇잎을 따라 그리는 군대의 예술가를 고용하는 것과 같습니다. 정확하지만 느리고 비싸며 지루합니다.

이 논문은 그런 예술가 군대가 필요 없이 컴퓨터에게 이 기술을 가르치는 더 똑똑하고 빠른 방법을 소개합니다. 그들이 어떻게 했는지 간단한 단계로 나누어 설명합니다.

1. '상자' 단축키 (BoxSAM)

숨겨진 객체의 정확한 윤곽을 인간에게 따라 그리게 하는 대신, 저자들은 단순히 객체 주위에 직사각형 (경계 상자) 을 그리도록 요청할 수 있음을 깨달았습니다. 마치 물고기 자체를 그리는 대신 "물고기는 이 상자 안에 somewhere 있다"라고 말하는 것과 같습니다.

하지만 함정이 있습니다. 저자들은 그 간단한 상자를 상세한 윤곽으로 변환하기 위해 SAM(Segment Anything Model) 이라는 매우 강력한 AI 도구를 사용했습니다. 하지만 SAM 은 위장에 대해 다소 '순진합니다'. 배경이 객체와 너무 비슷하기 때문에 SAM 은 종종 혼란을 겪어 배경을 객체의 일부로 칠하거나 객체 전체를 놓치기도 합니다. 마치 나무 주위에 상자가 그려진 것을 보고 아이가 "상자 안에 있으니까"라고 생각하며 하늘 전체를 칠하는 것과 같습니다.

해결책: '중복 필터'
SAM 의 혼란을 해결하기 위해 저자들은 중복 처리 전략 (Redundancy Processing Strategy) 이라고 부르는 특수한 정제 과정을 만들었습니다.

SAM 의 첫 시도를 여분의 messy 한 선이 있는 대략적인 스케치라고 생각하세요.
저자들은 이 스케치를 그들이 만든 자체 네트워크 (MGNet) 를 통과시켜 그것이 객체가 무엇이라고 생각 하는지 확인합니다.
그런 다음 두 가지를 비교합니다. SAM 이 네트워크가 비어 있다고 생각하는 배경 부분을 칠했다면 지웁니다. SAM 이 객체의 작은 부분을 놓쳤다면 채웁니다.
그 결과 인간이 모든 픽셀을 따라 그리지 않아도 컴퓨터가 학습할 수 있는 고품질의 '의사 레이블 (가짜이지만 매우 정확한 학습 가이드)'이 만들어집니다.

2. 탐정 네트워크 (MGNet)

컴퓨터가 이렇게 정제된 가이드를 얻으면, 이를 학습할 뇌가 필요합니다. 저자들은 위장의 특정 문제를 해결하기 위해 세 가지 특수 도구를 갖춘 MGNet(Mask-guided Network) 이라는 새로운 네트워크를 구축했습니다.

'맥락 강화기 (Context Enhancer, CEM)':
- 문제: 컴퓨터가 전체 그림을 보기 위해 줌아웃할 때, 때로는 미세한 디테일을 잃어 작은 숨겨진 객체 (산호초 속의 작은 물고기 등) 를 완전히 놓치기도 합니다.
- 해결책: 이 모듈은 돋보기를 든 탐정처럼 작동합니다. '확장 (dilated)' 레이어 (세부 사항까지 보이는 광각 렌즈로 장면을 보는 것과 유사) 를 사용하여 줌인/줌아웃 과정에서 작은 디테일이 손실되지 않도록 보장합니다.
'연속 디코더 (Cascaded Decoder, CMD)':
- 문제: 위장된 객체는 경계가 흐릿합니다. 객체가 어디서 멈추는지 정확히 구분하기 어렵습니다.
- 해결책: 이 도구는 조각상이를 조각상을 다듬는 것처럼 작동합니다. 대략적인 전역 형태에서 시작하여 점차 세부 사항의 층을 추가하고, 큰 그림과 작은 디테일을 융합하여 선명하고 정확한 윤곽을 만듭니다.
'마스크 가이드 (Mask Guide, MFAM)':
- 문제: 컴퓨터는 이미지의 어떤 부분이 중요한지, 어떤 부분이 단순한 배경 노이즈인지 알아야 합니다.
- 해결책: 이 모듈은 이전 도구들이 만든 대략적인 윤곽을 '지도'로 사용합니다. 네트워크에 "여기에 집중하고 나머지는 무시해"라고 알려줍니다. 이는 네트워크가 서로 다른 수준의 정보를 결합하여 최종적이고 선명한 예측을 내리도록 돕습니다.

3. 결과

저자들은 숨겨진 객체를 찾는 데 사용되는 세 가지 주요 데이터셋 (이미지 컬렉션) 에서 그들의 방법을 테스트했습니다. 그들은 그들의 '상자 + 정제' 방법을 다음과 같은 다른 방법들과 비교했습니다.

점: 객체 위에 점 하나를 찍는 것.
낙서: 객체를 통해 흐트러진 선을 그리는 것.
완전 추적: 비싼 픽셀 단위의 방법.

판결:
그들의 방법은 단순한 상자와 정제 과정을 사용하여 낙서나 점을 사용한 방법보다 더 좋은 성능을 보였으며, 완전 추적 방법과도 경쟁력 있는 결과를 냈습니다. 바다 속 물고기부터 금속 표면의 미세한 결함까지 복잡한 장면에서 숨겨진 객체를 성공적으로 찾아냈습니다.

어디 else 에서 테스트했나요?

이 논문은 그들이 일반적인 숨겨진 객체뿐만 아니라 두 가지 구체적인 실제 작업에 그들의 'MGNet' 뇌를 적용했다고 언급합니다.

폴립 분할 (Polyp Segmentation): 대장암 예방에 중요한 대장 내 작은 성장물 (폴립) 을 찾는 작업입니다. 그들의 방법은 기존 의료 도구보다 이를 더 잘 찾아냈습니다.
결함 감지 (Defect Detection): 강철이나 타일과 같은 산업용 표면의 흠집이나 결함을 찾는 작업입니다. 그들의 방법은 다른 카메라보다 이러한 결함을 더 정확하게 발견했습니다.

약점 하나

저자들은 한 가지 제한점에 대해 솔직합니다. 때로는 정제 과정이 있더라도 배경이 객체와 너무 비슷하면 초기 '상자' 프롬프트가 여전히 AI 를 혼란스럽게 할 수 있습니다. 그런 드문 경우, AI 는 여전히 윤곽을 약간 잘못 잡을 수 있습니다. 그들은 향후 작업이 초기 추측을 더 좋게 만들기 위해 상자 와 점과 같은 다양한 유형의 힌트를 결합할 필요가 있다고 제안합니다.

요약하자면:
이 논문은 컴퓨터에게 간단한 상자로 시작하게 한 다음, AI 의 실수를 수정하는 똑똑한 '정제 팀'을 사용하고, 마지막으로 완벽한 윤곽을 학습하는 전문 '탐정 네트워크'를 사용하여 숨겨진 것을 찾도록 가르치는 것에 관한 것입니다. 이는 결과를 매우 정확하게 유지하면서 레이블링 시간을 절약합니다.

기술 요약: SAM 모델 및 마스크 가이드 기반 약한 감독 위장 객체 탐지

1. 문제 제기

위장 객체 탐지 (Camouflaged Object Detection, COD) 는 질감, 색상, 모양 측면에서 주변 환경과 자연스럽게 융합된 객체의 픽셀 단위 분할을 포함합니다. 딥러닝이 COD 를 발전시켰음에도 불구하고, 기존 완전 감독 방식은 획득 비용이 높은 노동 집약적인 픽셀 단위 주석에 의존합니다. 반면, 점, 스크래블, 또는 바운딩 박스와 같은 거친 주석을 활용하는 약한 감독 방식 (WSCOD) 은 종종 성능 저하를 겪으며, 이는 특히 모호한 경계와 작거나 매우 유사한 객체의 탐지 누락으로 나타납니다. 더 나아가, Segment Anything Model(SAM) 은 강력한 일반 분할 능력을 제공하지만, 위장 객체와 배경 간의 높은 내재적 유사성으로 인해 COD 작업에서는 어려움을 겪으며, 종종 배경 영역을 객체로 잘못 분류하여 (중복 예측) 발생합니다.

2. 방법론

저자들은 고품질 의사 레이블 생성을 위한 BoxSAM과 분할 작업을 위한 MGNet(Mask-guided Network) 으로 구성된 두 가지 주요 구성 요소를 포함하는 프레임워크를 제안합니다.

2.1. BoxSAM: 의사 레이블 생성

약한 감독의 과제를 해결하기 위해 저자들은 바운딩 박스 주석을 Segment Anything Model(SAM) 의 프롬프트로 활용하는 BoxSAM 을 도입합니다.

주석 전략: 스크래블이나 점 대신 바운딩 박스를 사용하는 이유는 스크래블 길이나 점 배치와 같은 인간의 주관적 요인에 덜 민감하며, 객체를 감싸는 최소 외접 박스를 정의하기 때문입니다.
중복 처리 전략 (RPS): SAM 이 COD 시나리오에서 종종 중복된 배경 예측을 생성하므로, 후처리 전략이 적용됩니다.
1. SAM 이 바운딩 박스 프롬프트를 사용하여 초기 의사 레이블을 생성합니다.
2. 탐지된 객체 수가 주석 수와 일치하는 레이블은 학습에 직접 사용됩니다.
3. 수치가 불일치하는 레이블 (중복을 나타냄) 은 학습된 MGNet 을 사용하여 처리됩니다. 예측된 마스크는 초기 SAM 출력을 필터링하는 데 사용됩니다: MGNet 의 예측과 겹치지 않는 중복 영역의 픽셀은 0 으로 설정하고, 겹치는 영역은 유지합니다. 이를 통해 의사 레이블이 고품질 픽셀 단위 감독으로 정제됩니다.

2.2. MGNet: 마스크 가이드 분할

MGNet 은 BoxSAM 파이프라인에서 생성된 마스크를 가이드로 활용하여 분할을 정제하도록 설계되었습니다. 이는 세 가지 새로운 모듈로 구성됩니다.

연쇄형 마스크 디코더 (Cascaded Mask Decoder, CMD): 이 모듈은 인코더 (PVTv2) 에서의 다중 스케일 특징을 점진적으로 융합합니다. 고수준 의미 정보 (업샘플링 및 연결을 통해) 와 저수준 세부 정보 (CBAM 을 통해 처리됨) 를 통합하여 초기 마스크 ( $P_4$ ) 를 생성합니다. 이 마스크는 후속 정제를 위한 전역 가이드 역할을 합니다.
컨텍스트 향상 모듈 (Context Enhancement Module, CEM): 다운샘플링 중 정보 손실로 인한 탐지 누락을 완화하기 위해, CEM 은 다양한 팽창률 (dilation rates) 을 가진 합성곱 계층을 사용하여 수용 영역을 확장합니다. 또한 손실된 컨텍스트를 보상하기 위해 고주파 세부 정보 추출을 강화하는 블록 어텐션 (Block Attention, BA) 메커니즘을 통합합니다.
마스크 가이드 특징 집계 모듈 (Mask-guided Feature Aggregation Module, MFAM): 이 모듈은 경계 모호성을 해결합니다. 초기 마스크 ( $P_4$ ) 를 활용하여 전경 및 배경 어텐션 맵을 생성합니다. 이러한 맵은 서로 다른 수준의 특징을 집계하는 것을 가이드하며, 인접한 수준의 특징을 융합하여 경계가 강화된 예측을 생성합니다.

2.3. 학습 및 손실

모델은 가중 이진 교차 엔트로피 (Weighted Binary Cross-Entropy, wBCE) 와 가중 교집합 비율 (Weighted Intersection over Union, wIoU) 을 결합한 하이브리드 손실 함수를 사용하여 학습됩니다. 약한 감독 설정에서 정답 ( $G$ ) 은 BoxSAM 이 생성한 정제된 의사 레이블로 대체됩니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다.

BoxSAM: 바운딩 박스 주석을 SAM 모델과 통합하는 WSCOD 방법입니다. SAM 의 잘못된 배경 예측을 필터링하기 위한 중복 처리 전략을 도입하여 학습용 고품질 의사 레이블을 생성합니다.
MGNet: 초기 마스크를 가이드로 활용하는 새로운 네트워크 아키텍처입니다. 점진적 마스크 생성을 위한 연쇄형 마스크 디코더 (CMD), 탐지 누락을 줄이기 위한 컨텍스트 향상 모듈 (CEM), 그리고 가이드된 특징 융합을 통해 경계 모호성을 해결하는 **마스크 가이드 특징 집계 모듈 (MFAM)**을 특징으로 합니다.
성능: 이 방법은 세 가지 표준 데이터셋 (CAMO, COD10K, NC4K) 에서 WSCOD 에 있어 최첨단 (SOTA) 성능을 달성했으며, 바운딩 박스 감독을 사용한 약한 감독 SOD 에서도 우수한 결과를 입증했습니다. 또한, 저자들은 장액종 분할 및 산업 결함 탐지 작업에서 모델의 일반화 능력을 검증했습니다.

4. 실험 결과

광범위한 실험이 세 가지 COD 데이터셋과 네 가지 SOD 데이터셋에서 수행되었습니다.

WSCOD 성능: BoxSAM 은 기존 약한 감독 방법 (점, 스크래블, 바운딩 박스 감독 사용) 보다 우수한 성능을 보였습니다. CAMO 데이터셋에서, 하위 최적 바운딩 박스 방법 (SAM-COD) 보다 $S_\alpha$ 지표를 2.6% 향상시켰으며, 하위 최적 점 기반 방법보다 3.8% 향상시켰습니다.
완전 감독 성능: MGNet 은 정답으로 학습되었을 때, 현재 최첨단 CNN 및 Transformer 기반 COD 방법보다 우수한 성능을 보였습니다. 예를 들어, PVTv2_B2 를 백본으로 사용할 때, 하위 최적 방법인 MSCAF-Net 대비 $S_\alpha$ 에서 평균 1.3%, $F_\beta$ 에서 2.3% 향상되었습니다.
절대 실험 (Ablation Studies):
- 중복 처리 전략 (RPS) 을 제거하면 성능이 저하되어 레이블 품질에 대한 그 필요성이 확인되었습니다.
- MGNet 을 다른 백본 (SINet, HitNet 등) 으로 대체하면 열악한 결과가 도출되어 MGNet 의 특정 설계를 검증했습니다.
- 개별 모듈 절대 실험은 CMD, CEM, MFAM 이 각각 경계 명확성과 탐지 완전성에 크게 기여함을 확인했습니다.
효율성: MGNet 은 여러 Transformer 기반 경쟁 모델에 비해 낮은 계산 복잡도 (FLOPs) 와 더 적은 파라미터를 보여주었습니다.
응용: 이 모델은 해당 분야의 전문 SOTA 모델에 비해 장액종 분할 (CVC-ColonDB, CVC-ClinicDB) 및 결함 탐지 (CDS2K) 에서 향상된 성능을 보여주었습니다.

5. 의의 및 한계

저자들은 위장 객체에 대한 주석 효율성과 탐지 정확도 사이의 실현 가능한 절충안을 제공한다고 주장합니다. SAM 의 일반화 능력을 활용하고 특수한 중복 전략 및 마스크 가이드 네트워크를 통해 그 출력을 정제함으로써, 이 방법은 픽셀 단위 주석의 비용과 정밀한 분할 필요성 사이의 균형을 효과적으로 맞춥니다.

그러나 논문은 겸손하게 한계를 인정합니다. 중복 처리 전략이 SAM 의 출력을 개선하지만, SAM 은 여전히 바운딩 박스로 프롬프트되었을 때 위장 객체 탐지에서 분할 오류나 매우 위장된 객체를 식별하지 못하는 것과 같은 실패 사례를 보입니다. 저자들은 향후 연구가 대규모 모델을 위한 프롬프트로 여러 주석 방법을 결합하는 등 초기 의사 레이블의 정확도를 향상시키는 데 초점을 맞춰야 한다고 제안합니다.