💻 컴퓨터 과학

Improve Salient Object Detection via Adaptive Boundary-Location Feature Fusion

본 논문은 돌출 객체 탐지를 위해 과업을 위치 결정 및 정제 분기로 분해하고, 적응형 특징 증강과 동적 교차 주의 집중 모듈을 채택하여 강건성을 높이고 최첨단 성능을 달성하는 적응형 경계 위치 특징 융합 프레임워크를 제안한다.

원저자: Yuanbin Fu, Jiahao Wang

게시일 2026-10-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuanbin Fu, Jiahao Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 비전이라는 광활한 영역에서, 기계가 세상을 보는 법을 배우는 과정에는 인간의 매우 본능적인 능력인 '무엇을 볼 것인가'를 아는 것과 유사한 특정한 과제가 존재합니다. 사람이 붐비는 거리 장면을 훑어볼 때, 눈은 모든 벽돌과 잎사귀를 동일한 강도로 스캔하지 않습니다. 대신, 밝은 빨간색 코트나 움직이는 차량처럼 시각적으로 가장 눈에 띄는 요소들에 즉각적으로 이끌립니다. 이러한 자동 필터링을 '돌출 객체 탐지(salient object detection)'라고 합니다. 수십 년 동안 연구자들은 컴퓨터가 이와 동일한 능력을 수행하도록 가르쳐 왔으며, 이미지의 중요한 피사체를 복잡한 배경으로부터 분리하도록 훈련시켜 왔습니다. 그 목표는 인간이 주목할 만한 요소를 정확히 강조하는 디지털 지도를 만드는 것이며, 이는 자율 주행이나 의료 영상과 같은 더 복면적인 과업을 위한 핵심적인 첫 단계 역할을 합니다. 그러나 시각적 세계는 일관적이지 않기 때문에 이러한 수준의 정밀도를 달리는 데 어려움이 있었습니다. 어떤 물체는 한 사진에서는 날카로운 가장자리로 정의되지만, 다른 사진에서는 전체적인 형태에 의해 정의될 수 있습니다. 단일 컴퓨터 모델은 종 often 이러한 변화하는 패턴에 적응하는 데 어려움을 겪으며, 때로는 중요해 보이지만 실제로는 단순한 노이즈에 불과한 오도하는 세부 사항들에 의해 혼란을 겪기도 합니다.

소주 대학교(Soochow University)와 천진 대학교(Tianjin University)의 연구진은 이러한 경직성 문제를 해결하기 위해 새로운 접근 방식을 개발했습니다. "적응형 경계 위치 특징 융합을 통한 돌출 객체 탐지 개선(Improve Salient Object Detection via Adaptive Boundary-Location Feature Fusion)"이라는 제목의 이 연구는, 객체가 어디에 위치하는지를 찾는 데 단 하나의 정적인 규칙 세트에 의존하지 않는 시스템을 제안합니다. 대신, 그들은 보는 작업을 두 가지 별개의 전문화된 작업, 즉 객체가 어디에 위치하는지를 찾는 것과 그 경계가 정확히 어디에 있는지를 정교화하는 작업으로 나누는 프레임워크를 설계했습니다. 왜 이러한 분리가 중요한지 이해하기 위해, 자동차를 인식하는 데는 장면 내에서의 일반적인 형태와 위치를 이해하는 것이 필요하지만, 자동차의 윤곽을 그리는 데는 자동차가 도로 또는 하늘과 만나는 미세한 디테일을 포착하는 것이 필요하다는 점을 고려해 보십시오. 기존의 방법들은 종종 단일 모델로 이 두 가지를 동시에 수행하려고 시도했으며, 이는 컴퓨터가 거시적인 관점과 미세한 디테일에 동시에 집중할 수 없었기 때문에 종종 최적이 아닌 결과를 초래했습니다. 새로운 시스템은 이러한 작업들을 처리하기 위해 두 개의 별도 경로, 즉 브랜치를 사용합니다. 국부적인 디테일을 포착하는 데 뛰어난 유형의 네트워크를 기반으로 구축된 한 브랜치는 객체의 경계에 집중합니다. 전역적 관계를 이해하도록 설계된 네트워크를 활용하는 다른 브랜치는 객체의 위치에 집중합니다.

이 연구의 진정한 혁신은 이 두 브랜치가 서로 어떻게 소통하느냐에 있습니다. 많은 기존 시스템에서는 서로 다른 부분의 정보가 단순히 결합되는데, 이는 이미지의 한 부분이 혼란스럽거나 오도하는 데이터를 포함하고 있을 경우 문제가 될 수 있습니다. 연구진은 모든 시각적 정보가 모든 이미지에 똑같이 유용한 것은 아니라는 점을 깨달았습니다. 때로는 어떤 사진에서 객체를 식별하는 데 도움이 되는 특징이 다른 사진에서는 오류를 일으킬 수 있습니다. 이를 해결하기 위해 그들은 '적응형 특징 증강(adaptive feature augmentation)'이라고 불리는 기술을 도입했습니다. 두 브랜치가 자신들의 발견을 병합하기 전에, 이 기술은 오류를 일으킬 가능성이 높은 데이터의 특정 부분을 식별하고 약화시키는 필터 역할을 합니다. 이것은 본질적으로 컴퓨터에게 자신을 잘못된 길로 인도할 수 있는 특정 세부 사항들에 대해 회의적인 태도를 갖도록 요구하며, 시스템이 무관한 패턴에 속지 않도록 견고성을 더해줍니다. 이 과정은 고정된 규칙을 모든 상황에 적용하는 것이 아니라, 분석되는 특정 이미지에 따라 행동을 바꾸는 동적인 방식입니다.

시스템이 경계 브랜치와 위치 브랜치로부터 데이터를 정제하고 나면, 이를 효과적으로 결합해야 합니다. 연구진은 이 융합을 처리하기 위해 '적응형 교차 주의 메커니즘(adaptive cross-attention mechanism)'을 개발했습니다. 모든 정보를 동등하게 취급하는 표준적인 방법들과 달리, 이 메커니즘은 시스템이 특정 이미지에 대해 위치 데이터와 경계 데이터에 각각 얼마만큼의 가중치를 부여할지 결정할 수 있게 해줍니다. 이는 마치 사람이 조명 조건에 따라 흐릿한 물체의 윤곽에 더 집중하거나 혹은 일반적인 형태에 더 집중하는 것과 유사하지만, 여기서는 컴퓨터가 이를 수학적이고 즉각적으로 결정합니다. 시스템이 보는 것에 기반하여 정보를 결합하는 자체적인 규칙을 생성하도록 함으로써, 연구진은 최종 출력이 모든 개별 이미지의 고유한 특성에 맞춤화되도록 보장했습니다.

이 접근 방식의 결과는 수천 개의 다양한 이미지를 포함하는 여러 표준 데이터셋을 사용하여 기존의 다양한 방법들과 비교 테스트되었습니다. 새로운 시스템은 경쟁 모델들을 지속적으로 앞질렀으며, 객체를 식별하는 데 있어 더 높은 정확도와 경계를 정의하는 데 있어 더 낮은 오류율을 달성했습니다. 다섯 가지 서로 다른 데이터셋에 걸친 테스트에서, 이 모델은 다른 방법들이 어려움을 겪었던 복잡한 장면(예: 배경이 어수선하거나 주변 환경과 섞여 있는 객체가 있는 이미지)을 처리하는 명확한 능력을 보여주었습니다. 연구진은 자신들의 성공이 단순히 더 많은 컴퓨팅 파워 덕분이 아니라, 특히 그 설계의 적응적인 특성 때문임을 확인했습니다. 모델에서 적응형 구성 요소를 제거했을 때 성능이 크게 떨어졌으며, 이는 입력값에 따라 조정할 수 있는 능력이 핵심 요소였음을 입증했습니다. 이 연구는 컴퓨터 비전의 미래가 더 크고 경직된 모델을 구축하는 것이 아니라, 모든 이미지가 서로 다른 이야기를 하고 있다는 것을 이해할 수 있을 만큼 유연한 시스템을 만드는 데 있음을 시사합니다.

기술 요약: 적응형 경계-위치 특징 융합을 통한 돌출 객체 탐지 개선

문제 정의

돌출 객체 탐지(Salient Object Detection, SOD)는 시각적으로 두드러진 객체를 배경으로부터 분리하는 것을 목표로 하며, 이는 고차원 비전 태스크를 위한 전처리 단계 역할을 한다. 딥러닝은 엔드 투 엔드(end-to-end) 네트워크를 표준으로 확립해 왔으나, 기존 방식들은 대개 객체 수준의 돌출 맵(saliency maps)에 의해서만 감독되는 단일 모델에 의존한다. 저자들은 이러한 전략이 최적의 정확도를 달-성하지 못한다고 주장하는데, 이는 통합된 모델이 객체 위치 파악(글로벌 시맨틱 정보 필요)과 경계 정밀화(강도 변화에 민감한 로컬 디테일 필요)에 필요한 다양한 지식을 동시에 캡슐화하기 어렵기 때문이다.

또한, 현재의 다중 브랜치 모델들은 적응성 부족 문제를 겪고 있다. 이들은 종종 서로 다른 입력 이미지의 다양한 특성을 고려하지 못하는 정적 특징 융합 전략을 적용한다. 결과적으로, 한 시나리오(예: 정렬된 객체를 위한 방향 정보)에서 유익한 특징이 다른 시나리오에서는 해롭거나 오해의 소지가 있는 정보가 되어 융합 과정 중에 부작적인 영향을 미칠 수 있다. 해결해야 할 핵심 과제는 개별 이미지의 고유한 요구 사항에 맞춤화된 유용한 정보를 어떻게 효과적으로 탐색하고 융합할 것인가이다.

방법론

제안된 프레임워크는 SOD 태스크를 객체 위치 파악과 경계 정밀화라는 두 가지 하위 태스크로 분해하는 경계-위치 특징 융합(Boundary-Location Feature Fusion) 전략을 통해 이러한 과제를 해결한다.

1. 이중 브랜치 네트워크 아키텍처

프레임워크는 서로 다른 유형의 특징을 추출하기 위해 두 개의 특화된 브랜치를 사용한다:

위치 브랜치(Location Branch): 패치 토큰 간의 글로벌 시맨틱 특징과 상호 의존성을 포착하기 위해 Vision Transformer(ViT) 백본(구체적으로 사전 학습된 P2T의 처음 4개 블록)을 활용한다.
경계 브랜치(Boundary Branch): 로컬 디테일 특징을 추출하기 위해 CNN 백본(구체적으로 사전 학습된 MobileNetV2의 처음 4개 블록)을 활용한다.
융합(Fusion): 두 브랜치의 특징은 프로세싱 및 융합 과정을 거쳐 최종 돌출 맵을 생성한다. 경계 및 위치에 대한 보조 예측 헤드는 학습 중에만 감독을 위해 사용된다.

2. 적응형 특징 증강 (Adaptive Feature Augmentation, AFA)

특징 공간에서의 잘못된 귀속(misleading attributions)의 부정적 영향을 완화하기 위해, 저자들은 융합 전에 적용되는 적응형 특징 증강 모듈을 제안한다.

귀속 추정(Attribution Estimation): 귀속 예측기는 특정 특징 요소가 잘못된 예측에 기여할 가능성을 나타내는 귀속 행렬( $A$ )을 동적으로 추정한다. 또한 각 입력 인스턴스에 대해 고정된 값이 아닌 적응형 임계값을 조정하기 위해 임계값 예측기( $T$ )도 학습된다.
미분 가능한 임계값 설정(Differentiable Thresholding): 이진 임계값 설정은 미분이 불가능하므로, 저자들은 스칼라 $\alpha$ 에 의해 제어되는 하이퍼볼릭 탄젠트 함수( $\tanh$ )를 사용하여 미분 가능한 근사치를 사용한다.
증강 과정: 모듈은 식별된 오해의 소지가 있는 귀속( $\hat{T}_\alpha(A)$ )에 의해 스케일링된 무작위 노이즈( $\varepsilon$ )를 특징 맵에 주입한다. 이 과정은 후속 융합 모듈이 방해되는 특징들의 부작용으로부터 벗어나도록 설계되었으며, 이론적으로 편향에 대한 강건성을 높인다.

3. 적응형 교차 주의 메커니즘 (Adaptive Cross-Attention Mechanism)

증강된 경계 및 위치 특징을 효과적으로 집계하기 위해 적응형 교차 주의 모듈이 고안되었다.

동적 파라미터 생성: 고정된 가중치를 가진 표준 주의 메커니즘과 달리, 선형 투영 파라미터( $W_Q, W_K, W_V$ )는 입력 특징을 기반으로 동적으로 생성된다. 전역 평균 풀링(GAP)과 완전 연결(FC) 레이어가 경계 및 위치 특징을 처리하여 이러한 파라미터를 생성한다.
상보적 역할: 이 설계는 각 브랜치의 강점을 활용한다:
- 쿼리(Query, $Q$ ): 장거리 의존성을 평가하기 위해 위치 특징(글로벌 컨텍스트)에서 유도된다.
- 키(Key, $K$ ) 및 값(Value, $V$ ): 로컬 컨텍스트와 내부 표현을 캡슐화하기 위해 경계 특징(로컬 디테일)에서 유도된다.
융합: 메커니즘은 특징을 융합하기 위해 주의 점수(attention scores)를 계산하며, 이를 통해 특정 입력 이미지에 따라 상보성을 적응적으로 탐색할 수 있게 한다.

4. 학습 목적 함수 (Learning Objective)

전체 손실 함수( $L_{Final}$ )는 네 가지 정규화 항을 결합한다:

돌출 정규화 ( $L_{Sal}$ ): 이진 교차 엔트로피(BCE) 및 IoU 손실.
귀속 정규화 ( $L_{Attr}$ ): 사소한 귀속 점수(모두 0 또는 모두 1)를 방지하고, 영향력이 미미하지 않은 한 점수가 임계값을 초과하도록 유도하는 페널티 항.
경계 정규화 ( $L_{Boun}$ ): 경계 예측을 위한 BCE 및 Dice 손실.
위치 정규화 ( $L_{Local}$ ): 바운딩 박스 예측을 위한 좌표 손실 및 IoU 손실.

주요 기여

적응형 특징 증강: 서로 다른 입력 조건에 따라 특징 공간에서 해로운 귀속을 식별하고 대응하는 새로운 기술로, 모델의 강건성을 향상시킨다.
적응형 교차 주의: 특정 이미지를 기반으로 쿼리, 키, 값 파라미터를 동적으로 계산하여 경계 및 위치 특징을 효과적으로 융합하고, 각각의 상보적 강점을 활용한다.
경계-위치 프레임워크: SOD 태스크를 객체 위치 파악과 경계 정밀화로 단순화하고, 각각 ViT와 CNN 백본을 사용하여 글로벌 및 로컬 특징을 포착하는 이중 브래치 아키텍처를 제공한다.

실험 결과

모델은 DUTS-TR 데이터셋에서 학습되었으며 5개의 표준 벤치마크(DUTS, DUT-O, HKU-IS, ECSSD, PASCAL-S)에서 평가되었다. 성능은 Max F-measure ( $F_{max}$ )와 평균 절대 오차(MAE)로 측정되었다.

정량적 성능: 제안된 방법은 5개 데이터셋 모두에서 최첨단(state-of-the-art) 결과를 달성했다. 예를 들어, DUTS 데이터셋에서 $F_{max}$ 0.939, MAE 0.021을 기록하여 MDSAM ( $F_{max}$ 0.937) 및 DC-Net ( $F_{max}$ 0.930)과 같은 경쟁 모델들을 앞질렀다. HKU-IS ( $F_{max}$ 0.966) 및 ECSSD ( $F_{max}$ 0.978)에서도 유사한 우수한 성능이 관찰되었다.
어블레이션 연구 (Ablation Studies): 적응형 특징 증강(AFA)과 적응형 교차 주의(ACA) 모듈을 제거하는 실험을 통해 이들의 필요성을 확인했다. 두 모듈을 모두 제거하면 성능이 크게 하락하는 반(예: DUTS의 $F_{max}$ 가 0.939에서 0.927로 감소) 반면, 각각을 개별적으로 제거했을 때도 성능 저하가 발생하여 두 모듈의 기여도를 입증했다.
시각적 분석: 도전적인 장면들에 대한 정성적 비교를 통해, 제안된 모델이 다른 방법들보다 다양한 특징과 패턴을 더 견고하게 처리하며 복잡한 시나리오에서 오탐(false positives)과 미탐(false negatives)을 줄임을 보여주었다.

의의 및 주장

본 논문의 주요 의의는 SOD에서의 특징 융합의 적응성 문제를 해결하는 데 있다. 정적 네트워크 파라미터와 통합된 모델에서 벗어나, 제안된 프레임워크는 개별 입력에 맞춰 처리 전략을 동적으로 조정한다. 저자들은 해로운 귀속을 억제하면서 관련 정보를 적응적으로 탐색하고 융합하는 능력이 기존의 최첨단 경쟁 모델들과 비교하여 광범위한 이미지 스펙트럼에서 우수한 탐지 결과를 이끌어낸다고 주장한다.

저자들은 현재 작업이 SOD에 집중되어 있지만, 이 방법론이 위장 객체 탐지(camouflaged object detection) 및 시맨틱 세그멘테이션(semantic segmentation)과 같은 다른 태스크로 확장될 잠재력이 있다고 언급했다. 본 연구는 장쑤성 과학 기술 프로그램 및 쑤저우 계획 프로젝트의 지원을 받았다.