Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

기술 요약: 세밀한 오픈-보급 분할을 위한 분해된 비전 - 언어 정렬

문제 정의
비전 - 언어 사전 학습을 통해 보지 못한 카테고리 이름에 일반화할 수 있는 오픈 - 보급 분할 (OVS) 모델은, 보지 못한 객체 카테고리 및 속성의 조합에 일반화하는 데 어려움을 겪습니다 (예: 훈련 중 특정 조합을 보지 못했을 때 "평지붕 산업용 건물"과 "평지붕 주거용 건물"을 구별하는 것). 기존 접근법은 일반적으로 전체 텍스트 프롬프트를 단일 전체 시퀀스로 인코딩합니다. 이러한 전체적 인코딩은 공유된 표현 내에서 카테고리와 속성의 의미를 얽히게 하여, 추론 시 의미 단위를 분해하고 재조합하는 것을 모델이 방해받게 합니다. 결과적으로 모델은 세밀한 구성적 추론에 필요한 논리적 "AND" 제약을 강제하지 못하여, 보지 못한 속성 - 카테고리 조합에서 성능이 저하됩니다.

방법론
저자들은 텍스트 프롬프트를 명시적으로 분해하고 특징 및 점수 수준에서 구성적 제약을 강제하도록 설계된 분해된 비전 - 언어 정렬 프레임워크를 제안합니다. 이 방법은 모델에 무관하지만 여기서는 SAM3 아키텍처 내에서 구체화되었습니다.

1. 명시적 프롬프트 분해:
   텍스트를 단일 문장으로 연결하는 대신, 이 프레임워크는 카테고리 및 각 속성을 독립적으로 인코딩합니다. 기하학적 모호성 (예: "평지붕"이 임의의 평평한 표면에 적용됨) 을 해결하기 위해, 속성은 인코딩 시 카테고리에 조건부로 설정됩니다 (예: "평지붕"을 "평지붕 건물"로 인코딩). 이는 카테고리 토큰 시퀀스 ($t_c$), 속성 토큰 시퀀스 집합 ($t_{a_k}$), 그리고 속성 존재 마스크 ($m$) 로 구성된 구조화된 표현을 산출합니다.

2. 특징 게이트형 교차 어텐션:
   이 프레임워크는 시각적 쿼리와 각 의미 단위 간의 분해된 교차 어텐션을 수행합니다.

   • 카테고리 상호작용: 쿼리를 카테고리 토큰과 정렬하기 위해 표준 교차 어텐션이 사용됩니다.
   • 속성 게이트: 각 속성에 대해 별도의 교차 어텐션 분기가 시그모이드 활성화를 통해 게이트 맵 ($G_{a_k}$) 을 생성합니다. 이러한 게이트는 "필요 조건 필터" 역할을 합니다.
   • AND 구성: 최종 특징 출력은 카테고리 정렬 특징과 모든 활성 속성 게이트의 요소별 곱셈 ($F_{out} = Q_c \odot \prod G_{a_k}$) 을 통해 얻어집니다. 이 곱셈 집계는 시각적 특징이 모든 속성 제약을 동시에 만족할 때만 보존되도록 강제합니다.

3. 로그 공간 AND 구성 점수화:
   확률을 곱하는 것과 관련된 수치적 불안정성 및 그래디언트 소실을 피하기 위해, 점수화 메커니즘은 로그 공간에서 작동합니다.

   • 카테고리 및 각 속성에 대한 매칭 로짓은 독립적으로 계산됩니다.
   • 이러한 로짓은 시그모이드를 통해 확률로 변환된 후, 로그 확률로 매핑됩니다.
   • 최종 구성 점수는 활성 구성 요소 수로 정규화된 이러한 로그 확률의 합입니다. 이 수식은 최적화 중 안정적인 그래디언트를 유지하면서 논리적 AND 연산 ($\log(\prod \pi) = \sum \log(\pi)$) 을 수학적으로 근사합니다.

주요 기여

• 분해된 비전 - 언어 정렬: 트랜스포머 기반 분할 아키텍처에 원활하게 통합되어, 세밀한 OVS 를 개선하기 위해 카테고리 및 속성 상호작용을 명시적으로 분리하는 프레임워크.
• 특징 게이트형 교차 어텐션: 속성이 공간 필터로 기능하고 곱셈 게이팅을 통해 구성적 제약을 강제하며 속성별 특징 학습을 분리하는 새로운 모듈.
• 로그 공간 AND 구성 점수화: 직접 확률 곱셈에 비해 수치적 안정성과 개선된 최적화 행동을 제공하며, 의미 단위 간의 논리적 AND 관계를 명시적으로 모델링하는 점수화 전략.
• 구성 일반화 평가 프로토콜: 보인 및 보지 못한 속성 - 카테고리 조합으로 데이터를 분할하고, 보지 못한 AP, 보인 - 보지 못한 간격 ($R_d$), 그리고 AND 효율성과 같은 지표를 활용하여 구성적 추론 능력을 측정하는 엄격한 평가 프로토콜 도입.

실험 결과
이 방법은 특정 속성 - 카테고리 조합이 훈련에서 제외된 구성 일반화 설정 하에서 UBC 건물 데이터셋과 PACO-LVIS 데이터셋에서 평가되었습니다.

• 성능 향상: UBC 데이터셋에서 제안된 방법은 SAM3 기준의 보지 못한 AP 를 4.0 에서 7.1로 증가시켰으며, AND 효율성 지수는 0.533 에서 0.959로 크게 개선되었습니다. PACO-LVIS 에서는 보지 못한 AP 가 37.9 에서 39.2로 상승했고, AND 효율성은 0.874 에서 0.907로 향상되었습니다.
• 절대 실험: 전체적 인코딩이 일반화를 제한한다는 것이 실험을 통해 확인되었습니다. 전체적 인코딩을 독립적 인코딩 및 평균 집계로 대체하면 결과가 개선되었으나, 전체 로그 공간 AND 메커니즘이 가장 큰 향상을 제공했습니다. 또한, 이 방법은 적응된 구성 제로샷 학습 (CZSL) 방법 (예: AttrAsOp, CGE) 보다 우수한 성능을 보여, 밀집 예측 작업에서 글로벌 구성 벡터보다 픽셀 단위 공간 게이팅이 우월함을 입증했습니다.
• 정성적 분석: 특징 게이트의 시각화는 모델이 카테고리는 일치하지만 특정 속성 제약을 위반한 인스턴스를 성공적으로 억제하는 법을 학습했음을 보여주었습니다 (예: 프롬프트가 "주거용"을 요구할 때 상업용 건물을 억제). 이는 곱셈 게이팅 메커니즘의 효과성을 확인시켜 주었습니다.

의의
이 논문은 비전 - 언어 모델의 세밀한 구성적 추론에서의 체계적 편향을 해결하는 데 그 주요 의의가 있다고 주장합니다. 이미지 수준의 구성 제로샷 학습에서 분해 통찰력을 픽셀 수준의 분할 영역으로 이전함으로써, 이 연구는 의미 단위의 명시적 분해와 특징 수준에서의 논리적 제약 강제가 보지 못한 조합으로 일반화하는 데 필수적임을 입증합니다. 저자들은 이 프레임워크가 복잡하고 구조화된 의미 설명을 처리할 수 있는 더 신뢰할 수 있는 오픈 월드 지각 시스템을 개발하기 위한 견고한 기반을 제공한다고 주장합니다.