기술 요약: HyRo – 오픈-어휘 의미 분할을 위한 쌍곡 공간의 의미 정렬

1. 문제 제기

오픈-어휘 의미 분할 (OVSS) 은 훈련 중 보지 못한 클래스를 포함하여 이미지 내 모든 픽셀에 의미 범주를 할당하는 것을 목표로 합니다. CLIP 과 같은 비전 - 언어 모델 (VLM) 은 풍부한 의미 정렬을 제공하지만, 이미지 수준 표현을 위해 사전 훈련되었기 때문에 밀집된 픽셀 수준 예측으로의 적응은 어렵습니다.

기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 계층적 대 의미 불일치: 쌍곡 기하학을 활용한 최근 연구들 (예: HyperCLIP) 은 임베딩의 쌍곡 반경을 픽셀 수준의 세분성에 맞게 조정함으로써 계층적 관계를 성공적으로 모델링합니다. 그러나 동일한 계층 수준 내 임베딩 간의 의미 불일치를 간과하는 경우가 많습니다.
2. 기하학적 제약: 쌍곡 공간에서 계층은 반경 거리로 인코딩되는 반면, 의미 유사성은 각도 방향에 반영됩니다. 반경만 조정하는 기존 방법들은 잘못된 각도 관계를 수정하지 못해, "사람"과 "의자"와 같이 의미적으로 구별되는 개념이 유사한 반경에 있지만 잘못된 각도로 임베딩되는 상황을 초래하며, 이로 인해 모델이 이를 단일 객체로 오분류하게 됩니다.

2. 방법론: HyRo (쌍곡 회전)

저자들은 포앙카레 볼 모델 내에서 계층적 정렬과 의미 정제를 명시적으로 분리하는 파인튜닝 프레임워크인 HyRo를 제안합니다. 핵심 통찰은 계층과 의미가 서로 다른 기하학적 속성에 대응한다는 점입니다: 계층은 반경으로, 의미는 각도로 표현됩니다.

2.1. 이론적 기반

이 방법은 포앙카레 볼 모델 ($D^m_c$) 에서 작동하며, 다음과 같은 특징을 가집니다:

• 등각성: 원점에서 측정된 각도는 유클리드 공간에서 보존됩니다.
• 직교 변환: 저자들은 포앙카레 볼 내의 점에 직교 행렬 $R$을 적용하는 것이 이상적인 회전으로 작용함을 증명합니다. 이는 쌍곡 반경 (계층적 깊이) 을 변경하지 않으면서 각도 관계 (의미 정렬) 를 조정합니다.
  • $x$를 임베딩이라고 합시다. 원점에서의 접선 벡터는 $v_x = \log_0(x)$입니다.
  • 직교 행렬 $R$을 적용하면 $v'_x = R v_x$가 됩니다. $R$이 유클리드 노름을 보존하므로 ($\|v'_x\| = \|v_x\|$), 지수 매핑을 통해 다시 매핑한 후에도 쌍곡 반경은 변하지 않습니다: $x' = \exp_0(R v_x) = R x$.

2.2. 아키텍처 및 워크플로우

HyRo 파이프라인 (그림 3 참조) 은 네 단계로 구성됩니다:

1. 쌍곡 공간 매핑: CLIP 의 유클리드 특징 임베딩 ($z$) 을 지수 매핑을 사용하여 포앙카레 볼로 매핑합니다: $h = \exp_0^{\mathbb{D},c}(z)$.
2. 계층적 조정 (반경): 학습 가능한 대각 행렬 $S$(효율성을 위한 블록 대각 구조) 가 쌍곡 반경을 스케일링하여 임베딩을 적절한 픽셀 수준의 세분성과 정렬시킵니다: $q = S \otimes_c h$.
3. 의미 정제 (회전): 직교 행렬 $R$을 적용하여 각도 관계를 정제합니다: $v = R q$.
   • 매개변수화: $R$이 엄격하게 직교하도록 보장하기 위해, 저자들은 학습 가능한 반대칭 행렬 $\Theta$에 케일리 변환을 사용합니다: $R = (I + A)(I - A)^{-1}$, 여기서 $A = \Theta - \Theta^\top$입니다.
   • 효율성: 고차원 CLIP 임베딩 (예: 768 차원) 과 서로 다른 모달리티 차원을 처리하기 위해, $R$은 독립적인 블록 대각 행렬로 분해되어 계산 비용을 $O(d^3)$에서 $O(d^3/n^2)$로 줄입니다.
4. 디코딩: 정제된 쌍곡 임베딩은 로그 매핑을 통해 유클리드 공간으로 다시 매핑된 후, CATSeg 기반의 비용 집계 디코더에 입력되어 픽셀 수준 예측을 생성합니다.

2.3. 훈련 전략

• 동결된 인코더: 일반화 능력을 보존하기 위해 CLIP 인코더는 동결된 상태로 유지됩니다.
• 파인튜닝: 픽셀 단위 교차 엔트로피 손실을 사용하여 쌍곡 변환 매개변수 (반경 스케일링 행렬 $S$ 및 회전 행렬 $R$) 만 파인튜닝됩니다.

3. 주요 기여

1. 분리된 정렬: 이 논문은 쌍곡 공간에서 계층적 정렬 (반경) 과 의미 정제 (각도) 를 명시적으로 분리하는 프레임워크를 도입하여, 이전 OVSS 방법들의 중요한 공백을 해소했습니다.
2. 직교 회전 전략: (케일리 매개변수화를 통한) 직교 변환을 사용하여 계층 구조를 왜곡하지 않고 의미 각도를 조정하는 이론적으로 정당화된 방법입니다.
3. 최고 수준의 성능: 제안된 방법은 표준 벤치마크에서 우수한 결과를 달성하여 기하학적 접근법의 타당성을 입증했습니다.

4. 실험 결과

저자들은 HyRo 를 표준 OVSS 벤치마크인 ADE20K(A-847, A-150), PASCAL-Context(PC-459, PC-59), PASCAL VOC(PAS-20, PAS-20b) 에서 평가했습니다.

• 정량적 성능: HyRo 는 여섯 개의 벤치마크 중 네 개에서 최고의 성능을 달성했습니다. 특히 이전 쌍곡 공간 기반 최고 성능 (HyperCLIP) 을 다음과 같이 개선했습니다:
  • A-847 에서 +0.1 mIoU (12.0 대 11.9)
  • PC-459 에서 +0.7 mIoU (18.9 대 18.2)
  • PC-59 에서 +0.2 mIoU (57.3 대 57.1)
  • PAS-20 에서 +0.1 mIoU (95.0 대 94.9)
• 정성적 개선: 시각화 결과에 따르면 HyRo 는 기존 방법이 실패하는 의미적 모호성을 효과적으로 해결합니다. 예를 들어, 사람이 의자에 누워 있는 장면에서 HyperCLIP 은 종종 둘 다 "의자"로 오분류하는 반면, HyRo 는 객체를 올바르게 분리합니다. 주의도 맵은 HyRo 가 목표 영역에 주의를 집중시키고 배경 잡음을 억제함을 확인시켜 줍니다.
• 애블레이션 연구:
  • 구성 요소 중요성: 반경 스케일링과 회전을 모두 결합했을 때 가장 좋은 결과가 나왔습니다. 회전은 오픈-어휘 일반화의 주요 동인으로 식별되었으며, 반경 스케일링은 세밀한 분리 가능성을 보장합니다.
  • 곡률 ($c$): CLIP 의 제로샷 일반성을 유지하면서 필요한 계층적 조정을 허용하는 "부드러운" 곡률 ($c=0.01$) 이 최적임이 밝혀졌습니다.
  • 블록 크기: $n=256$의 블록 크기가 용량과 일반성 사이의 가장 좋은 균형을 제공했습니다.

5. 중요성 및 주장

이 논문은 HyRo 가 비유클리드 공간에서 계층과 의미를 공동으로 모델링하는 것의 중요성을 부각시킨다고 주장합니다. 밀집 예측을 위해 각도 관계가 반경 거리만큼 중요함을 입증함으로써, 이 연구는 비전 - 언어 작업에서 기하학적 표현 학습을 위한 새로운 방향을 열었습니다.

저자들은 자신의 작업을 이전 쌍곡 공간 접근법 내재적인 "의미 불일치" 문제에 대한 해결책으로 위치시킵니다. 그들은 단순히 세분성 (반경) 을 조정하는 것만으로는 부족하며, 견고한 오픈-어휘 일반화를 달성하기 위해 의미 방향 (각도) 의 명시적 최적화가 필요하다고 주장합니다. 이 방법은 보이지 않는 클래스를 인식하는 능력을 희생하지 않으면서 밀집된 픽셀 수준 이해를 위해 기반 모델을 적응시키는 중요한 진전으로 제시됩니다.

향후 연구는 이 쌍곡 기하학적 접근법을 복잡한 오픈-어휘 비디오 분할 설정 (예: MOSE, MeViS) 으로 확장할 것을 제안하지만, 현재 범위는 정적 이미지에 국한되어 있습니다.