기술 요약: 다방향 표현 정렬 (Multi-way Representation Alignment)

문제 정의

독립적으로 학습된 심층 신경망은 플라톤적 표현 가설(Platonic Representation Hypothesis)에서 설명하는 바와 같이 유사한 잠재 표현 공간으로 수렴하는 경향이 있다. 기존의 방법들은 모델 쌍(pair)을 정렬하는 데는 성공적이지만, $M \ge 3$개의 모델로 확장할 때 상당한 한계에 직면한다. 현재의 쌍별(pairwise) 전략은 모델 수에 따라 이차적($O(M^2)$)으로 복잡도가 증가하며, 단 하나의 새로운 모델을 통합하기 위해 $M-1$개의 새로운 맵을 다시 학습시켜야 하고, 전역적 일관성(global consistency)을 강제하지 못한다. 구체적으로, 쌍별 맵을 합성하는 과정(예: $X \to Y$를 거쳐 $Y \to Z$로 매핑)은 직접적인 맵 $X \to Z$를 학습하는 것과 다른 결과를 초래하므로, 쌍별 정렬은 대규모 모델 컬렉션을 위한 공유 참조물로서 신뢰하기 어렵다.

방법론

본 논문은 공유 "유니버스(universe)" 참조 공간 $U$를 통해 여러 표현 공간 $\{X_m\}_{m=1}^M$을 정렬하는 프레임워크를 제안한다. 이 접근 방식은 각 모델에서 유니버스로 향하는 단일 맵 $\Omega_m$을 학습함으로써 복잡도를 $O(M)$으로 줄이며, 이를 통해 임의의 두 모델 간 변환이 유일하고 경로 독립적($\Omega_{m \leftarrow n} = \Omega_m \Omega_n^\top$)임을 보장한다.

저자들은 세 가지 특정 정렬 전략을 탐구한다:

1. 일반화된 프로크루스테스 분석 (Generalized Procrustes Analysis, GPA):
   신경 표현에 맞게 조정된 GPA는 직교 유니버스를 구축한다. 이는 합의된 중심점(consensus centroid) $U$와 일련의 직교 회전 $\{\Omega_m\}$을 찾아 전역적 분산을 최소화한다. 맵들이 직교 군 $O(d)$에 의해 제약되기 때문에, GPA는 각 모델의 내부 기하학적 구조(거리 및 각도)를 보존한다. 이는 모델 스티칭(stitching)이나 잠재 프로빙(latent probing)과 같은 작업에는 매우 중요하지만, 모델 간 합의를 극대화하는 것이 우선인 검색(retrieval) 작업에서는 최선이 아닐 수 있다.

2. 일반화된 정준 상관 분석 (Generalized Canonical Correlation Analysis, GCCA):
   GCCA는 직교 제약을 완화하여, 공유 상관관계를 극대화하기 위해 공간을 변형시키는 선형 투영을 허용한다. GCCA는 쌍별 불일치 에너지를 최소화하고 검색 작업에서 탁월한 성능을 보이지만, 모델의 내부 기하학적 구조를 왜곡하므로 기하학적 충실도(geometric fidelity)가 필요한 작업에는 적합하지 않다.

3. 기하학 교정 프로크루스테스 정렬 (Geometry-Corrected Procrustes Alignment, GCPA):
   기하학적 충실도와 검색 성능 사이의 간극을 메우기 위해, 저자들은 GCPA를 제안한다. 이 2단계 방법은 다음과 같다:

   • 1단계 (초기화): 표준 GPA 문제를 해결하여 견고한 직교 유니버스와 기본 표현을 구축한다.
   • 2단계 (교정): 유니버스 좌표에 가벼운 공유 잔차 맵 $T_\theta$(작은 MLP)를 적용한다. 이 교정 단계는 샘플별 합의 방향(모든 모델에 걸친 정규화된 벡터들의 평균)과의 거리를 최소화하는 동시에, "신뢰(trust)" 페널티를 통해 원래 GPA 기하학으로부터의 이탈을 엄격히 규제한다. 이를 통해 방법론은 기하학적 골격을 버리지 않으면서도 합의를 극대화(검색 성능 향상)할 수 있다.

주요 기여

1. 다방향 정렬으로의 확장: 저자들은 GPA를 신경 표현 설정에 적응시켜 세 개 이상의 모델을 정렬하는 방식을 확장하였으며, 순환 일관성(cycle consistency)을 보장하는 공유 좌표계를 구축하였다.
2. 트레이드오프 식별: 본 논문은 GPA가 기하학적 작업에 대해 쌍별 맵보다 우수한 일관된 전역 참조를 제공하는 반면, 합의 극대화 방법인 GCCA에 비해 검색 작업에서는 뒤처진다는 것을 실증적으로 보여준다.
3. GCPA 제안: 견고한 직교 유니버스와 사후 합의 기반 교정을 결합한 GCPA를 도입하였다. 이는 어떤 형태의 검색에서도 최첨단 성능을 달면서도 공유 프로크루스테스 프레임의 실용적 이점을 유지한다.

실험 결과

저자들은 상호 아키텍처 프로빙, 다국어 번역, 교차 카메라 개인 재식별, 다중 모달 검색을 아우르는 벤치마크를 통해 방법론을 평가한다.

• 기하학적 상호 운용성: 두 모델 간의 표면 유사성이 거의 없는 "약한 연결(weak-link)" 실험에서, 다방향 유니버스는 직접적인 쌍별 맵보다 정렬을 더 안정적으로 유지한다. 또한, 공유 유니버스는 효율적인 확장을 가능하게 한다. 새로운 모델을 추가할 때 전체 유니버스를 다시 학습시키거나 여러 개의 쌍별 맵을 맞출 필요 없이 단 하나의 맵만 학습시키면 된다.
• 클러스터링: MASSIVE 데이터셋에서 표준 정렬(GPA, GCCA)은 정렬되지 않은 공간에 비해 클러스터링 품질을 개선하지 못했다. 그러나 GCPA는 Adjusted Rand Index(ARI)와 Normalized Mutual Information(NMI)를 유의미하게 향상시켰으며, 이는 기하학적 교정이 의미론적으로 유사한 항목들을 성공적으로 결집시켰음을 나타낸다.
• 검색 성능:
  • 다국어 번역 (TED-MULTI): GCPA는 다양한 언어 수($M=3, 5, 10$)에 걸쳐 쌍별, GPA, GCCA 베이스라인보다 우수한 성능을 보이며 평균 및 최악의 경우의 검색 정확도를 모두 개선하였다.
  • 노이즈에 대한 강건성: 75%의 손상된 훈련 대응 관계 하에서도 GCPA는 GCCA보다 더 완만하게 성능이 저하되었으며, GPA보다 높은 절대 정확도를 유지하였다.
  • 개인 재식별 (MARKET-1501): GCPA는 모든 카메라 쌍에 대해 가장 높은 Mean Average Precision(mAP)을 달립으로써, 엄격한 등거리 변환(GPA)과 합의 극대화 방법(GCCA)을 모두 능가하였다.
  • 다중 모달 검색 (FLICKR8K): GCPA는 오디오-이미지 검색(예: HuBERT에서 DINOv2로)과 같은 어려운 정렬 사례에서 성능을 크게 향상시켜, GPA 대비 거의 두 배의 성능을 보여주었다. 분석 결과, GCPA는 평균 교차 모달 거리를 줄이고 고일치성(high-coherence) 삼중항의 합의를 높였다.

의의 및 주장

본 논문은 표현 상호 운용성을 확장하기 위해 공유 유니버스를 통한 다방향 정렬이 필수적이라고 주장한다. 주요 의의는 모델의 내부 기하학을 보존하는 것(스티칭에 필수적)과 모델 간 합의를 극대화하는 것(검색에 필수적) 사이의 긴장을 해결하는 데 있다.

저자들은 GCPA가 이 두 세계의 장점을 효과적으로 합성한다고 단언한다. 즉, GPA 유니버스를 기하학적 골격으로 사용하여 안정성과 일관성을 확보하는 동시에, 합의 기반 교정을 통해 의미론적 합의를 위한 정렬을 정교화한다. 이를 통해 기하학적 구조를 요구하는 다른 다운스트림 작업에 필요한 구조적 무결성을 희생하지 않으면서도, 최첨단 검색 성능을 달성할 수 있는 실용적이고 구성 가능한 참조 공간을 제공한다. 이 연구는 이러한 공유 유니버스 정렬이 독립적으로 학습된 시스템 간의 상호 운용성을 지원할 수 있음을 시사하지만, 주의 깊게 관리하지 않으면 편향(bias)이 전파될 수 있음도 언급한다.