How can embedding models bind concepts?

기술 요약: 임베딩 모델은 어떻게 개념을 결합(binding)하는가?

문제 정의

CLIP과 같은 현대적인 시각-언어 임베딩 모델은 "결합 문제(binding problem)"라고 불리는 특정한 실패 모드를 보입니다. 인간은 다중 객체 장면에서 어떤 속성(예: 색상)이 어떤 객체(예: 모양)에 속하는지 쉽게 판단할 수 있지만, 이러한 모델들은 종종 "개념의 가방(bag-of-concepts)" 시스템처럼 동작합니다. 이들은 개별 개념(예: "빨간색", "사각형")은 안정적으로 인식하지만, 그 특정 조합(예: 장면 내에 빨간색 사각형과 파란색 사각형이 모두 있을 때 이를 구분하는 것)을 올바르게 표현하는 데는 실패합니다.

이는 긴장 관계를 형성합니다: 교차 모달 검색(이미지를 텍ate와 매칭)은 특정 객체 조합을 구별하는 데 실패하는 반면, 개별 임베딩을 기반으로 훈련된 단일 모달 프로브(uni-modal probes)는 객체 수준의 정보를 복구할 수 있는 경우가 많습니다. 본 논문은 이 불일치를 조사하여 임베딩 모델이 다중 객체 장면을 어떻게 표현하는지, 그리고 왜 객체 정보가 존재함에도 불구하고 교차 모달 결합이 실패하는지 연구합니다.

방법론

저자들은 결합을 개념 인식(존재하는 값을 식별함)과 객체 인식(어떤 값이 서로 연결되어 있는지 식별함)을 구분하는 행동적 특성으로 공식화합니다. 이들은 세 가지 주요 방법론적 접근을 통해 임베딩 공간의 기하학적 구조를 분석합니다:

1. 기하학적 분해 분석 (Geometric Decomposition Analysis): 다차원 척도법(MDS)과 선형 재구성 기법을 사용하여, 저자들은 CLIP의 장면 임베딩이 객체 및 개념 성분으로 가산적(additively)으로 분해되는지 조사합니다. 이들은 데이터의 부분 집합으로부터 객체 및 개념 임베딩을 추정하고, 이를 합산하여 장면 임베딩을 재구성함으로써 이를 테스트합니다. 또한, 한 객체의 임베딩을 빼고 다른 객체의 임베딩을 더하는 "역사실적 편집(counterfactual editing)"을 수행하여, 결과 벡터가 편집된 장면처럼 동작하는지 관찰합니다.
2. 결합 함수 복잡도 분석 (Binding Function Complexity Analysis): 개념 인덱스로부터 객체를 매핑하는 과정이 학습 가능한지 결정하기 위해, 저자들은 이산적 개념 인덱스로부터 장면 임베딩을 예측하는 근사 모델(구체적으로 다양한 너비를 가진 단일 레이어 MLP)을 훈련합니다. 이들은 홀드아웃(held-out) 객체 조합에 대해 이 근사 모델들을 평가하여 일반화 능력을 측정합니다.
3. 통제된 훈련 실험 (Controlled Training Experiments): 저자들은 합성 다중 객체 데이터를 사용하여 처음부터 듀얼 인코더 트랜스포머 모델을 훈련시킵니다. 이들은 훈련 데이터 커버리지(훈련 중 관찰된 객체 공간의 비율)와 객체 공간의 복잡도(개념 및 값의 수)를 체계적으로 변화시킵니다. 이들은 사전 훈련된 CLIP 및 DINOv2와 비교하여 데이터 규모와 훈련 역학이 결합에 미치는 영향을 격리하여 분석합니다.

주요 기여 및 결과

1. 장면 임베딩의 가산적 분해 (Additive Decomposition of Scene Embeddings)

연구 결과 CLIP 장면 임베딩은 명확한 가산적 구조를 보입니다:

• 레벨-I (장면에서 객체로): 장면 임베딩은 개별 객체 임베딩의 합으로 대략 분해됩니다. 이는 단일 모달 프로브가 객체 정보를 복구할 수 있는 이유를 설명합니다. 즉, 객체 성분이 임베딩 공간에 명시적으로 존재하며 조작 가능하기 때문입니다.
• 레벨-II (객체에서 개념으로): 객체 임베딩은 다시 개념 임베딩의 합으로 분해됩니다.
• 시사점: 이러한 가산적 구조는 단일 모달 결합(프로브를 통한 객체 복구)을 지원하지만, 개념에서 객체로의 매핑이 순수하게 가산적이지 않고 특정 연관성을 포착해야 하기 때문에 교차 모달 결합에는 불충분합니다.

2. CLIP 결합 함수의 높은 복잡도

저자들은 사전 훈련된 CLIP과 같은 모델의 결합 함수가 **고복잡도(high-complexity)**임을 입증합니다:

• 고용량 MLP조차도 보지 못한 객체 조합에 대해 개념 인덱스에서 장면 임베딩으로의 매핑을 근사하는 데 실패합니다.
• 이는 CLIP의 이미지 및 텍스트 인코더가 공유된 체계적 규칙보다는 서로 다른 조합 특화적 매핑을 학습함을 시사합니다. 결과적으로, 이들은 새로운 개념 조합에 정렬될 수 없으며, 이는 교차 모달 결합 실패로 이어집니다.

3. 데이터 규모에 따른 일반화 가능한 결합의 출현

처음부터 훈련된 모델을 대상으로 한 통제된 실험에서:

• 데이터 커버리지가 핵심임: 결합 일반화(보지 못한 객체에 대한 객체 인식)는 훈련 데이터 커버리지가 충분할 때만 나타납니다.
• 규모 효과 (Scale Effects): 가능한 객체 공간의 크기가 커질수록, 높은 일반화 정확도에 도달하기 위해 필요한 객체 공간의 비율은 감소합니다. 예를 들어, 큰 객체 공간에서 모델은 객체 공간의 약 30-40%만으로도 높은 결합 일반화 성능을 달달성합니다.
• 저복잡도 매핑 (Low-Complexity Mapping): 일반화에 성공하는 모델들은 저복잡도 결합 함수를 학습합니다. 이러한 함수들은 작은 단일 레이어 MLP에 의해 정확하게 근사될 수 있으며, 이는 단순 암기가 아닌 체계적이고 재사용 가능한 규칙을 나타냅니다.

4. 결합의 메커니즘으로서의 곱셈적 구조 (Multiplicative Structure)

본 논문은 성공적인 결합의 기능적 형태를 식별합니다:

• 가산적 vs. 곱셈적: 순수하게 가산적인 모델(개념의 가방)은 객체 인식에 실패합니다. 일반화에 성공하는 모델은 개념 간의 **곱셈적 상호작용(multiplicative interactions)**을 구현합니다.
• 전역 곱 프로브 (Global Product Probe): 장면 전체의 개념 임베딩을 곱하는 "전역 곱"을 사용하는 프로브가 일반화하는 모델의 임베딩을 가장 잘 근사합니다.
• 상관관계: 모델의 보지 못한 객체에 대한 일반화 능력과, 그 임베딩이 이 곱셈적 구조에 의해 얼마나 잘 근사되는지 사이에는 강한 양의 상관관계가 있습니다. 결합에 실패하는 CLIP과 같은 사전 훈련된 모델들은 이러한 곱셈적 구조를 보이지 않습니다.

의의 및 주장

본 논문은 임베딩 모델이 개념을 결합하지 못하는 문제가 아키텍처나 임베딩의 본질적인 문제가 아니라, 훈련 중에 학습된 결합 함수의 복잡도에서 기인한다고 주장합니다.

• 긴장의 해소: 저자들은 객체 정보가 임베딩 공간에 존재하지만(가산적 분해를 통해), 근본적인 결합 규칙이 너무 복적이고 비체계적이기 때문에 모달 간에 정렬되지 않음을 보여줌으로써 단일 모달의 성공과 교차 모달의 실패 사이의 긴장을 해소합니다.
• 일반화를 위한 경로: 모델이 충분한 데이터 커버리지를 통해 저복잡도의 체계적인 개념-객체 매핑을 학습한다면 결합 일반화는 달성 가능합니다.
• 메커니즘: 체계적 일반화의 핵심은 개념 간의 곱셈적 상호작용의 출현이며, 이를 통해 보지 못한 객체 조합에 대해서도 고유하고 구성적인 표현을 생성할 수 있습니다.

저자들은 임베딩 모델이 일반화 가능한 결합을 수행할 능력이 있지만, 이를 위해서는 데이터나 최적화 제약으로 인해 현재의 대규모 사전 훈련 모델들이 놓치기 쉬운, 특정하고 저복잡도인 구조적 규칙을 학습하는 것이 필요하다고 결론짓습니다.