Conjuring Semantic Similarity

이 논문은 텍스트 표현이 유도하는 이미지 분포 간의 거리 (제프리 발산) 를 계산하여 의미적 유사성을 측정하는 새로운 접근법을 제안하며, 이는 인간 평가와 부합하고 생성 모델 평가 및 해석에 새로운 통찰을 제공합니다.

핵심

이 논문은 **"텍스트의 의미를 비교할 때, 단순히 글자만 보는 게 아니라 그 글자가 머릿속에 어떤 '상상 그림'을 그려내는지 보는 것"**이 더 정확할 수 있다는 놀라운 아이디어를 제시합니다.

제목인 **'Conjuring Semantic Similarity(의미의 유사성을 소환하다)'**는 마치 마법사가 주문을 외워 상상의 세계를 불러오듯, AI 가 텍스트를 보고 어떤 이미지를 만들어내는지 그 과정을 통해 두 문장의 의미를 비교한다는 뜻입니다.

이 복잡한 연구를 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 기존 방식 vs 새로운 방식: "사전" 대 "상상력"

• 기존 방식 (사전 비교):
  보통 우리는 두 문장의 의미를 비교할 때, 그 문장들이 어떤 다른 단어들과 자주 함께 쓰이는지, 혹은 사전에 어떻게 정의되어 있는지 봅니다. 예를 들어 "사과"와 "배"가 비슷하다고 판단하는 건, 둘 다 '과일'이라는 단어가 붙기 때문이죠. 이는 글자 놀이에 가깝습니다.

• 이 논문의 방식 (상상력 비교):
  저자들은 "글자만 보면 안 돼요. 그 글자가 눈에 보이는 그림을 떠올리게 하느냐"고 묻습니다.

  • "눈 덮인 표범 (Snow Leopard)"이라고 하면? $\rightarrow$ 흰색 배경에 점무늬가 있는 고양이 같은 동물이 떠오릅니다.
  • "벵골 호랑이 (Bengal Tiger)"라고 하면? $\rightarrow$ 주황색 배경에 줄무늬가 있는 동물이 떠오릅니다.

  이 두 문장의 의미를 비교할 때, AI 가 그 문장을 보고 그려낸 그림들이 얼마나 닮았는지를 재는 것입니다. 만약 AI 가 "표범"을 그릴 때 실수로 "호랑이"처럼 줄무늬를 그려버린다면, AI 는 두 개념이 비슷하다고 착각하고 있는 것입니다.

2. 마법사의 주문과 그림: "소환"의 과정

이 연구에서는 **확산 모델 (Diffusion Model)**이라는 최신 AI 기술을 사용합니다. 이 기술은 소금에 절인 소금물에서 소금을 빼내듯, 잡음 (노이즈) 에서 점차 선명한 그림을 만들어냅니다.

• 비유:
  두 개의 다른 주문 (텍스트) 을 마법사 (AI) 에게 외워보게 합니다.

  1. 주문 A: "눈 덮인 표범"
  2. 주문 B: "벵골 호랑이"

  마법사는 처음엔 아무것도 없는 회색 안개 (잡음) 에서 시작합니다.

  • 주문 A 를 외우면 안개가 걷히며 점무늬가 있는 흰색 동물이 나타납니다.
  • 주문 B 를 외우면 안개가 걷히며 줄무늬가 있는 주황색 동물이 나타납니다.

  핵심 아이디어:
  이 두 그림이 만들어지는 **전 과정 (안개가 걷히는 방식)**을 비교합니다. 만약 두 주문을 외울 때, AI 가 안개를 걷어내는 '손길 (수학적 움직임)'이 매우 비슷하다면, AI 는 두 문장의 의미가 비슷하다고 판단한 것입니다. 반대로 손길이 완전히 다르다면 의미도 다르다고 보는 거죠.

3. 왜 이게 중요할까요? (인간의 눈과 AI 의 눈)

• 인간은 상상하기 어렵지만, AI 는 쉽습니다:
  인간에게 "표범과 호랑이의 의미 차이를 머릿속 그림으로 비교해 보세요"라고 하면 어렵습니다. 하지만 AI 는 이 과정을 숫자로 정확하게 계산할 수 있습니다.

• AI 의 실수를 찾아내는 'X-ray':
  이 방법은 AI 가 무엇을 잘못 배웠는지 찾아내는 데 탁월합니다.

  • 예: AI 가 "고양이"와 "개"를 구분하지 못하고 비슷한 그림을 그린다면, 이 방법으로 AI 가 두 동물의 의미를 혼동하고 있다는 것을 숫자로 그리고 그림으로 보여줄 수 있습니다.

• 결과:
  실험 결과, 이 방법으로 계산한 유사성 점수가 사람들이 직접 평가한 점수와 매우 잘 일치했습니다. 심지어 거대한 언어 모델 (LLM) 들이 내는 점수와도 경쟁할 수 있을 정도로 훌륭했습니다.

요약: 이 연구가 가져온 변화

이 논문은 **"의미란 글자 속에 있는 게 아니라, 그 글자가 불러일으키는 '상상 속 이미지' 속에 있다"**고 주장합니다.

마치 두 사람이 같은 노래를 들었을 때, 한 사람은 "슬픈 비"를 떠올리고 다른 사람은 "우산"을 떠올린다면, 그 두 사람의 감정 상태를 비교할 때 그들이 머릿속에 그린 그림을 비교하는 것이 더 정확한 방법이라는 것입니다.

이제 우리는 AI 가 텍스트를 어떻게 이해하는지, 단순히 "단어"가 아니라 **"그림"**이라는 언어로 더 명확하게 이해하고 평가할 수 있게 되었습니다.

기술 요약

논문 요약: CONJURING SEMANTIC SIMILARITY

1. 문제 정의 (Problem)

기존의 의미적 유사성 (Semantic Similarity) 측정 방법은 주로 텍스트 표현 간의 관계를 다른 텍스트 표현 (예: 주변 단어, 임베딩) 을 통해 정의하거나, 이미지 간의 유사성을 이를 설명하는 캡션 텍스트를 통해 평가해 왔습니다. 그러나 텍스트 조건부 생성 모델 (Text-Conditioned Generative Models), 특히 확산 모델 (Diffusion Models) 이 학습한 의미 공간이 인간의 의미 인식과 얼마나 정렬 (Alignment) 되어 있는지를 정량화하고 해석하는 방법은 부재했습니다.

• 핵심 과제: 텍스트 표현의 의미적 유사성을 텍스트 자체의 재구성이나 임베딩 거리가 아닌, 해당 텍스트가 생성하는 이미지 (Evoked Imagery) 의 분포를 기반으로 정의하고 측정하는 방법론의 부재.
• 한계: 인간은 텍스트를 보고 '심상 (Mental Image)'을 비교하는 것이 어렵지만, 생성 모델은 이를 시각화하고 비교할 수 있음에도 불구하고, 이를 체계적인 유사성 지표로 활용하는 접근은 시도되지 않았습니다.

2. 방법론 (Methodology)

저자들은 텍스트 표현의 의미적 유사성을 해당 텍스트가 유도 (Conjure) 하는 이미지 분포 간의 거리로 정의하는 새로운 접근법을 제안합니다. 구체적으로 **확산 모델 (Diffusion Models)**의 확률 미분 방정식 (SDE) 관점에서 이를 수학적으로 유도합니다.

• 핵심 아이디어: 두 텍스트 프롬프트 $y_1, y_2$가 유도하는 이미지 분포의 차이를 측정하기 위해, 해당 텍스트 조건 하에서 학습된 확산 모델의 **역방향 SDE (Reverse-time SDE)**를 비교합니다.
• 수학적 유도:
  • 확산 모델의 역방향 프로세스는 $dx = [f(x, t) - g(t)^2 s_\theta(x, t|y)]dt + g(t)d\bar{w}_t$로 표현됩니다. 여기서 $s_\theta$는 조건부 스코어 함수입니다.
  • 두 프롬프트에 의해 유도된 두 SDE 경로 측정치 (Path Measures) $P_1, P_2$ 간의 차이를 Jeffreys Divergence (대칭화된 KL 발산) 로 정의합니다.
  • Girsanov 정리와 Novikov 조건을 활용하여 KL 발산을 계산하면, 확률적 적분 항이 기댓값 0 이 되어 제거되고, 오직 드리프트 항 (Drift term) 만 남게 됩니다.
  • 최종적으로 유사성 거리는 다음과 같이 단순화됩니다:
    $$d(y_1, y_2) \approx \mathbb{E}_{t, x} \left[ g(t)^2 \| s_\theta(x, t|y_1) - s_\theta(x, t|y_2) \|_2^2 \right]$$
    이는 시간 $t$와 노이즈 $x$에 대해 두 프롬프트 조건 하의 모델 예측치 (스코어 함수) 간의 제곱 오차 (Euclidean distance) 를 평균낸 값입니다.
• 알고리즘 (Monte-Carlo Sampling):
  1. 초기 노이즈 $x_T$를 샘플링합니다.
  2. 동일한 노이즈에 대해 두 프롬프트 $y_1, y_2$를 사용하여 역방향 디노이징 (Denoising) 과정을 수행합니다.
  3. 각 시간 단계 $t$에서 두 모델의 예측치 $s_\theta(x_t, t|y_1)$와 $s_\theta(x_t, t|y_2)$ 간의 거리를 계산하고 이를 누적합니다.
  4. 이 과정을 여러 번 반복하여 평균을 내어 최종 유사성 점수를 도출합니다 (Algorithm 1).

3. 주요 기여 (Key Contributions)

1. 시각적으로 기반한 의미적 유사성 정의: 텍스트의 의미를 다른 텍스트가 아닌, 생성된 이미지 분포의 관점에서 정의하는 새로운 패러다임을 제시했습니다.
2. 확산 모델의 의미 정렬 정량화: 확산 모델이 학습한 의미 공간이 인간 어노테이터의 인식과 얼마나 일치하는지 정량적으로 평가할 수 있는 최초의 방법론을 제안했습니다.
3. 해석 가능성 (Interpretability) 향상: 단순히 수치적 점수만 제공하는 기존 방법과 달리, **시각적 '설명' (Visual Explanation)**을 제공합니다. (예: Figure 1 에서 'Snow Leopard'와 'Bengal Tiger'가 서로의 특징 (점무늬 vs 줄무늬) 을 어떻게 변환하는지 시각적으로 보여줌).
4. 효율적인 계산: 복잡한 분포 비교를 Monte-Carlo 샘플링과 SDE 이론을 통해 직접 계산 가능한 형태로 단순화했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: Semantic Textual Similarity (STS) 및 SICK-R 데이터셋에서 인간 어노테이터의 점수와의 Spearman 상관관계를 평가했습니다.
  • 제안된 방법은 Zero-shot 접근법으로서, CLIP 이나 SimCSE 와 같은 전문적으로 훈련된 임베딩 모델에는 미치지 못하지만, 33B 파라미터 규모의 대형 언어 모델 (LLaMA-33B 등) 과 유사하거나 더 나은 성능을 보였습니다.
  • 기존 확산 모델 기반의 베이스라인 (초기/최종 단계 예측, 직접 출력 비교 등) 보다 모든 지표에서 우월한 성능을 기록했습니다.
• 질적 분석:
  • 계층적 클러스터링: '개 (Dog)' 관련 명사나 '해양 동물 (Marine Animal)' 관련 명사, 그리고 '비행 관련 동사'와 '부정적 상태 동사' 등이 의미적으로 유사한 단어끼리 군집을 이루는 것을 확인했습니다.
  • 용어 분석 (Error Analysis): 명사 (Noun) 간의 의미 관계는 잘 보존되지만, 동사 (Verb) 와 형용사 (Adj) 의 경우 확산 과정을 거치며 의미적 정렬이 떨어지는 것을 발견했습니다. 이는 텍스트 인코더 (CLIP 등) 의 표현이 확산 모델로 전이될 때 일부 손실이 발생함을 시사합니다.
• Ablation Study:
  • 시간 단계 (Timestep) 에 대한 균일한 Prior 가 가장 좋은 성능을 보였습니다.
  • Monte-Carlo 단계 ($k$) 를 5 회만 반복해도 수렴하여 계산 효율성이 높음을 확인했습니다.
  • Stable Diffusion v1.4, SD3 Medium, SDXL 등 다양한 모델 버전에서 일관된 결과를 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 생성 모델의 내부 표현을 '시각적 지상화 (Visual Grounding)'를 통해 해석할 수 있는 첫 번째 체계적인 프레임워크를 제시했습니다.
  • 텍스트 조건부 생성 모델의 평가 지표로서, 생성물의 품질 (FID 등) 이 아닌 **의미적 정렬 (Semantic Alignment)**을 평가할 수 있는 길을 열었습니다.
  • 모델이 학습한 의미적 관계의 실패 모드 (Failure Modes) 를 시각적으로 식별하고 해석할 수 있게 합니다.
• 한계:
  • 추론 비용: 하나의 유사성 점수를 계산하기 위해 확산 모델을 여러 번 추론해야 하므로 계산 비용이 높습니다.
  • 표현의 한계: 수학적인 추상 개념 (예: 허수) 이나 형이상학적 개념 (예: 양심) 처럼 시각화하기 어려운 표현에는 적합하지 않을 수 있습니다.
  • 텍스트 인코더 의존성: 현대 확산 모델은 사전 훈련된 텍스트 인코더 (CLIP 등) 에 의존하므로, 최종 의미 표현은 해당 인코더의 한계에 의해 병목 현상이 발생할 수 있습니다.

결론적으로, 이 논문은 텍스트와 이미지 생성 모델 간의 의미적 관계를 '생성된 이미지'라는 매개체를 통해 정량화하고 해석하는 혁신적인 방법론을 제시하며, 생성 모델의 평가와 해석 가능성 연구에 새로운 방향을 제시합니다.