Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings

이 논문은 비전 - 언어 모델의 임베딩 공간에 내재된 의미 계층 구조를 추출하고 인간 온톨로지와 비교하여 검증하며, 원하는 계층 구조에 맞춰 경량 변환을 학습하는 정렬 프레임워크를 제안하여 이미지와 텍스트 인코더 간의 체계적 차이와 정확성 - 온톨로지 적합성 간의 트레이드오프를 규명합니다.

핵심

이 논문은 **'시각-언어 모델 (VLM)'**이라는 인공지능이 세상을 어떻게 이해하고 분류하는지 그 숨겨진 사고방식을 파헤치고, 이를 인간의 상식과 더 잘 맞도록 다듬는 방법에 대한 연구입니다.

비유하자면, 이 AI 는 사진을 보고 "이건 개야, 저건 고양이야"라고 맞히는 데는 천재이지만, "왜 개와 고양이가 '동물'이라는 큰 부류에 속하는지" 그 깊은 관계를 스스로 정리하는 방식은 사람과 조금 다를 수 있다는 사실을 발견했습니다.

이 연구는 크게 세 가지 단계로 이루어진 'AI 의 사고방식 교정 프로젝트'라고 볼 수 있습니다.

---

1. AI 의 머릿속 지도를 그려보기 (해석)

비유: AI 가 그리는 '나만의 가족 관계도'

AI 는 수백만 장의 사진을 보며 스스로 개념을 배우지만, 그 내부 구조는 블랙박스입니다. 연구진은 AI 가 학습한 '개', '고양이', '자동차' 같은 개념들이 서로 어떻게 연결되어 있는지 **나무 형태의 계층도 (Hierarchy)**를 자동으로 그려냈습니다.

• 방법: AI 가 만든 개념들의 중심을 찾아서, 비슷한 것끼리 뭉쳐서 상위 개념 (예: '동물', '탈것') 을 만들어냅니다.
• 결과: AI 가 만든 이 지도를 보면, 가끔은 "사람과 고양이를 '털이 있는 동물'이라는 이유로 묶고, '사람'과 '고양이'를 '동물'이라는 큰 부류 아래에 두는 등" 우리가 기대하는 분류법과 다른, AI 만의 독특한 분류 방식을 발견할 수 있습니다.

2. AI 의 분류가 맞는지 검증하기 (검증)

비유: "이 분류법, 우리 인간이 보기에 어색하지 않나요?"

AI 가 만든 이 '나만의 가족 관계도'가 인간이 가진 상식 (사전이나 백과사전 같은 지식) 과 얼마나 일치하는지 비교했습니다.

• 발견된 놀라운 사실:
  • 사진 (이미지) 을 보는 AI: 사진을 보고는 물체를 구분하는 능력 (정확도) 이 매우 뛰어나지만, 그 분류 체계는 다소 엉뚱할 수 있습니다. (예: 모양이 비슷한 것끼리 무리 짓는 경향)
  • 텍스트 (글) 를 읽는 AI: 글로 된 설명을 보면, 인간의 분류 체계 (동물 > 포유류 > 고양이) 와 훨씬 더 잘 맞습니다.
  • 결론: **"정확하게 맞추는 능력 (이미지)"과 "상식적으로 맞는 분류 (텍스트)"는 서로 trade-off(상충 관계)**에 있다는 것을 발견했습니다.

3. AI 의 사고방식을 고쳐주기 (정렬)

비유: AI 의 머릿속을 '인간용 지도'로 재배치하는 리모델링

AI 가 만든 분류가 인간과 너무 다르면 문제가 생길 수 있습니다. 그래서 연구진은 AI 의 내부 공간 (임베딩 공간) 을 살짝 변형시키는 방법을 개발했습니다.

• 방법: AI 가 만든 지도와 우리가 원하는 '인간식 지도' 사이의 거리를 줄이도록, AI 의 개념 위치를 미세하게 조정하는 가벼운 변환기를 훈련시켰습니다.
• 효과: AI 가 여전히 사진을 잘 구분하면서도, 그 내부의 분류 체계가 인간이 이해하기 쉬운 형태로 바뀝니다. 마치 AI 의 머릿속을 리모델링해서, 기존에 있던 가구 (지식) 는 그대로 두되, 배치만 인간이 보기 편하게 정리한 것과 같습니다.

---

🌟 핵심 요약: 왜 이 연구가 중요할까요?

1. 투명한 AI: AI 가 왜 그런 판단을 내렸는지 그 '이유'와 '관계'를 인간이 이해할 수 있게 해줍니다.
2. 편향 제거: AI 가 엉뚱한 기준 (예: 털이 있다는 이유로 사람과 고양이를 묶는 것) 으로 분류하는 실수를 찾아내고 고칠 수 있습니다.
3. 상식과의 조화: AI 가 단순히 점수를 잘 따는 기계가 아니라, 인간의 상식과 논리에 부합하는 '지혜로운' 도구가 되도록 돕습니다.

한 줄 결론:
이 연구는 AI 가 세상을 어떻게 분류하는지 그 숨겨진 지도를 꺼내어, 우리가 아는 상식과 맞지 않는 구석은 다듬어주어, AI 가 더 투명하고 신뢰할 수 있도록 만드는 교정 도구를 개발한 것입니다.

기술 요약

이 논문은 **시각-언어 모델 (VLM, Vision-Language Model)**의 임베딩 공간에서 형성된 **의미론적 계층 구조 (Semantic Hierarchies)**를 해석, 검증, 그리고 정렬하는 새로운 사후 (post-hoc) 프레임워크를 제안합니다. CLIP 과 같은 VLM 은 강력한 제로샷 (zero-shot) 분류 및 검색 능력을 보이지만, 그 내부에서 개념들이 어떻게 조직화되고 계층화되는지에 대한 이해는 여전히 부족합니다.

이 연구의 핵심 내용들을 문제 정의, 방법론, 주요 기여, 결과, 그리고 의의로 나누어 상세히 요약합니다.

---

1. 문제 정의 (Problem)

• 내부 구조의 불투명성: VLM 은 이미지와 텍스트를 공유 임베딩 공간으로 매핑하지만, 이 공간 내에서 개념들이 어떻게 계층적으로 연결되어 있는지 (예: '고양이'는 '동물'의 하위 개념임) 는 명확히 분석되지 않았습니다.
• 성능과 타당성의 괴리: 기존 연구는 분류 정확도 (Discriminability) 에 집중했으나, 모델이 학습한 계층 구조가 인간의 지식 체계 (Ontology) 와 일치하는지 (Plausibility) 는 검증되지 않았습니다.
• 모달리티 간 불일치: 이미지 인코더와 텍스트 인코더가 학습한 계층 구조가 서로 다를 수 있으며, 이를 정량화하고 정렬할 수 있는 체계적인 방법이 부재했습니다.

2. 방법론 (Methodology)

저자들은 세 가지 단계로 구성된 사후 프레임워크를 제안합니다 (그림 1 참조):

A. 의미론적 계층 추출 (Explanation)

• 계층적 클러스터링: 주어진 하위 클래스 (Leaf classes) 의 중심점 (Centroids) 을 구한 후, **적층 계층 클러스터링 (Agglomerative Hierarchical Clustering)**을 수행하여 이진 트리 (Binary Tree) 형태의 계층 구조를 추출합니다.
• 노드 명명 (Naming): 추출된 내부 노드 (부모 개념) 를 사전 기반 매칭 (Dictionary-based matching) 을 통해 WordNet과 같은 개념 은행 (Concept Bank) 의 용어로 명명합니다. 이를 통해 모델이 학습한 추상적 개념을 인간이 이해할 수 있는 언어로 변환합니다.

B. 타당성 검증 (Verification)

• 휴먼 온톨로지 비교: 추출된 트리를 SUMO, OpenCyc, Yago 와 같은 인간이 정의한 온톨로지 (Reference Ontologies) 와 비교합니다.
• 지표:
  • 전역 적합도 (Global Fit): 트리 편집 거리 (Tree Edit Distance) 를 사용하여 추출된 트리가 온톨로지의 유효한 서브트리인지 측정합니다.
  • 계층적 일관성 점수 (Hierarchical Consistency Score): 부모 - 자식 간 연결이 온톨로지의 'is-a' 관계 (상위 - 하위 관계) 를 따르는지 로컬 레벨에서 정량화합니다.
• 설명 가능한 추론 (Explainable Inference): **불확실성 인지 조기 종료 (Uncertainty-Aware Early Stopping, UAES)**를 도입한 트리 순회 (Tree-traversal) 방식을 사용합니다. 하위 클래스로 내려가는 과정에서 불확실성이 높으면 상위 클래스에서 예측을 중단하여, 잘못된 분류를 방지하고 신뢰도를 높입니다.

C. 의미론적 정렬 (Alignment)

• 목표 구조로의 정렬: 추출된 계층 구조를 원하는 목표 계층 (예: 텍스트 인코더의 구조나 유효한 온톨로지) 에 맞추기 위해 UMAP 기반의 사후 변환을 학습합니다.
• 변환 학습: 원본 임베딩 공간과 목표 임베딩 공간 사이의 거리를 최소화하는 경량 변환 네트워크 (2-layer DNN) 를 훈련시켜, 제로샷 정확도를 크게 떨어뜨리지 않으면서 의미론적 정렬을 개선합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 분석 파이프라인: VLM 의 의미론적 계층을 추출, 검증, 정렬하는 통합 프레임워크를 최초로 제안했습니다.
2. 광범위한 실증 연구: 4 개의 이미지 데이터셋 (CIFAR-10/100, CUB, ImageNet) 과 13 개의 사전 훈련된 VLM 모델 (CLIP, ALIGN, FLAVA, SigLIP 등) 을 대상으로 실험을 수행하여 체계적인 비교 분석을 제공했습니다.
3. 모달리티 간 차이 발견: 이미지 인코더와 텍스트 인코더가 학습하는 계층 구조에 본질적인 차이가 있음을 규명했습니다.
4. 새로운 트레이드오프 발견: '분별력 (Discriminability)'과 '타당성 (Plausibility)' 사이의 상충 관계를 발견하고, 이를 완화하는 방법을 제시했습니다.

4. 실험 결과 (Results)

• 분별력 vs. 타당성 트레이드오프: 제로샷 분류 정확도가 높은 모델일수록 인간 온톨로지와 일치하는 계층 구조 (타당성) 가 낮은 경향이 있었습니다. 즉, 클래스를 잘 구분할수록 계층적 관계는 왜곡될 수 있음을 보여줍니다.
• 모달리티 간 격차 (Modality Gap):
  • 이미지 인코더: 제로샷 정확도와 계층 추론의 신뢰도 (Faithfulness) 가 높았으나, 인간 온톨로지와의 일치도 (Plausibility) 는 낮았습니다.
  • 텍스트 인코더: 분류 정확도는 상대적으로 낮았으나, 학습된 계층 구조가 인간이 정의한 온톨로지 (SUMO, Yago 등) 와 훨씬 더 잘 일치했습니다.
• 조기 종료 (UAES) 의 효과: 트리 순회 추론 시 불확실성이 높은 경우 상위 노드에서 멈추는 UAES 기법을 적용하면, 잘못된 하위 클래스 분류를 줄이고 의미적으로 적절한 상위 범주로 예측하는 성능이 향상되었습니다.
• 정렬의 성공: 제안된 UMAP 기반 변환을 통해 이미지 인코더의 계층 구조를 텍스트 인코더의 구조나 유효한 온톨로지에 가깝게 정렬할 수 있었으며, 이 과정에서 제로샷 정확도는 소폭 감소하는 선에서 균형을 이룰 수 있었습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 증대: VLM 의 블랙박스 성격을 넘어, 모델이 학습한 개념 간 관계가 인간 지식과 얼마나 부합하는지 정량적으로 평가할 수 있는 도구를 제공합니다.
• 편향 감지 및 수정: 모델이 학습한 계층이 인간의 편향 (예: 성별을 머리카락으로만 구분) 을 반영할 수 있음을 식별하고, 이를 온톨로지 기반 정렬을 통해 교정할 수 있는 가능성을 보여줍니다.
• 향후 방향: 제로샷 성능과 의미론적 타당성 사이의 상충 관계를 인지하고, 도메인 특화 온톨로지를 활용하여 VLM 을 더 신뢰할 수 있고 설명 가능한 방향으로 발전시킬 수 있는 실용적인 경로를 제시합니다.

요약하자면, 이 논문은 VLM 이 단순히 정답을 맞추는 것을 넘어, 인간의 지식 체계와 조화로운 방식으로 세상을 이해하고 있는지를 검증하고 개선하는 방법론을 제시한 중요한 연구입니다.