Interpreting Contrastive Embeddings in Specific Domains with Fuzzy Rules

이 논문은 법적 및 의료 기록과 같은 특정 도메인에서 CLIP 모델의 임베딩을 해석하기 위해 퍼지 규칙 기반 분류 시스템과 텍스트 처리 기법을 결합하여 임상 보고서와 영화 리뷰 데이터로 그 유효성을 검증하고 한계점을 논의합니다.

핵심

🎬 1. 배경: 거대한 도서관과 'CLIP'이라는 슈퍼 도서관 사서

우리는 매일 수많은 텍스트 (의료 기록, 영화 리뷰 등) 를 남깁니다. 컴퓨터가 이걸 이해하려면 글자를 숫자 (벡터) 로 바꿔야 하는데, CLIP이라는 최신 AI 모델이 이 일을 아주 잘합니다.

• 비유: CLIP 은 **거대한 도서관의 '슈퍼 사서'**입니다. 이 사서는 책 (글) 과 그림을 모두 보고, 내용이 비슷하면 같은 선반에 꽂아둡니다. 예를 들어, "슬픈 영화"라고 쓴 리뷰와 "비 오는 날"이라는 사진이 비슷한 선반에 배치되는 식이죠.
• 문제점: 이 슈퍼 사서는 아주 똑똑하지만, 특정 분야 (예: 의사의 진료 기록) 에만 쓰이려 하면 실수를 하거나, 왜 그렇게 분류했는지 이유를 말해주지 않습니다. 마치 "이 책을 여기 뒀어"라고만 하고 "왜?"라고 물으면 "그냥 느낌이야"라고 답하는 것과 비슷합니다.

🔍 2. 연구의 목표: 사서의 '감각'을 우리 언어로 번역하기

저희 연구팀은 이 슈퍼 사서 (CLIP) 가 만든 분류 체계 안에서, 우리가 이해할 수 있는 '규칙'을 찾아내려고 했습니다.

• 목표: "왜 이 환자는 '재활 운동'에 대해 긍정적으로 썼을까?" 혹은 "왜 이 영화 리뷰는 '부정적'일까?"를 CLIP 이 만든 복잡한 숫자 공간에서 찾아내야 합니다.

🧩 3. 해결책: 퍼지 규칙 (Fuzzy Rules) 을 이용한 '매직 미러'

저희는 **'퍼지 규칙 (Fuzzy Rules)'**이라는 도구를 사용했습니다. 이는 딱딱한 '예/아니오'가 아니라, "조금 그렇다", "매우 그렇다" 같은 유연한 기준을 세우는 방법입니다.

• 비유: CLIP 이 만든 복잡한 숫자 공간을 거울이라고 상상해 보세요. 우리는 이 거울에 비친 모습을 보고, **"감정 (기분)"**이라는 렌즈를 통해 해석하는 매직 미러를 만들었습니다.
  • 입력: 환자의 글 (예: "운동이 조금 힘들지만 효과가 있어요")
  • 분석: 이 글의 '긍정성', '부정성', '주관성'을 측정합니다.
  • 매핑: "아, 이 글은 '긍정'이 높고 '주관성'이 중간이구나. 그럼 CLIP 사서가 이 글을 A 구역 (선반) 에 뒀구나!"라고 규칙을 세웁니다.

🏥 4. 실험: 두 가지 다른 세상

저희는 이 방법을 두 가지 다른 데이터에 적용해 보았습니다.

1. 뇌졸중 환자의 재활 기록 (임상 데이터):

   • 상황: 환자들이 재활 운동에 대해 어떻게 느끼는지 쓴 글들.
   • 결과: 매우 성공적이었습니다. 환자들의 글이 비슷한 주제 (재활, 통증, 치료) 로 이루어져 있어서, 저희가 만든 '매직 미러'가 CLIP 의 분류 원리를 아주 잘 설명해 주었습니다. "환자가 '통증'을 언급하면 CLIP 은 이쪽 선반에 둔다"는 식의 규칙이 명확하게 나왔습니다.

2. IMDB 영화 리뷰:

   • 상황: 수만 편의 영화에 대한 다양한 리뷰.
   • 결과: 조금 어려웠습니다. 영화 리뷰는 주제 (액션, 로맨스, 공포) 와 표현 방식이 너무 다양해서, CLIP 이 만든 선반이 너무 복잡해졌습니다. 저희의 '매직 미러'가 모든 것을 설명하기엔 부족했습니다. 마치 한 가지 규칙으로 모든 영화 장르를 설명하려다 보니 혼란이 생긴 것과 같습니다.

💡 5. 핵심 교훈: "정답"보다 "이해"가 중요하다

이 연구에서 얻은 가장 중요한 결론은 다음과 같습니다.

• AI 는 블랙박스일 필요는 없다: 아무리 복잡한 AI 모델이라도, 우리가 만든 간단한 규칙 (퍼지 규칙) 을 통해 그 내부가 어떻게 작동하는지 이해할 수 있다.
• 데이터의 다양성이 핵심: 글의 주제가 비슷할수록 (환자 기록처럼) AI 의 생각 과정을 쉽게 해석할 수 있다. 하지만 주제가 너무 다양하면 (영화 리뷰처럼) 해석이 어렵다.
• 정확도 vs 설명 가능성: AI 가 100% 정확한 답을 내는 것보다, 왜 그 답을 냈는지 인간이 이해할 수 있는 규칙을 만드는 것이 더 중요할 때가 많습니다. (물론 정확도도 중요하지만요!)

🚀 6. 앞으로의 전망

이 방법은 특히 의료 분야에서 큰 잠재력을 가집니다. AI 가 환자의 상태를 진단할 때, "어떤 단어 때문에 이렇게 판단했는지"를 의사나 환자가 이해할 수 있게 해줄 수 있기 때문입니다.

한 줄 요약:

"복잡한 AI 의 머릿속을, 우리가 일상에서 쓰는 '감정'과 '규칙'이라는 언어로 번역해서, AI 가 왜 그렇게 생각했는지 함께 이해해보자!"는 연구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 비정형 데이터의 중요성: 법률 절차, 의료 기록 등 실제 환경에서는 자유 형식의 텍스트 (Free-style text) 가 데이터의 주요 원천입니다. 이를 기계 학습이 활용 가능한 구조화된 형식으로 변환하는 노력이 지속되고 있습니다.
• CLIP 모델의 한계: 텍스트와 이미지를 동일한 벡터 공간으로 매핑하는 CLIP (Contrastive Language-Image Pre-training) 모델은 제로샷 (Zero-shot) 및 퓨샷 (Few-shot) 학습에서 뛰어난 성능을 보이지만, 특정 도메인 (예: 의료, 영화 리뷰) 에 적용될 때는 편향 (Bias) 이 발생하거나 성능이 저하될 수 있습니다.
• 해석 가능성 (Explainability) 부재: CLIP 의 임베딩 공간이 어떻게 구성되는지, 그리고 특정 도메인의 특징이 이 공간에서 어떻게 반영되는지를 이해하기 어렵습니다. 기존에는 T-SNE 나 PCA 와 같은 시각화 기법이 주로 사용되었으나, 이를 정량적으로 해석하고 도메인 지식을 반영하는 방법은 부족했습니다.
• 미세 조정 (Fine-tuning) 의 비용: CLIP 모델을 특정 도메인에 맞게 미세 조정하는 것은 데이터와 계산 비용이 많이 들며, 원본 모델의 성능을 저하시킬 위험이 있습니다.

2. 제안된 방법론 (Methodology)

이 논문은 퍼지 규칙 기반 분류 시스템 (FRBC, Fuzzy Rule-Based Classification) 을 사용하여 CLIP 임베딩 공간과 도메인별 특징 (감정 분석 등) 을 연결하는 새로운 해석 프레임워크를 제안합니다.

A. 데이터셋

두 가지 서로 다른 도메인의 데이터를 사용했습니다:

1. 임상 데이터 (Clinical Dataset): 뇌졸중 환자의 재활 운동에 대한 인터뷰 기록 (33 명의 환자, 51 개 코멘트).
2. 영화 리뷰 데이터 (Film Dataset): IMDB 의 인기 영화 리뷰 50,000 개.

B. 전체 파이프라인 (Fig. 2 참조)

1. CLIP 임베딩 생성: 텍스트를 CLIP 모델에 입력하여 벡터 임베딩을 생성합니다 (텍스트 길이가 77 자를 초과할 경우 분할 후 평균화).
2. 클러스터링 구조 탐색: 생성된 임베딩 공간에서 K-Means 알고리즘을 사용하여 데이터의 군집 구조를 파악합니다. (실루엣 지수 분석을 통해 최적의 군집 수 결정: 임상 데이터는 34 개, 영화 데이터는 34 개).
3. 특징 추출 (Sentiment Analysis): 원본 텍스트에서 긍정성 (Positivity), 부정성 (Negativity), 중립성, 극성 (Polarity), 주관성 (Subjectivity) 등의 감정 분석 특징을 추출합니다.
4. 퍼지 규칙 매핑 (FRBC):
   • 추출된 감정 특징을 Interval Type-2 Fuzzy Sets (또는 Type-1) 을 사용하여 'Low', 'Medium', 'High'로 퍼지화합니다.
   • 유전 알고리즘 (Genetic Algorithm) 을 사용하여 CLIP 공간의 클러스터를 타겟으로 하는 최적의 퍼지 규칙을 학습합니다.
   • 손실 함수 (Loss Function): 분류 성능 (Matthew Correlation Coefficient, MCC) 만을 최적화하는 경우와, 규칙의 수와 전건 (Antecedent) 수를 패널티로 주는 정규화 항을 포함한 손실 함수 (Eq. 8) 를 비교 실험했습니다.

3. 주요 기여 (Key Contributions)

• CLIP 임베딩의 해석 가능성 제공: 블랙박스인 CLIP 임베딩 공간을 퍼지 규칙을 통해 해석 가능한 논리적 구조로 변환하는 방법을 제시했습니다.
• 도메인 특화 접근법: 특정 도메인 (의료, 영화) 에 맞는 특징을 추출하여 CLIP 공간의 군집과 매핑함으로써, 도메인 지식이 임베딩 구조에 어떻게 영향을 미치는지 분석했습니다.
• Type-2 퍼지 집합의 효과 검증: 불확실성이 높은 텍스트 데이터 처리에 Type-2 퍼지 집합이 Type-1 보다 더 유연한 멤버십 함수를 제공하여 성능 향상에 기여할 수 있음을 보였습니다.

4. 실험 결과 (Results)

A. 임상 데이터 (Clinical Dataset)

• 성능: 표준 퍼지 집합과 MCC 손실 함수를 사용할 때 정확도 0.81, MCC 0.56을 기록하여 가장 좋은 성능을 보였습니다.
• 특징: '주관성 (Subjectivity)' 특징이 대부분의 규칙에서 중요한 역할을 했습니다.
• 규칙 수: 평균 5~6 개의 규칙으로 간결하게 학습되었습니다.

B. 영화 리뷰 데이터 (Film Dataset)

• 성능: 정확도가 약 0.46~0.49 수준으로 임상 데이터에 비해 낮았습니다. 이는 영화 리뷰 간 어휘의 변동성이 크고 CLIP 공간의 구조가 추출된 감정 특징과 덜 밀접하게 연관되어 있기 때문입니다.
• 규칙 패턴: 대부분의 규칙이 '주관성' 특징을 무시하고 '극성 (Polarity)'에 집중하는 경향을 보였습니다.
• 비교: 기존 상태-of-the-art 분류기 (Gradient Boosting) 와 유사한 성능을 보였으나, 퍼지 규칙은 해석 가능성 측면에서 우위를 가집니다.

C. 손실 함수 및 퍼지 집합 비교

• 규칙 크기 vs 정확도 트레이드오프: 규칙의 수와 크기를 줄이는 정규화 항을 포함한 손실 함수 (Eq. 8) 를 사용하면 규칙 수는 줄어들지만, MCC 정확도는 저하되는 경향이 있었습니다.
• Type-2 vs Type-1: MCC 손실 함수 사용 시 Type-2 퍼지 집합이 Type-1 보다 더 좋은 결과를 보였으나, 규칙 크기 패널티가 적용된 손실 함수에서는 그 차이가 사라졌습니다.

5. 결론 및 의의 (Significance & Future Work)

• 해석 가능성 (XAI): 이 연구는 CLIP 과 같은 대규모 사전 학습 모델의 내부 작동 원리를 도메인 전문가가 이해할 수 있는 퍼지 규칙 형태로 변환하여 설명 가능한 AI (XAI) 를 실현하는 가능성을 보여주었습니다.
• 도메인 의존성: 텍스트의 주제 변동성이 낮고 데이터가 제한적인 경우 (임상 데이터) 에는 CLIP 임베딩과 감정 특징 간의 매핑이 효과적이었으나, 데이터가 다양하고 복잡한 경우 (영화 리뷰) 에는 추가적인 특징 공학 (Feature Engineering) 이 필요함을 시사합니다.
• 미래 과제:
  • 다른 임상 데이터셋으로의 확장 및 환자 상태 비교 분석.
  • 퍼지 규칙 기반 시스템과 다른 모델 독립적 (Model-agnostic) 해석 방법의 결합.
  • 정확도와 해석 가능성 사이의 최적 균형을 찾기 위한 손실 함수 및 규칙 최적화 전략의 추가 연구.

이 논문은 복잡한 딥러닝 임베딩 공간을 퍼지 논리를 통해 해석함으로써, 의료 및 기타 전문 분야에서의 AI 모델 신뢰성 향상에 기여할 수 있는 실용적인 프레임워크를 제시합니다.