Uncertainty-aware Language Guidance for Concept Bottleneck Models

이 논문은 대규모 언어 모델 (LLM) 이 생성한 개념 라벨의 불확실성을 통계적으로 엄밀하게 정량화하고 이를 개념 병목 모델 (CBM) 의 학습 과정에 통합하여 LLM 의 환각으로 인한 오류를 줄이고 모델의 신뢰성을 높이는 새로운 불확실성 인식 방법을 제안합니다.

핵심

이 논문은 **"인공지능 (AI) 이 인간의 언어로 설명할 수 있는 개념을 배우는 방법"**을 개선한 새로운 기술을 소개합니다.

기존의 AI 는 "왜 이런 결론을 내렸는지"를 설명하지 못하는 '블랙박스'였습니다. 이를 해결하기 위해 **개념 병목 모델 (CBM)**이라는 기술이 나왔는데, 이는 AI 가 먼저 "이 새는 '검은 부리'를 가졌다", "날개가 '흰 끝'을 가졌다" 같은 사람이 이해할 수 있는 개념을 먼저 파악한 뒤, 최종 답을 내는 방식입니다.

하지만 문제는 이 '개념'을 사람이 일일이 손으로 적어주려면 너무 비싸고 시간이 많이 걸린다는 점입니다. 그래서 최근에는 **거대 언어 모델 (LLM, 예: 챗 GPT 같은 AI)**에게 개념을 대신 적게 하려고 합니다.

그런데 여기서 두 가지 큰 문제가 생깁니다.

1. LLM 은 때로 헛소리를 합니다 (할루시네이션): "이 새는 노란 눈을 가졌다"라고 거짓말을 할 수도 있습니다.
2. 불확실성을 무시합니다: LLM 이 "아마도 노란 눈일 거야"라고 의심스러워할 때, 기존 방법은 그 '의심'을 무시하고 그냥 '노란 눈'이라고 확정해버립니다.

이 논문은 **"LLM 이 쓴 개념 중, 얼마나 믿을 수 있는지 '불확실성'을 수치로 재고, 그 정보를 AI 학습에 활용하자"**는 새로운 방법 (ULCBM) 을 제안합니다.

---

🌟 쉬운 비유로 설명하는 이 기술

이 기술을 이해하기 위해 **'수석 요리사 (AI) 가 신비로운 레시피 (개념) 를 배우는 상황'**으로 비유해 보겠습니다.

1. 문제 상황: 믿을 수 없는 요리 비서 (LLM)

우리는 수석 요리사에게 "이 요리의 핵심 재료는 무엇인가?"를 가르쳐야 합니다. 하지만 직접 가르칠 시간이 없으니, **요리 비서 (LLM)**에게 대신 적게 합니다.

• 비서는 "이 요리는 소금과 후추가 핵심이야"라고 적어줍니다. (정답)
• 하지만 비서는 때로 **"이 요리는 파란색이 핵심이야"**라고 엉뚱한 말을 하기도 합니다. (할루시네이션)
• 더 큰 문제는 비서가 **"아마 설탕일지도 몰라"**라고 망설일 때, 우리는 그 망설임을 무시하고 그냥 '설탕'이라고 확정해버린다는 것입니다.

기존 방법들은 비서가 쓴 메모를 100% 진실인 것처럼 믿고 요리사에게 가르쳤기 때문에, 요리사는 엉뚱한 재료 (파란색) 를 중요하게 여기거나, 망설이던 재료 (설탕) 를 제대로 배우지 못해 실패했습니다.

2. 이 논문의 해결책: "신뢰도 점수"를 매기는 시스템

이 논문은 두 가지 단계로 문제를 해결합니다.

첫 번째 단계: "이 메모, 얼마나 믿을 수 있을까?" (불확실성 측정)
비서가 쓴 메모를 그대로 믿지 않고, 3 가지 기준으로 점수를 매겨 '믿을 만한 메모'만 선별합니다.

• 구별력 (Discriminability): "소금"은 이 요리에만 특이한가? (아니면 다른 요리에도 다 있는 거라면 제외)
• 포괄성 (Coverage): "소금, 후추, 허브" 등 요리의 전체 맛을 다 설명하는가? (일부만 설명하면 안 됨)
• 다양성 (Diversity): "검은색 깃털"과 "어두운 깃털"처럼 같은 말을 반복하지 않는가? (중복 제거)

이때, **수학적 이론 (Conformal Prediction)**을 이용해 "이 기준을 통과한 메모는 90% 이상 틀릴 확률이 낮다"라고 과학적으로 보장해 줍니다. 마치 "이 비서의 메모는 100 개 중 90 개는 맞다"라고 공인된 스탬프를 찍어주는 것과 같습니다.

두 번째 단계: "드문 재료"를 특별히 가르치기 (데이터 증강)
선별된 메모 중, "이 요리에 별미가 들어간다"는 메모는 비서가 자주 쓰지 않아 (데이터가 부족해) 요리사가 배우기 어렵습니다.

• 해결책: 요리사가 배우기 힘든 '드문 재료'가 들어간 사진을 찾아서, 그 재료가 들어간 부분을 잘라내어 다른 요리 사진에 **붙여넣기 (데이터 증강)**를 합니다.
• 이때 중요한 건, 이미 믿을 만한 다른 재료 (예: 소금) 가 있는 자리와 겹치지 않게 조심스럽게 붙여넣는다는 점입니다.
• 이렇게 하면 요리사는 드문 재료도 충분히 연습할 수 있게 됩니다.

---

💡 요약: 왜 이 기술이 중요한가요?

1. 거짓말을 걸러냅니다: AI 가 헛소리를 할 때, "이건 믿을 수 없다"라고 수학적으로 증명해서 걸러냅니다.
2. 의심스러운 부분을 활용합니다: "아마도 맞을지도 몰라"라는 부분도 무시하지 않고, 그 '의심'을 고려해서 더 정확하게 학습시킵니다.
3. 드문 지식도 배웁니다: 잘 나오지 않는 중요한 개념도 인위적으로 만들어서 가르쳐주므로, AI 가 더 똑똑해집니다.

결론적으로, 이 논문은 AI 가 인간의 언어로 설명할 때, "무조건 믿지 말고, 의심하고, 검증하고, 부족한 부분은 채워서" 더 신뢰할 수 있고 정확한 AI 를 만드는 방법을 제시했습니다. 마치 신뢰할 수 있는 비서에게 메모를 받아, 그중에서 가장 확실한 것만 골라 요리사에게 가르치는 똑똑한 시스템이라고 생각하시면 됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 개념 병목 모델 (Concept Bottleneck Models, CBM) 은 입력 데이터를 고수준의 인간이 이해할 수 있는 '개념 (Concept)'으로 매핑한 후 최종 분류를 수행하여 해석 가능성 (Interpretability) 을 제공합니다.
• 문제점:
  1. 전문가 라벨링의 한계: 기존 CBM 은 인간 전문가가 개념을 수동으로 주석 (Annotation) 해야 하므로 비용이 많이 들고 확장성이 떨어집니다.
  2. LLM 기반 자동화의 한계: 최근 대규모 언어 모델 (LLM) 을 이용해 개념을 자동 생성하는 시도들이 있었으나, 두 가지 치명적인 결함이 있습니다.
     • 할루시네이션 (Hallucination) 과 불확실성 무시: LLM 이 생성한 개념은 부정확하거나 관련 없는 정보 (할루시네이션) 를 포함할 수 있으나, 기존 방법들은 이를 불확실성 (Uncertainty) 으로 간주하지 않고 확정적인 라벨 (Deterministic labels) 로만 취급합니다.
     • 학습 과정에서의 정보 손실: LLM 이 생성한 개념의 신뢰도 (신뢰할 수 있는 정도) 가 다양함에도 불구하고, 이를 학습 과정에 반영하지 않아 희소하거나 신뢰도가 낮은 개념의 정보를 제대로 활용하지 못합니다.
  3. 이론적 보장 부재: 기존 방법들은 LLM 주석의 불확실성을 정량화할 때 이론적 보장이 없거나, 단순한 임계값을 사용하여 분포 가정 (i.i.d.) 에 의존합니다.

2. 제안 방법론 (Methodology: ULCBM)

저자들은 ULCBM이라는 새로운 프레임워크를 제안하며, 크게 두 단계로 구성됩니다.

가. 언어 기반 불확실성 인지 개념 생성 (Uncertainty-aware Generation with Language Guidance)

LLM 이 생성한 후보 개념들을 필터링하고, 이론적 보장이 있는 불확실성 집합을 구축합니다.

• 3 가지 기준 (Criteria) 정의:
  1. 판별력 (Discriminability): 선택된 개념이 해당 이미지의 실제 클래스와 얼마나 잘 일치하는지 (타 클래스와의 구별).
  2. 커버리지 (Coverage): 선택된 개념 집합이 해당 클래스의 전체 의미적 범위 (Semantic scope) 를 얼마나 잘 대표하는지.
  3. 다양성 (Diversity): 선택된 개념들 간의 의미적 중복 (Semantic redundancy) 을 최소화하는지.
• 합동 예측 (Conformal Prediction, CP) 적용:
  • 분포 가정 (Distribution-free) 이 필요 없는 합동 예측 (Conformal Prediction) 기법을 도입하여 전역 수용 임계값 ($\hat{\lambda}$) 을 보정 (Calibrate) 합니다.
  • 보정 데이터셋 (Calibration set) 을 사용하여 사용자가 지정한 위험 수준 (Risk level, $\alpha$) 을 만족하는 가장 작은 개념 집합을 찾습니다.
  • Theorem 1: 교환 가능성 (Exchangeability) 가정 하에, 제안된 임계값을 사용하면 생성된 개념 집합의 기대 손실이 사용자가 지정한 위험 수준 이하로 유지됨을 수학적으로 보장합니다.

나. 불확실성 인지 CBM 학습 (Training Uncertainty-aware CBMs)

LLM 주석의 신뢰도 차이로 인해 발생하는 희소성 (Sparsity) 문제를 해결하기 위한 데이터 증강 전략을 도입합니다.

• 타겟 데이터 증강 (Targeted Data Augmentation):
  • 신뢰도가 높지만 빈도가 낮은 (희소한) 개념에 대해, 소스 이미지에서 해당 개념의 시각적 패치 (Visual patch) 를 잘라내어 타겟 이미지에 삽입합니다.
  • 중요: 이 삽입 과정은 제안된 불확실성 임계값 ($\hat{\lambda}$) 에 의해 필터링된 기존 개념들과 겹치지 않도록 엄격하게 제어됩니다.
  • 이를 통해 희소한 고신뢰도 개념에 대한 감독 신호 (Supervisory signal) 를 보강하여 CBM 이 이러한 정보를 효과적으로 학습하도록 합니다.
• 최적화: 생성된 개념 라벨과 최종 클래스 라벨에 대한 손실 함수 (BCE 및 Cross Entropy) 를 함께 최소화하며 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 이론적 보장이 있는 불확실성 정량화: LLM 이 주석한 개념의 불확실성을 분포 무관 (Distribution-free) 한 보장을 제공하며 정량화하는 새로운 방법을 제안했습니다. 이는 할루시네이션으로 인한 오류 전파를 방지합니다.
2. 불확실성 인지 학습 전략: 정량화된 불확실성을 학습 과정에 통합하기 위해 희소 개념을 위한 타겟 데이터 증강 파이프라인을 설계했습니다. 이는 신뢰도가 다른 개념들의 편향을 해소하고 모델 성능을 향상시킵니다.
3. 이론적 분석 및 실증: 제안된 방법이 위험 수준을 만족함을 증명하는 이론적 정리 (Theorem 1) 를 제시하고, 다양한 실세계 데이터셋에서 그 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CIFAR-10, CIFAR-100, CUB (Caltech-UCSD Birds) 데이터셋에서 실험 수행.
• 비교 대상: LaBo, VLG-CBM 등 기존 LLM 기반 CBM 방법론.
• 주요 성과:
  • 유효성 (Validity): 제안된 방법은 설정된 위험 수준 ($\alpha$) 아래에서 손실 (Discriminability, Coverage, Diversity) 을 유지하여, 기존 방법들 (LaBo, VLG-CBM) 이 위험 수준을 초과하는 것과 대조적으로 이론적 보장을 준수함을 확인했습니다.
  • 개념 준수 정확도 (Concept Compliance Accuracy, CCA): 테스트 샘플이 올바른 분류를 수행하면서도 동시에 세 가지 품질 기준을 모두 만족하는 비율 (CCA) 에서 기존 방법보다 일관되게 높은 성능을 보였습니다.
  • 테스트 정확도 (Test Accuracy):
    • 전체 정확도 (Overall Accuracy) 와 최악의 클래스 정확도 (Worst-class Accuracy) 모두에서 최상의 성능을 기록했습니다.
    • 특히 CUB 데이터셋에서 데이터 증강 (DA) 을 적용한 모델은 VLG-CBM 보다 1.1%p, LaBo 보다 12.1%p 높은 전체 정확도를 달성했습니다.
    • 데이터 증강을 통해 희소한 개념의 학습이 개선되어, 최악의 클래스 정확도에서 가장 큰 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 을 활용한 해석 가능한 AI 모델 개발의 핵심 장벽인 "불확실성 관리" 문제를 해결했습니다.

• 신뢰성 확보: LLM 의 할루시네이션을 단순히 무시하거나 확정적으로 취급하는 것이 아니라, 수학적 보장을 통해 불확실성을 정량화함으로써 모델의 신뢰성을 높였습니다.
• 효율적인 학습: 신뢰도가 낮은 개념을 배제하는 것을 넘어, 신뢰도가 높은 희소 개념을 증강하여 학습 효율을 극대화했습니다.
• 실용성: 고위험 분야 (High-stakes domains) 에서 의사결정의 투명성과 신뢰성을 동시에 확보할 수 있는 강력한 프레임워크를 제공하며, CBM 의 실제 배포 가능성을 크게 확장시켰습니다.

요약하자면, ULCBM 은 LLM 의 강점 (개념 생성) 과 약점 (할루시네이션) 을 이론적으로 보정하고, 이를 학습 과정에 효과적으로 통합하여 더 정확하고 신뢰할 수 있는 해석 가능한 모델을 만드는 새로운 표준을 제시합니다.