기술적 요약: 신경-상징적 개념 기반 모델을 위한 간결하고 논리적으로 일관된 컨포멀 집합

문제 제기

신경-상징적 개념 기반 모델 (NeSy-CBMs) 은 개념 추출을 위한 신경망과 작업 추론을 위한 상징적 추론을 통합하여 고위험 응용 분야에 신뢰할 수 있는 AI 시스템을 구축하는 것을 목표로 합니다. 그러나 이러한 모델은 종종 과도한 자신감과 잘못된 보정을 겪어 이해관계자들이 예측의 신뢰성을 평가하기 어렵게 만듭니다. furthermore, 불확실성이 정량화되더라도 결과적인 확률은 최종 사용자에게 직관적이지 않을 수 있습니다.

NeSy-CBMs 에서의 불확실성 정량화에 대한 기존 접근 방식은 종종 다음 세 가지 중요한 요구 사항을 동시에 충족하지 못합니다:

1. 일관성 (Consistency): 예측된 개념과 라벨은 사용자가 지정된 사전 지식 ($K$) 과 논리적으로 일관되어야 합니다.
2. 커버리지 (Coverage): 예측 집합은 개념과 라벨 모두에 대해 분포 무관 (distribution-free) 이고 유한 표본 한계 커버리지 보장을 제공해야 합니다.
3. 간결성 (Conciseness): 예측 집합은 해석 가능하고 운영상 유용하게 유지되기 위해 가능한 한 작아야 합니다.

현재의 "일방적" 컨포멀 예측 (CP) 전략 (예: 라벨에만 CP 를 적용하거나 개념에만 CP 를 적용) 이나 비대칭 수정 방법은 세 가지 기준을 모두 충족하지 못하며, 종종 일관성이 없거나 한쪽에서 커버리지 보장이 결여되거나 허용 불가능하게 큰 집합으로 이어집니다.

방법론: COCOCO

저자들은 훈련된 모든 NeSy-CBM 을 세 가지 요구 사항을 모두 충족하는 컨포멀 예측기로 변환하도록 설계된 사후 (post-hoc) 프레임워크인 COCOCO(COnformality, COnsistency, COnciseness) 를 소개합니다.

핵심 메커니즘

COCOCO 는 두 단계로 작동합니다:

1. 공동 컨포멀화 (Joint Conformalization): 표준 CP 기술을 사용하여 라벨에 대한 컨포멀 예측 집합 ($\Upsilon_\alpha(x)$) 과 개념에 대한 컨포멀 예측 집합 ($\Gamma_\beta(x)$) 을 독립적으로 구성합니다. 개념의 경우, 개념 추출기의 조건부 독립성을 활용하여 곱집합을 구성하거나, 보너페로니 보정을 피하고 집합 크기를 제어하기 위해 **e-값 (e-values)**을 활용합니다.
2. 연역 - 귀납 수정 (Deduction-Abduction Revision): 프레임워크는 두 집합을 조정하기 위해 단일 공동 수정 단계를 적용합니다. 이 단계는 다음을 포함합니다:
   • 연역 (Deduction): 개념 집합에 의해 함축된 라벨만 유지하도록 라벨 집합을 필터링합니다 ($\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$).
   • 귀납 (Abduction): 라벨 집합 내의 적어도 하나의 라벨을 함축하는 개념만 유지하도록 개념 집합을 필터링합니다 ($\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$).

이론적 보장

• 단일 고정점 (One-Step Fixed Point): 저자들은 이 공동 수정 연산자의 단일 적용이 고정점에 도달하기에 충분함을 증명합니다. 과정을 반복할 필요가 없어 계산 효율성을 보장합니다.
• 최적성 (Optimality): 결과 쌍 $(\Gamma_{rev}, \Upsilon_{rev})$은 상호 논리적 일관성을 유지하는 원래 집합의 가능한 가장 큰 부분집합입니다.
• 불완전한 지식 하의 커버리지 (Coverage under Imperfect Knowledge): 프레임워크는 분포 무관 커버리지 보장을 유지합니다. 추론 계층이 불완전한 경우 (예: 불완전한 지식 또는 추론 단축으로 인한 경우), 커버리지 하한은 추론 계층의 건전성 ($\delta_{ab}$ 및 $\delta_{de}$) 에 기반하여 선형적으로 저하됩니다.
• 사용자 지정 크기 예산 (User-Specified Size Budgets): 컨포멀 e-예측 (conformal e-predictions)(양분수 대신 e-값 사용) 을 통합함으로써, COCOCO 는 사용자가 최대 집합 크기 (예산) 를 지정하면서도 기대치 내에서 커버리지 보장을 유지하기 위해 오커버리지 수준 ($\tilde{\alpha}, \tilde{\beta}$) 을 적응적으로 선택할 수 있게 합니다. 이 접근 방식은 개념 수가 증가함에 따라 보장이 저하되는 것을 방지합니다.

주요 기여

1. 요구 사항의 형식화: 논문의 일관성, 커버리지, 간결성을 컨포멀 NeSy 방법에 필요한 조건으로 정의하고 형식화합니다.
2. COCOCO 프레임워크: 개념과 라벨을 공동으로 컨포멀화하고 단일 연역 - 귀납 단계를 통해 조정하는 새로운 사후 프레임워크입니다.
3. 이론적 증명:
   • COCOCO 가 구성에 의해 세 가지 요구 사항을 모두 충족함을 증명.
   • 수정 단계가 한 번의 반복으로 고정점에 도달함을 증명.
   • 불완전한 지식과 공동 실패 확률을 고려한 커버리지 경계 유도.
4. 크기 제어: e-값이 커버리지 보장을 훼손하지 않으면서 사용자 지정 크기 예산을 가능하게 하는 방법 입증.
5. 광범위한 실증 평가: 두 가지 최첨단 NeSy 아키텍처 (DeepProbLog 및 Logic Tensor Networks) 를 사용하여 8 개 데이터셋 (의료 영상, 텍스트, 이미지 분류 포함) 에서 평가.

실험 결과

8 개 데이터셋 (CHX, CEB, RIV10, MN-Add 변형, CIF10) 에 대한 실험은 COCOCO 가 자연스러운 베이스라인과 가장 강력한 경쟁자 (RPB) 를 능가함을 보여줍니다:

• 일관성: COCOCO 는 모든 데이터셋에서 1.00 의 개념 및 라벨 일관성을 달성합니다. 반면, RPB 와 같은 경쟁자들은 개념 측면에서 상당한 불일치를 보이는 경우가 많습니다 (예: MN-EO 데이터셋에서 0.12 로 하락).
• 간결성: COCOCO 는 베이스라인에 비해 예측 집합 크기를 크게 줄입니다. 예를 들어, CEB 데이터셋에서는 개념 집합 크기를 75.06(RPB) 에서 53.49 로 줄였으며, MN-EO 에서는 100.00(RPB) 에서 12.13 으로 줄여 완전한 일관성을 유지했습니다.
• 커버리지: COCOCO 는 일관성과 간결성을 보장하기 위해 약간의 커버리지를 희생합니다 (개념 측면에서 RPB 보다 일반적으로 7~10 퍼센트 포인트 낮음). 그러나 명목상 0.9 목표에서 높은 라벨 커버리지 (종종 $\ge 0.87$) 와 개념 커버리지 ($\ge 0.83$) 를 유지합니다.
• 강건성: 이 방법은 불완전한 지식 (RIV10) 과 추론 단축 (MN-EO) 하에서도 견고하게 작동하며, 이론적 경계는 커버리지 저하를 정확하게 예측합니다.
• 실행 시간: COCOCO 의 계산 오버헤드는 적당합니다 (베이스라인 실행 시간의 약 1.2 배에서 1.6 배). 이는 수정 단계가 귀납적 및 연역적 이미지 계산의 단일 패스만 필요로 하기 때문입니다.

중요성 및 주장

이 논문은 COCOCO 가 컨포멀 예측 집합을 축소하고 라벨 - 개념 일관성을 강제하면서도 분포 무관 커버리지를 유지하기 위해 상징적 지식을 동시에 활용하는 첫 번째 방법이라고 주장합니다.

저자들은 COCOCO 를 의료 진단과 같은 고위험 분야에서 이해관계자가 예측뿐만 아니라 엄격한 통계적 보장을 갖춘 논리적으로 일관된 타당한 대안 집합을 요구하는 의사결정 지원 시스템에 NeSy-CBMs 을 적합하게 만드는 중요한 단계로 위치시킵니다. 이 프레임워크는 도메인 제약을 존중하는 해석 가능한 집합을 제공함으로써 NeSy 모델의 불확실성에 대한 "블랙박스" 성격을 해결하여, 하부 신경 - 상징적 모델의 재학습 없이도 신뢰성과 신뢰도를 향상시킵니다.