💻 computer science

Moose: Latent concept learning with reasoning-shortcut awareness in $\mathcal{EL}^{++}$

본 논문은 $\mathcal{EL}^{++}$ 온톨로지를 미분 가능한 문장 결정 다이어그램(Sentential Decision Diagrams)으로 컴파일하여 부분 지도 학습 하에서 최초의 추론 지름길 인식 잠재 개념 학습을 가능하게 하는 신경-기호적 방법론인 Moose를 소개하며, 이는 온톨로지 기반 작업에서 기존 베이스라인들을 능가하는 성능을 보여준다.

원저자: Olga Mashkova, Asaad Mohammedsaleh, Fernando Zhapa-Camacho, Robert Hoehndorf

게시일 2026-08-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Olga Mashkova, Asaad Mohammedsaleh, Fernando Zhapa-Camacho, Robert Hoehndorf

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

숨겨진 마음의 퍼즐

당신은 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 도구 상자에 두 가지 강력한 도구를 가지고 있습니다. 첫 번째는 **신경망(Neural Networks)**으로, 이는 초고속 패턴 인식기와 같습니다. 이들은 수백만 마리의 고양이를 본 경험을 바탕으로 사진 속의 고양이를 보고 "저건 고양이야!"라고 말하는 데 능숙합니다. 하지만 이들은 일종의 마술과 같아서, 패턴에 기반해 추측할 뿐 때로는 혼란을 겪거나 말이 안 되는 규칙을 만들어내기도 합니다. 두 번째 도구는 **기호 논리(Symbolic Logic)**로, 이는 엄격한 규칙서와 같습니다. "고양이가 수염과 꼬리를 가지고 있다면, 그것은 포유류이다"라고 말하죠. 결코 추측하지 않고 규칙을 완벽하게 따릅니다. 하지만 이들은 흐릿한 사진을 보고 그것이 무엇인지 알아내는 데는 매우 서툽니다.

오랫동안 과학자들은 이 두 가지 도구를 하나의 슈퍼 브레인으로 결합하기 위해 노력해 왔으며, 이 분야를 **뉴로-심볼릭 AI(Neuro-symbolic AI)**라고 부릅니다. 목표는 시스템이 사진을 볼 수 있으면서도(신경망처럼), 사물들이 어떻게 결합되는지에 대한 깊은 규칙을 이해하도록(논리학자처럼) 만드는 것입니다. 그러나 까다로운 문제가 하나 있습니다. 로봇이 모든 사실을 가지고 있지 않을 때, 가끔 "지름길"을 찾는다는 것입니다. 로봇은 전체적인 그림을 실제로 이해하는 대신, 아주 작고 무관한 세부 사항만을 보고 정답을 맞히는 법을 배울 수 있습니다. 이를 **추론 지름길(Reasoning Shortcut)**이라고 합니다. 이는 마치 특정 시험의 정답지를 통째로 외워버려서 실제 수학 원리는 배우지 못한 학생과 같습니다. 이 분야의 핵심 질문은, 부분적인 단서만 주어졌을 때도 이러한 지름길에 빠지지 않고 진정한 규칙을 학습하는 시스템을 구축할 수 있는가 하는 것입니다.

Moose: 규칙을 확인하는 탐정

이 논문은 Moose(기술적인 의미가 있지만, 여기서는 영리한 탐정이라고 생각합시다)라고 불리는 새로운 방법을 소개합니다. Moose는 로봇이 보는 것들에 대한 숨겨진 사실을 파악하도록 가르치는 특정 퍼즐을 해결하기 위해 설계되었습니다. 이때 **OWL 2 EL 온톨로지(ontology)**라는 엄격한 논리 규칙 세트를 사용합니다. 온톨로지는 거대한, 미리 작성된 백과사전이라고 생각하면 됩니다. 예를 들어, 생물학 백과사전에는 "모든 고양이는 포유류이다"와 "포유류 중 식물은 없다"라는 규칙이 적혀 있을 수 있습니다.

Moose가 다루는 과제는 로봇에게 이미지(예: MNIST 데이터셋의 숫자 하나)를 보여주며 "이 숫자는 짝수이다"라고 말하지만, 그 숫자가 실제로 무엇인지는 알려주지 않았을 때 발생하는 문제입니다. 로봇은 백과사전의 규칙에 부합하도록 하면서 숫자를 추측해야 합니다.

Moose가 작동하는 방식은 다음과 같습니다:

규칙집 컴파일러(The Rulebook Compiler): 먼저, Moose는 거대한 백과사전(온톨로지)을 가져와 **문장 결정 다이어그램(Sentential Decision Diagram, SDD)**이라는 특수한 형태의 지도(map)로 변환합니다. 이 지도는 모든 규칙을 나타내는 거대하고 엉킨 실타래를 깔끔하고 조직적인 순서도(flowchart)로 푸는 과정과 같습니다. 이 지도는 특별하게도 "가중치"를 부여할 수 있어, 로봇이 서로 다른 경로에 확률을 할당할 수 있습니다.
논리 체크(The Logic Check): 로봇이 이미지를 보고 추측을 할 때(예: "내 생각에 이건 4야"), Moose는 그 추측을 그냥 받아들이지 않습니다. Moose는 그 추측을 순서도에 통과시켜 검증합니다. 만약 추측이 규칙을 어긴다면(예: 로봇은 4라고 생각하지만, 규칙에는 4가 홀수라고 되어 있어 모순이 발생하는 경우), 시스템은 무언가 잘못되었음을 인지합니다.
"지름길" 수정(The "Shortcut" Fix): 이 부분이 Moose가 정말 똑똑해지는 지점입니다. 때때로 로봇은 지름길을 찾습니다. 예를 들어, 로봇이 4의 사진을 보고 규칙에서 "4는 짝수이다"라는 것을 알게 되면, 4가 실제로 어떻게 생겼는지 배우는 대신 항상 4를 볼 때마다 "짝수"라고 답하는 법을 배울 수 있습니다. Moose는 이 순서도에 추가적인 "폐쇄(closure)" 규칙을 더합니다. 이 규칙들은 안전망 역할을 하여, 로봇이 가장 쉬운 답만 찾는 것이 아니라 주어진 단서에 부합하는 모든 가능성을 고려하도록 강제합니다. 이는 학생에게 "너는 단순히 4를 봤다고 해서 '짝수'라고 답해서는 안 돼. 네가 가진 모든 규칙에 이 답이 부합한다는 것을 증명해야 해"라고 말하는 것과 같습니다.

Moose가 발견한 것

저자들은 Moose를 두 가지 주요 과제로 테스트했습니다. 하나는 유명한 MNIST 숫자 데이터셋의 디지털 버전(여기에 숫자가 소수, 짝수, 홀수라는 논리 규칙을 추가함)이고, 다른 하나는 다양한 토핑이 올라간 피자를 다룬 합성 데이터셋입니다.

지름길 피하기: 로보가 숨겨진 관계(예: 한 숫자가 다른 숫자로 이어지는 경우)를 파악해야 하는 실험에서, Moose는 다른 방법들보다 훨씬 뛰어난 성능을 보였습니다. 다른 시스템들은 종종 "추론 지름길"(작은 단서에 기반해 답을 추측하는 것)에 빠졌지만, Moose는 규칙을 고수했습니다. 예를 들어, 롤 체인(role chains, A가 B로 이어지고 B가 C로 이어지는 관계)이 포함된 테스트에서 Moose는 **96.1%**의 정확도를 달enc성한 반면, 차순위 방법은 **59.6%**에 그쳤습니다.
트레이드오프(The Trade-off): 논문은 또한 *정확도(accuracy)*와 보정(calibration, 자신이 얼마나 확신하는지 아는 능력) 사이의 균형이 존재한다는 것을 발견했습니다. 규칙이 모호할 때(예: 두 가지 종류가 될 수 있는 피자), Moose는 두 가지 전략 중 하나를 선택해야 했습니다.
- BEARS: 이 버전은 로봇 팀이 투표하는 방식을 사용합니다. 정답을 맞히는 능력(정확도)은 더 좋았지만, 틀렸을 때 지나치게 확신하는 경 Tendency가 있었습니다.
- NeSyDM: 이 버전은 추측을 분산시키는 다른 종류의 수학을 사용합니다. 자신이 불확실할 때를 아는 능력(보정)은 더 좋았지만, 정답을 맞히는 빈도는 약간 낮았습니다.
"폐쇄"의 비밀: 논문은 이러한 추가적인 "폐쇄" 규칙(안전망) 없이 시스템을 돌리면 시스템이 거의 완전히 실패하여 무작위 추측 수준(한 테스트에서 약 **9.4%**의 정확도)으로 떨어진다는 것을 입증했습니다. 이는 추가적인 규칙이 단순히 도움이 되는 수준이 아니라, 로봇이 숨겨진 개념을 올바르게 학습하는 데 필수적임을 보여주었습니다.

결론

Moose는 엄격한 규칙서를 따름으로써 숨겨진 사실을 학습하도록 AI를 가르치는 새로운 방법입니다. 복잡한 논리 규칙을 효율적인 지도로 변환함으로써, 로봇이 전체 그림의 일부만 보고 있더라도 올바르게 추론할 수 있다는 것을 증명했습니다. 저자들은 특정 "지름길"에 대한 안전장치 없이는 AI 시스템이 문제를 해결하는 단순화된 방식을 찾게 된다는 것을 보여주었습니다. Moose는 시스템이 모든 가능성을 규칙에 대조하도록 강제함으로써 이 문제를 해결합니다.

이 논문은 큰 진전이지만, 저자들은 이것이 작고 정의된 데이터 세트에서 가장 잘 작동한다는 점을 유의해야 한다고 명시했습니다. 아직 병원이나 인터넷 전체에서 사용하는 거대한 실제 데이터베이스에 대해서는 테스트하지 않았으므로, Moose는 강력한 새로운 도구이긴 하지만 여전히 거대한 과제들을 위해 다듬어지는 과정에 있습니다. 하지만 현재로서는, 로봇의 눈과 논리학자의 뇌를 결합하는 것이 어떻게 더 똑똑하고 정직한 AI로 이어질 수 있는지를 보여주는 훌륭한 사례입니다.

기술 요약: Moose – EL++에서의 추론 지름길 인식을 포함한 잠재 개념 학습 (Latent Concept Learning with Reasoning-Shortcut Awareness in EL++)

1. 문제 정의

본 논문은 OWL 2 EL 프로파일 내에서의 ABox 감독 하의 잠재 개념 학습(ABox-supervised latent concept learning) 문제를 다룬다. OWL 2 EL은 다항 시간 추론 능력을 갖추고 있어 주요 생산용 온톨로지(예: Gene Ontology, SNOMED CT)의 기반이 되지만, 우변(right-hand-side)의 논리합(disjunction) 및 기수 제약(cardinality constraints)을 기본적으로 지원하지 않는다.

구체적인 학습 작업은 다음과 같다:

입력: 개별 인스턴스별 지각 데이터(예: 이미지)와 관찰 가능한 시그니처 상의 부분적인 관찰된 ABox 리터럴 집합.
목표: 직접적으로 감독되지 않은 **잠재 개념 원자(latent concept atoms, 관찰되지 않은 개념)**들의 진릿값에 대한 개별 인스턴스별 분류기(classifier)를 학습한다.
제약 조건: 학습은 역할 체인( $R_1 \circ R_2 \sqsubseteq S$ ) 및 역할 계층 구조를 포함한 EL++ 온톨로지의 함의(entailments)를 준수해야 한다.
과제: 기존의 신경-기호(neuro-symbolic, NeSy) 프레임워크는 일반적으로 명제 공식이나 Datalog를 수용하며, OWL 온톨로지를 직접적으로 다루지는 못한다. 또한, 부분 감독(partial supervision) 환경에서 표준 NeSy 예측기는 추론 지름길(Reasoning Shortcuts, RS) 문제에 취약하다. 즉, 원자 간 독립성 가정으로 인해, 모든 유효한 구성에 확률 질량을 분배하는 대신 증거를 만족하는 단 하나의 임의적인 잠재 구성에 높은 신뢰도를 할당하는 방식으로 학습되는 문제가 발생한다.

2. 방법론: Moose 프레임워크

Moose는 EL++ TBox와 유한한 ABox 도메인을 **전달 결정 다이어그램(Sentential Decision Diagram, SDD)**으로 컴파일하는 엔드 투 엔드(end-to-end) 방식이며, 이는 미분 가능한 가중 모델 카운팅(Weighted Model Counting, WMC) 레이어 역할을 한다.

핵심 파이프라인

ELK 포화 (1단계): 입력 온톨로지에 대해 ELK 포화 계산법을 실행하여 모든 함의적 하위 개념(subsumptions)과 역할 연결(role links)을 도출한다. 이를 통해 포화 폐쇄 집합 $(\Sigma, \Lambda)$ 를 생성한다.
TBox 레벨 인코딩 (2~5단계): 포화된 내용을 Clark completion, 강결합 컴포넌트(SCC) 탐지, 순환 의존성을 위한 타임스탬프 언롤링(time-stamped unrolling), 그리고 Tseitin 변환을 통한 CNF 변환을 거쳐 명제 이론으로 변환한다. 이 단계는 논리적 구조를 처리하지만, 학습 작업 측면에서는 주로 진단적 용도로 사용된다.
형태 인식 그라운딩 (6단계): 추출기(Extractors)를 사용하여 유한 도메인 $\Delta$ $Δ$ 내의 명명된 개인(named individuals)과 관련된 포화 폐쇄 집합만을 필터링하여 유지한다. 이는 관찰 가능한 어휘 위에 정의된 명제 호른 프로그램(propositional Horn program) $\Gamma_{EL}$ $Γ_{E L}$ 을 생성한다.
- 참고: ELK 내부의 깊게 중첩된 존재적 도출(existential derivations)은 유한한 명명 도메인에 대응하는 ground counterpart가 없으므로 필터링된다.
SDD 컴파일 (7단계): 그라운딩된 절(clauses)들을 SDD로 컴파일한다. 이 회로는 **매끄럽고(smooth), 분해 가능하며(decomposable), 결정론적(deterministic)**이어서 정확하고 미분 가능한 WMC를 가능하게 한다.
폐쇄 보강 (Closure Augmentation): EL++의 제한된 표현력(특히 closed-world assumption 및 우변 논리합의 부재)을 해결하기 위해, 선언된 완전한 가족(exhaustive families)에 대한 **폐쇄 공리(closure axioms, $\Phi_{clos}$ )**를 선택적으로 추가한다. 여기에는 쌍방 불연속성(pairwise disjointness), 커버링 절(covering clauses), 프로파일 키 기반 역함의(profile-keyed reverse implications)가 포함된다. 이 단계는 부분 감독 하에서 비자명한 학습 그래디언트를 제공하는 데 매우 중요하다.

학습 및 추 inference

학습: 신경망 $f_\theta$ 는 입력을 원자별 확률로 매핑한다. 이 확률들은 SDD의 리터럴 가중치(literal weights)로 사용된다. 학습 손실 함수는 음의 로그-WMC이다: $L(\theta) = -\log \text{WMC}(\alpha; p_\theta(x), e)$ .
추론 지름길 완화: Moose는 OWL EL 환경에 맞게 조정된 두 가지 기존 RS 완화 전략을 통합한다:
- Moose+BEARS: 단일 지름길로의 붕괴를 방지하기 위해 KL 발산(KL divergence)을 통해 다양화된 앙상블 인코더를 학습시킨다.
- Moose+NeSyDM: 원자 간 의존성을 포착하기 위해 팩터화된 독립성 가정을 마스크된 이산 확산 모델(masked discrete-diffusion model)로 대체한다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 주장한다:

공식적 증명을 동반한 엔드 투 엔드 OWL 2 EL 컴파일:
- 전체 EL 프로파일(역할 체인 및 계층 구조 포함)을 WMC를 지원하는 SDD로 컴파일한다.
- Lean 4를 통해 검증된 네 가지 공식 정리를 제공한다:
  - 정리 1: 검증된 SDD 인코딩 (SDD의 모델은 온톨로지가 쿼리를 함의하는 세계들과 정확히 일치한다).
  - 정리 2: 합리적 DISPONTE 대응 (회로의 WMC는 분포 의미론 하의 확률적 함의와 같다).
  - 정리 3 & 4: Sat 및 WMC 레벨에서의 SCC 구성적 분해(SCC-compositional factorizations)를 통해, 무관한 구성 요소가 도출 가능성이나 사후 확률에 영향을 미치지 않음을 증명한다.
- 모든 증명은 Moose 전용 공리 없이 표준 Lean 기초만을 사용하여 기계적으로 검증되었다.
ABox 감독 하의 잠재 개념 학습:
- OWL EL 온톨로지 상의 관찰된 ABox 리터럴로부터 잠재 개념 분류기를 학습하는 첫 번째 공식 과업을 정의한다.
- DeepProbLog 및 Semantic Loss를 기술 논리(description logic) 제약 조건(역할 체인 및 계층 구조 포함)으로 일반화한다.
OWL EL에서의 추론 지름길 분석:
- (기존에 명제/Datalog 설정에 국한되었던) 추론 지름길에 대한 공식적 분석을 OWL EL 환경으로 전이시킨다.
- 기호적 모호성(symbolic ambiguity) 하에서 family-argmax 정확도(BEARS가 우수)와 기대 교정 오차(Expected Calibration Error, ECE)(NeSyDM이 우수) 사이의 트레이드오프를 평가한다.
벤치마크 세트:
- 원자적, 관계적, 역할 체인 감독 체제를 모두 포함하는 **MNIST-with-ontology (OMNIST)**를 도입한다.
- 실제 외부 온톨로지로의 전이를 테스트하기 위해 OWL Pizza 온톨로지를 기반으로 한 합성 데이터셋인 Pizzaiolo를 도입한다.

4. 실험 결과

Moose를 명제론적 NeSy 베이스라인(DeepProbLog, Semantic Loss), 퍼지 논리(LTN), 온톨로지 임베딩(ELEmbeddings)과 비교 평가하였다.

관계 및 역할 체인 체제 (MNIST): Moose는 명제론적 베이스라인을 크게 앞선다.
- 역할 체인 실험(Exp 3)에서 Moose는 **96.1%**의 정확도를 달ato한 반면, DeepProbLog는 **59.6%**를 기록했다.
- 절제 연구(Ablation): 폐쇄 공리( $\Phi_{clos}$ )를 제거하면 성능이 거의 무작위 수준으로 급락하는데(예: 96.1%에서 9.4%로 하락), 이는 EL-aware 그라운딩이 구조를 제공하지만, 폐쇄 공리가 학습에 필요한 식별 제약을 제공함을 보여준다.
기호적 모호성 (Pizzaiolo):
- 높은 기호적 모사성이 존재하는 체제(예: Track B의 3-way 모호성)에서, BEARS는 예측을 다양화함으로써 정확도를 개선한다(84.5% 대비 87.9%).
- NeSyDM은 정확도를 희생하는 대신 가장 우수한 교정 성능(최저 ECE)을 달성한다.
- 귀납적 일반화: Moose는 홀드아웃(held-out) 관계 구성에서도 정확도를 유지하는 반면, NeSyDM은 붕괴되는 모습을 보인다. 이는 Moose가 암기된 엣지 정체성이 아니라 정확한 추론 경로에 의존함을 나타낸다.
교정 vs 정확도: 모호성 상황에서 BEARS는 정확도에서, NeSyDM은 교정 성능에서 각각 우위를 점하는 트레이드오프가 관찰된다.

5. 의의 및 주장

본 논문은 Moose를 다음과 같은 최초의 방법론으로 규정한다:

정확하고 미분 가능한 OWL EL 추론: EL++를 SDD로 직접 컴파일함으로써, 퍼지 근사나 의미를 완화하는 임베딩 방식과 달리 온톨로지의 정확한 모델 이론적 의미론을 유지하면서 그래디언트 기반 학습을 가능하게 한다.
형식적 검증: 컴파일 및 정당성 증명이 Lean 4에서 기계적으로 수행되어, 학습에 사용되는 추론 신호에 대한 높은 신뢰도를 제공한다.
온톨로지 내 RS 인식: OWL EL 맥락에서 추론 지름길을 최초로 공식 분석하고 완화하였으며, 표준 명제론적 NeSy의 실패가 온톨로지 기반 시스템에서도 그대로 나타남을 보여주었다.

저자들이 인정한 한계점:

규모(Scale): 실험은 작은 ABox 도메인( $|\Delta| \le 2$ )으로 제한된다. SDD 크기는 경험적으로 $|\Delta|^{2.9}$ 로 증가하며, 리프티드 WMC(lifted WMC) 기법 없이는 아직 SNOMED CT와 같은 대규모 온톨로지로 확장하기 어렵다.
유한 도메인: 이 방법은 유한한 명명된 개인 집합을 가정하며, 이름 없는 개인(unnamed individuals)에 대한 오픈 도메인 추론은 수행하지 않는다.
역할 고정(Role-Pinning): 역할 링크 인코딩의 건전성(soundness)은 관찰 가능한 시그니처 상의 역할 원자가 증거에 의해 고정(pinned)되어 있다는 가정에 의존하며, 이는 일반적인 ELK 정리보다는 유한 명명 도메인 체제에 특화된 선택이다.

저자들은 이론적 기여(검증된 컴파일 및 RS 분석)는 독립적으로 가치가 있으나, 프로덕션 규모의 온톨로리로의 확장성은 리프티드 WMC를 필요로 하는 여전히 해결해야 할 과제라고 결론짓는다.