기술 요약: 가설의 논리 (LoH)

문제 정의

신경-상징 통합 (NeSy) 은 기호 논리의 연역적 힘과 신경망의 학습 능력을 결합하는 것을 목표로 합니다. 기존 접근법들은 일반적으로 스펙트럼의 반대편에 위치합니다:

1. 지식 주입 (Knowledge Injection): DeepProbLog 및 LTN 과 같은 방법은 도메인 전문가가 사전 지식이나 제약 조건으로 고품질의 논리 공식을 제공한다는 전제하에 작동합니다. 이는 이러한 규칙이 즉시 이용 가능하다고 가정하며, 규칙을 학습하거나 부분적으로 수정해야 하는 시나리오를 처리하지 못합니다.
2. 규칙 유도 (Rule Induction): SATNet, DSL, 귀납 논리 프로그래밍 (ILP) 과 같은 방법은 데이터에서 직접 기호 규칙을 학습합니다. 유연하지만, 부분적인 사전 지식을 통합하거나 특정 구문 템플릿 (예: 고정 길이 절) 을 강제하는 데는 임의의 장치 (ad-hoc machinery) 없이는 어려움을 겪는 경우가 많습니다.

부분적인 논리 구조는 제공되지만 누락된 구성 요소는 학습해야 하거나, 학습된 규칙이 특정 구문 제약을 준수해야 하는 중간 시나리오를 처리하는 데는 여전히 큰 간극이 존재합니다. 현재 사용되는 미분 가능한 NeSy 모델들은 단일의 원칙적인 프레임워크 내에서 "무지식에서 완전한 지식"에 이르는 스펙트럼을 아우르는 유연성이 종종 부족합니다. 또한, 퍼지 논리 (예: Product 또는 Łukasiewicz t-norm) 를 사용하는 많은 기존 모델들은 연속적인 훈련 성능과 이산적이고 해석 가능한 규칙 추출 사이의 불일치로 인해, 이진화 시 정확도 손실을 겪습니다.

방법론: 가설의 논리 (LoH)

저자들은 지식 주입과 규칙 유도를 통합하는 새로운 논리 형식인 **가설의 논리 (Logic of Hypotheses, LoH)**를 제안합니다.

1. 선택 연산자 (The Choice Operator)

LoH 는 표준 명제 논리 문법에 선택 연산자 $[\Phi_1, \dots, \Phi_n]$를 확장합니다.

• 문법: 공식 $\Phi$는 유한한 후보군 중 하나의 하위 공식을 선택하는 선택 연산자를 포함할 수 있습니다.
• 의미론: 단일 LoH 공식은 각 선택 연산자에 대해 정확히 하나의 하위 공식을 선택함으로써 얻어지는 모든 고전적 명제 공식의 집합인 가설 공간 $\mathcal{H}(\Phi)$를 나타냅니다.
• 유연성: 이는 미구현된 공식을 표현할 수 있게 합니다. 선택 연산자의 존재 유무를 조정함으로써, LoH 는 완전히 지정된 규칙 (선택 없음) 에서부터 완전히 데이터 주도적인 검색 공간 (모든 선택) 에 이르기까지 Anything 을 표현할 수 있습니다.

2. 미분 가능 그래프로의 컴파일

역전파를 통한 학습을 가능하게 하기 위해 LoH 공식은 미분 가능한 계산 그래프로 컴파일됩니다:

• 가중 게이트: 선택 연산자 내의 각 후보 하위 공식 $\Phi_i$는 학습 가능한 가중치 $w_i \in [0, 1]$을 할당받습니다.
• 이중 컴파일 (Dual Compilation): 선택 연산자는 분리 컴파일($\bigvee w_i \land \Phi_i$) 또는 결합 컴파일($\bigwedge \neg w_i \lor \Phi_i$) 을 사용하여 명제 공식으로 변환됩니다. 이 둘 사이의 선택은 연산자의 문맥 (예: 결합 내부 vs 분리 내부) 에 따라 기울기 흐름을 최적화하기 위해 결정됩니다.
• 퍼지 논리 의미론: 컴파일된 공식은 괴델 퍼지 논리(여기서 결합은 $\min$이고 분리는 $\max$임) 를 사용하여 해석됩니다. 이를 통해 논리 연산을 미분 가능하게 만들 수 있습니다.

3. 괴델 트릭과 이산화

이산적 결정을 학습하면서도 미분 가능성을 유지하는 메커니즘이 핵심 구성 요소입니다:

• 매개변수화: 가중치 $w_i$를 직접 학습하는 대신, 모델은 로짓 (logits) $z_i$를 학습합니다.
• 확률적 지역 탐색: 순전파 (forward pass) 동안 가중치에 Gumbel 노이즈가 추가됩니다. 그런 다음 값이 조정되어 정확히 하나의 로짓이 양수가 되도록 한 후 시그모이드 함수가 적용되어 가중치를 생성합니다.
• 정리 1 (손실 없는 추출): 괴델 논리의 성질을 활용하여 저자들은 임의의 퍼지 해석에 대해 0.5 임계값을 사용하여 출력 값을 반올림하면 연속 모델과 일관된 부울 해석이 도출됨을 증명합니다. 이는 학습된 모델을 이산화하더라도 연속 버전과 비교하여 정확도 손실이 발생하지 않음을 보장하며, Product 나 Łukasiewicz 와 같은 다른 퍼지 논리에서는 보장되지 않는 특성입니다.

4. 아키텍처 통합

LoH 는 신경망 (예: CNN) 위에 적층되어 지각 - 기호 매핑을 엔드 - 투 - 엔드로 학습할 수 있습니다. 선택 연산자는 구문 템플릿 (예: 고정 폭 절) 을 강제하거나 알려진 지식 베이스의 하위 집합을 선택하는 데에도 사용할 수 있습니다.

주요 기여

1. 새로운 언어 (LoH): 선택 연산자로 명제 논리를 확장한 형식주의로, 가설 공간의 컴팩트한 표현과 부분적 사전 지식의 유연한 통합을 가능하게 합니다.
2. 미분 가능 컴파일: 괴델 퍼지 논리와 괴델 트릭을 사용하여 LoH 공식을 계산 그래프로 컴파일하는 절차입니다. 이를 통해 이진화 시 정확도 저하 없이 이산 논리 규칙을 엔드 - 투 - 엔드로 학습할 수 있습니다.
3. 통합 프레임워크: LoH 는 기존 NeSy 패러다임을 포괄합니다. 순수 규칙 유도기 (무지식), 지식 주입기 (완전 지식), 또는 중간 시나리오 처리 (부분 지식, 템플릿 제약) 를 담당하는 하이브리드 시스템으로 기능할 수 있습니다.
4. 실증적 검증: 이 프레임워크는 표 형식 데이터 및 지각 작업 (시각적 틱택토) 에서 강력한 성능을 보여주며, 해석 가능하고 이산적인 규칙을 제공하면서도 MLLP 및 DLN 과 같은 최신 모델과 동등하거나 더 나은 성능을 발휘합니다.

실험 결과

저자들은 LoH 를 두 가지 주요 측면에서 평가했습니다:

1. 표 형식 분류 (12 개 UCI 데이터셋)

• 설정: LoH 모델을 의사결정나무 (DT), 랜덤 포레스트 (RF), XGBoost, 표준 신경망 (NN), 미분 가능 논리 네트워크 (DLN), 다층 논리 퍼셉트론 (MLLP) 과 비교했습니다.
• 결과:
  • LoH 는 경쟁력 있는 F1 점수를 달성하여 종종 표준 NN 및 MLLP 의 성능과 일치하거나 초과했습니다.
  • MLLP 는 추출된 규칙 (CRS) 이 연속 모델에 비해 성능이 크게 저하되는 반면, LoH 의 이산 규칙은 괴델 의미론 덕분에 연속 모델과 동일한 정확도를 유지합니다.
  • LoH 는 대부분의 데이터셋에서 CRS 및 DLN(이산 형태) 보다 일관되게 우수한 성능을 보였으며, 특히 클래스 수가 적은 다중 클래스 설정에서 두드러졌습니다.

2. 시각적 틱택토

• 설정: 심볼 입력 대신 MNIST 숫자 ($3 \times 3$ 격자, 0=X, 1=O, 2=빈칸) 가 입력되는 지각 작업입니다. 목표는 'X'가 승리하는지 예측하는 것입니다.
• 결과:
  • LoH(특히 DNF 변형) 가 가장 높은 성능을 달성하여 30 회 실행 중 4 회 100% 정확한 논리 공식을 찾았습니다.
  • 다른 모델 (MLLP, DLN) 은 훈련 후 심볼 평가에서 어려움을 겪었으며, 합리적인 연속 성능에도 불구하고 정확한 이산 규칙을 생성하지 못하는 경우가 많았습니다.
  • 모델은 심볼을 지각 (이미지에서 X, O, 빈칸 식별) 하고 근본적인 논리 구조를 동시에 발견하는 것을 성공적으로 학습했습니다.

3. 산불 위험 시뮬레이션 (지식 체제)

• 설정: 완전 지식, 신뢰할 수 있는 규칙 선택, 집당 하나의 규칙 선택, 부분 지식 등 다양한 수준의 사전 지식을 테스트하는 합성 작업입니다.
• 결과: LoH 는 모든 체제에 성공적으로 적응했습니다. 수정된 $\partial$ILP 베이스라인과 비교했을 때, LoH 는 큰 가설 공간이 포함된 체제에서 더 나은 성능을 보였으며, 복잡한 규칙 선택 및 부분 지식 통합을 처리하는 데 있어 뛰어난 효율성을 입증했습니다.

중요성 및 주장

이 논문은 LoH 가 지식 주입과 규칙 유도 간의 간극을 연결하는 단일한 원칙적인 학습 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 유연성: 연구자들이 "무지식"에서 "완전 지식"까지 이용 가능한 사전 지식의 양을 정확히 지정하고, 규칙 수정이나 완비가 필요한 중간 사례를 처리할 수 있게 합니다.
• 손실 없는 이산화: 괴델 논리와 괴델 트릭을 활용함으로써, LoH 는 훈련 중 사용된 연속 모델과 정확도가 동일한 모델에서 추출된 이산적이고 해석 가능한 규칙을 보장합니다. 이는 이전 신경 - 상징 접근법의 주요 한계를 해결합니다.
• 엔드 - 투 - 엔드 학습: 사전 훈련된 심볼 구성 요소를 필요로 하지 않고 원시 데이터에 추상적 개념을 지각 (grounding) 하면서 심볼 규칙과 지각 - 심볼 매핑을 동시에 학습할 수 있게 합니다.

저자들은 현재 구현이 명제 논리에 국한되어 있으며, 지면 (groundings) 의 조합적 폭발로 인해 1 차 확장 시 확장성이 여전히 과제임을 인정합니다. 그러나 LoH 가 향후 신경 - 상징 AI 발전에 대한 견고한 기반을 제공한다고 주장합니다.