기술 요약: NeSyCat Torch

문제 정의

뉴로심볼릭(Neurosymbolic, NeSy) AI는 신경망의 지각 능력과 기호 논리의 구조적 추론을 결합하는 것을 목표로 한다. 그러나 이 분야는 고전적, 퍼지(fuzzy), 확률적 시스템이 각각 서로 다른 귀납적 규칙을 통해 진리(truth)를 정의함으로써, 지식 베이스와 학습 목적 함수 간의 지식 전이를 방 preventing하는 파편화 문제를 겪고 있다. Unified Language for Learning and Reasoning (ULLER)은 모나드(monad)에 기반한 단일 범주론적 프레임워크를 통해 이러한 세맨틱을 통합했으나, **신경망에 의해 학습되는 술어(predicate)와 함수(function)**에 대한 구현이 부족했다. 또한, 기존의 구현들은 이산(discrete) 환경에서 연속(continuous) 또는 대규모 배치(large-batch) 환경으로 넘어갈 때 확장성과 수치적 안정성 측면에서 어려움을 겪는 경우가 많다.

방법론

본 논문은 NeSyCat 범주론적 프레임워크의 미분 가능한 텐서 구현체인 NeSyCat Torch를 소개한다. 핵심 방법론은 계산 기호(computational symbols)를 단일 모나드 매개변수 아키텍처 내에서 신경망을 통해 해석하는 것이다.

1. 범주론적 프레임워크 및 모나드

이 프레임워크는 Johnstone (2002)의 범주론적 세맨틱을 확장하여, 구문(syntax)과 의미론(semantics)을 범주적, 논리적, 도메인, 문법적 네 가지 계층으로 구성한다. 통합 메커니즘은 효과(effect, 예: 확률, 텐서 가중치)를 매개변수화하는 강한 모나드(strong monad) $M$이다. 본 논문은 세 가지 특정 모나드 계층(표 1)을 활용한다:

• 분포 모나드 ($D$): 유한하게 지원되는 확률 분포를 나타낸다. 이는 참조 세맨틱이자 메트릭 리드아웃(metric readout) 역할을 하며, 여기서 bind ($>>=$)는 주변화(marginalization, 전확률 법칙)를 수행한다.
• 텐서 모나드 ($T$) / 로그-텐서 모나드 ($T_{log}$): 확률 대신 실수(logits)를 사용하여 분포 모나드를 미분 가능한 방식으로 구현한다. $T_{log}$는 $(\mathbb{R}, \text{logsumexp}, +)$ 상의 로그 세미링(log-semiring) 위에서 작동하여, $[0,1]$ 범위의 퍼지 연산자와 관련된 그래디언트 퇴화(gradient degeneration)를 방지하고 수치적 안정성과 미분 가능성을 보장한다.
• 배치 모나드 ($B$): 무작위성을 도입하지 않고 미니 배치를 병렬로 처리할 수 있게 해주는 배치 인덱스 집합에 대한 리더 모나드(reader monad)이다.

2. 구문과 의미론

시스템은 세 가지 유형의 기호를 지원한다:

• Tarski: 결정론적 사상 (표준 FOL).
• Kleisli: 효과적인 사상 $M$으로의 사상.
• NeSy: 모나딕 캐리어(monadic carriers)를 입력으로 받아 모나딕 캐리어를 출력하는 신경 사상.

수식은 do-notation(모나딕 bind의 구문적 설탕)을 사용하여 구성된다. 핵심적인 혁신은 계산 함수 기호(예: $digit: \text{Image} \to M \text{Digit}$)와 술어를 다루는 방식이다. 세맨틱은 귀납적으로 정의된다:

• Bind ($\leftarrow$): $D$에서의 주변화 또는 $T$에서의 로그 공간 컨볼루션(convolution)을 수행한다.
• 양화사(Quantifiers): 유한한 도메인에 대해 모나딕 진릿값을 집계한다.
• 지연 평가(Lazy Evaluation): 프레임워크는 불필요한 가지를 가지치기하기 위해 주변화된 확률의 계산을 엄격히 필요할 때까지 미루는 지연 모나드(lazy monads)를 채택한다.

3. 학습 및 추론

학습은 데이터셋에 대한 지식 손실(knowledge loss)(공리들의 음의 로그 진릿값의 평균)을 최소화한다.

• 배칭(Batching): $N$개의 샘플에 대해 do-notation 프로그램을 $N$번 실행하는 대신, 시스템은 배치 텐서 하나에 대해 한 번 실행한다. 배치 모나드 $B$는 텐서 모나드 $T$와 합성된다 ($B \circ T$).
• 데이터 처리: 관측값은 "확실한" 값(로그 공간에서 원-핫 인코딩됨)으로 취급되어 liftB를 통해 수식에 들어온다.
• 구현: 이 프레임워크는 Haskell (HaskTorch), Python (JAX), Python (PyTorch)으로 구현되었다. JAX 백엔드는 로그 공간 컨볼루션과 미분을 위해 JIT 컴파일을 활용한다.

주요 기여

1. NeSyCat의 신경망 구현: 추상적인 범주론적 세맨틱과 실질적인 딥러닝 사이의 간극을 메우는, NeSyCat 프레임워크의 첫 번째 신경망 구현을 제공한다.
2. 통합 모나드 매개변수화: 단일 코드베이스가 밑단의 모나드를 변경하는 것만으로도 서로 다른 세맨틱(확률적, 퍼지, 고전적)을 인스턴스화할 수 있음을 입증한다.
3. 미분 가능한 로그-텐서 모나드: 로그 세미링을 사용하는 수치적으로 안정적이고 미분 가능한 학습 백엔드를 도입하여, 중간 단계에서 명시적인 소프트맥스 정규화를 피하고 경계(boundary)까지 이를 미룹니다.
4. 지연성을 통한 확장성: 주변화 계산을 미룸으로써 배치 및 다중 숫자(multi-digit) 문제에 대해 효율적인 학습을 달성한다.

실험 결과

저자들은 MNIST 덧셈 작업(원격 감독: 숫자 자체가 아닌 두 숫자의 합만 관찰됨)에 대해 프레임워크를 평가하였다.

• 정확도:
  • 단일 숫자 ($N=1$): NeSyCat Torch는 94.6%(LTN 스타일) 및 94.2%(DeepProbLog 스타일)를 달성하여, LTN(93.5%)과 DeepProbLog(92.2%)를 능가했다.
  • 다중 숫자 ($N=4$): NeSyCat Torch는 **92.0%**의 정확도를 달성했다. 반면, LTN과 DeepProbLog는 이 작업에서 시간 초과(T/O)가 발생했다.
  • 비교: 이 접근 방식은 현재 가장 정확한 베이스라인인 DeepStochLog(N=4에서 92.7%)의 정확도에 근접하면서도, 다양한 1차 접근법에 적용 가능한 균일한 프레임워크를 유지한다.
• 효율성:
  * 단일 A100 GPU에서의 학습 단계는 이전 하드웨어에서의 LTN 스타일(5.36ms)보다 현저히 빨랐다(0.52ms).
  * 시스템은 빠르게 수렴한다; 단일 숫자 덧셈에 대한 전체 15-시드 스윕(15-seed sweep)은 약 1.5분이 소요되었다.
• 일반화: 네트워크는 숫자 레이블을 사용하지 않고 오직 관찰된 합으로부터만 약 97%의 정확도로 숫자를 인식하는 법을 학습했다.

의의 및 주장

본 논문은 NeSyCat Torch가 NeSyCat 범주론적 프레임워크의 일반성을 신경망 구현 수준까지 성공적으로 확장했다고 주장한다. 주요 의의는 다음과 같다:

• 통ification (통합): 모나드를 인스턴스화하는 것만으로도 별도의 정의 없이 많은 1차 NeSy 접근법(고전적, 퍼지, 확률적)에 적용될 수 있는 단일하고 균일한 프레임워크를 제공한다.
• 확장성: 지연 모나드와 텐서 구조를 활용함으로써, DeepProbLog에서 발생하는 문제(#P-hard 가중 모델 카운팅)와 같은 계산적 병목 현상을 극복하여 더 큰 문제(예: $N=4$ 자릿수)에 대한 확장성을 확보했다.
• 확장성(Extensibility): 프레임워크는 매개변수적이다. 현재는 유한한 분포에 집중하고 있으나, 저자들은 Giry 모나드로 인스턴스화함으로써 연속 확률로 확장할 수 있음을 언급했다 (단, 이에 대한 신경망 표현은 향후 연구 과제로 남겨두었다).

저자들은 현재 구현이 유한한 도메인과 이산 분포를 효과적으로 다루지만, 무한한 도메인으로 일반화하고 연속 확률에 대한 효율적인 신경망 표현을 구축하는 것은 향-후 연구의 과제로 남아 있다는 점을 겸허히 밝히고 있다.