기술 요약: 신경-기호 시스템의 추론 지름길(Reasoning Shortcuts) 완화를 위한 미분 가능한 논리 프로그래밍

1. 문제 정의

신경-기호(Neurosymbolic, NeSy) 시스템은 신경망의 일반화 능력과 기호 논리의 해석 가능성을 결합하는 것을 목표로 한다. 그러나 최근 연구에 따르면, 이러한 시스템은 의도된 의미적 개념을 학습하기보다는 부적절한 패턴이나 지나치게 단순한 추론 경로를 악용하여 높은 훈련 정확도를 달pping하는 추론 지름길(shortcut reasoning) 현상에 취약하다는 것이 밝혀졌다. 저자들은 이 현상의 두 가지 구체적인 양상을 다음과 같이 식별한다:

1. 제약 충족 지름길(Constraint Satisfaction Shortcuts): 모델이 의도된 개념을 학습하는 대신 논리적 제약을 사소하게 만족시키는 경우이다. 예를 들어, 제약 조건 $P \to Q$에서 모델은 $P$와 $Q$ 사이의 관계를 학습하는 대신, $P$를 항상 거짓으로 만들어 함의(implication)를 공허하게 참(vacuously true)으로 만들 수 있다. 이는 논리적 제약이 주요 감독 신호(supervision)로 작용하는 준지도 학습 환경에서 특히 빈번하게 발생한다.
2. 인지 지름길(Cognition Shortcuts): 편향되거나 혼란스러운 훈련 데이터로 인해 입력과 개념 사이의 잘못된 매핑을 학습하는 경우이다. 이 경우 논리 규칙은 구문론적으로는 만족될지라도, 의미적 매핑은 틀릴 수 있다(예: 편향된 덧셈 작업에서 숫자 개념을 혼동하는 경우).

기존의 접근 방식은 종종 소프트 확률 분포나 퍼지 논리 완화(fuzzy logic relaxations)에 의존하며, 이는 제약 조건이 부분적인 진릿값 할당을 통해 만족될 수 있도록 허용한다. 이러한 유연성은 모델이 확정적인 개념 분류를 피하고 제약을 우회할 수 있게 함으로써 지름길 행동을 촉진한다.

2. 방법론

저자들은 이러한 문제를 해결하기 위해 행렬 기반 미분 가능한 논리 프로그래밍(matrix-based differentiable logic programming) 프레임워크를 제안한다. 이 접근 방식은 논리 프로그램을 행렬 연산으로 인코딩하는 기존 연구를 바탕으로 하지만, 명시적 접지(explicit grounding)를 강제하기 위한 특정 설계 요소를 도입한다.

2.1 행렬 인코딩 및 의미론

본 방법의 핵심은 명제 정규 논리 프로그램을 행렬 연산으로 표현하는 것이다:

• 프로그램 행렬 ($Q$): 규칙을 인코딩한다. 각 행은 하나의 규칙을 나타내며, 열은 원자(atom)와 그 부정(negation)에 대응한다.
• 헤드 행렬 ($D$): 규칙의 본체(body)를 헤드 원자(head atom)로 매핑한다.
• 통합 제약 처리: 무결성 제약(integrity constraints, 예: $\leftarrow a \land b$)은 보조 원자 $z$를 사용하여 재작성된다 (예: $z \leftarrow a \land b \land \neg z$, 여기서 $z$는 반드시 거짓이어야 함). 이를 통해 제약 조건을 단일 행렬 구조 내에서 함의 규칙과 동일하게 취급할 수 있으며, 별도의 행렬을 필요로 하는 기존 방식보다 저장 요구 사항을 줄일 수 있다.

2.2 미분 가능한 평가

신경망의 출력은 해석 벡터(interpretation vector) $v$를 형성하는 연속적인 진릿값으로 취급된다. 이는 부정을 포함하기 위해 $w = [v; 1-v]$로 확장된다. 원자의 도출은 다음과 같이 계산된다:
$$h = \min(1, D(1 - \min(1, Q(1 - w))))$$
이 공식은 결합(conjunction)에 대한 **루카시에비치 t-노름(Łukasiewicz t-norm, 유계 합 집계)**을 암묵적으로 구현한다. 손실 함수는 도출된 소프트 값 $h$와 타겟 레이블 $t$ 사이의 이진 교차 엔트로피(Binary Cross-Entropy, BCE)로 정의된다.

2.3 핵심 아키텍처 차별점

소프트 완화(soft relaxations)에 의존하는 퍼지 논리 접근 방식(예: Logic Tensor Networks)이나 확률적 컴파일(예: DeepProbLog)과 달리, 이 방법은 신경망 출력과 논리적 원자 사이에 일대일 대응 관계를 설정한다. 행렬 구조는 제약 위반으로부터 특정 신경망 예측으로 이어지는 직접적인 그래디언트 경로를 생성하여, 모델이 부분적인 진릿값을 통해 제약을 만족시키는 대신 확정적인 개념 분류를 수행하도록 강제한다.

3. 주요 기여

1. 행렬 기반 완화 방법: 통합 행렬 인코딩을 사용하여 제약 충족 및 인지 지름길을 모두 완화하는 새로운 미분 가능한 논리 프로그래밍 접근 방식을 제시한다.
2. 통합 제약 처리: 보조 원자를 사용하여 무결성 제약과 함의를 단일 행렬로 통합함으로써, 지원 모델 의미론(supported model semantics)을 보존하면서 저장 용량을 줄이는 인코딩 전략을 제공한다.
3. T-Norm의 경험적 분석: 행렬 연산을 다양한 퍼지 논리 t-norm(Łukasiewicz, Product, Gödel)과 체계적으로 비교하여, 이들의 그래디언트 흐름 특성과 지름길 완화에 미치는 영향을 분석한다.
4. 체계적 평가: MNIST 변형 모델에 대한 광범ك한 실험을 통해, 일대일 원자 접지가 편향되거나 약한 감독 하에서 의도된 개념을 학습하는 데 있어 소프트 완화 방식보다 크게 우수함을 입증한다.

4. 실험 결과

저자들은 CNN, Logic Tensor Networks (LTN), Semantic Loss, DeepProbLog, DeepStochLog, NeurASP를 포함한 베이스라인 모델들을 두 가지 작업에 대해 평가하였다.

4.1 제약 충족 지름길 (MNIST 6/9)

회전된 이미지를 포함하는 논리적 제약을 통해 하나의 숫자 클래스(예: "6")가 레이블링되지 않은 준지도 학습 작업에서:

• 베이스라인: Semantic Loss, LTN, NeurASP와 같은 모델들은 높은 제약 만족도(예: 회전된 제약에 대한 100% 만족)를 달성했으나, 누락된 숫자 개념을 학습하는 데는 실패했다(누락된 클래스에 대한 정확도 0%). 이들은 타겟 클래스를 확정하지 않고 상대 클래스의 확률을 억제함으로써 제약을 만족시켰다.
• MatLP: 제약 만족을 유지하면서 누락된 숫자에 대해 높은 정확도(MNIST에서 92.3%, USPS에서 42.4%)를 달성했다. 행렬 기반 접근 방식은 모델이 제약을 공허하게 이용하는 대신 실제로 숫자를 분류하도록 강제했다.

4.2 인지 지름길 (MNIST-Half)

숫자 쌍의 일부만 관찰되어 개념 매핑이 모호해지는 편향된 덧셈 작업에서:

• 사례 1 (높은 편향): 4개의 규칙만 있는 경우, LTV 및 DeepProbLog를 포함한 대부분의 모델은 개념을 구별하지 못하고 무작위 수준의 정확도를 보였다.
• 사례 2-5 (제약 증가): 매핑을 구별하기 위해 추가적인 규칙이 더해짐에 따라:
  • 소프트 완화 방식 (LTN, Semantic Loss): 초기 지름길에서 벗어나는 데 어려움을 겪었으며, 제약이 늘어나도 정확도 개선이 미미했다.
  • 명시적 접지 방식 (NeurASP, MatLP): 점진적인 개선을 보여주었다. NeurASP는 빠르게 완벽한 정확도에 도달한 반면, MatLP는 제약이 추가됨에 따라 (41%에서 99.5% 정확도로) 일관되고 견고한 개선을 보였다.
• T-Norm 비교: 표준 MNIST Addition에서 Product t-norm이 가장 높은 정확도(91.7%)를 기록했고, 행렬 기반 방법(88.5%)이 그 뒤를 이었다. Gödel t-norm은 희소한 그래디언트(sparse gradients)로 인해 가장 낮은 성능(82.9%)을 보였다.

5. 의의 및 주장

본 논문은 심볼릭 지식과 신경 학습 사이의 결합이 추론 지름길을 완화하는 데 결정적임을 주장한다. 구체적으로:

• 명시적 접지는 필요조건이지만 충분조건은 아니다: 일대 one 원자 접지(NeurASP 및 MatLP와 같이)가 도움이 되지만, 최적화 메커니즘이 중요하다. NeurASP는 제약 충족 작업에서 실패한 반면 MatLP는 성공했는데, 이는 연속적인 미분 가능 평가가 이산적 열거(discrete enumeration) 자체보다 우수함을 시사한다.
• 그래디언트 흐름 특성: 행렬 기반 접근 방식은 위반으로부터 책임 있는 예측으로 이어지는 직접적인 그래디한 경로를 생성하여, 모델이 의도된 의미론에 대응하지 않는 "부분적" 진릿값을 통해 제약을 만족시키는 것을 방지한다.
• 한계점: 저자들은 자신들의 평가가 MNIST 기반 작업의 명제 프로그램에 국한되어 있음을 언급한다. 이들은 복잡한 1차 논리 추론이나 실제 시각 작업으로의 즉각적인 일반화 가능성을 주장하지 않으며, 희소 행렬을 통한 확장성 및 1차 논리로의 확장을 향후 과제로 꼽았다.

결론적으로, 저자들은 행렬 기반 미분 가능한 논리 프로그래밍이 명시적 접지와 직접적인 그래디언트 전파를 강제함으로써, 편향되거나 약하게 감독된 데이터 환경에서 신경-기호 시스템이 추론 지름길을 악용하는 것을 방지하는 강력한 아키텍처 선택임을 입증한다.