기술 요약: 구조적 논리 텐서 네트워크 (sLTN)

문제 정의

논리 텐서 네트워크(LTN)는 논리 기호를 텐서로, 논리 연결자를 미분 가능한 퍼지 연산자로 해석함으로써 1차 논리를 신경망과 통합하는 뉴로심볼릭 프레임워크를 제공한다. LTN은 평면적인 개체 집합(예: 의미론적 이미지 해석, 추천 시스템)을 다루는 작업에는 효과적이지만, 원래의 LTN 정식화는 내재적인 구조적 조직을 가진 데이터를 처리하기 위한 명시적인 메커니즘이 부족하다.

시계열, 순차 데이터 또는 그래프 구조 입력과 같은 도메인에서 구조적 조직(시간적 순서, 시퀀스 위치, 그래프 연결성)은 단순한 구현 세부 사항이 아니라 문제의 의미론적 구성 요소이다. 기존의 LTN 프레임워크는 데이터를 평면적인 집합으로 취급하므로, 시간적 지속성, 그래프에서의 이웃 제약 조건, 또는 정렬된 위치 간의 의존성과 같은 위치적 또는 관계적 패턴을 명시적으로 참조하는 제약을 표현하기 어렵다. 이러한 한계는 논리 언어가 객체가 조직된 축을 직접 참조해야 하는 구조적 추론 작업에 대한 프레임워크의 적용 가능성을 제한한다.

방법론

이러한 한계를 해결하기 위해, 저자들은 구조적 차원을 논리 언어의 일급 요소(first-class elements)로 격상시킨 LTN의 확장형인 **구조적 논리 텐서 네트워크(sLTN)**를 소개한다. 이 방법론은 세 가지 핵심 축을 기반으로 구축된다:

1. 확장된 구문 및 시그니처 (Extended Syntax and Signature)

sLTN은 표준 다중 정렬(many-sorted) 1차 시그니처를 다음과 같이 확장하여 포함한다:

• 구조적 차원 ($D$): 도메인 특유의 조직(예: 타임 스텝 $T$, 시퀀스 위치, 그래프 노드)을 나타내는 이름이 지정된 텐서 축.
• 구조적 변수 ($\Xi$): 선언된 구조적 차원의 인덱스를 범위로 하는 변수로, 개체를 범위로 하는 1차 변수와는 구별된다.
• 구조적 관계 ($R$): 구조적 인덱스 튜플에 대한 관계로, 불리언 또는 퍼지 마스크로 해석된다. 예를 들어, next(t, t') 관계는 연속적인 타임 스텝 사이의 인접성을 표현할 수 있다.

이 언어는 구조적 양화(구조적 차원의 인덱스에 대해 양화)와 가드된 구조적 양화(구조적 관계가 성립하는 곳에서만 수식을 평가) 및 축 주석/선택(특정 구조적 축의 이름을 변경하거나 슬라이싱)을 지원한다.

2. 퍼지 텐서 의미론 (Fuzzy Tensor Semantics)

sLTN의 의미론은 각 텐서 축(변수, 구조적, 또는 도메인)의 역할을 명시적으로 추적하는 **주석이 달린 텐서(annotated tensors)**를 통해 정의된다.

• 그라운딩(Grounding): 기호들은 텐서 또는 텐서 맵으로 그라운딩된다. 상수와 변수는 그들의 차원 프로필에 따라 구조적 축을 가진다. 함수와 술어는 특정 구조적 프로필을 소비하고 생성하는 로컬 맵으로 그라운딩된다.
• 구조적 관계: 구조적 인덱스에 대한 진릿값 마스크로 그라운딩된다 (예: $j = i+1$일 때 $M_{i,j} = 1$인 next에 대한 결정론적 마스크).
• 구성적 데노테이션(Compositional Denotation): 용어와 수식의 데노테이션은 구조적 재귀를 통해 계산된다. 주요 연산은 다음과 같다:
  • 이름 지정된 축 정렬(Named-axis alignment): 점별 연산(pointwise operations)이나 로컬 맵을 적용하기 전에 이름과 역할에 따라 텐서를 정렬한다.
  • 소비 및 전파(Consumption and Propagation): 술어와 함수는 구조적 축을 "소비"(그것들에 대해 집계)하거나 이를 점별로 전파할 수 있다.
  • 집계(Aggregation): 양화사(1차 및 구조적 양화 모두)는 해당 변수 또는 구조적 축에 대한 집계 연산자(예: 평균, 최솟값, 최댓값)로 해석된다. 가드된 양화사는 집계 중에 가드의 진릿값을 가중치나 마스크로 사용한다.

3. 학습 및 최적화 (Learning and Optimization)

sLTN에서의 학습은 만족도를 최대화하도록 지식 베이스(닫힌 절들의 집합)를 최적화하는 것으로 정식화된다.

• 다목적 정식화 (Multi-Objective Formulation): 지식 베이스는 여러 절로 구성되므로, 만족도는 자연스럽게 다목적 문제(multi-objective problem)가 된다.
• 스칼라화된 학습 (Scalarized Learning): 절의 만족도는 역전파 전까지 구성 가능한 애그리게이터(예: 멱평균, power mean)를 사용하여 단일 스칼라 손실로 집계된다.
• 다목적 학습 (Multi-Objective Learning): sLTN은 개별 절의 손실을 유지하고, 조기 스칼라화를 피하면서 상충하는 목적들을 처리하기 위해 Jacobian-descent 애그리게이터(예: PCGrad)를 사용하여 그래디언트를 결합하는 것을 지원한다.
• 미분 가능성 (Differentiability): 퍼지 연산자와 집계를 포함한 전체 프레임워크는 PyTorch의 미분 가능한 텐서 연산으로 구현되어, 해석 파라미터의 그래디언트 기반 최적화를 가능하게 한다.

주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 언어 확장: 구조적 차원, 구조적 변수, 구조적 관계를 포함하도록 LTN 언어를 확장하여, 구조적 조직을 논리적 모델링의 명시적인 대상으로 만든다. 이를 통해 수식이 위치적 및 관계적 패턴을 직접 참조할 수 있게 한다.
2. 형식적 의미론: sLTN에 대한 엄격한 퍼지 텐서 의미론을 제공하여, 구조적 구성 요소가 미분 가능한 연결자 및 양화 집계와 어떻게 통합되는지 정의한다. 또한 구조적 차원이 없을 때 원래의 LTN 의미론이 특수한 경우로 회복됨을 입증한다.
3. 모듈형 구현: 구문(Signature, parser)과 의미론(Interpretation)을 분리하는 모듈형 Python/PyTorch 구현을 설명한다. 이 라이브러리는 선언적 시그니처 정의, 수식 파싱, 그리고 이름 지정된 축 연산을 통한 텐서적 해석을 지원한다.

결과 및 예시

본 논문은 대규모 벤치마크를 제시하는 대신, MNIST 숫자를 이용한 비디오 분류 실행 예제를 통해 프레임워크의 능력을 보여준다.

• 태스크: "나타남(appear)" 비디오(숫자가 단조롭게 드러남)와 "나타나지 않음(non-appear)" 비디오(숫자가 주기적으로 나타났다 사라짐)를 구분하는 것.
• sLTN의 적용:
  • 시간적 지속성 (Temporal Persistence): 만약 숫자 $t$에서 완전하다면, $t+1$에서도 완전해야 한다는 수식을 next 관계를 사용하여 표현한다.
  • 경계 조건 (Boundary Conditions): 축 선택(axis selection)을 사용하여 나타나는 비디오는 $t=0$에서 불완전하게 시작하고 $t=T-1$에서 완전하게 끝나야 함을 강제한다.
  • 전체 시퀀스 판단 (Whole-Sequence Judgement): appear 술어는 Complete와 같은 프레임 수준의 술어와 구별되어, 전체 템포럴 축을 소비하여 전역적인 분류를 수행한다.
• 구현: 이 예제는 시그니처를 선언하고, 유도된 술어(예: is_appear)를 정의하며, 구조적 양화사를 포함한 복잡한 수식을 파싱하고, 스칼라화된 또는 다목적 최적화를 사용하여 kb_backward 인터페이스를 통해 모델을 훈련하는 방법을 보여준다.

의의 및 주장

본 논문은 sLTN을 구조화된 데이터에 대한 뉴로심볼릭 추론에 대한 수요가 증가함에 따라 LTN 프레임워크의 필수적인 진화 단계로 포지셔닝한다.

• 표현력: 구조적 차원을 일급 시민으로 취급함으로써, sLTN은 논리적 제약이 평면적인 표현으로 강제되는 대신 문제의 의미론적 수준(예: 시간적 순서, 그래프 토폴로지)에서 직접 표현될 수 있도록 한다.
• 호환성: sLTN은 구조적 입력을 위해 확장되면서도 미분 가능한 퍼지 의미론 및 그래디언트 기반 최적화를 포함한 LTN의 핵심 이점을 보존한다.
• 실용적 유용성: 구문과 의미론의 분리, 그리고 제공된 PyTorch 구현은 시간적 추론, 순차적 처리, 그래프 기반 학습과 같은 복잡하고 구조화된 도메인에 뉴로심볼릭 추론을 적용하는 장벽을 낮추는 것을 목표로 한다.

저자들은 sLTN이 추가적인 안정화와 체계적인 실증적 검증이 필요한 초기 프레임워크임을 인정한다. 향후 연구로는 도메인 특화 구조적 이론 개발, 유한 재귀적 계산 프리미티브를 통한 언어 확장, 그리고 훈련 안정성을 개선하기 위한 원칙적인 하이퍼파라미터 스케줄링 조사 등을 제시한다. 본 논문은 오픈 소스 sLTN 라이브러리의 이론적 토대를 제공하는 동반 역할을 한다.