기술 요약: 추론을 위한 시간: LTLf를 위한 확장 가능한 뉴로심볼릭 학습

문제 정의

뉴로심볼릭(NeSy) 인공지능은 데이터 효율성, 공정성 및 안전성 문제를 해결하기 위해 딥러닝(DL)과 심볼릭 추론을 통합하고자 한다. 명제 논리 및 1차 논리 분야에서는 상당한 진전이 이루어졌으나, 이를 시계열 논리(Temporal Logics), 구체적으로 **유한 궤적에 대한 선형 시간 템포럴 로직(LTLf)**으로 확장하는 것은 여전히 미해결 과제로 남아 있다.

기존의 시계열 NeSy 접근 방식(예: FuzzyA, NeSyA)은 일반적으로 LTLf 명세를 **결정적 유한 오토마타(DFA)**로 컴파일하는 방식에 의존한다. 이 방식은 다음과 같은 두 가지 결정적인 한계를 초래한다:

1. 확장성(Scalability): 구축된 오토마타의 크기가 공식(formula) 크기에 대해 이중 지수적으로 증가할 수 있다.
2. 순차적 병목 현상(Sequential Bottleneck): 오토마타 상태를 평가하기 위해 시퀀스에 대한 재귀적 계산이 필요하므로, 시간에 따른 병렬 처리가 불가능하다.

또한, 미분 가능한 세만틱스(fuzzy 또는 probabilistic)가 템포럴 공식을 해석하기 위해 제안되어 왔으나, 세만틱스의 선택(예: Gödel, Product, Łukasiewicz)이 이론적 속성(동치성, 쌍대성) 및 예측 성능에 어떤 영향을 미치는지 체계적으로 분석한 통합 프레임워크는 존재하지 않는다. 현재의 벤치마크들은 대개 중간 감독 신호나 오토마타 특유의 제약 조건에 의존하고 있어, 대안적인 통합 방식의 평가를 제한하고 있다.

방법론: $\partial$LTLf 프레임워크

저자들은 오토마타 구축 없이 퍼지 궤적(fuzzy traces) 상에서 LTLf 명세를 직접 평가하는 새로운 뉴로심볼릭 프레임워크인 $\partial$LTLf를 제안한다.

1. 이론적 기초: 퍼지 LTLf 세만틱스

본 논문은 서로 다른 t-norm을 기반으로 하는 세 가지 구별된 퍼지 LTLf 세만틱스($fltl^x_f$)를 정식으로 정의한다:

• Gödel 세만틱스 ($fltl^G_f$): 결합(conjunction)과 분리(disjunction)를 위해 min/max를 사용한다. 본 논문은 분포 법칙 덕분에 고전적인 LTLf 동치성(예: Weak Until $W$와 Until $U$ 사이의 관계)이 이 세만틱스 하에서 완전히 유지됨을 증명한다.
• Product 세만틱스 ($fltl^P_f$): 진릿값을 확률 정보로 취급하며, 결합에는 곱셈을, 분리에는 확률적 합(probabilistic sum)을 사용한다.
• Łukasiewicz 세만틱스 ($fltl^L_f$): 유계 합(bounded sum)과 max-min 연산을 사용한다.

주요 이론적 발견은 $F$(Eventually)와 $G$(Globally)와 같은 연산자들이 세 가지 세만틱스 모두에서 $X$와 $U$로부터 유도될 수 있는 반면, **Weak Until ($W$)**에 대한 동치성은 오직 Gödel 세만틱스 하에서만 성립한다는 것이다. Product 및 Łukasiewicz 세만틱스 하에서는 $W$와 **Strong Release ($M$)**가 표준 연산자들과의 상호 정의 가능성을 상실하므로, 이를 네이티브하게 정의해야 한다.

2. $\partial$LTLf 아키텍처

이 프레임워크는 약지도 심볼 그라운딩(Weakly Supervised Symbol Grounding) 과업을 해결한다. 원시 관측값(예: 이미지)의 시퀀스와 해당 시퀀스가 템포럴 명세 $\Phi$를 만족하는지를 나타내는 이진 레이블이 주어지면, 모델은 관측값을 심볼릭 개념으로 매핑하는 법을 학습한다.

파이프라인은 세 가지 미분 가능한 구성 요소로 이루어진다:

1. 인지 모듈 ($f_\theta$): 원시 입력을 원자 명제에 대한 퍼지 진릿값으로 매핑하여 퍼지 궤적 $\lambda_\theta$를 생성하는 신경망이다.
2. 템포럴 로직 모듈: 선택된 퍼지 세만틱스를 사용하여 $\lambda_\theta$ 상에서 공식 $\Phi$를 직접 평가한다. 이 모듈은 $\Phi$의 구문 트리(syntactic tree)를 리프 노드에서 루트 노드로 처리하는 재귀적 텐서 연산(Algorithm 1)으로 구현된다. 이는 다양한 길이의 시퀀스에 대한 유효한 평가를 보장하기 위해 경계 연산자($\nabla_0, \nabla_1$)를 통해 패딩을 처리한다.
3. 손실 함수(Loss Function): 퍼지 만족 값 $v(\Phi, \lambda_\theta)$와 실제 정답 시퀀스 레이블 사이의 이진 교차 엔트로피를 계산한다.

결정적으로, $\partial$LTLf는 **모델 기반(model-based)**이다. 즉, 템포럴 명세는 사후적으로 적용되는 손실 제약이 아니라, 추론 과정 중 모델 내부의 미분 가능한 레이어로 작용한다.

주요 기여

1. 체계적인 이론적 분석: 본 논문은 퍼지 LTLf 세만틱스에 대한 최초의 통합된 정의를 제공하며, 고전적 동치성과 쌍대성의 보존 여부를 분석한다. Gödel 세만틱스는 완전한 상호 정의 가능성을 보존하는 반면, Product 및 Łukasiewicz 세만틱스는 특정 연산자에 대해 네이티브한 정의가 필요함을 입증한다.
2. 확장 가능한 프레임워크 ($\partial$LTLf): 오토마타 구축을 우회하여 퍼지 궤적 상에서 템포럴 공식을 병렬로 평가할 수 있는 새로운 프레임워크를 제안한다. 이를 통해 이중 지수적 폭발과 DFA 기반 방식의 순차적 평가 병목 현상을 제거한다.
3. 강화된 평가 프로토콜: 관계적 제약과 중간 감독 신호(예: 오토마타 상태)를 제거하여 템포럴 추론을 격리하는 벤치마크를 도입한다. 이 프로토콜은 공식의 복잡도(결합된 하위 공식의 수)와 시퀀스 길이를 변화시켜 확장성을 엄격하게 테스트한다.

실험 결과

프레임워크는 다중 스트림 이미지 시퀀스(MNIST 및 Fashion-MNIST)를 대상으로 DFA 기반 방식(FuzzyA, NeSyA) 및 순수 신경망 베이스라인과 비교 평가되었다.

• 세만틱스의 영향 (RQ1): 퍼지 세만틱스의 선택은 성능에 상당한 영향을 미친다. Product 세만틱스는 증가하는 공식 복잡도에 대해 견고함을 보였으며, 높은 복잡도(8개 클래스 상황에서도 85% 이상의 정확도 유지)에서도 높은 심볼 그라운딩 정확도를 유지했다. 반면, Gödel 및 Łusiewicz 세만틱스는 복잡도가 증가함에 따라 성능 저하와 높은 변동성을 보였는데, 이는 min/max의 단일 통과 특성(vanishing gradients) 및 Łukasiewicz의 포화 문제(saturation issues)에 기인한다.
• 최신 기술과의 비교 (RQ2):
  • 정확도: $\partial$LTLf(Product 세만틱스 사용 시)는 DFA 기반 방식과 대등한 성능을 보였으며, 고복잡도/장시퀀스 시나리오에서는 오히려 더 우수한 성능을 보였다. 순수 신경망 베이스라인은 과업 학습에 실패하여 심볼릭 제약의 필요성을 확인시켜 주었다.
  • 확장성: $\partial$LTLf는 우수한 계산 효율성을 입증했다. DFA 기반 방식은 공식 복잡도가 증가함에 따라 훈련 시간이 초선형적으로 증가하고(오토마타 크기 때문), 시퀀스 길이에 따라 선형적으로 증가하는(순차적 상태 업데이트 때문) 반면, $\partial$LTLf는 공식 복잡도에 거의 불변하며 시퀀스 길이에 따라 선형적으로 확장되었다.
  • 효율성: 시퀀스 길이가 긴 경우(200 스텝)와 높은 복잡도에서, $\partial$LTLf는 NeSyA보다 최대 3 자릿수(1,000배) 더 빨랐으며, FuzzyA보다도 훨씬 빨랐다.

의의 및 주장

본 논문은 **직접적인 퍼지 해석(direct fuzzy interpretation)**이 기존의 오토마타 기반 템포럴 NeSy 프레임워크에 대한 경쟁력 있고 확장 가능한 대안임을 주장한다.

• 확장성: 오토마타 구축을 피함으로써, $\partial$LTLf는 복잡한 명세와 긴 시퀀스에 적용되는 데 한계가 있었던 기존의 템포럴 NeSy의 계산적 장벽을 극복한다.
• 설계 통찰: 본 연구는 퍼지 세만틱스의 선택이 중요한 설계 결정임을 밝히며, Product 세만틱스가 템포럴 설정에서 그래디언트 정보량과 계산 효율성 사이의 유리한 절충안을 제공함을 보여준다.
• 향후 연구를 위한 토대: 체계적인 퍼지 LTLf 이론 분석과 제안된 평가 프로토콜은 단순한 제안을 넘어, 템포럴 로직과 딥러닝의 견고하고 확장 가능한 통합을 향한 강력한 토대를 마련한다.

저자들은 이러한 결과가 직접적인 퍼지 평가가 템포럴 제약 조건 하에서의 학습을 위한 실질적인 솔루션임을 입증한다고 결론짓는다. 특히 확장성과 계산 효율성이 매우 중요한 시나리오에서 그러하다.