DeepLog: A Software Framework for Modular Neurosymbolic AI

기술 요약: DeepLog – 모듈형 신경심볼릭 AI 를 위한 소프트웨어 프레임워크

문제 제기
현재 신경심볼릭 AI(NeSy) 의 지형은 연결되지 않은 패러다임과 프레임워크의 "알파벳 수프"로 특징지어집니다. 기존 시스템들은 특정 의미 해석 (예: 퍼지 대 확률적), 통합 전략 (예: 손실 기반 정규화 대 구조적 통합), 또는 심볼릭 프론트엔드 (예: 1 차 논리 대 논리 프로그래밍) 에 주로 초점을 맞추고 있습니다. 이러한 차이점들은 종종 대안적인 구체화보다는 근본적인 것으로 간주되어 상호 운용 불가능한 프레임워크를 초래합니다. 결과적으로 패러다임 간 소프트웨어 도구의 부재로 체계적인 비교와 누적적 진전이 방해받고 있습니다. 또한, 대부분의 기존 NeSy 시스템은 표준 기계 학습 워크플로우를 대체하는 단일 구조 설계를 채택하며, 심볼릭 구성 요소는 종종 CPU 에서 구현되어 GPU 가속 신경 모듈과의 데이터 전송 및 동기화 문제로 인해 성능 병목 현상을 유발합니다.

방법론
DeepLog 는 표준 PyTorch 워크플로우 내에서 논리와 딥러닝을 통합하는 운영 신경심볼릭 프레임워크로 작동함으로써 이러한 과제를 해결합니다. 이는 심볼릭 프론트엔드 언어와 백엔드 실행 전략을 분리하는 의미적 중간 표현인 DeepLog 추상 신경심볼릭 머신을 기반으로 합니다.

방법론은 세 가지 핵심 기술 메커니즘에 의존합니다:

1. 심볼릭 주석 모듈: DeepLog 는 표준 PyTorch 모듈을 DeepLogModules 로 확장합니다. 이러한 모듈은 입력과 출력에 심볼릭 주석이 추가된 형태로, SymTensors(심볼릭 표현과 연관된 N 차원 텐서) 로 표현됩니다. 이러한 주석은 각 텐서의 의미적 역할 (예: 불리언, 확률, 퍼지 점수) 을 지정하여 이질적 구성 요소의 자동 조합, 검증 및 변환을 가능하게 합니다.
2. 모듈식 조합 및 컴파일: 이 프레임워크는 논리를 조합 가능한 모듈로 취급합니다. 순차적 조합 ( torch.nn.Sequential 에 유사) 과 심볼릭 의존성에 기반한 방향성 비순환 그래프의 자동 배선을 지원합니다. 컴파일러 스타일의 팩토리는 DeepLog 언어로 표현된 고수준 명세를 최적화된 산술 회로로 자동 변환합니다. 이를 통해 사용자는 DeepLog 라이브러리에서 기본 논리 트랙을 변경함으로써 의미 (예: 확률적 대 퍼지 트랙) 간에 전환할 수 있습니다.
3. GPU 가속 실행: 많은 시스템이 심볼릭 추론을 CPU 로 오프로딩하는 것과 달리, DeepLog 는 신경 및 심볼릭 구성 요소를 모두 GPU 에서 구현합니다. 효율적인 회로 평가를 위해 KLay 패키지를 활용하며, 결정성과 분해성 같은 구조적 속성을 강제하기 위해 특수 회로 백엔드 (예: 문장 결정 다이어그램) 를 사용합니다.

주요 기여
본 논문은 DeepLog 의 구현을 다음과 같은 구체적인 기여와 함께 제시합니다:

• 범용 백엔드: 신경심볼릭 "알파벳 수프" 내의 광범위한 시스템을 에뮬레이션할 수 있는 범용 백엔드 역할을 하여, 최소한의 코드로 다양한 접근 방식을 재구성할 수 있게 합니다.
• 즉시 사용 가능한 GPU 가속: 신경 및 심볼릭 구성 요소 모두에 대한 고성능 실행을 제공하여 하이브리드 시스템에서 흔히 발생하는 CPU-GPU 데이터 전송 병목 현상을 제거합니다.
• 모듈성: 자동 모듈 조합을 제공하여 취약한 접착 코드 없이 이질적 구성 요소로부터 복잡한 신경심볼릭 모델을 구축할 수 있게 합니다.
• 통합: 현대 ML 소프트웨어 (PyTorch) 와 원활하게 통합되어, 기존 워크플로우를 대체하지 않고도 기존 파이프라인에 심볼릭 추론을 선택적으로 통합할 수 있게 합니다.

결과
본 논문은 MNIST-Addition 작업에서 DeepLog 의 성능 우위를 보여주는 실증적 증거를 제공합니다. 비교 결과 (표 1) 는 GPU 가속이 적용된 DeepLog 가 CPU 기반 DeepLog 와 표준 DeepProbLog(DPL) 시스템 모두를 크게 능가함을 보여줍니다.

• 1 자리 숫자가 포함된 단일 쿼리의 경우, DeepLog GPU 는 $5.62 \times 10^{-7}$초의 추론 시간을 달성한 반면, DeepLog CPU 는 $1.09 \times 10^{-5}$초, DPL CPU 는 $6.14 \times 10^{-3}$초를 기록했습니다.
• 복잡도가 증가함에 따라 성능 격차는 더욱 벌어집니다; 4 자리 숫자의 경우 DeepLog GPU 는 $5.40 \times 10^{-2}$초를 유지하는 반면, DeepLog CPU 는 $1.96 \times 10^{-1}$초로 증가하고 DPL CPU 는 보고된 시간 범위 내에서 작업을 완료하지 못했습니다.

의의 및 주장
저자들은 DeepLog 가 친숙한 PyTorch 환경 내에서 논리를 조합 가능한 모듈로 취급함으로써 기계 학습 실무자의 진입 장벽을 낮추는 "범용 백엔드" 역할을 한다고 주장합니다. 동시에 신경심볼릭 개발자들에게 새로운 통합 전략을 프로토타이핑할 수 있는 공유된 고성능 기반을 제공합니다. 기존 접근 방식의 필수 구성 요소를 통합하고 새로운 설계를 위한 원시 기능을 제공함으로써, DeepLog 는 다양한 패러다임의 비교를 촉진하고 해당 분야의 누적적 진전을 가속화하는 것을 목표로 합니다. 이 프레임워크는 비간섭적으로 설계되어 경량 심볼릭 제약 조건의 통합과 통합 아키텍처 기반의 새로운 언어 및 추론 패러다임 개발을 모두 지원합니다.

미래 작업
저자들은 주로 더 공격적인 회로 수준의 최적화 자동화에 초점을 맞춘 향후 개발 방향을 몇 가지 식별했습니다. 현재 프레임워크는 여러 컴파일 전략을 지원하지만, 향후 작업은 수동 엔지니어링 노력을 줄이고 확장성을 개선하기 위해 구조 인식 재작성 및 집계와 추론의 융합과 같은 체계적인 최적화 기법을 포함하는 것을 목표로 합니다. 또한, 저자들은 현재 회로 기반 접근 방식을 넘어 샘플링과 같은 대체 추론 메커니즘을 탐구할 계획입니다.