🤖 machine learning

From Hybrid Mechanistic--Data-Driven Modeling Toward Neuro-Symbolic AI: What, Why, and How

이 논문은 기존의 설계를 통일된 의미론적 인터페이스로 재구성하는 "Hybrid-to-NeSy" (H2N) 프레임워크를 도입함으로써 하이브리드 기계론적-데이터 구동형 모델링과 뉴로-심볼릭 AI를 결합하며, 이를 통해 모델 검증 및 외삽 성능을 향상시키기 위해 인식론적 불확실성과 구조적 준수성을 명시적으로 정량화하는 새로운 지표(구조적 위반율 및 신념 분산)의 도출을 가능하게 한다.

원저자: Moein E. Samadi, Andreas Schuppert

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Moein E. Samadi, Andreas Schuppert

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

탐정과 수정구슬

당신이 날씨를 예측하려고 한다고 상상해 보세요. 당신에게는 두 가지 방법이 있습니다. 첫 번째는 "올드 스쿨(Old School)" 방식입니다. 당신은 물리학 법칙을 알고 있습니다. 뜨거운 공기는 위로 올라가고, 수분이 식으면 구름이 형성된다는 것을 알고 있죠. 이것은 마치 **기계론적 모델(mechanistic model)**과 같습니다. 이 모델은 중력처럼 항상 참인 규칙 위에 구축됩니다. 두 번째 방식은 "뉴 스쿨(New School)" 방식입니다. 과거의 날씨 사진을 거대하게 쌓아두고, 초지능 컴퓨터를 사용하여 패턴을 바탕으로 다음에 어떤 일이 일어날지 추측하는 것입니다. 이것은 **데이터 기반 모델(data-driven model)**입니다. 패턴을 포착하는 데는 뛰어나지만, 왜 비가 내리는지에 대한 "이유"를 진정으로 이해하지는 못합니다.

오랫동안 과학자들은 이 두 가지 접근 방식을 하나의 **하이브리드 모델(hybrid model)**로 결합하려고 노력해 왔습니다. 이것을 규칙(게임의 법칙)을 아는 탐정이 수정구슬(데이터)을 사용하여 빠진 조각들을 채우는 것으로 생각할 수 있습니다. 이는 공학 및 과학 분야에서 매우 유용하며, 우리로 하여금 스마트하면서도 신뢰할 수 있는 시스템을 구축하게 해줍니다. 하지만 여기에 문제가 있습니다. 규칙 책과 수정구슬을 섞으면, 어느 부분이 실제로 일을 하고 있는지 구분하기가 어려워집니다. 만약 예측이 틀렸다면, 그것은 규칙이 너무 엄격했기 때문일까요? 아니면 수정구슬이 운이 나빴던 것일까요? 우리는 규칙이 얼마나 준수되고 있는지, 그리고 추측이 얼마나 흔들리고 있는지를 측정할 방법이 필요합니다.

논문의 핵심 아이디어: 미스터리의 번역

"하이브리드 기계론적-데이터 기반 모델링으로부터 신경-기호적 AI로(From Hybrid Mechanistic–Data-Driven Modeling Toward Neuro-Symbolic AI)"라는 제목의 이 논문은 이러한 하이브리드 모델을 바라보는 영리한 새로운 방법을 제안합니다. 저자인 모인 E. 사마디(Moein E. Samadi)와 안드레아스 슈퍼트(Andreas Schuppert)는 우리가 이러한 하이브리드 모델을 단순한 컴퓨터 코드로 보는 것을 멈추고, 이를 신경-기호적(Neuro-Symbolic, NeSy) 시스템으로 취급할 것을 제안합니다.

이를 이해하기 위해 법정을 상상해 보세요.

논리 측면 (판사): 이는 물리 법칙이나 기계의 구조와 같이 우주의 확고한 규칙을 나타냅니다. 판사는 무엇이 '허용 가능한지(admissible)'와 무엇이 위반인지를 결정합니다.
믿음 측면 (배심원): 이는 데이터 기반 부분을 나타냅니다. 배심원은 증거를 살펴보고 무엇이 '그럴듯한지(plausible)' 또는 일어날 가능성이 높은지를 결정합니다.

이 논문은 모든 하이브리드 모델이 이 "법정" 설정으로 번역될 수 있다고 주장합니다. 그들은 이 번역 과정을 **H2N (Hybrid-to-NeSy)**라고 부릅니다. 이 새로운 관점에서 고정된 방정식은 판사의 법이며, 학습된 컴퓨터 부분은 배심원의 믿음입니다. 이러한 분리는 우리가 이전에는 답하기 어려웠던 두 가지 구체적인 질문을 던질 수 있게 해주기에 강력합니다.

배심원이 판사의 규칙을 어겼는가? (이는 **구조적 위반율(Structural Violation Rate)**이라고 불리는 것으로 측정됩니다.)
배심원이 혼란스러워하고 있는가? (이는 **믿음 분산(Belief Dispersion)**으로 측정됩니다.)

그들이 발견한 것: 수정구슬의 확신

저자들은 이 아이디어를 이진 분류(기본적으로 "스팸"인지 "스팸 아님"인지와 같이 사물을 두 개의 바구니로 분류하는 것)에 사용되는 특정 유형의 하이브리드 모델에 대해 테스트했습니다. 이때 학습 데이터에는 일부 "노이즈(label noise, 레이블 오류)"가 포함되었습니다. 그들은 단순히 추측한 것이 아니라, 모델이 어떻게 행동하는지 보기 위해 50개의 서로 다른 "시드(seed, 시작점)"를 사용하여 시뮬레이션을 실행했습니다.

그들이 발견한 내용은 다음과 같습니다.

1. "혼란" 측정기가 작동한다
그들은 배심원의 믿음이 얼마나 "흩어져 있는지"와 모델의 정확도가 얼마나 예측 불가능해지는지 사이의 강한 연결 고리를 발견했습니다. 그들은 이 흩어짐을 **믿음 분산(Belief Dispersion, BD)**이라고 불렀습니다.

모델이 매우 확신할 때(낮은 BD), 정확도는 안정적이고 높았습니다.
모델이 혼란스러울 때(높은 BD), 정확도는 매우 들쑥날쑥해졌습니다.
시뮬레이션 결과, 학습 데이터의 노이즈가 증가함에 따라 믿음 분산은 0에서 거의 4까지 상승했습니다. 동시에, 테스트 정확도의 표준 편차(즉, "흔들림")는 0에서 약 0.073까지 증가했습니다.
결정적으로, 이 "흔들림"은 모델이 테스트 데이터를 보기도 전에 예측할 수 있었습니다. 논문은 믿음 분산을 살펴봄으로써 모델의 정확도가 얼마나 불안정한지 알 수 있다고 제안합니다. 반면 전통적인 방식은 모델이 실패한 후에야 그 사실을 알려줍니다.

2. "규칙 위반" 측정기
그들은 또한 모델이 확고한 규칙을 무시하고 있는지 확인하는 **구조적 위반율(Structural Violation Rate, SVR)**을 측정했습니다.

실험 결과, 모델이 허용된 실수 "예산"(오차 허용 범위 $\kappa = \lfloor 0.5 S \rfloor$ , 여기서 $S$ 는 샘플 수) 내에 머무는 한, SVR은 0.000 근처를 유지했습니다.
노이즈가 극도로 높아졌을 때(레이블 노이즈 45%)에 이르러서야 SVR이 0.428로 급증했으며, 이는 모델이 규칙을 자주 어기고 있음을 의미했습니다.
이는 "혼란(BD)"이 너무 높지 않은 한, 모델이 물리 법칙을 어기지 않고도 많은 양의 노이즈를 처리할 수 있음을 보여줍니다.

3. 미래를 보는 법 (외삽, Extrapolation)
가장 흥ert한 발견은 "외삽(extrapolation)", 즉 모델이 본 적 없는 것을 예측하는 것에 관한 것이었습니다.

그들은 학습 중에 데이터의 특정 부분을 모델로부터 숨겼습니다(예: 표의 특정 행을 숨김).
그들은 믿음 분산이 모델이 본 부분( $BD_{seen}$ )과 보지 못한 부분( $BD_{unseen}$ )의 두 부분으로 나뉠 수 있다는 것을 발견했습니다.
$BD_{unseen}$ 부분은 모델이 새로운 것을 예측하기도 전에, 단지 어떤 행이 누락되었는지를 보는 것만으로 즉시 계산될 수 있습니다.
테스트에서 4개의 행을 숨겼을 때, $BD_{unseen}$ 은 0.68로 급증했고, 그 새로운 미지의 행들에 대한 정확도는 0.56으로 무너졌습니다. 전통적인 "테스트 정확도" 지표는 이 실패를 사후에만 보여주었지만, BD 지표는 사전에 경고를 보냈습니다.

이것이 왜 중요한가

이 논문은 인공지능의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 하이브리드 모델을 설명하는 새로운 "렌즈" 또는 새로운 언어를 제공합니다. 이러한 복잡한 공학적 설계를 "판사와 배심원" 프레임워크로 번역함으로써, 과학자들은 마침내 인식적 불확정성(epistemic uncertainty)—즉, "모델이 자신의 규칙에 대해 얼마나 모르는가"라는 개념을 측정할 수 있게 되었습니다.

저자들은 이 접근 방식이 "논리"(변하지 않는 규칙)와 "믿음"(데이터 기반의 추측)을 분리할 수 있게 해준다고 제안합니다. 이는 모델이 실패했을 때, 그것이 규칙이 너무 엄격했기 때문인지 아니면 모델이 그저 무모하게 추측하고 있기 때문인지를 구분할 수 있음을 의미합니다. 이는 블랙박스를 투명한 시스템으로 바꾸어, 우리가 어디에 불확실성이 존재하는지 정확히 볼 수 있게 함으로써 엔지니어들이 현실 세계에서 더 안전하고 신뢰할 수 있는 AI 시스템을 구축하도록 돕습니다.

기술 요약: 하이브리드 기계론적-데이터 기반 모델링에서 뉴로-심볼릭 AI로의 전환

1. 문제 정의

하이브리드 기계론적-데이터 기반 모델(또는 세미 파라메트릭 또는 그레이 박스 모델로 알려짐)은 부분적으로 이해된 시스템을 다루기 위해 공정 공학 및 과학적 머신러닝 분야에서 점점 더 많이 활용되고 있다. 이러한 모델들은 고정된 제1원리(예: 질량 수지, 화학 양론)를 내장하는 동시에, 데이터로부터 미지의 구성 요소(예: 구성 폐쇄, 관찰되지 않은 속도)를 학습한다.

이러한 유용성에도 불구하고, 현재의 하이브리드 모델링 관행은 두 가지 주요 한계에 직면해 있다:

공유된 의미론적 인터페이스의 부재: 설계가 주로 아키텍처와 훈련 손실(loss)을 통해 명시된다. 이러한 아키텍처 중심의 접근 방식은 하이브리드 모델이 추론 객체로서 무엇을 나타내는지에 대한 통일된 의미론적 설명을 결여하고 있기 때문에, 도메인 간 비교와 검증을 저해한다.
불충분한 불확실성 표현: 기계론적 부분 내에서 에피스테믹 불확실성(epistemic uncertainty)을 구체적으로 표현하거나 전파할 수 있는 원칙적인 방법이 부족하다. 표준 지표인 테스트 정확도는 사후적으로 성능 변화만을 드러낼 뿐, 배포 전 외삽(extrapolation)이나 구조적 분포 변화(structural distribution shifts) 시 발생하는 불확실성을 정량화하지 못한다.

본 논문은 이러한 문제들이 하이브리드 모델 내에서 "로직(logic, 구조적 제약)"과 "신념(belief, 학습된 개연성)" 사이의 공식적인 분리가 결여되어 있기 때문에 발생한다고 주장한다.

2. 방법론: 하이브리드-투-뉴로-심볼릭(H2N) 변환

저자들은 하이브리드 기계론적-데이터 기반 모델을 De Smet과 De Raedt의 일반적 정의를 따르는 뉴로-심볼릭(NeSy) AI의 인스턴스로 재구성하는 체계적인 변환 절차인 **Hybrid-to-NeSy (H2N)**를 제안한다.

2.1 NeSy 프레임워크

NeSy 모델은 튜플 $(L, \mu, \Omega, b_\theta)$ 로 정의된다:

$L$ : 해석 공간 $\Omega$ 에 대한 의미론 $\mu$ 를 가진 언어.
$b_\theta$ : 신념 가중치 함수.
추론 범함수(Inference Functional): 로직 함수 $l$ (쿼리 평가)과 신념 $b_\theta$ 를 결합하여 $F_{\theta,x}(\phi) = \int_{\Omega'} l(\phi, \omega) b_{\theta,x}(\omega) dm(\omega)$ 로 정의된다.

2.2 변환 원칙

H2N 절차는 다섯 가지 원칙에 따라 하이브리드 설계를 NeSy 튜플로 매핑한다:

언어로서의 기계론적 구조 ( $L$ ): 구조적 핵심 방정식(예: 보존 법칙)과 구성 패턴이 언어와 그 의미론을 정의한다.
운영 의미론 ( $\mu, l$ ): 로직 함수 $l$ 은 허용 가능성(admissibility) 또는 점수 산정(scoring)을 구현하며, 무엇이 구조적으로 유효한지를 결정한다.
학습된 모듈로서의 신념 ( $b_\theta$ ): 학습된 구성 요소는 미지의 양(파라미터, 폐쇄, 잠재 상태)에 대한 신념 함수를 유도한다. 결정론적 학습기는 디락(Dirac) 신념에 해당하며, 확률적 학습기는 비퇴화 분포(non-degenerate distributions)에 해당한다.
유효 영역으로서의 로직: 하드 제약 조건과 유효 영역은 신념 측면이 아닌 로직 측면에 배치된다(적분 영역 $\Omega'$ 을 제한하거나 $l$ 을 통해 제한). 이는 물리 법칙이 샘플 크기에 의존하지 않아야 하므로, 데이터와 독립적인 허용 가능성을 보장하기 위함이다.
아키텍처 팩터리제이션(Factorization): 직렬, 병렬, 전문가 혼합(mixture-of-experts) 패턴은 $l$ 및/또는 $b_{\theta,x}$ 의 팩터리제이션으로 미러링된다.

이 변환은 모든 하이브리드 설계에 대해 명시적인 추론 범함수를 제공하며, 구조적 허용 가능성(로직 측면)과 학습된 개연성(신념 측면)을 분리한다.

3. 주요 기여

본 논문은 네 가지 구체적인 기여를 한다:

원칙적인 변환 절차: 임의의 하이브리드 모델 설명을 명시적인 추론 범함수를 가진 NeSy 튜플 $(L, \mu, \Omega, b_\theta)$ 로 매핑하는 방법.
매핑 테이블: 전형적인 하이브리드 설계 패턴(예: 직렬 폐쇄, 병렬 잔차, 전문가 혼합)을 NeSy 요소 및 추론 범함수에 미치는 구체적인 영향으로 매핑하는 압축된 참조 표(Table 1).
두 가지 지표를 포함한 평가 프로토콜: 로직-신념 분해에 기반한 두 가지 지표의 도출:
- 구조적 위반율 (Structural Violation Rate, SVR): 구조적 제약을 위반하는 해석에 떨어지는 신념 질량(belief mass)을 측정한다. 이는 로직 측면에 존재하며 허용 오차(tolerance)에 의존한다.
- 신념 분산 (Belief Dispersion, BD): 학습된 신념의 집중도(에피스테믹 불확실성)를 측정한다. 이는 신념 측면에 존재하며 허용 오차와 무관하며, 디락 신념의 경우 0이다.
경험적 실증: 레이블 노이즈가 있는 이진 분류 하에서의 구조화된 하이브리드 모델에 H2N을 적용하여, 이 지표들이 테스트 정확도만으로는 드러낼 수 없는 불확실성을 어떻게 정량화하는지 입증한다.

4. 결과: 노이즈가 있는 이진 분류 사례 연구

저자들은 기계론적 부분이 특징 그룹화를 정의하고 학습된 부분이 모듈 진리표를 식별하는(NoiseCut 전략 사용) 구조화된 불리언 네트워크에 H2N을 실증하였다.

4.1 기계론적 부분의 불확실성 정량화

정확도와의 상관관계: 레이블 노이즈가 증가함에 따라 테스트 정확도는 감소하는 반면, 신념 분산(BD)은 증가했다. BD와 테스트 정확도는 강한 역상관 관계( $\rho = -0.94$ )를 보였다.
예측 가변성: 결정적으로, 본 연구는 BD가 테스트 정확도의 가변성을 예측한다는 것을 발견했다. BD가 높은 모델은 테스트 정확도의 시드 간(seed-to-seed) 표준 편차가 더 크게 나타났다.
사전 추정: BD는 훈련 레이블 수와 기계론적 구조의 함수이기 때문에, 배포 시점에 모델의 불확실성에 대한 사전(a priori) 추정치를 제공한다. 반면 테스트 정확도는 레이블된 테스트 데이터를 수집한 후에만 이를 보고할 수 있다.

4.2 외삽 중의 불확실성 정량화

분해: 구조적 분포 변화(두 번째 레이어의 특정 행을 제외함) 하에서, BD는 정확히 $BD = BD_{seen} + BD_{unseen}$ 으로 분해된다.
조기 경고: $BD_{unseen}$ 은 OOD(분포 외) 샘플이 관찰되기 전에도 행 커버리지(row coverage)만으로 계산 가능하다. 실험에서 제외된 행의 수가 증가함에 따라 $BD_{unseen}$ 은 단조 증가한 반면, 인-디스트리뷰션(in-distribution) 정확도는 높게 유지되었고 OOD 정확도는 급락했다.
의의: 이는 H2N이 실패가 발생하기 전, 즉 구조적 분포 변화와 외삽 위험에 대한 모델의 에피스테믹 상태를 정량화할 수 있음을 보여준다. 이는 기존의 아키텍처 및 손실 설명에는 없는 능력이다.

5. 의의 및 주장

본 논문은 H2N 변환이 하이브리드 모델링을 위한 공유된 의미론적 인터페이스를 제공하여, 도메인을 넘나드는 체계적인 비교와 검증을 가능하게 한다고 주장한다.

로직과 신념의 분리: 구조적 허용 가능성(로직)과 학습된 개연성(신념)을 엄격히 분리함으로써, 어떤 가정이 하드 제약 조건이고 어떤 것이 데이터 의존적인지를 명확히 한다. 이를 통해 타겟팅된 개입이 가능하다: 즉, 체제 변화(regime changes)에는 $l$ 을 수정하고, 불확실성에는 $b_\theta$ 를 수정한다.
새로운 진단 능력: SVR과 BD는 전통적인 아키텍처 설명에서는 정의되지 않는 진단 도구를 제공한다. 특히, BD는 기계론적 구성 요소의 에피스테믹 불확실성에 대한 대리 지표 역할을 하여, 배포 전 구조적 분포 변화와 외삽 위험을 탐지할 수 있게 한다.
양방향 이익: 이 연구는 두 분야를 연결한다. 하이브리드 모델러에게는 엄격한 의미론적 인터페이스를 제공하고, NeSy 연구자에게는 엔지니어링 관행에서 유래한 구조화된 불확실성 설계(예: 유효 범위, 잔차 체크)의 사전 처리된 카탈로그를 제공한다.

저자들은 변환이 유일하지는 않지만(비록 원칙 P1–P5가 정형화된 배치를 고정하지만), 대규모 또는 연속적인 공간에 대한 진단은 근사 추론에 의존하며 그 과정에서 캘리브레이션 오류를 상속받을 수 있다는 점을 언급하며 한계에 대해 겸허한 태도를 유지하고 있다.