🤖 AI

Neural Logic Networks for Interpretable Classification

이 논문은 의료 및 산업 분야를 중심으로 정형 데이터 분류를 위한 해석 가능한 논리 규칙을 발견하는 데 있어 최첨단 성능을 달단하기 위해, NOT 연산, 편향(bias), 그리고 새로운 인수 분해된 IF-THEN 규칙 구조를 결합한 향상된 신경 논리 네트워크 프레임워크를 소개한다.

원저자: Vincent Perreault, Katsumi Inoue, Richard Labib, Alain Hertz

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vincent Perreault, Katsumi Inoue, Richard Labib, Alain Hertz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 뛰어나지만 신비로운 탐정(전통적인 신경망)이 있다고 상상해 보십시오. 이 탐정은 놀라운 정확도로 범죄를 해결할 수 있습니다. 하지만 당신이 "어떻게 알아냈나요?"라고 물으면, 탐정은 그저 어깨를 으쓱하며 "그냥 알아요"라고 답할 뿐입니다. 보이지 않는 연결고리들이 엉킨 채로 뇌가 구성되어 있기 때문에 자신의 추론 과정을 설명할 수 없는 것입니다. 이는 결과를 얻는 데는 훌륭하지만, 의료나 법률처럼 왜 그런 결정이 내려졌는지 이유를 알아야 하는 분야에서는 신뢰하기에 매우 좋지 않습니다.

이 논문은 새로운 종류의 탐정인 **뉴럴 로직 네트워크(Neural Logic Network, NLN)**를 소개합니다. 이 탐정은 엉킨 실타래 대신, "만약 용의자가 현장에 있었고 AND 무기가 일치한다면, THEN 그들은 유죄이다"와 같이 명확하고 논리적인 문장으로 사고합니다.

다음은 이 새로운 시스템이 어떻게 작동하는지에 대한 논문의 주장을 바탕으로 한 간단한 분석입니다.

1. 핵심 아이디어: "IF-THEN" 규칙으로 사고하기

전통적인 AI는 블랙박스 안에서 숫자를 조정하며 학습합니다. 반면 NLN은 AND, OR, NOT 블록으로 구성된 구조를 구축하며 학습합니다.

비유: 전통적인 AI를 개별 과일을 구분할 수 없는 스무디라고 생각한다면, NLN은 사과, 바나나, 딸기가 각각 무엇인지, 그리고 그것들이 어떻게 섞여 있는지 명확히 볼 수 있는 과일 샐러드와 같습니다.
목표: 이 시스템은 데이터를 설명할 수 있는 단순한 규칙을 찾는 것을 목표로 합니다. 예를 들어, 틱택토 게임에서 모든 가능한 판의 모양을 암기하는 대신, "만약 X가 가로로 세 개 있거나 OR 세로로 세 개 있으면, THEN X가 승리한다"라는 규칙을 학습합니다.

2. "누락된 조각" 처리하기 (관측되지 않은 데이터)

현실 세계는 복잡합니다. 때로는 모든 정보를 가지고 있지 않을 수도 있습니다.

비유: 의사가 환자를 진단하는 상황을 상상해 보십시오. 의사는 증상(열, 기침)은 보지만 환자의 전체 병력(관측되지 않은 데이터)은 알지 못합니다. 일반적인 AI는 무작위로 추측할 수 있습니다.
NLN의 해결책: 저자들은 특별한 "편향(bias)" 파라미터를 추가했습니다. 이것을 누락된 정보에 대한 신뢰도 측정기라고 생각하십시오. 의사가 열은 감지했지만 병력을 모르는 경우, NLN은 누락된 병력이 진단을 뒷받침할 확률을 계산합니다. NLN은 모르는 척하지 않고, "정보가 부족하지만, 현재 보이는 것을 바탕으로 할 때 이것이 맞을 확률은 70%입니다"라고 인정합니다.

3. "공장" 구조 (입력에서 출력까지)

논문은 원시 데이터를 규칙으로 바꾸는 구체적인 공정 라인을 설명합니다.

원재료 (입력): 데이터는 숫자(온도 등)나 카테고리("빨강" 또는 "파랑" 등) 형태로 들어옵니다.
전처리 (과일 자르기): 연속적인 숫자(온도 등)는 퍼지(fuzzy) 구간(예: "매우 뜨거움", "적당히 뜨거움")으로 나뉩니다. 카테고리는 논리적인 버킷(bucket)으로 그룹화됩니다.
조립 라인 (규칙):
- AND 레이어: 이 레이어는 특정 조합을 찾습니다. "만약 뜨겁고 AND 건조하고 AND 바람이 불면."
- OR 레이어: 이 레이어는 그러한 조합들을 결합합니다. "만약 (뜨겁고 AND 건조하고 AND 바람이 불면) OR (차갑고 AND 습하면)."
결과: 출력은 시스템이 결정을 내린 방식을 설명하는 명확하고 읽기 쉬운 규칙 목록입니다.

4. 학습 및 정리

이 네트워크를 훈련시키는 것은 까다로운데, "AND"와 "OR" 블록이 때때로 학습을 멈출 수 있기 때문입니다(이를 "기울기 소실" 문제라고 합니다).

리셋 버튼: 저자들은 "규칙 리셋" 메커니즘을 만들었습니다. 만약 어떤 규칙이 도움이 되지 않는다면, 시스템은 그 규칙을 깨워 새로운 조합을 시도하며 유용한 것을 찾을 때까지 다시 시작합니다.
정리 팀 (후처리): 학습이 끝난 후에도 숫자는 여전히 지저분할 수 있습니다(예: 가중치 0.83). 시스템은 이후 이 숫자들을 단순한 0, 1, 또는 -1로 반올림합니다. 이는 퍼지한 확률을 명확한 "예", "아니오", 또는 "무시"로 바꿉니다. 마지막으로 쓸모없는 규칙들을 제거하여 필수적인 규칙들만 남깁니다.

5. 테스트 대상

저자들은 이 "탐정"을 몇 가지 실제 시나리오에서 테스트했습니다.

논리 퍼즐: 이 모델은 틱택토와 체스 엔드게임의 규칙을 완벽하게 학습했으며, 직접 알려주지 않아도 정확한 승리 전략을 발견했습니다.
의료 진단: 신장 질환 데이터셋에 대해, 이 모델은 인간 전문가의 논리와 일치하는 작은 규칙 세트(예: "만약 알부민이 0이 아니고 AND 헤모글로빈이 낮으면, THEN 신장 질환")를 찾아냈습니다.
산업 안전: 사이버 보안 데이터를 사용하여 네트워크 공격을 탐지하는 테스트를 진행했습니다. 이 모델은 공격을 식별하는 규칙을 찾아냈으나, 다른 방법들에 비해 드물게 발생하는 미지의 공격 유형은 놓치는 경우가 있었습니다.

6. 트레이드오프 (절충 관계)

논문은 다음과 같은 트레이드오프를 인정합니다.

장점: NLN은 믿을 수 없을 정도로 투명합니다. 학습된 규칙을 직접 읽을 수 있습니다. 또한 단순한 규칙 기반 문제(게임 등)에서 실제 밑바탕에 깔린 논리를 찾는 데 더 뛰어납니다.
단점: 데이터가 매우 복잡하고 단순한 논리를 따르지 않는 경우, "블랙박스" 모델보다 정확도가 떨어질 수 있습니다. 또한 규칙을 "정리"하는 데 시간이 오래 걸립니다.

요약

이 논문은 AI가 인간의 논리학자처럼 생각하도록 강제하는 새로운 도구를 제시합니다. 이 도구는 단순히 정답을 맞히는 것보다 왜 그런 결정을 내렸는지에 대한 설명과 신뢰가 더 중요한 상황을 위해, 순수한 연산 능력의 일부를 희생하여 설명 가능성을 얻었습니다. 이는 마치 마법의 '8번 구슬'을 사용하는 대신, 단서와 추론 과정을 메모장에 적어 내려가는 탐정을 고용하는 것과 같으며, 이를 통해 신뢰와 설명이 무엇보다 중요한 분야에 적합한 모델을 만들어냅니다.

기술 요약: 해석 가능한 분류를 위한 신경 논리 네트워크(Neural Logic Networks)

문제 정의
전통적인 신경망은 분류 작업에서 최첨단 성능을 달 수 있지만, 결정의 근거가 되는 논리적 메커니즘에 대한 통찰력을 거의 또는 전혀 제공하지 않는 "블랙박스"로 작동합니다. 이러한 설명 가능성의 결여는 결정이 투명하고 검증 가능하며 용납할 수 없는 편향으로부터 자유로워야 하는 의료, 금융, 법률과 같은 고위험 도메인에서 중요한 장벽이 됩니다. 신경-기호(neuro-symbolic) 방법론이 신경 학습과 기호 추론 사이의 간극을 메우고자 노력하고 있지만, 기존 방식들은 종종 해석 가능성이 떨어지거나, 광범위한 데이터 전처리를 요구하거나, 관찰되지 않은 데이터 및 부정(negated) 입력을 효율적으로 처리하지 못하는 문제를 겪습니다. 구체적으로, 기존의 신경 논리 네트워크(NLN) 및 규칙 기반 표현 학습기(RRL)는 엄격한 확률적 기초가 부족하고, 매개변수를 두 배로 늘리지 않고는 부정 입력을 자연스럽게 처리할 수 없으며, 학습된 규칙의 논리적 구조를 모호하게 만드는 근사치에 의존하는 경우가 많습니다.

방법론
저자들은 엄격한 확률 및 퍼지 논리 모델링 내에서 논리적 AND, OR, NOT 연산을 통합하는 일반화된 신경 논리 네트워크(NLN) 프레임워크를 제안합니다.

확률적 및 논리적 모델링: 이 방법의 핵심은 개념을 확률적 사건으로 모델링하는 것입니다. 저자들은 세 가지 독립성 가정에 기반하여 AND 및 OR 노드에 대한 다룰 수 있는 확률 공식(P-AND 및 P-OR 식)을 유도합니다: (1) 실현(realization) 내의 개념 존재 여부와 상위 계층에서의 일반적인 인과적 역할 사이의 독립성; (2) 계층 내 서로 다른 필요/충분 개념 사이의 독립성 ("전체적 개방성" 편향); (3) 입력에 따른 동일 계층 내 개념들의 조건부 독립성. 이 공식들은 곱 형태의 퍼지 논리 연산자와 동일함이 입증되었습니다.
일반화된 가중치 및 편향: 이전 연구들과 달리, 이 NLN은 $[-1, 1]$ 범위의 가중치를 도입합니다. 양수 가중치는 개념의 포함을 나타내고, 음수 가중치는 그 반대 개념(부정)의 포함을 나타내어, 단일 매개변수로 두 경우를 모두 모델링할 수 있습니다. 또한, 이 모델은 관찰되지 않거나 누락된 데이터를 처리하기 위해 편향 매개변수( $a_i$ 는 AND용, $o_i$ 는 OR용)를 도입하여, 필요 또는 충분 조건이 관찰되지 않은 요인들에 의해 충족될 확률을 추정합니다.
해석 가능한 아키텍처: 네트워크는 두 개의 완전 연결 계층(AND 개념을 허용하는 은닉 계층과 OR 개념을 가진 출력 계층)으로 구성된 논리곱 표준형(DNF) 구조로 제한됩니다. 비이진(non-binary) 입력을 처리하기 위해, 프레임워크는 다음과 같은 특정 전처리 모듈을 사용합니다:
- 범주형 특성: 값의 동치 클래스를 나타내는 OR 개념으로 매핑됩니다.
- 연속형 특성: 경계와 선명도를 학습하는 "퍼지 이분법(fuzzy dichotomies)"(시그모이드 함수)으로 매핑되어, 퍼지 구간의 집합을 형성합니다.
학습 알고리즘: 학습 과정은 L2 손실과 함께 경사 하강법(ADAM)을 사용하며, 비어 있지 않은 정의와 희소성(L1 페널티)을 장려하는 특정 규제 기법을 적용합니다. 심층 논리 네트워크에서 흔히 발생하는 기울기 소실 문제를 해결하기 위해, 저자들은 매 에포크마다 "죽은" 규칙 모듈(편향이나 출력 가중치가 0인 모듈)을 재초기화하는 규칙 리셋 메커니즘을 도입합니다.
후처리: 학습 후, 모델은 해석 가능성을 극대화하기 위해 다단계 후처리 파이프라인을 거칩니다:
1. 가중치 이산화: 그리디(greedy) 알고리즘을 사용하여 가중치를 $\{-1, 0, 1\}$ 로 이산화함으로써 명확한 논리 규칙을 생성합니다.
2. 재학습: 고정된 이산 가중치와 함께 연속 매개변수(경계 및 편향)를 재학습합니다.
3. *가지치기(Pruning): 불필요한 가중치와 규칙을 제거합니다.
4. 편향 조정: 최종 편향은 규칙이 활성화되지 않을 때의 타겟 클래스 확률을 반영하도록 데이터 커버리지 분석을 바탕으로 통계적으로 조정됩니다.

주요 기여

이론적 형식화: 본 논문은 NLN을 위한 최초의 엄격한 논리적 및 확률적 유도를 제시하며, 관찰되지 않은 데이터의 영향을 명시적으로 모델링하고 부정을 처리하기 위해 가중치를 일반화하여 단일 매개변수를 사용합니다.
인수 분해된 구조: 인수 분해된 IF-THEN 규칙 모듈과 이진, 범주형, 연속형 특성을 위한 특화된 입력 전처리를 사용하는 참신한 아키텍처를 사용합니다.
강화된 학습 알고리즘: 기울기 소실 문제를 극복하기 위한 규칙 리셋 체계와 학습 후 단순화 프로세스를 특징으로 하는 수정된 학습 절차를 제공합니다.
누락된 데이터 처리: 누락된 범주나 연속 구간에 대한 확률을 학습함으로써 인위적인 임퓨테이션(imputation) 없이 누락된 값을 처리하는 자연스러운 확장 기능을 제공합니다.

실험 결과
본 방법은 두 가지 주요 작업인 불리언 네트워크 발견(Boolean network discovery)과 해석 가능한 테이블 분류(interpretable tabular classification)에 대해 평가되었습니다.

불리언 네트워크 발견: 합성 데이터셋에서 NLN은 데이터의 16%만으로 97% 이상의 예측 정확도를 달성하였고, 40%의 데이터로는 완벽한 정확도를 달성하며 실제 정답 규칙을 정확히 식별했습니다.
테이블 분류: 8개의 UCI 데이터셋(의료, 산업 및 Tic-Tac-Toe, Chess와 같은 논리 기반 데이터셋 포함)에 대해 평가되었습니다.
- 성능: NLN은 경쟁력 있는 F1 점수를 달성하였으며, 밑바닥에 논리 프로그램이 있는 데이터셋(예: Tic-Tac-Toe, Chess)에서는 RRL 및 최적 결정 다이어그램(ODD)과 대등하거나 이를 능가하는 성능을 보였습니다. 명확한 논리 프로그램이 없는 데이터셋(예: Adult, Balance)에서는 선형 출력 계층을 사용하는 RRL보다 일반적으로 낮은 성능을 보였으나 ODD와는 대등했습니다.
- 해석 가능성: NLN은 RRL에 비해 해석 가능성 측면에서 성능이 크게 뛰어났습니다. 예를 들어, Tic-Tac-Toe 데이터셋에서 NLN은 8개의 규칙을 사용하여 정확한 8개의 정답 규칙을 발견한 반면, RRL은 유사한 정확도를 얻기 위해 300개 이상의 규칙이 필요했습니다. 신장 질환(Kidney disease) 데이터셋의 경우, NLN은 사례의 98.99%를 커버하는 4개의 압축된 규칙 세트를 식별했으나, RRL은 분산된 표현을 가진 13개의 규칙이 필요했습니다.
- 응용 분야: 저자들은 신장 질상 데이터셋에 대해 여러 교차 검증 모델을 하나의 단순화된 모델로 병합하는 것과, 이진 분류 모델에서 다중 클래스 이상 탐지 작업(NSL-KDD)으로 규칙을 전이하는 것을 시연하여 프레임워크의 적응성을 보여주었습니다.

의의 및 주장
본 논문은 NLN이 출력이 논리 프로그램으로 설명될 수 있는 상황에서 강력한 도구가 될 수 있으며, 특정 도메인에서 블랙박스 모델의 성능에 필적하는 희소하고 해석 가능한 규칙을 성공적으로 학습할 수 있다고 주장합니다. 저자들은 자신의 방법이 불리언 네트워크 발견 분야의 최신 기술을 개선하고, 투명성이 필수적인 의료 및 산업 응용 분야에서 실질적인 가치를 제공한다고 강조합니다.

그러나 저자들은 방법론의 한계에 대해서는 겸허한 태도를 취합니다. 이들은 밑바닥에 정답 논리 프로그램이 존재하지 않을 경우 학습 전략이 어려움을 겪어, 선형 출력 계층을 사용하는 방법(RRL 등)이나 트리 기반 방법보다 일반적으로 낮은 예측 성능을 보이는 경우가 있음을 인정합니다. 가중치 이산화 단계는 계산 비용이 많이 드는 것으로 언급되었으며, 기울기 소실 문제는 완화되었음에도 여전히 과제로 남아 있습니다. 저자들은 향-후 연구에서 학습 특성을 개선하기 위해 근사 형식(RRL 등)을 탐구하고, 이미지 분류 및 다단계 추론과 같은 더 복-잡한 작업을 위해 컨볼루션, 순환 및 그래프 기반 NLN으로의 확장을 조사할 것을 제안합니다.

논문은 투명성이 목표이지만, 훈련 데이터에 존재하는 차별적 편향(예: Adult 데이터셋)을 드러낼 위험도 있다는 광범위한 영향에 대한 진술로 마무리됩니다. 저자들은 이러한 투명성이 도메인 전문가에 의한 규칙 감사를 가능하게 하여, 스푸리어스 상관관계(spurious correlations)에 기반한 정책 배포를 방지할 수 있다고 주장합니다.