Machine Learning as Iterated Belief Change a la Darwiche and Pearl

기술 요약: 다르위체와 펄의 방식에 따른 반복적 신념 변화로서의 머신러닝

문제 제기
본 논문은 머신러닝 역학과 형식적 신념 변화 이론 간의 이론적 간극을 해소한다. 저자들의 이전 연구 [2] 는 이진 인공신경망 (ANN) — 이진 입력과 출력을 갖는 순방향 네트워크 — 의 학습이 알초우르론, 가르덴포르스, 메킨슨 (AGM) 프레임워크를 사용하여 신념 집합의 전이 시퀀스로 모델링될 수 있음을 입증했으나, 해당 연구는 "풀-미트 (full-meet)" 신념 변화 연산에 의존했다. 현재 연구는 이 접근법의 결정적 한계를 규명한다: 풀-미트 수정은 "망각적"으로, 충돌 시 모든 이전 신념을 폐기하며, 풀-미트 수축은 너무 많은 정보를 제거하여 종종 가장 작은 가능한 이론을 생성한다. 더 나아가 풀-미트 연산은 반복적 신념 변화의 원칙, 특히 신념 상태가 업데이트 시퀀스를 통해 어떻게 진화해야 하는지를 규율하는 다르위체 - 펄 (DP) 프레임워크와 양립할 수 없다. 본 논문은 강건하고 DP 를 준수하는 연산자로 풀-미트 연산을 대체함으로써 점진적이고 구조화된 학습을 더 잘 반영하는 이진 ANN 학습 역학의 모델링을 정교화하고자 한다.

방법론
저자들은 신경 - 기호적 접근법을 채택하여 이진 ANN 의 입력 - 출력 행동을 명제 논리와 신념 집합에 매핑한다. 방법론은 다음과 같은 단계를 거친다:

1. 형식적 전제조건: 본 연구는 명제 언어 $\mathcal{L}$을 활용하며, ANN 지식을 신념 집합 (논리적 귀결에 대해 닫힌 이론) 으로 모델링한다. 학습 과정은 신념 집합 $K_1, \dots, K_n$의 궤적으로 간주되며, 각 집합은 특정 학습 단계에서 네트워크가 인코딩한 불 함수를 나타낸다.
2. 거리 척도와 점진적 전이: 본 논문은 신념 집합 간의 거리 척도 (A 형 및 B 형) 를 재검토한다. 새로운 구조적 조건 **(SD)**을 도입하는데, 이는 초기 신념 집합과 최종 목표 간의 불일치 집합 (B 형 거리) 이 임의의 중간 신념 집합과 목표 간의 불일치 집합의 초집합이어야 한다고 주장한다. 이 조건은 최종 학습 상태로의 위계적이고 포함 기반의 수렴을 포착한다.
3. 점진성을 위한 달랄 (Dalal) 의 방법: 저자들은 해밍 거리를 기반으로 가능한 세계들을 순서화하는 달랄의 신념 변화 방법이 자연스럽고 잘 정렬된 중간 신념 집합 시퀀스의 구성을 지원함을 입증한다.
4. DP 호환 연산자: 핵심 방법론적 전환은 풀-미트 연산을 **사전적 수정 (lexicographic revision)**과 **적당한 수축 (moderate contraction)**으로 대체하는 것이다. 이러한 연산자는 다르위체 - 펄 공리 (수정에 대한 DP1–DP4, 수축에 대한 DPC1–DPC4) 를 만족하여, 다중 반복에 걸쳐 합리성을 유지하는 방식으로 가능한 세계의 순서를 업데이트한다.
5. 이론적 모델링: 저자들은 이진 ANN 의 학습 궤적이 조건 (SD) 을 만족한다면, 임의의 신념 집합 $K_i$에서 $K_{i+1}$로의 전이가 사전적 수정 다음에 적당한 수축이 이루어지는 시퀀스로 형식적으로 표현될 수 있음을 증명한다: $K_{i+1} = (K_i * \phi_1^i) \cdot \phi_2^i$. 여기서 $\phi_1^i$와 $\phi_2^i$는 학습 데이터에서 유도된 명제 문장으로, 매개변수 업데이트의 인식적 대리인 역할을 한다.

주요 기여

• 점진성의 기초로서의 달랄의 방법: 본 논문은 달랄의 거리 기반 접근법이 구조화된 중간 신념 상태 시퀀스를 구성하기 위한 자연스러운 기초를 제공하며, 급격한 상태 변화보다 더 인지적으로 타당한 학습 모델을 제공함을 확립한다.
• ANN 역학 모델링의 정교화: 저자들은 이진 ANN 의 학습 역학이 풀-미트 연산보다는 사전적 수정과 적당한 수축을 사용하여 더 효과적으로 모델링될 수 있음을 입증한다. 이는 풀-미트 변화의 "망각적"이고 과도하게 파괴적인 성격을 해결한다.
• 반복적 신념 변화와의 호환성: 본 연구는 이진 ANN 학습이 다르위체 - 펄 프레임워크와 호환됨을 증명한다. 구조적 가정인 조건 (SD) 하에서 학습 궤적이 DP 를 준수하는 연산자로 완전히 포착될 수 있음을 보여준다.
• 학습 신호의 기호적 해석: 본 논문은 학습 업데이트를 논리 연산으로 해석하기 위한 형식적 메커니즘을 제공한다. 이는 한 네트워크 상태에서 다음 상태로 이동하는 데 필요한 수정 및 수축 단계에 대응하는 특정 명제 문장 ($\phi_1, \phi_2$) 을 구성하여, 경사 기반 업데이트를 기호적 신념 변화로 효과적으로 변환한다.

결과

• 이론적 증명 (정리 25): 핵심 결과는 조건 (SD) 을 만족하는 단일 출력 이진 ANN 학습 과정에 의해 생성된 임의의 신념 집합 시퀀스에 대해, 해당 신념 전이 시퀀스를 정확히 재현하는 DP 수정 함수와 DP 수축 함수 및 특정 입력 문장이 존재한다는 정리이다.
• 경험적 예시: 본 논문은 두 가지 예시적 사례를 제공한다:
  1. 3 개 입력에 대해 "최소 두 개" 논리 연산을 학습하는 이진 ANN. 학습 궤적은 정확도의 단조 증가와 후속 신념 집합 및 최종 목표 간의 B 형 거리에서 엄격한 부분집합 관계를 보여주어 조건 (SD) 을 만족했다.
  2. MNIST 데이터셋의 부분집합 (숫자 0 과 1 구분) 으로 학습된 이진 ANN. 실험 분석은 후속 출력과 관련된 신념 집합이 조건 (SD) 에 따라 진화했으며, 불일치가 중첩된 방식으로 축소됨을 확인했다.
• 풀-미트의 비호환성: 본 논문은 풀-미트 신념 변화가 DP 공리, 특히 (DP2) 를 위반함을 형식적으로 입증 (명제 17) 하여, 제안된 사전적 및 적당한 연산자로의 전환의 필요성을 확인한다.

의의
본 논문은 머신러닝 내 기호적 추론의 이론적 기초를 강화한다고 주장한다. 풀-미트에서 DP 를 준수하는 연산자로 이동함으로써, 본 연구는 이진 ANN 의 역학을 이해하기 위한 더 강건하고 원칙적인 프레임워크를 제공한다. 이는 신념 변화 정책의 선택이 단순히 논리적 합리성의 문제가 아니라 시스템의 학습 가능성과 수렴 특성에 영향을 미친다는 점을 시사한다. 본 작업은 신경 - 기호 AI 와 동적 인식 논리 간의 간극을 연결하며, 신경망 학습이 확립된 합리성 공리를 준수하는 반복적 신념 변화의 시퀀스로 엄밀하게 분석될 수 있음을 제안한다. 이러한 관점은 학습 데이터를 네트워크의 내부 지식 상태에 대한 구체적이고 구조화된 수정을 주도하는 논리적 입력으로 취급하여, 학습 역학에 대한 세밀한 기호적 분석을 위한 길을 연다.