How Complexity Contributes to Learning Opacity in Machine Learning

기술 요약: 복잡성이 머신러닝의 학습 불투명성에 기여하는 방식

문제 제기
머신러닝(ML), 특히 신경망(NN)은 "불투명성"을 특징으로 한다. 많은 관심이 예측 불투명성(특정 예측이 왜 이루어졌는지 이해하지 못하는 것)에 집중되어 왔으나, 학습 불투명성은 여전히 미개척 분야로 남아 있다. 본 논문에서 정의하는 학습 불투명성이란, 훈련 과정 중 신경망의 가중치 진화(weight evolution)라는 역동적 현상에 대한 이해의 결여를 의미한다. 연구자들이 학습 알고리즘, 소스 코드, 훈련 데이터에 대한 완전한 접근 권한을 가지고 있음에도 불구하고, 특정 가중치 구성이 어떻게 유도되는지, 혹은 왜 특정 학습 현상(예: 양의 과적합(benign overfitting), 그로킹(grokking), 포화(saturation))이 발생하는지를 설명하지 못하는 경우가 많다. 본 논문은 이러한 불투명성이 단순히 접근성의 제한이나 인지적 한계 때문이 아니라, 학습 과정 자체의 내재적 속성에서 기인한다고 주장한다.

방법론 및 개념적 프레임워크
저자들은 자연과학의 복잡 역학계(complex dynamical systems) 관점을 빌려 개념적 분석을 수행한다. 저자들은 신경망 학습이 본질적으로 복로 시스템이며, 학습 불투명성은 최적화 과정에 내재된 역동적 복잡성으로부터 발생한다고 주장한다.

방법론은 다음과 같다:

1. 신경망 학습을 역학계로 매핑: 저자들은 신경망의 가중치 값을 미시 상태(micro-states)로, 학습 알고리즘(예: 경사 하강법)을 시간 진화의 법칙으로, 훈련 데이터를 외부 맥락으로 대응시키는 유추를 설정한다.
2. 세 가지 핵심 속성 식별: 복잡성 과학을 바탕으로, 저자들은 자연과학에서의 이해를 제한하는 세 가지 특징적인 역동적 특성을 추출하고, 이것이 신경망 훈련에 존재하는지 조사한다:
   • 초기 조건에 대한 민감한 의존성 (Sensitive Dependence on Initial Conditions, SI).
   • 피드백 (Feedback, F).
   • 맥락 민감성 (Context Sensitivity, CS).
3. 인식론적 분석: 각 속성에 대해, 저자들은 자연과학에서 이러한 속성이 어떻게 이해를 제한하는지(주로 역동적 모델링을 통해) 분석하고, 이를 머신러닝 연구자가 직면하는 구체적인 인식론적 과제와 비교한다.

주요 기여 및 결과

1. 초기 조건에 대한 민감한 의존성 (SI)

• 자연과학 맥락: 복잡계에서 SI(종종 비선형성과 연관됨)는 초기 상태의 작은 변화가 극적으로 다른 결과를 초생한다는 것을 의미한다. 이는 적절한 결정론적 표현의 구축을 방해하며, 통계적 추론과 경험적 관찰에 의존하게 만들어 불확실성을 유발한다.
• 신경망 학습 적용: 신경망 훈련은 가중치 초기화 전략과 관련하여 SI를 보인다. 가중치를 초기화하는 확률 분포의 파라미터(예: 가우시안 분포의 분산)에 가해진 미세한 변화는 수렴 속도, 일반화 성능의 큰 차이를 만들거나 심지어 네트워크의 수렴 실패를 초래할 수 있다.
• 불투명성에 대한 기여: 자연과학에서 SI가 경험적 연구로의 전환을 강요하는 것과 달리, 머신러닝 연구자는 이미 시스템에 대한 완전한 접근권을 가지고 있다. 그러나 SI는 **실용적 이해(pragmatic understanding)**를 제한한다. 연구자들은 특정 초기화 전략의 결과를 훈련 전에 질적으로 예측할 수 없다. 결과적으로, "올바른" 초기화를 선택하는 것은 원칙적인 지침보다는 추측에 의존하게 되며, 이는 학습 궤적을 제어하거나 예측하는 능력을 저해한다.

2. 피드백 (F)

• 자연과학 맥락: 피드백은 시스템 전체의 속성이 미시적 역학을 제약하고, 다시 이 미시적 역학이 시스템 전체의 속성에 영향을 미치는 상호 의존성을 포함한다. 이는 인과적 순서를 모호하게 만들며, 미시 상태에 대한 해석적 시간 진화 함수의 도출을 방해하여 컴퓨터 시뮬레이션의 사용을 필연적으로 만든다. 이러한 시뮬레이션은 인간 행위자가 모든 계산 단계를 추적할 수 없게 함으로써 "인식론적 불투명성"을 유발한다.
• 신경망 학습 적용: 경사 기반 최적화에서는 미시적 가중치 업데이트와 시스템 전체의 손실 기울기(loss gradient) 사이에 피드백 루프가 존재한다. 개별 가중치의 업데이트는 기울기에 의존하는데, 이 기울기는 전체 네트워크의 현재 가중치 구성에 기반하여 계산된다. 반대로, 개별 가중치를 변경하면 전역 기울기가 변한다.
• 불투명성에 대한 기여: 이러한 피드백은 미세한 가중 역학에 대한 다루기 쉬운 이론적 표현을 불가능하게 만든다. 해석적 해를 도출하는 것이 종종 불가능하기 때문에, 머신러닝 연구는 경험적 접근과 통계적 추론에 크게 의존한다. 본 논문은 여기서 발생하는 불투명성이 시뮬레이션 자체의 불투명성이 아니라, 이러한 귀납적 관점의 인식론적 과제(예: 실험적 편향, 모호한 개념, 통계적 검정의 이론적 가정을 충족하기 어려운 점 등)에서 비롯된다고 주장한다. 이는 재현성 문제와 최적화 과정에 대한 깊은 이론적 통찰의 부족으로 이어진다.

3. 맥락 민감성 (CS)

• 자연과학 맥락: CS는 외부 환경 조건에 대한 시스템의 의존성을 의미한다. 고도로 맥락 민감적인 시스템(예: 생물학)에서는 일반화가 덜 안정적이며, 이는 과학적 설명의 통합(unification) 정도를 낮춘다. 설명에는 다양한 맥락에 따른 더 구체적인 논증 패턴이 필요하게 되어, 광범위한 일반화의 힘을 약화시킨다.
• 신경망 학습 적용: 신경망 학습 역학은 훈련 데이터 분포와 데이터가 제시되는 순서(예: 커리큘럼 학습)에 민감하다. 데이터 순서나 분포의 작은 변화는 수렴 속도와 일반화 성능을 바꿀 수 있다.
• 불투명성에 대한 기여: CS는 데이터 변동의 질적인 효과를 예측하기 어렵게 만듦으로써 실용적 이해에 영향을 미친다(예: 적대적 훈련에서, 미세한 섭동이 학습 결과에 급격한 변화를 줄 수 있음). 통합과 관련하여, 본 논문은 CS가 신경망 학습 설명의 통합 정도를 낮출 가능성이 높다고 언급하지만, 서로 다른 훈련 데이터 분포에 걸쳐 설명 체계의 견고함을 분석한 연구가 아직 없으므로 이는 여전히 열린 문제로 남겨둔다.

의의 및 주장
본 논문은 학습 불투명성이 학습 과정의 구조적 특징으로서 **환원 불가능(irreducible)**하다고 결론짓는다. 식별된 세 가지 속성(SI, F, CS)은 머신러닝 시스템이 학습하는 방식의 근간이며, 이를 완화하거나 제거하려는 시도는 머신러닝의 본질을 근본적으로 변화시킬 것이다.

• 불투명성의 성격: 불투명성은 메커니즘에 대한 접근성 부족 때문이 아니라(연구자는 코드에 대한 완전한 투명성을 가짐), 역동적 시스템의 복잡성에 내재된 특성이다.
• XAI에 대한 시사점: 저자들은 근본적인 학습 역학이 복잡한 상태로 남아 있다면, 처음부터 해석 가능한 알고리즘을 구축하는 것만으로는 문제를 해결할 수 없을 수도 있다고 제언한다.
• 향 향후 연구 방향: 본 논문은 복잡한 자연계를 연구하기 위해 개발된 프레임워크(예: 적절한 거칠게 하기(coarse-graining) 수준 결정)가 머신러닝 시스템을 분석하는 데 가치 있는 접근법을 제공할 수 있다고 제안한다. 다만, 머신러닝 학습을 복잡계로 바라보는 것의 전체 잠재력은 여전히 향후 연구를 위한 미개척 분야임을 겸허히 밝히고 있다.

요약하자면, 본 논문은 신경망 학습을 이해하기 어려운 이유가 최적화 과정에 내재된 복잡 역학적 속성의 직접적인 결과이며, 이것이 기술적 장애물이 아닌 머신러닝 분야의 본질적인 인식론적 장벽임을 주장한다.