Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

당신에게 아주 똑똑하지만 약간은 신비로운 기계가 하나 있다고 상상해 보세요. 당신은 이 기계에 데이터(예를 들어 레시피)를 입력하고, 기계는 예측값(예를 들어 케이크)을 내놓습니다. 이 기계는 인공지능의 한 종류인 **다층 퍼셉트론(Multi-Layer Perceptron, MLP)**입니다.

문제는 이렇습니다: 만약 당신의 레시피가 완벽하지 않다면 어떻게 될까요? 밀가루를 잴 때 손이 떨렸을 수도 있고, 온도가 변했을 수도 있습니다. 현실 세계에서 입력 데이터에는 항상 약간의 "흔들림(wobble)"이나 불확실성이 존재합니다.

이 논문이 답하는 핵심 질문은 이것입니다: 우리의 입력값이 얼마나 "흔들리는지" 정확히 알고 있다면, 수백만 개의 케이크를 직접 구워보지 않고도 최종 케이크가 얼마나 "흔들릴지" 정확하게 계산할 수 있을까요?

다음은 이들의 발견을 쉬운 비유를 통해 정리한 내용입니다:

1. 기계: 3단계 공장

저자들은 이러한 AI 기계의 특정하고 단순화된 버전을 살펴보았습니다. 이를 세 개의 스테이션이 있는 공장이라고 생각해보세요:

• 스테이션 1 (믹서): 재료(입력 데이터)를 붓습니다. 기계는 이 재료들을 가중치와 함께 섞고 소금 한 꼬집을 더합니다(이것은 수학적인 "아핀 변환(affine transformation)"입니다).
• 스테이션 2 (문지기): 이 부분이 가장 중요합니다. 기계는 ReLU 함수를 사용합니다. 이는 양수만을 통과시키는 문이라고 상상해 보세요. 만약 숫자가 음수라면, 문은 쾅 닫히고 출력값은 0이 됩니다. 마치 "음수 금지" 규칙과 같습니다.
• 스테이션 3 (베이커): 문을 통과한 숫자들은 다시 섞여 최종 출력값(예측값)을 만들어냅니다.

2. 기존 방식: 구워서 추측하기 (몬테카를로 방법)

이 논문 이전에는, 최종 케이크가 얼마나 불확실한지 알고 싶다면 **몬테카를로 샘플링(Monte Carlo sampling)**이라는 방법을 사용해야 했습니다.

• 비유: 밀가루 양이 1그램 차이 날 때 케이크의 높이가 얼마나 변할지 알고 싶다고 가정해 봅시다. 기존 방식은 밀가로는 양을 매번 조금씩 무작위로 바꾸면서 케이크를 100,000번 구워보는 것이었습니다. 그런 다음 100,000개의 케이크를 모두 측정하여 평균 높이를 계산하고, 얼마나 다양하게 변했는지 확인했습니다.
• 단점: 속도가 느리고, 많은 계산 능력이 필요하며, 그것은 하나의 추정치일 뿐입니다. 결코 정확한 답을 얻을 수 없으며, 케이크를 많이 구울수록 더 나아지는 매우 좋은 추측값만을 얻게 됩니다.

3. 새로운 방식: 정확한 공식 (해석적 결과)

저자인 앤드류 톰슨(Andrew Thompson)과 마일스 맥크로리(Miles McCrory)는 수학적 지름길을 찾아냈습니다. 그들은 입력의 수학적 구조를 보는 것만으로도 출력의 평균과 "흔들림(분산)"이 정확히 얼마인지 알려주는 정확한 공식(폐쇄형 표현식, closed-form expression)을 도출해 냈습니다.

• 비유: 100,000개의 케이크를 굽는 대신, 그들은 밀가루의 "흔들림"이 믹서를 거쳐 문에 부딪히고, 최종 높이를 어떻게 변화시키는지 정확히 알려주는 단 하나의 방정식을 작성했습니다.
• 특별한 이유:
  • 정확함: 추측이 없습니다. 수백만 개의 케이크를 구울 필요도 없습니다.
  • 투명함: 공식을 통해 왜 출력이 불확실한지 그 이유를 알 수 있습니다. 이는 완성된 제품을 보는 것이 아니라 공장의 설계도를 보는 것과 같습니다.
  • 빠름: 시뮬레이션을 실행할 필요 없이, 공식에 숫자만 대입하면 됩니다.

4. "문지기"라는 난관

그들의 수학에서 가장 어려웠던 부분은 **문지기(ReLU)**였습니다.

• 재료를 섞을 때 수학은 보통 매끄럽고 예측 가능합니다(직선처럼).
• 하지만 문지기는 까다롭습니다. 0보다 낮은 모든 것을 차단하기 때문입니다. 이는 수학에 "꺾임(kink)"을 만듭니다.
• 이전의 방법들은 이 꺾임을 긴 무한 급수(예를 들어, 점점 더 많은 작은 직선을 더해가며 원을 설명하려는 시도)를 사용하여 근사하려고 노력했습니다.
• 돌파구: 저자들은 이 "꺾임"의 결과를 무한하고 복잡한 급수를 사용하지 않고도, 표준적이고 잘 알려진 수학적 도구(가우스 적분)를 사용하여 계산하는 방법을 찾아냈습니다. 그들은 "음수 금지" 문에 부딪혔을 때 "흔들림"이 어떻게 행동하는지에 대한 퍼즐을 풀었습니다.

5. 효과가 있었는가? (테스트)

그들의 공식이 단순한 이론이 아님을 증명하기 위해, 그들은 리튬 이온 배터리(전기차 등에 사용되는)의 상태를 예측하는 실제 문제에 적용했습니다.

• 그들은 배터리 데이터를 사용하여 AI를 훈련시켰습니다.
• 테스트용 배터리 세트를 가져와서 그들의 정확한 공식을 사용하여 불확실성을 예측했습니다.
• 또한, "진짜" 정답이 무엇인지 확인하기 위해 기존 방식(몬테카를로 샘플링을 통한 1,000,000번의 가상 케이크 굽기)을 실행했습니다.
• 결과: 정확한 공식은 1,000,000번의 시뮬레이션과 거의 완벽하게 일치하면서도, 훨씬 짧은 시간 안에 결과를 냈습니다.

요약

이 논문은 복잡하고 울퉁불퉁한 풍경을 통과하는 여정을 위한 완벽한 지도를 찾는 것과 같습니다.

• 이전에는: 어디에 굴곡이 있는지 알아내기 위해 그 길을 백만 번 걸어야 했습니다.
• 이제는: 시작점을 보는 것만으로도 어디에 굴곡이 있고 그 크기가 얼마인지 정확히 알려주는 지도가 생겼습니다.

그들은 이 작업을 특히 **하나의 은닉층(one hidden layer)**과 ReLU 문을 가진 기계를 대상으로 수행했습니다. 기계가 더 복잡해지거나(더 많은 층) 다른 종류의 문을 사용하게 되면 수학이 훨씬 더 어려워질 것이라고 그들은 인정했지만, 이 특정 설정에 대해서는 정확하고 완벽한 답을 가지고 있습니다.