뇌세포의 비밀스러운 삶

당신이 사진 속의 고양이를 인식하도록 컴퓨터를 가르치려 한다고 상상해 보세요. 당신은 '뉴런'이라고 불리는 작고 단순한 프로세서들의 층으로 이루어진 디지털 뇌를 구축합니다. 이러한 디지털 뇌의 표준 버전에서 모든 뉴런은 경직되고 단일한 목표만을 가진 로봇처럼 행동합니다. 뉴런은 정보를 받아들이고, 숫자를 계산하고, 하나의 확정적인 답변, 즉 특정한 숫자를 내뱉습니다. 만약 로봇이 "0.8"이라고 말한다면, 그것이 그 로봇이 아는 유일한 진실입니다. 그 로봇은 자신이 추측하고 있는지, 사진이 흐릿한지, 아니면 그저 운이 나쁜 날인지 알지 못합니다. 그것은 세상이 아무리 무질서하더라도 절대적인 확실성의 세계입니다.

하지만 현실 세계는 "아마도"로 가득 차 있습니다. 안개 속에서 흐릿한 형체를 볼 때, 당신은 단순히 "고양이" 혹은 "고양이가 아님"을 보는 것이 아니라, 약간의 불확실함을 느낍니다. 과학자들은 오랫동안 컴퓨터에게 이러한 불확실성을 가르치려고 노력해 왔으며, 대개 전체 뇌를 흔들거나 맨 마지막에 추가적인 의심의 층을 더하는 방식을 사용했습니다. 그러나 한 새로운 연구는 우리가 문제를 잘못된 각도에서 바라보고 있을지도 모른다고 제안합니다. 전체 뇌를 불확실하게 만드는 대신, 만약 그 작은 개별 구성 요소 자체를 불확실하게 만든다면 어떨까요? 이 연구는 단순하고 유쾌한 질문을 던집니다. 만약 디지털 뇌의 모든 개별 뉴런이 경직된 로봇이 아니라, 주머니 속에 몇 가지 다른 가능성을 넣어두고 있는 작은 도박사라면 어떨까요?

EVE를 만나보세요: 옵션을 열어두는 뉴런

이 논문에서 연구자 이브 루페나크(Yves Ruffenach)는 EVE라고 불리는 새로운 종류의 디지털 뉴런을 소개합니다. 표준 뉴로를 매번 특정 부품을 찍어내는 공장 노동자라고 생각한다면, 반대로 EVE는 단순히 하나의 부품을 찍어내는 것이 아니라, 약간씩 다른 버전의 부품들을 한 상자 가득 만들어낸 뒤, 그중 하나를 무작위로 골라 다음 층을 만드는 데 사용하는 노동자와 같습니다.

논문은 이를 "분포형 뉴런(distributional neuron)"이라고 부릅니다. 단일한 숫자(예: 5.0)를 전달하는 대신, EVE는 하나의 분포—즉, 가능한 숫자들의 구름 전체—를 전달합니다. 이는 내부적인 "사후 확률(posterior, 무엇이 진실일지에 대한 현재의 최선의 추측)"과 "사전 확률(prior, 일반적으로 무엇이 가능한지에 대한 생각)"을 가짐으로써 이루어집니다. EVE는 이 구름으로부터 무작위 "잠재 상태(latent state)"를 샘플링하고, 그 무작위 상태를 사용하여 작업을 수행한 뒤 결과를 전달합니다. 결정적으로, 뉴론은 "KL 정규화(KL regularization)" 페널티를 사용하여 자신의 내부 추측을 정직하게 유지하도록 훈련받는데, 이는 마치 교사가 뉴런이 타당한 이유 없이 함부로 추측하기 시작할 때 부드럽게 꾸짖는 것과 같습니다.

이 연구는 과학자가 단일 세포를 관찰하고, 그다음 전체 장기를 만들고, 마지막으로 그것을 복잡한 기계에 집어넣는 과정처럼 세 가지 뚜렷한 단계로 이 아이디어를 테스트합니다.

1단계: 현미경
먼저, 연구진은 단일 뉴런이 홀로 무엇을 할 수 있는지 보기 위해 뉴런을 격리했습니다. 그들은 목표가 특정하고 변화하는 양의 "노이즈(무작위성)"가 붙은 숫자를 예측하는 게임을 설정했습니다. 그들은 EVE를 세 가지 다른 유형의 뉴런과 비교했습니다:

1. 표준적이고 지루한 결정론적 뉴런 (경직된 로봇).
2. 동일한 양의 컴퓨팅 파워를 가졌지만 무작위성은 없는 "매칭된" 결정론적 뉴런.
3. 맨 마지막에 명시적으로 불확실성을 예측하도록 지시받은 특수한 "이분산(heteroscedastic)" 뉴런.

결과는 매우 흥-미로웠습니다. 표준 로봇은 숫자를 맞히는 데는 괜찮았지만, 자신이 얼마나 불확실한지는 전혀 알지 못했습니다. "매칭된" 로봇 역시 표준 로봇만큼이나 불확실했습니다. 하지만 EVE는 어땠을까요? EVE는 스타였습니다. EVE는 강력한 매칭된 로봇만큼 정확하게 숫자를 맞혔을 뿐만 아니라, 실제 불확서성을 추적하는 데 놀라울 정도로 뛰어났습니다. 실제로 EVE는 실제 노이즈 패턴과 93.9% 일치한 반면, 표준 로봇은 거의 0에 가까웠습니다. EVE는 단일 뉴런이 출력 단계뿐만 아니라 내부적으로 불확실성을 보유하는 법을 배울 수 있음을 증명했습니다.

2단계: 깊은 적층
다음으로, 연구진은 "이것을 128개의 뉴런으로 쌓아 올렸을 때도 작동할까?"라는 질문을 던졌습니다. 그들은 건물의 에너지 효율을 예측하기 위해 거대한 심층 신경망(128개 층, 각 층당 128개 뉴런)을 구축했습니다. 이것은 진정한 "구성(composition)"의 테스트입니다. 즉, 이 불확실한 뉴런들이 전체 시스템을 혼돈으로 몰아넣지 않고 함께 협력할 수 있는가 하는 점입니다.

대답은 확고한 "그렇다, 하지만 주의사항이 있다"였습니다. 심층 네트워크를 테스트했을 때, EVE는 모델의 불확실성 처리 능력을 크게 향상시켰습니다. EVE는 "음의 로그 가능도(Negative Log Likelihood, 모델이 전체 범위의 가능성을 얼마나 잘 예측하는지를 나타내는 점수)"를 약 18.8% 감소시켰고, 다섯 번의 모든 테스트 실행에서 다른 불확실성 점수들을 4.5%에서 8.3%까지 개선했습니다. 그러나 정확한 숫자를 맞히는 문제(MSE 및 MAE로 측정)에 있어서는 EVE가 표준 로봇과 거의 비슷하거나 때로는 약간 더 나쁘기도 했습니다. 큰 승리는 "불확실성"이 128개의 층을 통과하는 동안 사라지지 않고, 살아있는 상태로 측정 가능한 형태로 유지되었다는 점입니다. 다만 연구진은 이로 인한 비용이 따른다고 언급했습니다. EVE는 모든 추가적인 샘플링과 수학적 계산을 수행해야 했기 때문에 실행 속도가 약 7.1배 더 느렸습니다.

3단계: 트랜스포머 브릿지
마지막으로, 연구진은 EVE를 현대적인 "트랜스포머(Transformer)" 구조, 즉 에세이를 쓰거나 대화를 나누는 언어 모델들에 사용되는 구조에 적용해 보았습니다. 그들은 트랜스포머의 표준 "피드 포워드(feed-forward)" 부분을 EVE 뉴런으로 교체하고, 이야기의 다음 단어를 예측하도록 했습니다 (PG-19 데이터셋 사용).

결과는 EVE가 이러한 복잡하고 현대적인 시스템에 삽입될 수 있음을 시사했습니다. EVE 기반의 트랜스포머는 다음 단어를 예측하는 능력(퍼플렉시티(perplexity)를 189.74에서 161.94로 낮춤)을 개선했고, 정답 단어를 맞히는 정확도(정확도가 0.1938에서 0.2064로 상승)도 높였습니다. 또한 "비퇴화 몬테카를로 불확실성 신호(non-degenerate Monte Carlo uncertainty signals)"를 생성했는데, 이는 모델에게 여러 번 예측을 요청했을 때 단순히 같은 답을 반복하는 것이 아니라, 자신의 불확실성을 반영하는 다양하고 흥미로운 답변을 내놓았다는 뜻입니다. 그러나 연구 결과, 이 "불확실성"은 주로 네트워크의 첫 번째 층에서 발생하고 있었으며, 더 깊은 층들은 아직 그 잠재력을 완전히 활용하지 못하고 있었습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 불확실성을 계산의 근본적인 단위로 만드는 것, 즉 뉴런 내부의 핵심 요소로 만드는 것이 실현 가능하고 강력한 아이디어임을 시사합니다. 이는 불확실성을 구현하는 것이 단순히 더 많은 컴퓨팅 파워를 갖는 문제가 아님을 보여줍니다. 동일한 파워를 가진 표준 뉴런은 같은 결과를 얻지 못했기 때문입니다. 또한 저자들은 EVE가 불확실성에는 뛰어나지만, 항상 정확한 숫자를 맞히는 데 있어 승리하는 것은 아니라고 주의를 줍니다. 심층 네트워크 테스트에서 표준 오차율(MSE 및 MAE)은 매우 근접했으며, 때로는 표준 모델이 약간 더 나은 모습을 보이기도 했습니다. 더욱이, 이 연구는 현재 버전이 더 느리며, 트랜스포머 실험에서의 "불확실성"이 아직 모든 층에 걸쳐 완벽하게 균형 잡혀 있지는 않다는 점을 인정합니다.

요컨대, EVE는 만약 우리가 컴퓨터가 세상의 무질서함을 이해하기를 원한다면, 단순히 끝에 "의심" 버튼을 추가하는 것이 아니라, 아주 작은 구성 요소들이 스스로 몇 가지 옵션을 열어두고, 그 옵션들로부터 샘플링하며, 미지의 상태와 친숙해지는 법을 배워야 한다는 것을 제안합니다. 이는 디지털 뇌를 만드는 방식에 대한 작고 유쾌한 변화이지만, 컴퓨터가 우리처럼 세상을 조금 더 이해하도록 돕는 길일 수도 있습니다.