TreeGRNG: Binary Tree Gaussian Random Number Generator for Efficient Probabilistic AI Hardware

당신은 단순히 "예" 또는 "아니요"라고 말하는 대신, "이것이 고양이일 확률은 80%이지만, 개일 확률도 20% 정도 됩니다"라고 말할 수 있는 초지능 로봇을 만들려고 한다고 상상해 보세요. 이것이 바로 **베이지안 신경망(Bayesian Neural Networks, BNNs)**의 세계입니다. BNN은 자신이 불확실할 때 이를 인정할 수 있다는 점에서 매우 훌 만큼 훌륭하며, 이는 자율주행 자동차나 의료 진단과 같이 안전이 중요한 분야에서 매우 중요합니다.

하지만 이 로봇의 모든 '뇌 세포'(뉴런)가 **가우시안 난수 생성기(Gaussian Random Number Generator, GRNG)**라는 특수한 도구를 가져야 한다는 커다란 문제가 있습니다. 이 도구는 단순히 1에서 6 사이의 숫자를 굴리는 주사위가 아니라, 숫자들이 "종 모양(bell curve)"을 따르도록(즉, 중간값은 자주 나오고 극단적인 값은 드물게 나오는 방식) 설계된 마법의 주사위 굴리기 도구라고 생각하면 됩니다.

기존 도구들의 문제점
지금까지 이러한 마법의 주사위 굴리기를 스마트워치나 드론 같은 초소형 배터리 구동 로봇(엣지 디바이스)에 구현하는 것은 악몽과 같았습니다. 기존 방식들은 마치 거대한 산업용 오븐, 복잡한 레시피 북, 그리고 요리사 팀을 동원하여 케이크를 굽는 것과 같습니다. 다음과 같은 요소들이 필요하기 때문입니다:

• 무거운 수학 연산 (곱셈, 제곱근).
• 거대한 메모리 테이블 (마치 거대한 요리책처럼).
• 많은 에너지와 공간.

이로 인해 기존 방식들은 초소형 "익스트림 엣지(extreme edge)" 기기에 들어갈 만큼 작거나 전력을 적게 소비하지 못했습니다.

해결책: "TreeGRNG"
이 논문의 저자들은 이 주사위 굴리기를 만드는 새로운 방법인 TreeGRNG를 발명했습니다. 복잡한 주방 대신, 이들은 이진 트리(Binary Tree)(결정 트리)를 구축했습니다.

작동 원리는 다음과 같은 간단한 비유를 통해 이해할 수 있습니다.

1. "가중치가 부여된 동전 던지기" 트리

0에서 100 사이의 숫자를 뽑고 싶지만, 양 끝(0 또는 100)보다는 중간 숫자(40~60)가 훨씬 더 자주 뽑히기를 원한다고 가정해 봅시다.

복잡한 공식을 계산하여 숫자를 뽑는 대신, TreeGRNG는 "스무고개" 게임처럼 일련의 간단한 "예/아니요" 질문을 던집니다:

• 레벨 1: "숫자가 50보다 작습니까?" (동전을 던집니다).
• 레벨 2: 만약 그렇다면, "숫자가 25보다 작습니까?" (동전을 다시 던집니다).
• 레벨 3: 만약 그렇다면, "숫자가 12보다 작습니까?" (동전을 다시 던집니다).

마법의 기술: 일반적인 게임에서는 동전의 앞뒤 확률이 반반(50/50)으로 공정합니다. 하지만 TreeGRNG에서는 동전에 가중치가 부여됩니다.

• 만약 종 모양 곡선이 특정 숫자가 중간에 있을 확률이 높다고 판단한다면, 동전은 "예"가 나올 확률이 90%가 되도록 조작됩니다.
• 만약 숫자가 가장자리에 있을 확률이 높다면, 동전은 "아니요"가 나올 확률이 90%가 되도록 조작됩니다.

이 가중치가 부여된 동전 던지기 경로를 따라감으로써, 기계는 복잡한 수학 연산을 전혀 수행하지 않고도 자연스럽게 올바른 숫자에 도달하게 됩니다.

2. 하드웨어의 "비밀 소스"

이 논문은 이 방식이 하드웨어 측면에서 왜 혁신적인지에 대해 두 가지 주요 이유를 강조합니다.

• 계산기가 필요 없음: 기존 방식은 값비싼 수학 칩(곱셈기, 덧셈기)을 필요로 했습니다. 하지만 TreeGRNG는 오직 **비교기(comparator)**만을 필요로 합니다. 비교기는 단순히 "이 숫자가 저 숫자보다 큰가?"라고 묻는 단순한 심판과 같습니다. 이를 제작하는 것은 매우 저렴하고 크기도 작습니다.
• "거울" 기술: 종 모양 곡선은 대칭(왼쪽과 오른쪽이 서로 닮은 형태)이기 때문에, 기계는 똑같은 심판을 사용하여 결과를 반대로 읽는 방식으로 양쪽 모두를 처리할 수 있습니다. 이는 하드웨어 크기를 절반으로 줄여줍니다.
• "그룹화" 기술: 트리의 맨 끝부분(극단적인 가장자리)에서는 숫자 간의 차이가 매우 미세하기 때문에, 기계는 하나의 심판을 여러 질문에 공통으로 사용할 수 있습니다. 이는 하드웨어 크기를 더욱 축소시킵니다.

결과: 이것이 왜 중요한가

저자들은 이를 실제로 제작하여 기존의 최고 기술(TI-HT라 불리는 기술)과 비교했습니다. 그 결과는 다음과 같습니다:

• 에너지: 샘플당 에너지를 3.7배 적게 사용합니다. 이는 자동차의 연비는 그대로 유지하면서 더 작은 배터리를 사용하는 것과 같습니다.
• 속도 및 공간: 동일한 칩 면적당 초당 5.8배 더 많은 숫자를 생성합니다. 이는 슈퍼컴퓨터를 신발 상자 안에 집어넣는 것과 같습니다.
• 정확도: 완벽한 종 모양 곡선을 만들어내는 데 있어 기존 방식보다 오히려 더 정확합니다.
• 유연성: 이 논문은 가우시안(종 모양) 숫자에 초점을 맞추고 있지만, 시스템이 매우 유연하여 동전의 "가중치"를 변경함으로써 종 모양 곡선뿐만 아니라 어떠한 형태의 확률 분포도 만들어낼 수 있습니다.

요약하자면
이 논문은 무거운 수학 연산을 간단하고 연속적인 "가중치 부여된 동전 던지기"로 대체함으로써 AI를 위한 난수 생성기를 만드는 영리한 방법을 제시합니다. 이를 통해 저자들은 작고 전력 소모가 큰 전 세계의 기기들에 고급 "불확실성 인지형" AI를 가져올 수 있는, 매우 작고 에너지 효율적이며 빠른 칩 설계를 완성했습니다.