당신은 초지능 로봇의 뇌를 만들려고 한다고 상상해 보세요. 하지만 대부분의 컴퓨터가 사용하는 일반적인 부동 소수점(floating-point) 숫자 대신, 오직 '켜짐/꺼짐' 상태를 가진 작은 전등 스위치들로만 구성된 뇌를 만들기로 했습니다. 이것이 바로 **논리 게이트 네트워크(Logic Gate Networks, LGN)**의 세계입니다. 이 네트워크를 수많은 온/오프(on/off) 스위치로 이루어진 복잡하고 정교한 미로라고 생각해보세요. 각 스위치는 오직 '켜짐'(1) 또는 '꺼짐'(0) 상태만을 가질 수 있습니다. 현실 세계에서 이것들은 계산기나 비디오 게임 콘솔을 구동하는 디지털 회로의 근본적인 빌딩 블록입니다. 수십 년 동안 과학자들은 이러한 회로에 대한 비밀스러운 규칙 하나를 알고 있었습니다. 바로 미로를 더 깊게 쌓을수록(스위치 층을 더 많이 추가할수록), 뇌는 더 똑똑하고 강력해질 수 있다는 것입니다. 이는 마치 마천루에 층을 더 높게 올리는 것과 같습니다. 이론적으로는 더 많은 사무실을 배치하고 더 복전적인 업무를 수행할 수 있어야 합니다.

하지만 문제가 하나 있습니다. 연구자들이 현대적인 컴퓨터 학습 기법을 사용하여 이 깊은 디지털 뇌를 훈련시키려 했을 때, 그들은 벽에 부딪혔습니다. 층을 아무리 많이 추가해도 뇌는 더 똑똑해지지 않았습니다. 사실, 오히려 더 멍청해지기도 했습니다. 마치 100층짜리 고층 빌딩을 짓고 있는데, 층을 새로 추가할 때마다 엘리베이터가 작동을 멈춰서 꼭대기 층에 있는 사람들이 1층에 있는 사람들과 대화조차 할 수 없는 상황과 같았습니다. 여기서 큰 의문이 생깁니다. 문제는 건설팀(학습 알고리즘)이 너무 서툴러서 깊은 탑을 제대로 짓지 못하는 것일까요, 아니면 설계도 자체에 문제가 있는 것일까요?

"On the Depth Scalability of Logic Gate Networks"라는 제목의 이 논문은 바로 이 미스터리를 파헤칩니다. 고려대학교 연구진인 저자들은 문제가 단지 건설팀 때문만이 아니라는 것을 발견했습니다. 연구진이 '엘리베이터'가 완벽하게 작동하도록 학습 방법을 수정했음에도 불구하고, 깊은 탑들은 여전히 똑똑해지는 데 실패했습니다. 그들은 설계도에 결정적인 기능이 빠져 있다는 사실을 깨달았습니다. 즉, 위층들이 원래의 원재료로부터 완전히 차단되어 있었던 것입니다. 이를 해결하기 위해 그들은 **입력 고정형 논리 게이트 네트워크(Input-Anchored Logic Gate Networks, IALGN)**라는 새로운 설계를 발명했습니다. 모든 층이 바로 아래층하고만 대화하게 두는 대신, 그들은 지층(원래의 입력값)에서부터 모든 층으로 직접 연결되는 특별한 '앵커(anchor)' 케이블을 추가했습니다. 이 단순한 변화 덕분에 깊은 층들은 단순히 아래층이 말해주는 것에 기반해 추측하는 것이 아니라, 원래의 정보를 사용하여 자신의 작업을 계속해서 정교하게 다듬을 수 있게 되었습니다. 결과는 어떠했을까요? 이 새로운 '앵커'가 있는 네트워크는 실제로 더 깊어질수록 더 똑똑해졌으며, MNIST, CIFAR-10, CIFAR-100 데이터셋을 이용한 이미지 인식 작업에서 일관되게 정확도가 향상되었습니다.

문제점: 깊은 뇌의 "전화기 게임"

기존 설계가 왜 실패했는지 이해하려면, '말 전달하기(Telephone/Chinese Whispers)' 게임을 상상해 보세요. 당신이 옆 사람에게 메시지를 속삭이면, 그 사람이 다음 사람에게 전달하고, 또 그다음 사람에게 전달하는 방식입니다. 표준적인 깊은 논리 게이트 네트워크에서는 뇌의 모든 층이 바로 위에 있는 층으로부터만 정보를 받습니다. 만약 100개의 층이 있다면, 100번째 층은 오직 99번째 층이 자신에게 속삭여준 내용만을 바탕으로 원래 이미지를 이해하려고 노력해야 합니다.

저자들은 체인이 길어질수록 메시지가 왜곡된다는 것을 발견했습니다. 99번째 층은 이미 이미지를 매우 추상적인 개념으로 요약했을 수도 있고, 그 정보가 100번째 층에 도달할 때쯤이면 원래의 세부 사항들은 모두 사라져 버립니다. 결국 네트워크는 새로운 것을 배우는 대신, 기존의 흐릿한 요약본을 계속해서 다시 섞기만 하는 상태가 됩니다.

오랫동안 과학자들은 문제가 단지 '속삭임'이 너무 작아서 발생하는 것이라고 생각했습니다. 신호가 꼭대기에 도달하기 전에 사라진다고 믿은 것이죠. 그래서 그들은 신호가 끝까지 크게 유지되도록 더 좋은 '확성기'(skip-biased initialization이나 straight-through estimator 같은 기술)를 도입하여 문제를 해결하려 했습니다. 그리고 결과는 어땠을까요? 효과가 있었습니다! 신호는 꼭대기까지 아주 크게 유지되었습니다. 하지만 반전이 있었습니다. 신호가 커졌음에도 불구하고, 깊은 네트워크는 여전히 똑똑해지지 않았습니다. 100번째 층은 아주 큰 소리로 메시지를 외치고 있었지만, 그 내용은 여전히 엉망진창인 상태였습니다. 문제는 '볼륨'이 아니라 '내용'이었습니다. 상위 층들은 여전히 원래의 소스(입력값)로부터 끊겨 있었습니다.

해결책: "직통 전화" 설계도

저자들은 깊은 네트워크가 제대로 작동하려면 모든 층이 원래의 입력값으로 돌아가는 직통 라인을 가져야 한다는 것을 깨달았습니다. 그들은 이를 입력 고정형(Input-Anchored) 설계라고 부릅니다.

당신이 블록 쌓기를 하고 있다고 상상해 보세요. 기존 설계에서는 새로운 블록이 바로 아래에 있는 블록만을 볼 수 있었습니다. 만약 아래 블목이 약간 흔들리거나 모양이 틀어졌다면, 새로운 블록은 그 흔들림을 그대로 복사하게 됩니다. 새로운 IALGN 설계에서 모든 블록은 두 가지 입력을 가집니다:

1. 척추(Spine): 바로 아래에 있는 블록(이전 층의 숨겨진 특징)을 바라봅니다.
2. 앵커(Anchor): 가장 첫 번째 블록(원래의 입력)까지 직접 연결된 케이블을 가지고 있습니다.

이는 100번째 층이라 할지라도, 지금까지 99번째 층이 파악한 내용을 살펴보는 동시에 원래의 이미지를 명확하게 볼 수 있음을 의미합니다. 이는 마치 편집 팀이 이야기를 편집하는 것과 같습니다. 기존 시스템에서는 100번째 편집자가 99번째 편집자가 쓴 글만 읽을 수 있습니다. 만약 99번째 편집자가 실수를 했거나 세부 사항을 잊어버렸다면, 100번째 편집자는 속수무책입니다. 하지만 새로운 시스템에서 100번째 편집자는 99번째 편집자의 초안을 읽는 동시에, 작가의 원래 노트를 다시 읽어볼 수 있습니다. 이를 통해 그들은 실수를 바로잡고, 이전 편집자가 놓친 새롭고 유용한 세부 사항들을 추가할 수 있습니다.

발견한 사실: 숫자로 증명된 결과

연구팀은 이 아이디어를 세 가지 유명한 이미지 데이터셋인 MNIST(간단한 손글씨 숫자), CIFAR-10(고양이, 개, 비행기 등 10가지 물체의 작은 사진), CIFAR-100(동일하지만 구분이 더 어려운 100가지 물체)을 통해 테스트했습니다.

그들은 네트워크의 너비(층당 스위치 수)는 동일하게 유지하면서 깊이(층의 수)를 다양하게 조절하며 실험했습니다.

• 기존 방식 (무작위 연결): 이 네트워크들을 더 깊게 만들었을 때, 정확도는 올라가지 않았습니다. 심지어 더 어려운 CIFAR-100 데이터셋의 경우, 네트워크를 150층까지 깊게 만들었더니 얕은 네트워크보다 성능이 오히려 떨어졌습니다. 추가된 층들이 그저 노이즈만 더하고 있었던 것입니다.
• 새로운 방식 (입력 고정형): IALGN 설계를 사용했을 때는 네트워크가 깊어질수록 더 똑똑해졌습니다. CIFAR-10의 경우, 얕은 네트워크는 약 53%의 정확도를 보였지만, 100층 깊이의 네트워크는 **56.41%**에 도달했습니다. CIFAR-100에서도 깊은 네트워크는 **30.60%**의 정확도에 도달하며, 기존 네트워크는 따라올 수 없었던 꾸준한 상승 곡선을 보여주었습니다.

저자들은 최종 점수에서 멈추지 않았습니다. 그들은 내부에서 어떤 일이 벌어지고 있는지 확인하기 위해 "두뇌" 내부를 들여다보았습니다. 그들은 네트워크를 각 층에서 멈춘 뒤, "이 층에는 얼마나 많은 정보가 들어있는가?"라고 물었습니다. 그 결과, 새로운 IALGN에서는 층이 깊어질수록 정보가 점점 더 풍부하고 유용해진다는 것을 발견했습니다. 반면 기존 네트워크에서는 정보가 정체되거나 퇴화되었습니다.

또한 그들은 이것이 단순히 새로운 설계가 연결할 수 있는 '자유도'가 높아서 생긴 결과가 아님을 증명했습니다. 그들은 기존 네트워크에 다른 숨겨진 층들과 연결될 수 있는 더 많은 자유를 주었지만, 입력값에 대한 직접적인 앵커는 주지 않은 버전을 테스트했습니다. 결과는 도움이 되지 않았습니다. 핵심 비결은 바로 원래의 입력값에 연결된 앵커 그 자체였습니다.

이것이 중요한 이유

이 논문은 디지털 기반의 논리 구조 뇌를 만들 때, 단순히 깊게 만드는 것만으로는 충분하지 않다는 점을 시사합니다. 뇌의 모든 부분이 원래의 문제를 여전히 '볼 수 있도록' 설계해야 합니다. 이는 복잡한 시스템에서 연결성이 크기만큼이나 중요하다는 사실을 상기시켜 줍니다. 단순히 층을 쌓아 올린 뒤 잘 되기를 바랄 것이 아니라, 상위 층이 하위 층과 직접적인 통로를 가질 수 있도록 만들어야 합니다.

저자들은 이 간단한 '앵커' 트릭을 통해, 우리가 드디어 진정으로 깊고, 확장 가능하며, 이미지 속 물체를 인식하는 것과 같은 복잡한 작업을 처리할 수 있는 논리 게이트 네트워크를 구축할 수 있음을 보여주었습니다. 이는 설계도의 작은 변화이지만, 스스로의 무게를 견디지 못하고 무너지는 탑을, 계속해서 높아지고 똑똑해지는 마천루로 바꾸어 놓았습니다.