Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm

AI 두뇌의 비밀 언어

당신이 아주 똑똑한 로봇을 만들었다고 상상해 보세요. 하지만 이 로봇은 순수한 수학의 언어로 말합니다. 당신이 고양이를 식별하라고 요청하면 로봇은 완벽하게 해내지만, 어떻게 그것이 고양이라는 것을 아느냐고 물으면 그저 숫자의 벽을 보여주며 멍하니 바라볼 뿐입니다. 이것이 현대 인공지능의 핵심적인 미스터리입니다. 우리는 강력한 모델을 보유하고 있지만, 그 내부에서 일어나는 '생각'을 진정으로 이해하지 못하고 있습니다. 오랫동안 과학자들은 AI의 두뇌를 거대하고 무질서한 사전처럼 취급하며 이 코드를 해독하려고 노력했습니다. 그들은 AI가 아는 모든 아이디어가 그 사전 속의 단 한 줄의 문장일 뿐이며, 적절한 줄만 찾아낼 수 있다면 AI의 마음을 읽을 수 있을 것이라고 가정했습니다.

하지만 그 사전 아이디어에는 문제가 있습니다. 인간의 머리나 강아지의 머리처럼 실제 뇌는 무질서하고, 층이 져 있으며, 깔끔하고 곧은 선에 들어맞지 않는 연결들로 가득 차 있습니다. 생물학적 뇌의 단일 뉴런은 '우리 엄마'를 위해 발화할 수도 있지만, 동시에 '따뜻한 포옹'이나 '쿠키 냄새'를 위해서도 발화할 수 있습니다. 이러한 아이디어들은 복잡하고 비선형적인 방식으로 뒤섞여 있습니다. 만약 우리가 AI가 오직 직선으로만 말하도록 강요한다면, 우리는 그 사고의 가장 흥미로운 부분들을 놓칠 수도 있습니다. 그래서 새로운 질문이 등장했습니다. 우리가 AI에게 단순함을 강요하지 않아도, 뉴런이 자연스럽게 단순한 형태에서 복잡한 개념에 이르기까지 아이디어의 계층 구조로 스스로를 분류하는, 실제 뇌와 더 유사하게 작동하는 AI 학습 방법을 구축할 수 있을까?

논문의 핵심 아이디어: AI를 가르치는 새로운 방법

이 논문은 **그룹 대조적 포워드-포워드(Group-Contrastive Forward-Forward, GCFF)**라고 불리는 새로운 방법을 소개합니다. 이것은 기존의 '사전' 접근 방식을 건너뛰고 대신 생물학적 뇌가 학습하는 방식을 모방하려는, AI를 훈련시키는 신선한 방법이라고 생각하면 됩니다. 저자들은 AI에게 희소성(즉, 대부분의 뉴런이 조용히 머물고 오직 소수만이 말하도록 만드는 것)을 강요하는 대신, AI의 구조가 핵심적인 역할을 수행하도록 해야 한다고 제안합니다. 그들은 뉴런이 특정 '그룹'으로 조직되어 각 그룹이 '동물'이나 '탈것'과 같은 넓은 범주에 할당되는 시스템을 제안합니다.

실제 작동 방식은 이렇습니다. 여러분에게 학생들(뉴런)로 구성된 교실이 있다고 상상해 보세요. 기존 방식에서는 모든 학생에게 모든 것을 듣고 나중에 중요한 부분을 골라내라고 지시합니다. 이 새로운 GCFF 방식에서는 각 학생을 특정 동아리에 배정합니다. 한 동아리는 오직 개에 대해서만 이야기하고, 다른 동아리는 오직 자동차에 대해서만 이야기합니다. 선생님이 골든 리트리버 사진을 보여주면, 오직 '개 동아리'만이 말을 할 수 있습니다. 하지만 여기서 반전이 있습니다. 개 동아리의 학생들은 단순히 "저것은 개다"라는 말을 듣는 것이 아닙니다. 그들은 서로 다른 두 마리의 개를 보고 "이 두 마리가 공통적으로 가진 것이 무엇인지 찾아내라!"라는 지시를 받습니다. 그다음에는 개와 자동차를 보여주며 "이 둘을 혼동하지 않도록 하라!"라고 지합니다. 뉴런들이 오직 자신들의 특정 그룹 내에 있는 것에만 집중하고 그룹 내의 것들을 서로 비교하도록 강제함으로써, 그들은 자연스럽게 미묘한 차이점들을 배우기 시작합니다.

가장 흥exciting한 발견은 이 방법이 자연스러운 계층 구조를 만든다는 점입니다. 이 새로운 AI 모듈의 층을 깊게 들어갈수록, 뉴런들은 점점 더 추상적인 것들에 대해 이야기하기 시작합니다. 첫 번째 층은 '컵'이나 '신발'과 같은 구체적인 사물을 포착하는 법을 배울 수 있습니다. 그다음 층은 이를 '쥐는 데 사용하는 것'이나 '고정 장치'와 같은 기능적 아이디어로 그룹화할 수 있습니다. 최상위 층은 전경에 무엇이 있든 상관없이 '수면'이나 '야외 장면'과 같은 배경 환경에 대해 배울 수도 있습니다. 저자들은 누군가가 AI에게 "헤이, 3번 층은 배경에 관한 것이어야 해"라고 말하지 않아도 이런 일이 발생했다는 것을 발견했습니다. 계층 구조는 뉴런이 조직되고 훈련되는 방식으로부터 스스로 나타난 것입니다.

논문은 또한 이 '생물학적' 스타일의 학습이 실제로 과업을 수행하는 데 효과적인지 테스트했습니다. 그들은 필기체 숫자 인식(MNIST)과 다양한 종류의 자동차 및 동물(CIFAR-10, STL-10) 같은 표준 이미지 테스트를 통해 처음부터 GCFF 알고리즘을 훈련시켰습니다. 결과는 GCFF가 단순히 AI의 뇌를 더 잘 이해하는 데 그치지 않고, 다른 유사한 '포워드-포워드' 방식보다 더 뛰어난 성능을 보이며 이러한 벤치마크에서 최고 점수를 달성했다는 것을 보여주었습니다.

이것이 미래에 의미하는 바

저자들은 이것이 모든 것을 해결하는 마법 지팡이는 아니라고 조심스럽게 언급하면서도, 이것이 유망한 새로운 방향을 제시한다고 주장합니다. 그들은 기존의 '희소 사전 학습(sparse dictionary learning)'(사전 접근 방식)이 몇 가지 내재된 결함을 가지고 있다고 주장합니다. 그것은 모든 개념이 고차원 공간에서의 하나의 직선이라고 가정하는데, 이는 복잡하고 곡선적인 아이디어에는 사실이 아닐 수 있습니다. GCFF를 사용함으로써, 그들은 희소성을 강요하지 않고도 '단일 의미적(monosemantic)' 뉴런—즉, 하나의 명확한 의미를 가진 뉴런—을 얻을 수 있음을 보여줍니다. 대신, 그 의미는 구조 자체에서 비롯됩니다.

실험에서 그들은 사전 훈련된 시각-언어 모델(이미지를 보고 글을 읽는 똑똑한 AI)을 가져와 여기에 GCFF 모듈을 부착했습니다. 그들은 단일 모듈이 깨끗하고 질서 정연한 개념 목록을 추출해 낼 수 있다는 것을 발견했습니다. 그들은 AI에게 얼마나 많은 추상화 층을 만들라고 말할 필요가 없었습니다. 네트워크의 깊이가 그것을 대신 해주었습니다. 하단의 뉴런은 구체적이었고, 상단의 뉴런은 추상적이었습니다. 마치 생물학적 시각 체계의 층들처럼 말입니다.

논문은 이 접근 방식이 '생물학적으로 타당한(biologically plausible)' 경로를 제공한다고 결론짓습니다. 만약 우리가 AI를 경직되고 선형적인 상자에 맞추려고 강요하는 대신, 지역적이고 그룹 기반의 비교를 통해 학습하도록 내버려 둔다면, 우리는 과업 수행 능력이 더 뛰어날 뿐만 아니라 살아있는 존재들이 생각하는 방식과 매우 유사하게 지식을 조직하는 AI를 얻을 수 있을 것이라고 제안합니다. 이는 단순히 계산하는 것을 넘어, 아주 작은 방식으로나마 세상을 층(layer)을 통해 이해하기 시작하는 기계를 만드는 것을 향한 한 걸음입니다.