The New Associationism: Lessons from Deep Learning

다니엘 로스차일드(Daniel Rothschild)의 논문, "새로운 연합주의: 딥러닝이 주는 교훈(The New Associationism: Lessons from Deep Learning)"에 대한 설명을 쉬운 언어와 일상적인 비유를 사용하여 설명한 글입니다.

핵심 아이디어: AI는 우리가 학습하는 방식을 보여주는 거울이다

당신이 인간의 뇌가 어떻게 학습하는지 알아내려고 노력하고 있다고 상상해 보세요. 오랫동안 과학자들은 우리가 엄격한 규칙을 따르며 배우는지(컴퓨터 프로그램처럼), 아니면 경험을 바탕으로 연결 고리를 만들며 배우는지(아기가 "엄마"라고 말하는 법을 배우는 것처럼)를 두고 논쟁해 왔습니다.

이 논문은 현대의 인공지능(AI)이 우리에게 강력한 단서를 제공한다고 주장합니다. 즉, 우리는 주로 경험을 바탕으로 연결 고리를 만듦으로써 학습할 가능성이 높다는 것입니다. 저자는 이를 **연합주의(Associationism)**로의 "겸손하지만 진정한" 귀환이라고 부릅니다.

논문의 세 가지 주요 포인트를 쉽게 풀어서 설명하면 다음과 같습니다.

---

1. 비법 소스: "지도 학습(Supervised Learning)"

당신은 AI가 다양한 방식으로 학습한다고 생각할 수도 있습니다. 하지만 이 논문은 오늘의 놀라운 AI 성과들(시 쓰기, 체스 두기, 얼굴 인식 등)이 사실 하나의 특정한 방법에 의존하고 있다고 주장합니다. 그것은 바로 지도 학습입니다.

비유: 채점된 숙제
지도 학습을 정답지가 있는 숙제를 하는 학생이라고 생각해보세요.

• 입력(Input): 학생이 수학 문제를 봅니다.
• 출력(Output): 학생이 답을 적습니다.
• 피드백(Feedback): 선생님(또는 컴퓨터)이 정답지를 확인합니다. 만약 답이 틀렸다면, 선생님은 "5점이 부족해"라고 말합니다.
• 학습(Learning): 학생은 다음번에 정답에 더 가까워지기 위해 자신의 뇌를 미세하게 조정합니다.

논문은 AI가 완전히 다른 일을 하는 것처럼 보일 때조차(예: 비디오 게임을 하거나 예술 작품을 생성할 때), 비밀스럽게는 이와 동일한 "정답을 확인하고 조정하는" 과정을 반복하고 있다고 지적합니다. 유일한 차이점은 "정답지"가 어떻게 만들어지느냐 하는 것입니다. 때로는 인간이 정답지를 작성하고, 때로는 컴퓨터가 스스로 정답지를 만듭니다(예: 문장에서 다음 단어를 예측하는 방식).

핵심 요약: 이 논문은 하나의 단순한 메커니즘, 즉 오류로부터 배우는 것이 현대 AI 성공을 이끄는 엔진이라고 주장합니다.

2. "아하!" 모먼트: 어려운 문제를 숙제로 바꾸기

이 논문은 AI의 가장 큰 돌파구가 단순히 더 빠른 컴퓨터나 더 많은 데이터가 아니었다고 주장합니다. 그것은 아주 영리한 기술이었습니다. 바로 어려운 문제를 단순한 숙제처럼 보이도록 재구성하는 것입니다.

비유: "노이즈 제거(Denoising)" 게임
로봇에게 고양이 그리는 법을 가르치고 싶다고 가정해 봅시다.

• 어려운 방법: 로봇에게 "고양이를 그려라"라고 명령합니다. 로봇은 어디서부터 시작해야 할지 모릅니다.
• AI의 기술 (확산 모델/Diffusion Models): AI는 순수한 노이즈(무작위 잡음) 상태의 그림에서 시작합니다. 그런 다음 AI는 다음과 같은 "숙제"를 받습니다: "여기에 노이즈가 섞인 그림이 있다. 이 노이즈가 무엇이었는지 맞혀서 이를 제거해 볼래?"
• 결과: 이 "노이즈 맞히기" 게임을 수백만 번 연습함으로써, AI는 고양이가 어떻게 생겼는지에 대한 패턴을 학습합니다. 결국, AI는 순수한 노이즈에서 시작하여 노이즈를 "제거"함으로써 완벽한 고양이를 드러낼 수 있게 됩니다.

저자는 언어도 마찬가지라고 말합니다. 우리는 로봇에게 문법 규칙을 가르치는 대신, "여기에 단어가 하나 빠진 문장이 있다. 여기에 들어갈 단어는 무엇인가?"라고 묻습니다. 이렇게 단순한 "빈칸 채우기" 게임을 수십억 번 수행함으로써, 로봇은 글을 쓰고, 번역하고, 추론하는 법을 배웁니다.

핵심 요약: 현대 AI의 천재성은 거의 모든 복잡한 과업을 "정답을 맞히는" 게임으로 바꿀 수 있다는 점을 깨달은 데 있으며, 이를 통해 단순한 오류 수정 엔진이 작동할 수 있게 되었습니다.

3. 오래된 논쟁: 규칙 vs 연결

수십 년 동안 심리학자들은 "인간은 단순히 점들을 연결하는 것만으로는 안 된다. 사고하기 위해서는 복잡한 규칙이 필요하다"라고 논쟁했습니다. 이 논문은 "사실, AI가 그들의 말이 틀렸음을 증명한다"라고 말합니다.

비유: 근육 키우기

• 과거의 관점: 무거운 무게를 들기(복잡한 사고를 하기) 위해서는 특별히 미리 만들어진 크레인이 필요하다.
• 새로운 관점 (연합주의): 크레인은 필요 없다. 그저 무게를 들 때마다 실패하면서 점점 더 강해지는 근육만 있으면 된다.
• 증거: AI 시스템은 아무런 지식 없이(크레인 없이) 시작했습니다. 그들은 단지 무게를 드는 연습(예측하고 오류를 수정하는 과정)을 반복했을 뿐입니다. 결국, 그들은 매우 무거운 무게(초인적인 체스 실력, 복잡한 추론)를 들어 올릴 수 있을 만큼 강해졌습니다.

이 논문은 이러한 "근육 키우기"(오류에 기반한 연결 조정)가 우리가 거의 모든 것을 배우는 방식을 설명하기에 충분히 강력하다고 주장합니다.

---

"하지만..." (한계점)

저자는 AI가 인간의 뇌를 완벽하게 복제한다고 말하는 것은 아님을 주의 깊게 밝힙니다. 그는 세 가지 중요한 단서를 덧붙입니다.

1. 학습 vs 수행 (Training vs. Performance): 학습 과정(오류를 통해 느리게 근육을 키우는 과정)은 연합적입니다. 하지만 수행 과정(AI가 실제로 문제를 해결할 때)은 매우 빠르고 똑똑해 보이며, 마치 규칙을 사용하는 것처럼 보입니다. 논문은 이것이 괜찮다고 말합니다. 즉, 느리고 오류 중심적인 학습 과정이 규칙을 사용하는 것처럼 보이는 시스템을 구축할 수 있다는 것입니다.
2. 하드웨어가 중요하다: 학습 방법은 단순하지만(오류 수정), AI의 구조는 믿을 수 없을 정도로 복잡합니다. 이는 자동차 엔진이 휘발유로 구동된다고 말하는 것과 같습니다(학습 방법). 하지만 실제로 운전하기 위해서는 자동차에도 차체, 바퀴, 스티어링 휠(복잡한 구조)이 필요합니다. 논문은 현대 AI의 "차체"가 초기 연합주의 심리학자들이 상상했던 것보다 훨씬 더 복잡하다고 말합니다.
3. 본성 vs 양육 (Nature vs. Nurture): 이 논문은 우리가 경험으로부터 배운다는 생각(연합주의)을 지지하지만, 우리가 선천적인 규칙이 전혀 없다는 것을 증명하는 것은 아닙니다. 이는 학습의 엔진은 모든 것에 동일할지라도, 그 엔진에 들어가는 부품들(우리의 감각, 주의력 등)은 진화에 의해 미리 프로그래밍되어 있을 수 있음을 시사합니다.

요약

논문의 주요 결론:
현대 AI는 실수를 하고 이를 미세하게 조정하며 배우는 것이라는 단순하고 보편적인 방법이 믿을 수 없을 정도로 강력하다는 것을 보여줍니다. 이는 우리의 뇌가 연결을 형성하며 배운다는 오래된 생각(연합주의)을 뒷받침합니다. 그러나 이 단순한 엔진은 초기 연합주의자들이 상상했던 것보다 훨씬 더 복잡하고 정교한 구조 안에 구축될 때 가장 잘 작동합니다.

한 문장 요약: 우리는 AI처럼 끊임없이 실수를 바로잡으며 학습할 가능성이 높지만, 우리의 뇌는 초기 이론들이 제시했던 것보다 훨씬 더 복잡한 "차체"를 가지고 있습니다.