From Large Language Models to Multimodal Intelligence: Bridging AI and Cognitive Science

위대한 뇌의 업그레이드: 텍스트 전용에서 전신 AI로

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 과학자들은 로봇에게 방대한 양의 책, 기사, 웹사이트를 입력하는 방식으로 이를 시도해 왔습니다. 이러한 접근 방식은 "대규모 언어 모델(LLM)"을 만들어냈는데, 이들은 거의 모든 기록된 글을 읽은 초스마트한 앵무새와 같습니다. 이들은 문장에서 다음에 올 단어를 예측하거나, 수학 문제를 풀거나, 심지어 시를 쓰는 데 매우 뛰어납니다. 하지만 한 가지 문제가 있습니다. 이들은 오직 '언어'를 통해서만 세상을 압니다. 이들은 태양의 열기나 사포의 거칠음, 혹은 무거운 상자의 무게를 느껴본 적이 없습니다.

이는 인공지능(AI)과 인지과학(마음이 어떻게 작동하는지 연구하는 학문) 분야에 중대한 질문을 던집니다. "읽는 것만으로 충분히 똑똑해질 수 있는가? 아니면 기계가 진정으로 이해하기 위해서는 몸이 필요한가?" 당신이 곧 읽게 될 이 논문은 언어가 강력한 도구이긴 하지만, 진정한 지능을 위해서는 몇 가지 결정적인 요소가 빠져 있을 수 있다는 아이디어를 탐구합니다. 이 논문은 단순히 텍스트를 넘어, 기계가 세상과 직접 소통하고 학습하며 우리와 상호작용할 수 있도록 시각, 청각, 촉각과 같은 "멀티모달(multimodal)" 감각을 부여해야 한다고 제안합니다.

---

메뉴를 읽는 것에서 음식을 맛보는 것으로

대규모 언어 모델(LLM)을 우주의 모든 요리책을 암기했지만, 정작 주방에는 한 번도 발을 들여놓지 않은 요리사라고 생각해보세요. 이 요리사는 수백만 개의 묘사를 바탕으로 딸기의 색상, 맛, 질감을 완벽하게 설명할 수 있습니다. 심한 성격의 딸기를 먹을 때의 즐거움에 대해 시를 쓸 수도 있습니다. 하지만 만약 당신이 그들에게 진짜 딸기를 건네준다면, 그들은 딸기를 어떻게 잡아야 하는지, 얼마나 세게 짜야 하는지, 혹은 피부에 닿는 느낌이 어떤지를 알지 못할 것입니다. 그들은 경험에 대한 '단어'는 알고 있지만, 그 '경험' 자체를 해본 적은 없습니다.

연구자 얀 장(Yanru Jiang)과 릭 데일(Rick Dale)이 작성한 이 논문은 단순하지만 심오한 질문을 던집니다. "기계가 오직 언어를 통해서만 세상을 안다면, 진정으로 지능적이라고 할 수 있는가?"

저자들은 이러한 텍스트 전용 "요리사"들이 하는 일에 매우 뛰어나지만, 결국 한계에 부딪힐 것이라고 주장합니다. 이들은 정보를 표현하고 글로 쓸 수 있는 문제를 해결하는 데는 탁월하지만, 매뉴얼 없이 새로운 상황에 적응하거나 "학습하는 법을 배우는(learning to learn)" 일에는 어려움을 겪습니다. 논문은 이 벽을 넘어서기 위해 AI가 "텍스트 전용" 시스템에서 인간처럼 시각, 청각, 움직임을 결합한 "멀티모달" 시스템으로 진화해야 한다고 제안합니다.

두 가지 사고방식: 도서관 vs 놀이터

이것이 왜 중요한지 이해하기 위해, 논문은 마음이 어떻게 작동하는지에 대한 두 가지 서로 다른 관점을 설명합니다.

1. 기호적 인지 (도서관): 이 관점은 언어만으로 충분하다고 말합니다. 단어는 실제 세계와 완벽하게 매핑되는 기호라고 주장합니다. 만약 당신이 "장미"라는 단어와 그와 연결된 다른 단어들(예: "빨간색", "가시가 있는", "로맨스")을 안다면, 본질적으로 장미가 무엇인지 아는 것이라고 봅니다. 논문은 현대의 AI가 이 작업에 매우 능숙해졌음을 인정합니다. AI는 지도나 달력을 본 적이 없더라도, 단어가 어떻게 함께 사용되는지를 관찰함으로써 "뉴욕"이 장소이고 "월요일"이 시간이라는 것을 파악할 수 있습니다. 이는 우리 뇌가 작동하는 방식과 매우 유사한 패턴을 언어에서 찾아내는 것입니다.

2. 체화된 인지 (놀이터): 이 관점은 언어만으로는 부족하다고 말합니다. 단어를 진정으로 이해하려면 그것을 직접 '경험'해야 한다고 주장합니다. 당신이 "무겁다"의 정의를 읽어서 그 뜻을 아는 것이 아니라, 무거운 상자를 들어 올려 근육의 긴장을 느껴봤기 때문에 그 의미를 아는 것입니다. 논문은 자전거를 타는 법이나 음료가 담긴 쟁반의 균형을 잡는 법과 같은 많은 개념은 글로 완전히 전달될 수 없다고 제[]합니다. 그것들은 반드시 '행해야' 하는 것들입니다.

저자들은 "도서관" 접근 방식이 쓸모없다고 말하는 것이 아닙니다. 오히려 그것이 믿을 수 없을 정도로 강력하다는 점을 인정합니다. 하지만 그것은 불완전하다고 주장합니다. 물리 법칙에 관한 책을 읽는 것만으로는 자전거 타는 법을 배울 수 없듯이, AI도 세상에 관한 책을 읽는 것만으로는 현실 세계를 항해하는 법을 배울 수 없습니다.

왜 텍스트만으로는 부족한가

논문은 텍스트 전용 AI가 왜 항상 제한적일 수밖에 없는지 두 가지 주요 이유를 지적합니다.

1. "말할 수 없는 것"의 문제
어떤 것들은 말로 표현하기 어렵습니다. 특정 종류의 음악이 주는 느낌이나, 유리잔에 빛이 비치는 정확한 방식 같은 것들 말이죠. 인간은 종종 교과서가 아니라 감각과 몸을 통해 이런 것들을 배웁니다. 만약 AI가 텍스트에만 접근할 수 있다면, 이러한 "언어화할 수 없는" 개념들을 놓치게 됩니다. 이는 마치 아무것도 달콤한 것을 먹어본 적 없는 사람에게 초콜릿의 맛을 설명하려는 것과 같습니다. 아무리 많은 단어를 사용하더라도, 직접 맛을 보기 전까지는 이해할 수 없습니다. 논문은 AI가 새롭고 유연하게 배우기 위해서는 단순히 읽는 것이 아니라 세상을 직접 경험해야 한다고 제안합니다.

2. "대인 관계적" 간극
아름다운 노을을 바라보고 있는 친구와 대화하고 있다고 상상해 보세요. 당신이 "저것 좀 봐!"라고 말하면, 친구는 당신과 같은 하늘을 보고 있기 때문에 당신이 무슨 말을 하는지 즉시 이해합니다. 이제 텍스트만 읽을 수 있는 로봇과 대화한다고 가정해 봅시다. 당신이 "저것 좀 봐"라고 말하면, 로봇은 "저것"이 무엇인지 알 수 없습니다. 로봇에게는 노을을 볼 눈도 없고, 몸을 돌려 바라볼 몸도 없습니다.

논문은 인간의 의사소통이 우리가 어디를 보는지, 얼마나 빨리 말하는지, 혹은 우리의 몸짓과 같은 "비언어적" 단서들로 가득 차 있다고 주장합니다. 이러한 단서들은 우리가 서로를 즉각적으로 이해하도록 돕습니다. 텍스트 전용 AI는 이 모든 것을 놓칩니다. AI는 당신의 조급함이나 기분을 감지하지 못하기 때문에, 당신이 빠른 "예/아니오" 답변을 원할 때도 아주 길고 상세한 답변을 내놓을 수 있습니다. 좋은 대화 상대가 되기 위해서 AI는 우리처럼 실시간으로 상황을 보고, 듣고, 반응할 수 있는 "체화된(embodied)" 존재가 되어야 합니다.

더 똑똑한 AI를 향한 로드맵

그렇다면 이 "멀티모달" AI를 어떻게 만들 수 있을까요? 논문은 우리의 디지털 뇌를 업그레이드하기 위한 레시피처럼 세 가지 흥미로운 경로를 제시합니다.

1. 재료 섞기 (멀티모달 표현 학습)
현재 많은 AI 시스템은 언어 모델과 시각 모델(보는 모델)을 가져와 마지막 단계에서 단순히 붙여버리는 방식으로 구축됩니다. 저자들은 이보다 더 나은 방법이 필요하다고 제안합니다. 단순히 붙이는 대신, 처음부터 함께 학습하도록 해야 한다는 것입니다. 아이에게 책을 먼저 읽힌 다음 나중에 그림을 보여주는 것이 아니라, 아이가 말하기와 보기를 동시에 배우도록 가르치는 것을 상상해 보세요. 이러한 "조기 통합(early integration)"은 AI가 보는 것과 듣는 것 사이의 깊은 연결 고리를 이해하도록 도와, 훨씬 더 똑똑하고 직관적인 시스템을 만드는 데 도움이 될 것입니다.

2. 뇌의 지휘자 (계층적 조절)
우리 뇌는 층(layer)으로 구성되어 있습니다. 하위 층은 "저것은 빨간 점이다"와 같은 단순한 것을 처리하고, 상위 층은 "공이 땅에 떨어지기 전에 잡아야 한다"와 같은 복잡한 것을 처리합니다. 논문은 AI에도 이와 유사한 "지휘자" 시스템이 필요하다고 제안합니다. 이 "지휘자"(우리 뇌의 실행 기능과 같은 역할)는 시각, 청각, 촉각과 같은 다양한 감각을 살펴보고, 어느 순간에 어떤 감각에 집중할지 결정할 수 있어야 합니다. 이는 마치 오케스트라의 지휘자가 바이올린과 드럼이 완벽하게 어우러지도록 조율하는 것과 같습니다. 현재 대부분의 AI는 이 작업에 어려움을 겪으며, 정보가 너무 많이 들어오면 혼란을 겪곤 합니다.

3. 내면의 동기 (자율적 강화)
마지막으로, 논문은 "무엇이 AI를 배우고 싶게 만드는가?"라고 묻습니다. 현재 우리는 보통 AI에게 정확히 무엇을 해야 할지 알려주고, 그것을 맞혔을 때 "보상"(예: 점수)을 줍니다. 하지만 인간은 탐험하라는 가르침을 기다리지 않습니다. 우리는 자연스럽게 호기심을 가집니다. 우리는 버튼을 누르면 어떻게 될지, 나무에 올라가면 어떻게 될지 알고 싶어 합니다. 저자들은 미래의 AI가 "내재적 동기(intrinsic motivation)"를 가져야 한다고 제안합니다. 즉, 다음에 일어날 일을 예측하기 위해 에너지를 사용하는 우리 뇌처럼, 스스로 탐구하고 학습하려는 내장된 동기가 있어야 한다는 것입니다. 이를 통해 AI는 매번 인간이 구체적인 과제를 주지 않아도 스스로 새로운 것을 발견하며 배울 수 있게 될 것입니다.

큰 그림

논문은 대규모 언어 모델이 거대한 진전이긴 하지만, 그것은 시작일 뿐이라고 결론짓습니다. 이들은 도서관의 모든 책을 읽었지만 건물 밖을 한 번도 나가본 적이 없는 명석한 학생과 같습니다. 진정으로 지능적이고, 학습하며, 적응하고, 우리와 자연스럽고 인간답게 상호작용할 수 있는 기계를 만들기 위해서는 그들에게 몸과 감각을 주어야 합니다.

우리는 단순히 단어를 '아는' AI에서, 세상을 '경험하는' AI로 나아가야 합니다. 언어를 시각, 청각, 움직임과 결합하고, 이 기계들이 스스로 탐구하고 학습할 수 있는 능력을 부여함으로써, 우리는 AI가 단순히 우리가 대화하는 도구가 아니라 우리를 진정으로 이해하는 파트너가 되는 미래를 만들 수 있습니다. 이것은 도서관을 대체하는 것이 아니라, 도서관의 문을 열고 AI가 밖으로 걸어 나오게 하는 일입니다.