당신이 가장 좋아하는 비디오 게임이나 가상 박물관의 캐릭터들이 단순히 버튼을 누를 때까지 기다리는 경직된 스크립트를 따르는 것이 아니라, 다른 세상을 상상해 보십시오. 대신, 그들이 당신이 5분 전에 했던 말을 기억하고, 다음에 무엇을 할지 스스로 결정할 수 있는 '두뇌'를 가지고 있다고 상상해 보십시오. 이것이 바로 **지능형 가상 에이전트(Intelligent Virtual Agents, IVAs)**의 꿈입니다. 즉, 당신과 실제 사람처럼 상호작용할 수 있는 디지털 캐릭터들 말입니다. 오랫동안 과학자들은 두 가지 어려운 선택지 사이에서 막혀 있었습니다. 한쪽에는 '반응형(reactive)' 에이전트가 있습니다. 이들은 앉아, 기다려, 혹은 가져와 같은 단순한 명령에 따라 움직이는 훈련된 개와 같습니다. 이들은 빠르고 구축하기 쉽지만, 상황이 변했을 때 실제로 생각하거나 적응할 수는 없습니다. 다른 한쪽에는 '인지적(cognitive)' 에이전트가 있습니다. 이들은 추론하고 계획을 세울 수 있는 천재적인 철학자와 같지만, 너무 복잡하고 느려서 실제 실시간 비디오 게임 안에서 실행하면 컴퓨터를 멈추게 할 수 있습니다. 연구자들의 큰 질문은 이것입니다. 우리는 게임에서 실행될 만큼 빠르면서도 인간처럼 생각할 수 있을 만큼 똑똑한 캐릭터를 만들 수 있을까?

이 논문은 바로 이 문제를 해결하기 위해 CEAA(Cognitive Embodied Agents Architecture, 인지적 체화 에이전트 아키텍처)라는 새로운 청사진을 소개합니다. 이것은 디지털 캐릭터의 '두뇌'를 만드는 데 필요한 보편적인 지침서라고 생각하면 됩니다. 저자인 아이밀리오스 하지리아시(Aimilios Hadjiliasi)와 루이스 니시오티스(Louis Nisiotis)는 고차원적 사고와 저차원적 행동 사이의 통역사 역할을 하는 모듈형 시스템을 제안합니다. 그들은 컴퓨터 과학의 유명한 개념들—예를 들어 "감지-생각-행동(Sense-Think-Act)" 루프(세상을 보고, 그것에 대해 생각한 다음, 무언가를 하는 것)와 "BDI" 모델(신념, 욕구, 의도를 의미하며, 에이전트가 무엇을 알고, 무엇을 원하며, 무엇을 계획하는지를 나타냄)을 가져와 공유 메모리 시스템과 함께 결합했습니다. 그 결과, 가상 에이전트가 당신의 말을 듣고, 당신의 질문을 기억하고, 당신을 돕기 위한 최선의 방법을 찾아낸 다음, 게임을 멈추게 하지 않으면서 실제로 자신의 가상 신체를 움직일 수 있게 해주는 프레임워크가 탄생했습니다.

문제점: "두뇌" 대 "신체"

이것이 왜 중요한지 이해하려면 가상 현실 박물관을 상상해 보십시오. 당신이 그곳에 들어가서 가이드가 안내해주기를 원한다고 가정해 봅시다. 만약 가이드가 단순한 '반응형' 에이전트라면, 당신이 무엇을 하든 상관없이 "안녕하세요! 도와드리러 왔습니다"라고 말할 뿐일 것입니다. 만약 당신이 복잡한 질문을 던진다면, 그저 미리 녹음된 답변을 반복할 수도 있습니다. 그것은 단 한 문장만 말할 수 있는 마네킹과 같습니다.

하지만 만약 그 가이드에게 초복잡한 '생각하는' 두뇌를 부여하려고 한다면, 컴퓨터는 과부하가 걸릴 수 있습니다. 두뇌가 완벽한 답을 계산하느라 너무 바빠서 가이드의 몸이 얼어붙거나 게임이 끊겨 경험을 망칠 수 있습니다. 논문은 현재의 기술이 이 중간 지점에 갇혀 있다고 주장합니다. 즉, 우리는 빠르지만 멍청한 에이전트나, 똑똑하지만 실시간 3D 세상에서 실행할 수 없는 느린 에이전트 중 하나를 선택해야 한다는 것입니다.

해결책: 모듈형 "두뇌" 키트

저자들은 빠른 신체와 똑똑한 두로를 모두 가진 에이전트를 구축하는 방법으로 CEAA를 제안합니다. 그들은 잘 정리된 주방처럼 세 가지 계층으로 구성된 12개의 서로 다른 부분으로 에이전트의 "마음"을 나눕니다.

1. 환경 계층 (주방 조리대)
이곳은 행동이 일어나는 곳입니다. 사용자, 사물, 그리고 이벤트가 존재하는 가상 세계 그 자체입니다. 이것을 재료(이벤트)가 놓이는 주방 조리대라고 상상해 보십시오. 조리대는 아무것도 요리하지 않고 그저 물건을 담아둘 뿐입니다. 사용자가 가상 전시물로 다가오면, 그 이벤트가 조리대 위에 놓입니다.

2. 지식 계층 (공유 칠판)
이것이 이 시스템에서 가장 영리한 부분입니다. 주방 한가운데에 모든 사람이 볼 수 있는 거대한 칠판이 있다고 상상해 보십시오. 조리대에서 어떤 일이 발생하면(예: 사용자가 질문을 함), 그 내용은 칠판에 기록됩니다. 이것을 "공유 지식 베이스(Shared Knowledge Base)"라고 부릅니다. 모든 에이전트가 온 세상을 관찰하려고 애쓰는 대신, 그들은 칠판만을 봅니다. 만약 특정 에이전트가 특정 주제(예: "역사")에 관심이 있다면, 칠판의 노트를 보고 "어, 내가 도와줄 수 있겠는데!"라고 말하게 됩니다. 이는 에이전트들이 너무 많은 정보 때문에 혼란에 빠지거나 압도되는 것을 방지합니다.

3. 에이전트 계층 (요리사)
이곳은 실제 "생각"이 일어나는 곳입니다. 에이전트는 칠판을 읽고, 자신의 레시피 북(기억)을 확인한 뒤, 무엇을 요리할지 결정하는 요리사와 같습니다. 저자들은 요리사의 과정을 구체적인 단계로 나누었습니다:

• 감지(Sense): 요리사는 주의를 기울여야 할 사항이 있는지 칠판을 살핍니다.
• 기억(Memory): 요리사는 과거의 경험을 확인합니다. "전에 이 문제로 누군가를 도운 적이 있었나? 그때 어떤 일이 있었지?"
• 생각(Think): 요리사는 자신이 알고 있는 것(신념), 달성하고자 하는 것(욕구), 그리고 수행하기로 약속한 것(의도)을 결합합니다.
• 추론 및 계획(Reasoner & Planner): 요리사는 최선의 계획을 세웁니다. "좋아, ENIAC 컴퓨터의 역사를 설명해야 해. 먼저 인사를 하고, 그다음 기계를 보여주고, 그다음에 질문에 답해야겠어."
• 행동 매핑(Behavior Mapper): 이것은 번역기입니다. 추상적인 계획("역사를 설명하라")을 신체가 할 수 있는 구체적인 행동("손을 움직여 가리키기", "오디오 클립 재생하기", "미소 짓는 표정 만들기")으로 바꿉니다.
• 행동(Act): 요리사가 실제로 몸을 움직이고 말하는 마지막 단계입니다.

테스트: 컴퓨터 가상 박물관

이 "두뇌"가 실제로 작동하는지 확인하기 위해 연구진은 프로토타입을 제작했습니다. 그들은 컴퓨터의 역사, 특히 ENIAC에 특화된 가상 박물관을 만들었습니다. 그들은 이 박물관에 네 명의 서로 다른 가상 가이드(에이전트)를 배치했습니다. 각 에이전트는 서로 다른 역할을 가졌습니다: 어떤 이는 내비게이터였고, 어떤 이는 교사였으며, 어떤 이는 테스터였습니다.

그들은 92명의 대학생(표준 3D 데스크톱 버전 46명, 전체 VR 버전 46명)을 대상으로 이 시스템을 테스트했습니다. 학생들은 에이전트와 약 45분 동안 상호작용했습니다. 에이전트들은 단순히 스크립트를 읽는 것이 아니라, CEAA 아키텍처를 사용하여 학생들의 말을 듣고, 이미 배운 내용을 기억하며, 교수 스타일을 조정했습니다. 만약 학생이 질문을 하면, 에이전트는 자신의 기억을 확인하여 이미 답변했는지 확인하거나 더 상세한 설명을 제공하기로 결정할 수 있었습니다.

발견한 점

결과는 유망했습니다. 연구는 학생들이 에이전트와 상호작용한 후, 상호작용 전보다 데스크톱과 VR 그룹 모두에서 학습량이 유의미하게 증가했음을 보여주었습니다. 에이전트들은 학생들을 안내하고, 질문에 답하며, 심지어 지식을 평가할 수 있었습니다.

흥미롭게도, VR 그룹의 학생들은 경험이 약간 더 몰입감 있고 매력적이라고 느꼈지만, 학습 결과는 두 그룹 간에 매우 유사했습니다. 이는 이 "두뇌" 아키텍처가 일반적인 3D 공간에서도 풀 VR 헤드셋 안에서만큼이나 잘 작동한다는 것을 시사합니다. 또한 학생들은 에이전트가 사용하기 쉽고 학습에 유용하다고 보고했습니다.

시사점

이 논문은 CEAA가 더 똑똑한 가상 에이전트를 구축하기 위한 성공적인 "템플릿"이라고 결론짓습니다. 이는 에이전트의 생각하는 부분과 움직이는 부분을 분리함으로써, 둘 다 똑똑하면서도 빠르게 만들 수 있음을 증명합니다. 저자들은 이 아키텍처가 복잡한 이론과 Unity 또는 Unreal 같은 실제 게임 엔진 사이의 간극을 메워준다고 제안합니다.

하지만 저자들은 이것이 완벽하고 완성된 제품이라고 주장하는 데는 신중합니다. 그들은 이 시스템이 프로토타입에서는 작동하지만, 여전히 상당 부분 개념적인 프레임워크라는 점을 인정합니다. 그들은 수천 명의 에이전트를 동시에 처리할 수 있는지, 혹은 극한의 압박 속에서 어떻게 성능을 내는지 아직 완전히 테스트하지 않았습니다. 그들은 다음 단계가 이 아키텍처를 단순히 종이 위의 이론으로 남겨두는 것이 아니라, 게임 개발자들이 이 아키텍처를 쉽게 사용할 수 있도록 실제 도구와 플러그인을 만드는 것이라고 제言합니다.

요약하자면, 이 논문은 새로운 종류의 지능을 발명한 것이 아니라, 기존의 지능을 비디오 게임 안에서 실제로 살아 숨 쉴 수 있도록 조직하는 새로운 방법을 발명한 것입니다. 그것은 마치 똑똑하지만 서투른 철학자에게 효율적인 조수들(모듈형 구성 요소들)을 붙여주어, 그들이 길에서 넘어지지 않고 마라톤을 완주할 수 있게 해주는 것과 같습니다.