Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

당신의 비디오 게임 캐릭터, 가상 투어 가이드, 또는 메타버스 친구들이 단순히 텔레프롬프터를 읽는 로봇처럼 정해진 대본만 따르는 것이 아닌 세상을 상상해 보십시오. 대신, 그들은 디지털적인 의미에서 진정으로 "살아있는" 존재가 됩니다. 그들은 당신이 어제 말한 것을 기억하고, 당신의 농담을 이해하며, 즉석에서 결정을 내릴 수 있습니다. 이것이 바로 "체화된 가상 에이전트(Embodied Virtual Agents)"의 꿈입니다. 하지만 문제가 하나 있습니다. 이 캐릭터들을 똑똑하게 만들기 위해, 그들은 보통 거대하고 강력한 클라우드의 슈퍼컴퓨터로 자신의 생각을 보내야 합니다. 이는 시간을 소모하고, 지연 시간을 발생시키며, 연결이 끊긴 듯한 느낌을 줄 수 있습니다.

두 명의 새로운 영웅이 등장합니다: 바로 **소형 언어 모델(SLM)**과 **엣지 컴퓨팅(Edge Computing)**입니다. SLM을 초소형이지만 강력한, 슈퍼컴퓨터 없이도 언어를 이해할 수 있는 주머니 속의 명석한 두뇌라고 생각해 보십시오. 엣지 컴퓨팅은 이 두뇌를 먼 데이터 센터에서 실제 상황이 일어나는 곳 바로 옆으로, 예를 들어 당신이 사용 중인 기기 위로 옮기는 것과 같습니다. 과학자들이 던지는 핵심 질문은 이것입니다. "우리는 이 '주머니 속의 두뇌'를 우리의 가상 친구들 바로 옆에 두어, 신호가 클라우드까지 갔다가 돌아오기를 기다리지 않고도 그들이 즉각적으로 생각하고, 기억하고, 행동하게 만들 수 있을까?" 이 논문은 바로 그 점을 테스트하며, 이 작은 로컬 두뇌들이 가상 에이전트의 기억과 의사결정이라는 무거운 짐을 감당할 만큼 충분히 똑똑한지를 파헤칩니다.

두뇌와 사서: 가상 에이전트의 딜레마

가상 현실의 세계에서, 에이전트가 실재감을 갖기 위해서는 두 가지 주요 요소가 필요합니다: 무엇을 할지 결정하는 생각(Think) 과정과, 당신이 누구인지 그리고 어떤 대화를 나누었는지를 기억하는 기억(Memory) 과정입니다. 이 연구의 연구자들은 NVIDIA Jetson Orin NX라는 강력한 소형 컴퓨터를 사용하여, 엣지 기기에서 실행되는 소형 언어 모델을 통해 이러한 에이전트의 "인지 엔진"을 구축할 수 있는지 확인하고 싶었습니다. 그들은 단순히 에이전트가 대화를 나누는 것을 넘어, 당신의 요청을 적절한 서비스(예: 3D 모델 생성 또는 사운드 재생)로 라우팅하고 대화의 기록을 계속 유지할 수 있는 진정한 조수처럼 행동하기를 원했습니다.

이를 테스트하기 위해, 그들은 에이전트의 "두뇌"가 Qwen2.5 모델인 시스템을 구축했습니다. 그들은 이 "두뇌"의 크기를 세 가지로 시도했습니다: 0.5억 개의 파라미터를 가진 아주 작은 모델, 15억 개의 파라미터를 가진 중간 크기 모델, 그리고 30억 개의 파라미터를 가진 더 큰 모델입니다. 그들은 이 모델들을 모두 엣지 기기에 설치하고, 이들이 얼마나 잘 생각하고 기억하는지 확인하기 위해 일련의 도전 과제들을 부여했습니다.

"생각" 테스트: 요청 라우팅

먼저, 그들은 생각 과정을 테스트했습니다. 당신이 가상 세계에 있다고 가정하고, "용의 포효 소리가 필요해" 또는 "성벽을 위한 텍상(texture)을 생성해 줄래?"라고 말한다고 해봅시다. 에이전트는 즉시 어떤 도구를 사용할지 파악해야 합니다. 이는 마치 바쁜 호텔의 접수원이 손님을 스파, 체육관, 또는 레스토랑과 같은 적절한 방으로 안내해야 하는 것과 같습니다.

결과는 속도와 지능 사이의 명확한 트레이드오프(trade-off)를 보여주었습니다. 아주 작은 0.5B 모델은 빨랐지만 자주 길을 잃었습니다. 이 모델은 약 **29.4%**의 확률로만 정답을 맞혔습니다. 이 모델은 "이미지를 3D로 생성하기"와 "대화형 생성기"를 혼동하는 등 유사한 요청을 자주 헷в렸습니다. 이는 마치 다른 방의 위치를 잊어버려서 모든 사람을 체육관으로 보내버리는 접수원과 같았습니다.

1.5B 모델은 큰 개선을 보여주며 **85.4%**의 정확도를 기록했습니다. 대부분의 요청을 잘 처리했지만, 복잡한 3D 작업에서는 여전히 약간 실수를 했습니다. 3.0B 모델은 가장 똑똑했으며, 특히 까다로운 생성 작업에서 **87.7%**의 정확도를 달로 달성했습니다. 그러나 똑똑해진 데에는 대가가 따랐습니다. 3.0B 모델은 생각하는 데 훨씬 더 오랜 시간이 걸렸습니다. 1.5B 모델의 평균 응답 시간이 3,349밀리초(약 3.3초)인 것에 비해, 3.0B 모델의 평균 응답 시간은 5,067밀리초(약 5초)였습니다. 가장 작은 0.5B 모델은 1,504밀리초로 가장 빨랐지만, 너무 신뢰할 수 없어 유용하지 않았습니다.

"기억" 테스트: 세부 사항 기억하기

다음으로, 그들은 기억 과정을 테스트했습니다. 이것은 에이전트에게 당신이 이전에 언급했던 특정 세부 사항을 회상하게 하거나, 당신이 마음을 바꿨을 때 사실을 업데이트하도록 요청하는 것과 같습니다. 예를 들어, 당신이 "내 캐릭터의 이름은 알렉스야"라고 말했다가 나중에 "사실, 내 이름은 용맹한 알렉스야"라고 말한다면, 에이전트는 업데이트된 내용을 기억하고 혼동하지 않아야 합니다.

여기서 차이는 더욱 극명했습니다. 0.5B 모델은 사실을 **72.8%**의 확률로 정확하게 회상했지만, 수정 사항을 처리하는 데는 형편없었습니다. 이 모델은 올바른 인물은 기억하지만 잘못된 세부 사항을 기억하거나, 당신이 마음을 바꿨다는 사실을 인지하지 못하는 경우가 많았습니다. 이는 이름을 기억하지만 당신이 방금 머리를 잘랐다는 사실은 계속 잊어버리는 친구와 같았습니다.

1.5B 모델은 더 나은 성능을 보이며 **78.4%**의 정답률을 기록했습니다. 단순한 사실은 잘 처리했지만, 복잡한 업데이트나 유사한 기억을 구분하는 데는 여전히 어려움을 겪었습니다. 3.0B 모델은 확실한 승자였으며, **93.6%**의 정확도를 달성했습니다. 이 모델은 사실, 업데이트, 그리고 수정 사항을 안정적으로 처리할 수 있었습니다. 그러나 앞선 생각 테스트와 마찬가지로, 이 높은 정확도는 무거운 속도 페널티를 동반했습니다. 3.0B 모델은 기억 요청을 처리하는 데 평균 9,693밀리초(거의 10초)가 걸렸으며, 최악의 경우 일부 요청은 14,531밀리초(14초 이상)까지 소요되었습니다. 0.5B 모델은 2,025밀리초로 훨씬 빨랐지만, 낮은 정확도 때문에 심각한 용도로 쓰기에는 부적합했습니다.

결론: 직무에 따라 다르다

그렇다면 연구자들은 무엇을 발견했을까요? 그들은 소형 언어 모델이 클라우드를 필요로 하지 않고도 엣지에서 가상 에이전트의 "생각"과 "기억" 부분을 부분적으로 구동할 수 있다는 것을 발견했습니다. 하지만 단 하나의 "완벽한" 크기는 존재하지 않습니다.

속도가 필요하고 약간의 실수를 감수할 수 있다면, 더 작은 모델들이 더 빠르지만 신뢰도가 낮습니다. 만약 세부 사항을 기억하거나 복잡한 결정을 내리는 데 높은 정확도가 필요하다면, 더 큰 모델들이 훨씬 낫지만 느립니다. 이 논문은 최선의 해결책이 하이브리드 접근 방식일 수 있다고 제안합니다. 즉, 빠른 간단한 작업(예: 요청 라우팅)에는 더 작고 빠른 모델을 사용하고, 무거운 작업(예: 복잡한 이력 기억 또는 수정 사항 처리)에는 더 크고 똑똑한 모델을 사용하는 것입니다.

연구는 우리가 가상 에이전트가 로컬에서 생각하고 기억할 수 있는 단계에 가까워지고 있지만, 여전히 할 일이 많다고 결론짓습니다. 현재의 모델들은 실시간의 즉각적인 상호작용을 하기에는 다소 느리며, 때때로 어떤 행동을 취해야 할지 혼란스러워합니다. 하지만 이는 고무적인 첫걸음입니다. 적절한 모델 크기의 조합과 세심한 설계를 통해, 우리는 단순히 보기 좋은 것을 넘어 메타버스에서 우리와 함께 시간을 보낼 수 있을 만큼 진정으로 똑똑한 가상 친구를 만들기 시작할 수 있음을 보여줍니다.