당신이 거대하고 마법 같은 도서관으로 걸어 들어간다고 상상해 보세요. 그곳의 책들은 당신에게 말을 걸 수 있습니다. 이 책들은 단순한 책이 아닙니다. 바로 "멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLM)"입니다. 이들을 아주 똑똑한 사서라고 생각하면 됩니다. 이들은 사진을 볼 수도 있고, 글을 읽을 수도 있으며, 세상을 이해할 수 있습니다. 보통 이들에게 질문을 하면, 거의 모든 사람에게 통용되는 매우 훌가적인 일반적인 답변을 내놓습니다. 하지만 만약 당신이 그 사서가 '당신'을 구체적으로 알기를 원한다면 어떨까요? 당신이 매운 음식을 싫어하고, 빈티지 패션을 사랑하며, 수영보다 하이킹을 항상 선호한다는 사실을 그들이 알기를 원한다면 어떨까요? 이것이 바로 "개인화된(personalized)" AI의 목표입니다. 즉, 평균적인 사람의 취향을 아는 로봇이 아니라, 당신의 독특한 취향을 아는 친구처럼 행동하게 만드는 것입니다.

하지만 한 명의 사서에게 수백 명의 서로 다른 사람들을 동시에 가르치려고 할 때 까다로운 문제가 발생합니다. 당신이 읽게 될 이 논문은 컴퓨터 과학의 한 분야인 "개인화된 멀티모달 거대 언어 모델(Personalized Multimodal Large Language Models)"의 영역을 다룹니다. 이 논문은 AI가 여러 사용자의 선호도를 학습하려고 할 때, 종종 혼란에 빠져 개인의 목소리에 귀를 기울이는 것을 멈춰버리는 특정한 골칫거리를 해결하고자 합니다. 당신이 재즈를 좋아하고 당신의 친구가 록을 좋아한다는 것을 기억하는 대신, AI는 모든 사람이 가장 인기 있는 음악 장르를 좋아한다고 생각하기 시작합니다. 이는 마치 너무 많은 테이블을 서빙하다 보니, 결국 모든 사람에게 "가장 인기 있는 요리"를 내놓기로 결정해 버린 웨이터가, 당신이 분명히 샐러드를 주문했음에도 불구하고 그것을 잊어버리는 것과 같습니다. 이 논문은 왜 이런 현상이 발생하는지 조사하고, AI가 마침내 당신의 구체적인 취향을 기억할 수 있도록 이를 해결하고자 합니다.

거대한 "그룹 허그(Group Hug)" 문제

이 논문의 저자들은 **"그룹 선호도 붕괴(Group Preference Collapse)"**라고 부르는 결함을 발견했습니다. 교실에서 선생님이 모든 학생에게 가장 좋아하는 색깔이 무엇인지 묻는 상황을 상상해 보세요. 선생님이 정말 유능하다면 알렉스는 파란색, 샘은 초록색, 조단은 보라색을 좋아한다는 것을 기억할 것입니다. 하지만 이 "붕괴" 시나리오에서는 선생님이 압도당합니다. 선생님은 교실에서 "파란색"이 가장 인기 있는 답변이라는 것을 알아차리고, 그래서 모든 사람이 파란색을 좋아한다고 가정하기 시작합니다. 설령 샘이 손을 들고 "아니요, 저는 정말로 초록색을 좋아해요!"라고 말하더라도, 선생님은 그저 고개를 끄덕이며 "그래, 너도 파란색을 좋아하는구나"라고 말해버립니다.

AI의 세계에서도 여러 사용자로부터 학습할 때 이런 일이 일어납니다. "시끄럽거나" 흔한 선호도(예를 들어 요가를 좋아하거나 캐주얼한 옷을 입는 것)가 더 조용하고 구체적인 선호도를 덮어버립니다. 모델은 개인의 독특한 특징에 무뎌지며 평균적인 선택으로 흘러갑니다. 논문에 따르면, 설령 당신이 AI에게 "이봐, 나는 앤더슨이고, 정원 가꾸기를 좋아해"라고 말하더라도, AI는 여전히 당신이 요가를 선호할 것이라고 추측할 수 있습니다. 왜냐하면 학습 데이터의 많은 사람들이 요가를 좋아하기 때문입니다. 이는 AI가 당신을 무시하는 것이 아니라, 당신을 당신답게 만드는 고유한 신호에 귀를 기울이는 법을 버렸기 때문입니다.

해결책: PrefMoE (똑똑한 사서)

이를 해결하기 위해 연구진은 PrefMoE라는 새로운 시스템을 구축했습니다. 이것을 AI 사서에게 아주 잘 정리된 파일 시스템과 전문 비서들을 붙여주는 것이라고 생각하면 됩니다.

1. "누구인가"와 "무엇인가"의 분리
먼저, 이 시스템은 사용자의 정보를 두 가지 다른 바구니로 나눕니다.

• 프로필 바구니 (The "Who"): 여기에는 당신의 사진이나 "나는 25세 학생이다"와 같이 변하지 않는 안정적인 사실들이 담깁니다. 이러한 사실들은 크게 변하지 않습니다.
• 선호도 바구니 (The "What"): 여기에는 "나는 보헤미안 패션을 사랑한다" 또는 "나는 공포 영화를 싫어한다"와 같은 당신의 구체적인 취향이 담깁니다. 이것들이 당신을 독특하게 만드는 요소들입니다.

기존 방식들은 이 모든 정보를 하나의 큰 더미로 뭉쳐 놓으려 했고, 이것이 "그룹 허그" 문제를 일으켰습니다. PrefMoE는 이들을 분리하여 AI가 혼란을 겪지 않도록 합니다.

2. 프로토타입과 잔차 (평균 vs. 반전)
여기서부터 아주 영리한 부분이 등장합니다. 시스템은 모든 사람이 공통된 취향(즉, "프로토타입")을 공유한다는 점을 인식합니다. 예를 들어, 대부분의 사람은 "여행"을 좋아할 수 있습니다. 하지만 PrefMoE는 거기서 멈추지 않습니다. 시스템은 당신의 여행 스타일을 다르게 만드는 작고 독특한 반전, 즉 "잔차(Residual)"를 찾아냅니다. 아마도 당신은 여행을 좋아하지만, 캠핑은 정말 싫어하고 오직 호화 크루즈만 선호할 수도 있습니다.

• 프로토타입: "나는 여행을 좋아한다." (많은 이들이 공유함)
• 잔차: "하지만 나는 오직 호화 크루즈만 좋아한다." (당신만의 고유함)

논문에 따르면, 특별한 보호 장치가 없다면 AI는 "잔차"를 무시하고 그냥 "프로토타입"에 머무르는 경향이 있습니다. PrefMoE는 **반사실적 증강(counterfactual augmentation)**이라는 특별한 수학적 기법을 사용합니다. AI가 서로 다른 사람들의 취향을 섞어서(예를 들어, 앤더슨의 정원 가꾸기 사랑과 벨라의 요가 사랑을 조합하여) 가상의 "유령 사용자"를 만들어내는 것을 상상해 보세요. 이러한 만들어진 조합들로 학습함으로써, AI는 집단의 평균이 아닌 구체적인 세부 사항에 주의를 기울이는 법을 배웁니다. 또한, AI에게 "이봐, 네 여행 선호도를 패션 선호도와 섞지 마. 각각 자기 상자에 따로 담아둬"라고 말하는 것과 같은 탈상관화(decorrelation) 기술을 사용합니다.

3. 전문 비서들 (MoE 라우터)
마สุดท้าย로, PrefMoE는 "전문가 혼합(Mixture of Experts, MoE)" 시스템을 사용합니다. AI에게 전문 팀이 있다고 상상해 보세요. 당신이 질문을 하면, 똑똑한 "라우터"가 당신이 무엇을 묻고 있는지 보고 어떤 전문가를 부를지 결정합니다.

• 만약 당신이 "이 사람은 무엇을 입고 있나요?"라고 묻는다면, 라우터는 프로필 전문가(당신의 사진을 보는 전문가)를 호출합니다.
• 만약 당신이 "이 사람은 어떤 활동을 즐길까요?"라고 묻는다면, 라우터는 선호도 전문가(당신의 구체적인 좋아함과 싫어함을 확인하는 전문가)를 호출합니다.

이를 통해 AI는 단순히 인기 있는 것을 바탕으로 추측하는 것이 아니라, 당신에 대한 올바른 정보를 능동적으로 검색할 수 있게 됩니다.

수치가 말해주는 것

연구진은 LLaVA나 Qwen과 같은 매우 유명한 모델들을 포함한 여러 가지 다양한 AI 모델로 이 새로운 시스템을 테스트했습니다. 그들은 이 새로운 방법론을 표준적인 AI 학습 방식과 비교했습니다.

결과는 매우 명확했습니다. LLaVA-1.5-7B 모델을 사용한 테스트에서, 표준적인 학습 방식(전체 미세 조정, Full Fine-Tuning)은 사용자의 구체적인 선호도를 맞히는 데 약 **44.13%**의 정확도를 보였습니다. 반면 PrefMoE를 사용했을 때, 그 수치는 **67.33%**로 뛰어올랐습니다.

더 중요한 것은, AI가 "그룹 허그" 실수(사용자의 실제 선택 대신 대중적인 선택을 예측하는 것)를 얼마나 자주 범하는지를 측정했을 때입니다. 표준 방식은 **34.25%**의 확률로 그룹 선호도로 붕괴되었습니다. PrefMoE는 이 재앙적인 수치를 **12.33%**로 줄였습니다. 테스트한 가장 강력한 모델들에서, PrefMoE는 **78.93%**의 정확도를 달면서도 붕괴율을 **10.96%**로 낮게 유지했습니다.

핵심 요약

이 논문은 AI를 진정으로 개인화하기 위해서는 단순히 더 많은 데이터를 주거나 "더 똑똑해지라"고 말하는 것만으로는 부족하다는 점을 시사합니다. 우리는 일반적인 대중과 개별적인 개인을 어떻게 구분하는지 가르쳐야 합니다. 사용자의 정보를 안정적인 프로필과 고유한 선호도로 나누고, 질문을 적절한 "전문가"에게 전달하는 스마트한 시스템을 사용함으로써, 우리는 AI가 다수가 원하는 것을 추측하는 것을 멈추고 당신이 실제로 원하는 것을 이해하도록 만들 수 있습니다.

물론 저자들은 이것이 아직 완벽하지 않다는 점을 인정합니다. 만약 당신이 자신의 선호도에 대해 명확한 지침을 주지 않거나, 사진이 충분한 단서를 제공하지 않는다면, AI는 여전히 틀릴 수 있습니다. 하지만 이 새로운 접근 방식은 유망한 길을 제시합니다. 즉, 디지털 사서가 마침내 당신이, 특히 당신이, 시끄러운 콘서트보다 조용한 북카페를 선호한다는 사실을 기억하게 되는 길 말입니다.