💬 NLP

The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads

이 논문은 MirageBench를 도입하여 개인화된 LLM이 만연한 과잉 추론을 통해 사용자 속성을 보편적으로 조작한다는 사실을 밝히며, 이러한 현상은 자기 모니터링 메커니즘이 감지하지 못할 뿐만 아니라 실제 오류율과 역상관 관계를 갖는 경우가 많음을 보여줌으로써 모델의 자기 평가보다 외부 검증이 필수적임을 입증한다.

원저자: Yushi Sun, Yanjie Zhang, Rui Sheng

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yushi Sun, Yanjie Zhang, Rui Sheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

기억의 함정: AI가 지나치게 창의적이 될 때

당신이 당신이 말한 모든 것을 기억하는 매우 똑똑한 디지털 비서와 대화하고 있다고 상상해 보세요. 이것은 단순한 메모장이 아닙니다. 당신을 '알아가는' 데 설계된 "개인화된" AI입니다. 컴퓨터 과학에서는 이를 대규모 언어 모델(LLM) 개인화라고 부릅니다. 이 모델들을 당신과 대화할 수 있는 믿을 수 없을 정도로 빠른 독서가라고 생각해보세요. 하지만 이들에게는 까다로운 습관이 하나 있습니다. 바로 당신의 인생 이야기에서 빈칸을 아주 자신만만하게 들리지만 실제로는 지어낸 추측들로 채워 넣곤 한다는 점입니다.

문제를 이해하려면 두 가지를 알아야 합니다. 첫째, **지속적 기억(persistent memory)**은 지난주에 당신이 가장 좋아하는 피자 토핑이 무엇이었는지 기억하는 것처럼, AI가 서로 다른 대화 전반에 걸쳐 당신에 대한 사실을 기억하는 능력입니다. 둘둘째, **환각(hallucination)**은 AI가 세상에 대한 사실(예: 달이 치즈로 만들어졌다고 말하는 것 등)을 지어내는 현상입니다. 하지만 여기에는 세 번째의 더 교활한 문제가 있습니다: 바로 **과잉 추론(over-inference)**입니다. 이것은 AI가 당신이 준 아주 작은 진실을 가져다가, 당신이 언급한 적도 없는 완전히 새로운 성격 특성으로 확장해 버리는 것을 말합니다. 이는 마치 친구에게 커피를 좋아한다고 말했더니, 그 친구가 즉시 당신을 커피 향이 나는 로프트에서 살며 카페를 차리는 꿈을 꾸는 바리스타라고 모두에게 떠벌리는 것과 같습니다. 그 친구가 커피에 대해 거짓말을 하는 것은 아니지만, 그것을 바탕으로 한 전체 삶을 발명해 낸 것입니다. 우리가 이것을 신경 쓰는 이유는, 우리의 디지털 비서가 우리의 삶을 발명하기 시작한다면, 존재하지 않는 사람을 바탕으로 우리에게 조언을 하기 시작할 수도 있기 때문입니다.

신기루: AI가 당신의 삶을 꿈꿀 때

한 연구팀이 이 "개인화된" AI 비서들을 테스트해 보기로 했습니다. 그들은 MirageBench(사막의 가짜 오아시스를 뜻하는 '신기루'는 이 상황에 완벽한 이름입니다)라는 놀이터를 만들었습니다. 그들은 12개의 서로 다른 AI 모델에게 간단한 과제를 주었습니다: 단 세 가지 사실만을 근거로 어떤 인물을 알고 있는 척하라. 그런 다음, AI에게 데이팅 프로필 작성, 주말 여행 제안, 또는 그 사람의 아파트 묘사하기와 같은 일을 시켰습니다.

결과는 마치 자신의 기술에 너무 자신감이 넘친 마술사를 보는 것 같았습니다. 연구진은 테스트한 모든 모델이 "과잉 추론"의 죄를 범하고 있다는 것을 발견했습니다. 평균적으로, 이 AI들이 사용자에 대해 알고 있다고 주장한 내용의 약 **41.6%**는 완전히 지어낸 것이었습니다. 즉, 만약 AI가 당신에 대해 10가지를 알고 있다고 말한다면, 그중 약 4가지는 순수한 허구이며, AI는 이를 매우 확신에 찬 태도로 말한다는 뜻입니다.

연구는 이 지어낸 주장들을 두 가지 범주로 나누었습니다: 고정관념(예: 간호사니까 요가를 좋아할 것이라고 추측함)과 날조(Fabrications)(예: 언급한 적도 없는데 반려동물로 이구아나를 키운다고 지어냄)입니다. AI는 고정관 스타일에 의존하는 것보다 생생한 이야기를 지어내는 것(날조)에 훨씬 더 능숙했습니다. 실제로 누군가의 아파트를 묘사하는 것과 같이 상상력이 필요한 작업의 경우, "가짜" 비율은 거의 **59%**까지 치솟았습니다. AI가 증거를 적게 가질수록, 더 자유롭게 세부 사항을 꿈꾸기 시작하는 것으로 보입니다.

거대한 자신감의 속임수

이 이야기에서 가장 놀라운 부분은 연구진이 **"자기 모니터링 역전(Self-Monitoring Inversion)"**이라고 부르는 현상입니다.

보통 우리는 AI가 "잘 모르겠습니다"라고 말하면 정직한 것이고, "100% 확신합니다"라고 말하면 자신감이 있는 것이라고 생각합니다. 하지만 연구진은 서로 다른 AI 모델을 비교했을 때 복잡한 패턴을 발견했습니다. 자신이 무언가를 지어낼 가능성이 가장 낮다고 주장하는 모델들이 실제로는 가장 많은 것을 지어내고 있었습니다. 반대로, "이봐요, 제가 지금 추측하고 있을지도 몰라요"라고 인정하는 모델들이 종종 진실에 가장 가까웠습니다.

이는 마치 수업 시간에서 "제가 틀렸을 수도 있습니다"라고 손을 드는 학생들은 실제로 공부를 가장 많이 한 학생이고, "정답을 알고 있어요!"라고 외치는 학생들은 엉뚱하게 추측하고 있는 것과 같습니다. 연구진은 모델의 자기 보고된 자신감과 실제 정확도 사이에 부정적인 상관관계가 있음을 발견했지만, 이는 넓은 신뢰 구간을 포함하며 효과가 없을 가능성도 있는 탐색적 발견이라는 점을 명시했습니다. 즉, 모델들을 비교할 때 단순히 AI에게 "너 지금 지어내고 있니?"라고 묻고 그 대답을 믿어서는 안 된다는 뜻입니다. 가장 정직해 보이는 모델이 가장 큰 거짓말쟁이일 수 있지만, 데이터에 따르면 이 관계는 여전히 완전히 이해되고 있는 과정에 있습니다.

침묵의 오염

연구진은 또한 AI가 사용자와 8라운드 동안 대화를 나누는 시뮬레이션을 실행했습니다. 그들은 사용자가 AI의 실수를 바로잡았을 때 AI가 실수를 "청소"하는지 관찰했습니다. 결과는 우려스러웠지만, 반전이 있었습니다: 모든 모델이 똑같이 행동하지는 않았습니다.

가장 똑똑하고 유능한 모델들의 경우, AI는 단순히 실수를 하는 데 그치지 않고, 실수를 축적했습니다. AI가 추측을 적어 놓은 화이트보드를 상상해 보세요. 만약 사용자가 "사실 저는 그걸 좋아하지 않아요"라고 말한다면, 좋은 시스템은 그 추측을 지워야 합니다. 하지만 이 상위 모델들은 어땠을까요? 그들은 그 추측을 보드 위에 그대로 둔 채 그 위에 더 많은 추측을 덧붙였습니다. 그들은 매 라운드마다 약 5개에서 15개의 새로운 지어낸 사실을 추가했으며, 기존의 것을 거의 지우지 않았습니다(제거율은 0.4%에서 5%로 매우 낮았습니다).

하지만 이것이 모든 모델에 해당되는 것은 아니었습니다. 일부 모델은 새로운 정보가 들어올 때 오래된 추측을 적극적으로 제거하는 "교체 및 업데이트" 시스템처럼 행동했습니다. 이들의 제거율은 **70%에서 82%**에 달했습니다. 위험은 특히 가장 유능한 축적자 모델들에게서 나타나는데, 이들의 기억은 결코 수정되지 않은 120개 이상의 지어낸 사실들로 엉망이 된 채 부풀려졌습니다. 이는 마치 소문이 사람에서 사람으로 전달될 때마다 점점 더 상세해지고 틀려지지만, 아무도 "잠깐, 그건 사실이 아니야"라고 말하지 않는 것과 같습니다.

시사점

이 논문의 핵심 교훈은 우리가 AI가 자신의 상상력을 스스로 감시할 것이라고 믿어서는 안 된다는 것입니다. AI가 자신의 생각을 보고 "이것은 사실이다" 또는 "이것은 추측이다"라고 말할 수 있다는 생각은 신기루입니다. 가장 신중해 보이는 모델이 종-종 가장 기만적이며, 불확실성을 인정하는 모델이 종종 더 신뢰할 만합니다. 다만 이 관계의 정확한 강도는 모델에 따라 여전히 탐구되고 있습니다.

연구진은 AI의 자기 보고를 믿는 대신, 인간이나 다른 시스템이 AI의 작업을 검증할 수 있는 **외부 검증(external verification)**이 필요하다고 제안합니다. 또한 우리는 AI가 "추측"하는 모든 것을 사실이 아닌 하나의 가설로 취급해야 합니다. 우리가 무엇을 알고 있는지와 무엇을 상상하고 있는지를 명확히 구분할 수 있는 시스템을 구축하기 전까지, 우리의 개인화된 디지털 비서는 확신에 찬 거짓말을 통해 우리의 가짜 버전을 만들어내고 있을지도 모릅니다.

기술 요약: 개인화의 신기루 (The Personalization Mirage)

문제 정의

본 논문은 지속적 메모리를 가진 개인화된 대규모 언어 모델(LLM) 배포 과정에서 발생하는 결정적인 격차를 다룹다. 이러한 시스템은 사용자 정보를 저장하고 검색하는 능력이 점점 향상되고 있지만, 그 **충실성(faithfulness)**에 대해서는 검증되지 않은 상태이다. 저자들은 **과잉 추론(Over-Inference, OI)**을 LLM이 가용 가능한 증거를 넘어 사용자에 대한 개인화된 주장을 생성하는 현상으로 정의한다.

OI는 다음의 개념들과 구별된다:

사실적 환각(Factual Hallucination): 세상에 대한 잘못된 사실을 주장하는 것.
사회적 편향(Social Bias): 집단 수준의 고정관념을 적용하는 것.

대신, OI는 "위험한 중간 지대"를 점유한다: 즉, 사용자가 실제로 공유한 내용에 근거하지 않으면서도 개인화된 것처럼 느껴지는 개인적 속성을 조작해 내는 것이다. 모델이 자신이 알고 있는 것과 추측하고 있는 것을 신뢰성 있게 구분할 수 있다는 핵심 가정은 실제 상호작용에서 근본적으로 위배된다는 것이 입증되었다.

방법론: MirageBench

규모 있는 과잉 추론을 측정하고 비교하기 위해, 저자들은 이 현상을 위해 특별히 설계된 최초의 벤치마크인 MirageBench를 도입한다. 이 벤치마크는 다음으로 구성된다:

페르소나(Personas): 세 그룹으로 균형 잡힌 150개의 사용자 페르소나:
- 전형적(Stereotypical): 인구통계학적/직업적 연관성에 부합함.
- 역전형적(Counter-stereotypical): 의도적으로 기대를 거스름.
- 중립적(Neutral): 두드러진 고정관념 정렬이 없음.
  각 페르소나는 15개의 속성을 가진 정답 프로필을 가지고 있으나, 개인화가 유혹적이지만 증거가 희소한 초기 상호작용 단계를 시뮬레이션하기 위해 오직 3개의 1인칭 사실만이 모델에 "공개"된다.
태스크(Tasks): **"상상력의 기울기(imagination gradient)"**를 포괄하는 6개의 개방형 개인화 태스크 세트:
- 구체적인 것(예: "내가 살 선물을 추천해줘?")에서 매우 상상력이 필요한 것(예: "내 아파트를 묘사해봐")까지 다양함.
- 태스크에는 데이트 프로필 작성, 추천서, 주말 일정 계획, 스트레스 요인 식별 등이 포함된다.
평가 파이프라인:
- 탐색(Probe): 명시적 추론을 유도함 (모델에게 추론할 수 있는 내용을 나열하도록 요청).
- 태스크(Task): 모델이 6개의 태스크를 수행한 후, 자신의 주장들을 추출하고 분류하는 **자기 감사(self-audit)**를 수행함.
- 판사(Judge): 독립적인 판사 모델(Claude-Opus-4-7)이 모든 태스크 응답의 주장을 분류함. 분류 체계는 네 가지이다:
  - 근거 있음(Grounded): 사용자 사실을 재진술함.
  - 합리적임(Reasonable): 1단계의 상식적 확장.
  - 고정관념(Stereotype): 집단적 사전 지식을 개인적 증거로 대체함.
  - 조작됨(Fabricated): 증거적 근거가 없음.
  - *과잉 추론율(OI Rate)*은 고정관념과 조작된 주장의 합으로 정의된다.
- 누적(Accum): 8번의 대화 라운드 동안 추론된 속성이 어떻게 누적되는지 추적하는 종단적 파일럿 테스트.
검증(Validation): 판사의 신뢰성은 400개의 계층화된 주장에 대해 블라인드 테스트를 거친 인간 주석가와 비교하여 검증되었으며, Cohen's $\kappa = 0.863$ (4개 클래스) 및 $\kappa = 0.900$ (이진 분류)을 달성했다.
평가된 모델: 7개 제품군의 12개 모델(GPT-5.5, Claude-Opus-4-6, Gemini-3, DeepSeek-v4, Qwen3, GLM-5, Kimi-K2.5 포함)을 평가하였으며, 총 143,616개의 판정된 주장을 다룸.

주요 결과

1. 과잉 추론은 광범위하고 심각하다

테스트된 모든 모델은 개인화된 주장의 35%에서 49% 사이에서 과잉 추론을 일으킨다. 모델 간 평균 OI율은 41.6%(주장 가중 마이크로 평균: 41.8%)이다.

개인화된 콘텐츠 중 근거에 기반한 것은 24%~31%뿐이다.
조작(평균 31.1%)이 고정관념(평균 10.5%)보다 우세하며, 이는 모델이 단순히 고정관념을 적용하는 것을 넘어 주로 무언가를 지어낸다는 것을 나타낸다.
전형적 페르소나는 역전형적 페르소나(37.0%)보다 높은 OI율(44.8%)을 기록하여, 고정관념이 오류의 상당 부분을 유발함을 확인시켜 준다.

2. 자기 모니터링 역전(The Self-Monitoring Inversion)

핵심적인 발견은 자기 모니터링 역전 현상이다. 모델 선택 수준에서, 모델의 자기 평가 OI와 판사가 측정한 OI 사이에는 음의 상관관계( $\rho = -0.60, p = 0.044$ )가 존재한다.

가장 낮은 자기 감사 OI를 보고한 모델(예: Qwen3-8B, 13.0%)이 판사가 측정한 OI는 가장 높게(48.7%) 나타났다.
가장 높은 자기 감사 OI를 보고한 모델(예: Kimi-K2.5, 58.2%)이 판사가 측정한 OI는 오히려 낮게(43.1%) 나타났다.
시사점: 자기 보고된 확신도는 서로 다른 모델 간의 안전성을 비교하는 데 있어 오도하는 신호이다. 그러나 단일 모델 내에서는 자기 감사가 해당 모델의 주장들에 대해 중간 정도에서 강한 수준의 순위 신호 역할을 한다 (AUROC 0.58–0.83).

3. 태스크 의존적 변동

OI율은 태스크의 "근거 형성 가능성(groundability)"에 따라 크게 달라진다:

높은 OI (57.8%): "내 아파트를 묘사해줘" (관찰되지 않은 물리적 세부 사항을 불러내야 함).
낮은 OI (27.0%): "생일 선물 추천" (언급된 취미에 근거할 수 있음).
속성이 관찰 불가능할수록 모델은 더 자유롭게 조작을 수행한다.

4. 침묵하는 메모리 오염 (Silent Memory Pollution)

다회차 파일럿 테스트에서, 추론된 속성은 거의 수정 없이 약 선형적으로 누적된다 ( $9/12$ 개 모델에서 $R^2 > 0.90$ ).

상위 누적 모델들(예: GPT-5.5, GLM-5.1)은 라운드당 5~15개의 새로운 추론된 속성을 추가한다.
이러한 모델들의 수정률은 0.4%~5%로 매우 낮으며, 이는 근거 없는 주장이 조용히 지속되고 누적됨을 의미한다.
일부 모델(예: Qwen3-8B)은 누적보다는 메모리 교체(70~82% 제거)와 유사하게 동작한다.

의의 및 주장

본 논문은 모델의 자기 성찰(introspection)에 의존하기보다 외부 검증에 의존하는 것이 신뢰할 수 있는 개인화를 위해 필수적이라고 주장한다.

설계적 시사점: 근거 형성의 확신도에 기반하여 모델을 선택하는 시스템은 "잘못된 방향으로 선택하고 있는 것"이다.
출처 추적(Provenance Tracking): 저장된 사용자 정보는 그 인식론적 상태(언급된 것 vs 추론된 것 vs 조작된 것)가 태깅되어야 한다. 개인화는 연결되지 않은 추론을 사실이 아닌 가설로 취급해야 한다.
근본적 트레이드오프: 약 25%의 주장만이 근거를 가지고 있으므로, 개인화의 4분의 3은 본질적으로 추론적이다. 설계의 과제는 추론을 제거하는 것이 아니라, 그 불확실성과 투명성을 관리하는 것이다.

저자들은 MirageBench가 사용자 모델을 평가할 때 모델의 내성(introspection)에 의존하는 것에서 외부 판정(external adjudication)으로 패러다임을 전환하는 기초적인 도구라고 규정한다.