🤖 AI

DRIFTLENS: Measuring Memory-Induced Reasoning Drift in Personalized Language Models

이 논문은 사용자 메모리를 개인화된 언어 모델에 주입하는 것이 실용적 노이즈와 구별되는 측정 가능하고 실질적인 추론 드리프트(reasoning drift)를 유발하며, 이는 사후 학습 방법으로 부분적으로는 완화될 수 있으나 균일하게 완화되지는 않는다는 것을 보여주는 정답 없는(ground-truth-free) 프레임워크인 DRIFTLENS를 소개한다.

원저자: Xi Fang, Weijie Xu, Yingqiang Ge, Yuhui Xu, Stephanie Eckman, Chandan K. Reddy

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xi Fang, Weijie Xu, Yingqiang Ge, Yuhui Xu, Stephanie Eckman, Chandan K. Reddy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "기계 속의 유령"

당신에게 매우 똑똑하고 도움이 되는 비서가 있다고 상상해 보세요. 당신은 그 비서에게 "직장을 그만둬야 할까요?" 또는 "이웃과의 갈등을 어떻게 해결해야 할까요?"와 같은 어려운 인생의 선택에 대해 질문합니다.

과거에는 이 비서가 일반적인 논리에 기반하여 답변했을 것입니다. 하지만 현대의 비서들은 **기억(Memory)**을 가지고 있습니다. 그들은 당신이 25세라는 것, 교사라는 것, 혹은 장애가 있다는 사실을 기억합니다. 그리고 이 정보를 사용하여 답변을 "개인화"합니다.

문제점: 이 논문은 비록 최종 답변은 여전히 예의 바르고 합리적으로 들릴지라도, 그 비서가 생각하는 방식(추론 경로)이 은밀하게 변했다고 주장합니다. 이는 마치 GPS가 목적지까지는 여전히 잘 데려다주지만, 도로 상황이 굳이 그럴 필요가 없음에도 불구하고 사용자가 경치 좋은 드라이브를 좋아한다는 것을 안다는 이유만으로 갑자기 완전히 다른 구불구불한 길로 안내하기로 결정한 것과 같습니다.

저자들은 이를 **"상징적 드리프트(Symbolic Drift)"**라고 부릅니다. 이것이 위험한 이유는 답변 자체는 괜찮아 보일지 몰라도, 그 이면에 깔린 논리가 당신의 개인 프로필에 의해 편향되었기 때문입니다.

도구: DRIFTLENS ("추론 X-레이")

이러한 질문들(예: "최선의 커리어 선택은 무엇인가?")은 단 하나의 "정답"이 없기 때문에, 답변이 맞는지 틀린지를 단순히 확인할 수 없습니다. 대신 사고 과정이 변했는지를 확인해야 합니다.

저자들은 DRIFTLENS라는 도구를 만들었습니다. 이것을 사고 과정을 찍는 X-레이라고 생각하세요.

기준점(The Baseline): 먼저, AI에게 당신에 대해 아무것도 알려주지 않은 채 질문을 던집니다. 그러면 AI는 자신의 추론 단계(예: 1단계: 안전, 2단계: 비용, 3단계: 감정)를 지도로 그립니다.
기억 주입(The Memory Injection): 그다음, 정확히 똑같은 질문을 던지되 AI에게 비밀을 속삭입니다: "참고로, 사용자는 10대입니다" 또는 "사용자는 실업 상태입니다."
비교(The Comparison): DRIFTLENS는 두 지도를 비교합니다.
- 만약 지도가 같다면, AI는 안정적인 상태입니다.
- 만약 지도가 이동한다면(예: 사용자가 어리다는 이유만으로 1단계가 "안전"에서 "정서적 공감"으로 바뀌는 경우), 그것이 바로 **드리프트(Drift)**입니다.

실험: 기억이 논리를 바꾸는가?

연구진은 10가지 유형의 개인 정보(연령, 직업, 장애, 성별 등)를 사용하여 네 가지 서로 다른 AI 모델을 테스트했습니다.

연구 결과:

그렇다, 변한다. 최종 답변이 완벽하게 정상적으로 들릴 때조차도, AI의 내부 논리는 개인적인 세부 사항을 기억할 때 크게 변화합니다.
단순한 "노이즈"가 아니다. 연구진은 AI가 단순히 무작위 단어(예: "어, 저기") 때문에 혼란을 느끼는 것인지 테스트했습니다. 그렇지 않았습니다. AI는 당신의 개인적 특성에 구체적으로 반응하고 있었습니다.
"드리프트"는 실재한다. 예를 들어, 직장 내 갈등에 대해 묻는다면 AI는 보통 "법적 규칙"에 집중할 것입니다. 하지만 당신이 "장애가 있다"는 것을 기억하면, 질문에서 요구하지 않았음에도 불구하고 AI는 갑자기 전체 추론을 "정서적 지원"이나 "취약성"에 초점을 맞추는 방식으로 전환할 수 있습니다.

비유: 법정에 있는 판사를 상상해 보세요.

기억이 없을 때: 판사는 사건의 사실 관계를 읽고 법을 적용합니다.
기억이 있을 때: 판사는 피고인이 "한 부모 가정"이라는 것을 봅니다. 판사는 여전히 법적으로 들리는 판결을 내리지만, 법 대신 아이들에 대한 걱정부터 시작하며 사고 과정을 시작합니다. 판결은 같을 수 있지만, 추론은 이제 개인적인 세부 사항에 의해 편향되었습니다.

어떻게 고칠 수 있는가? ("학습" 단계)

연구진은 AI가 이런 행동을 하지 않도록 "훈련"하는 방법을 시도했습니다. 두 가지 방법을 사용했습니다:

DPO (Direct Preference Optimization): AI에게 "좋은" 답변(관련 없는 개인 정보를 무시한 답변)과 "나쁜" 답변(개인 정보에 의해 주의가 분산된 답변)의 예시를 보여줍니다.
GRPO (Group Relative Policy Optimization): 개인 정보가 주입되더라도 추론 단계의 일관성을 유지하는 것에 대해 AI에게 구체적으로 보상을 줍니다.

결과:

도움은 되지만, 마법 같은 해결책은 아니다. 두 방법 모두 드리프트를 줄였습니다. AI는 더 안정적이 되었습니다.
트레이드오프(Trade-off): 드리프트를 고치기 위해 대가가 따르지 않는 것은 아닙니다. 개인적인 세부 사항을 무시하도록 강제했을 때, AI는 약간 덜 "도움이 되거나" 다른 지시를 따르는 능력이 떨어지기도 했습니다.
완벽한 해결책은 없다: 어떤 단일 방법도 모든 AI 모델에 가장 잘 작동하지는 않았습니다. 이는 안정성, 유용성, 그리고 똑똑함 사이의 균형 잡기 문제입니다.

결론

이 논문은 개인화된 기억은 양날의 검이라고 결론짓습니다.

그것은 AI를 더 인간적이고 맞춤화된 것처럼 느껴지게 합니다.
하지만 그것은 질문이 괜찮아 보일지라도, 잠재적으로 추론 과정에 편향을 도입함으로써 AI가 문제를 생각하는 방식을 은밀하게 재편합니다.

핵ity (Takeaway): 우리가 커리어 나 건강 조언처럼 단 하나의 "정답"이 없는 중대한 인생 결정에 AI를 신뢰하기 전에, 우리는 AI의 "사고 경로"가 안정적인지, 아니면 우리가 누구인지에 따라 단순히 표류(drift)하고 있는 것인지 확인해야 합니다. DRIFTLENS 도구는 이 보이지 않는 드리프트를 측정하는 첫 번째 방법입니다.

기술 요약: DRIFTLENS – 개인화된 언어 모델에서의 메모리 유도 추론 드리프트(Drift) 측정

문제 정의

현대적인 대규모 언어 모델(LLM)은 사용자의 속성, 선호도 및 이전 컨텍스트를 저장하기 위해 지속적인 메모리를 점점 더 많이 활용하며, 이 정보를 향후 프롬프트에 주입하여 상호작용을 개인화합니다. 이러한 개인화는 사용자의 요구에 맞게 응답을 조정하는 것을 목표로 하지만, 본 논문은 결정적이고 종종 눈에 보이지 않는 실패 모드인 **심볼릭 드리프트(symbolic drift)**를 식별합니다.

심볼릭 드리프트는 주입된 사용자 속성으로 인해 모델의 추론 궤적(답을 도출하는 데 사용되는 우선순위, 트레이드오프, 정당화의 연쇄)이 크게 변화할 때 발생하며, 이때 최종 답변은 여전히 유창하고 주제에 부합하며 그럴듯해 보일 수 있습니다. 이는 정답이 없는 "검증 불가능한(unverifiable)" 작업(예: 커리어 조언, 대인 관계 갈등, 윤리적 트레이드오프)에서 특히 위험합니다. 이러한 시나리오에서는 표준 정확도 지표가, 사용자의 프로필이 젊거나, 장애가 있거나, 낙인찍힌 직업에 종사한다는 이유만으로 모델이 '법적 리스크' 추론 프레임워크에서 '정서적 유효성 확인' 프레임워크로 전환되었음을 감지하지 못하기 때문입니다. 본 논문은 이러한 변화가 적절한 적응이라기보다 원치 않는 민감성(unwanted sensitivity)을 나타내며, 현재의 평가 방법으로는 탐지되지 않는다고 주장합니다.

방법론: DRIFTLENS 프레임워크

정답이 없는 추론 작업의 문제를 해결하기 위해, 저자들은 통제된 메모리 섭동(perturbation) 하에서 추론 궤적의 안정성을 측정하기 위해 설계된, 정답이 필요 없는(ground-truth-free) 프레임워크인 DRIFTLENS를 도입합니다.

1. 데이터 큐레이션

저자들은 네 가지 기준을 충족하는 422개의 고합의성 질문(및 완화된 세트 1,061개)으로 벤치마크를 구축했습니다:

추론 유도형(Reasoning-invoking): 트레이드오프, 비교 또는 정당화가 필요함.
검증 불가능형(Unverifiable): 단일한 객관적 정답이 존재하지 않음.
페르소나 무관형(Persona-indifferent): 답변이 질문자의 인구통계학적 속성에 논리적으로 의존해서는 안 됨.
독립형(Standalone): 숨겨진 컨텍스트 없이도 이해 가능해야 함.
질문들은 질문 내용과 사용자 속성 간의 직교성(orthogonality)을 보장하기 위해 LLM 평가자와 인간 주석가를 사용하여 7개의 공개 소스(커리어, 윤리, 금융, 법률, 의료, 일상적 딜레마)에서 필터링되었습니다.

2. 가치 온톨로지(Value Ontology)

추론의 변화를 정량화하기 위해, 저자들은 자유 텍스트 추론 단계를 이산적인 심볼릭 범주로 매핑하는 가치 온톨로지를 개발했습니다. 기존 계층 구조에서 시작하여, 저자들은 3개의 LLM(GPT-OSS-120B, Qwen3-235B, Claude Sonnet 4.5)을 통한 78회의 라벨링 라운드를 거쳐 >83%의 교차 모델 합의를 달성하며 온톨로지를 정교화했습니다. 이 온톨로지는 네 가지 루트 카테고리로 구성됩니다:

사회적(Social): 대인 관계/집단적 행위.
실용적(Practical): 운영적 과업 실행.
보호적(Protective): 해악 방지 및 안전.
개인적(Personal): 주관적인 내적 경험.

3. 섭동 전략(Perturbation Strategy)

프레임워크는 **메모리 없는 베이스라인(no-memory baseline)**과 세 가지 조건 하에서 생성된 응답을 비교하여 드리프트를 평가합니다:

부정적 대조군 (실용적 노이즈, Pragmatic Noise): 노이즈 바닥(noise floor)을 설정하기 위한 내용이 없는 접두사(filler, 공백, 구두점).
긍정적 대조군 (주요 생애 사건, Major Life Events): 가치관을 재형성하는 것으로 알려진 중대한 심리적 사건(예: 사별, 중병)의 공개.
실험 조건 (페르소나 단서, Persona Cues): 질문과 독립적으로 구성된 특정 사용자 속성 공개(성별, 연령, 직업, 장애 등).

4. 드리프트 지표

두 가지 상호 보완적인 지표가 베이스라인 심볼 시퀀스( $S_{base}$ )와 개입된 시퀀스( $S_{inter}$ ) 사이의 발산을 측정합니다:

DTW (Dynamic Time Warping): 추론 단계의 구조적 재배열을 포착합니다.
SRI (Sequence Recurrence Index): 순서에 민감한 편집 거리와 심볼 히스토그램에 대한 분포적 젠슨-섀넌(Jensen–Shannon) 거리를 결합합니다.
두 지표 모두 $[0, 1]$ 로 정규화되며, 값이 낮을수록 추론이 더 안정적임을 의미합니다.

주요 기여

DRIFTLENS 프레임워크: 온톨로지 기반 궤적을 사용하여 메모리 섭동 하에서의 추론 안정성을 측정하는 새로운 ground-truth-free 방법론.
벤치마크 구축: 엄격한 인간 및 LLM 주석을 통해 검증된 422개의 페르소나 무관형, 검증 불가능한 질문 데이터셋.
메모리 유도 드리프트의 실증적 증거: 사용자의 속성 메모리가 4개의 서로 다른 LLM(Claude Sonnet 4.6, GPT-OSS-120B, Qwen3-4B, DeepSeek-R1)과 10개의 사용자 속성 카테고리 전반에서 중간 내지 큰 규모의 추론 드리프트를 유도함을 입증.
완화 평가: 드리프트를 줄이기 위한 사후 훈련(post-training) 방법(GRPO 및 DPO)의 비교 분석을 통해 추론 안정성, 유용성, 능력 간의 트레이드오프를 강조.

결과

검증 (RQ1)

DRIFTLENS는 노이즈와 실질적인 변화를 성공적으로 구분합니다. 실용적 노이즈는 노이즈 바닥 위로 유의미한 상승을 보이지 않았으나( $p > 0.05$ ), 주요 생별 사건은 크고 유의미한 드리프트를 생성했습니다( $p < 0.001$ ). 두 지표(DTW 및 SRI)는 높은 수렴 타당성(Spearman $\rho > 0.93$ )을 보여주었습니다.

메모리 유도 드리프트 (RQ2)

사용자 속성 메모리는 테스트된 모든 모델에서 일관되게 측정 가능한 추론 드리프트를 유도했습니다.

규모: 효과 크기는 Cohen's $d \approx 0.35–0.98$ 로, 중간에서 큰 수준이었으며 실용적 노이즈 바닥을 유의미하게 초과했습니다.
속성: 10개 카테고리 전체에서 드리프트가 관찰되었으며, **성별 정체성(Trans status)**과 **장애(Disability)**가 8개 모델-지표 패널 중 7개에서 가장 높은 드리프트 유도 카테고리로 나타났습니다.
드리프트의 성격: 최종 답변은 종종 그럴듯하게 유지되었으나, 인간 연구는 유용성 점수의 감소와 주의 분산율의 증가를 나타냈습니다. 드리프트는 주로 추론 과정(예: '법적 리스크'에서 '정서적 유효성 확인'으로의 전환)에서 나타났습니다.

완화 (RQ3)

저자들은 GRPO(보상 함수에 DTW를 포함)와 DPO(강건한 응답 대 주의가 분산된 응답의 선호 쌍 사용)를 평가했습니다.

드리프트 감소: 두 방법 모두 모델 전반에서 드리프트를 감소시켰습니다(낮은 DTW 점수). 단일 방법이 일관되게 우세하지는 않았으며, 이는 모델 및 보상에 따라 달랐습니다.
트레이드오프:
- 능력(Capability): 사후 훈련이 일반적인 능력(MMLU, GSM8K)을 일관되게 저하시키지는 않았으나, 백본에 따라 효과가 달랐습니다.
- 유용성 및 강건성: DPO는 백본에 관계없이 유용성을 저하시키지 않으면서 비주의 분산 정확도(non-distraction accuracy)를 안정적으로 개선했습니다. GRPO는 일부 모델에서 유용성을 개선했으나 다른 모델(예: Phi-4-mini에서 15.4포인트 하락)에서는 비주의 분산 정확도를 감소시켜, 인지된 유용성을 위해 강건성을 희생하며 과최적화될 수 있음을 시사했습니다.
- 포맷 보상: GRPO에 포맷 보상을 포함하는 것이 드리프트 감소에 결정적이었으며, 드리프트 전용 보상만으로는 불충분했습니다.

의의 및 주장

본 논문은 메모리 유도 추론 드리프트가 개인화된 언어 모델의 측정 가능하며 부분적으로만 완화되는 실패 모드라고 결론짓습니다.

불가시성: 이 현상은 답변 수준에서는 보이지 않기 때문에 위험합니다. 모델은 근본적으로 다른 정당화 체인을 사용하면서도 매우 합리적으로 보일 수 있습니다.
평가의 필요성: 검증 불가능한 작업에는 표준 정확도 지표가 불충분합니다. 신뢰성은 추론의 안정성을 통해 측정되어야 합니다.
완화의 한계: 사후 훈련(GRPO/DPO)을 통해 드리프트를 줄일 수 있지만, 트레이드오프가 존재합니다. 능력, 유용성, 또는 지시 이행 능력에 영향을 주지 않고 드리프트를 완전히 제거하는 '공짜 점심'은 없습니다.
향후 방향: 저자들은 의사결정 지원 환경에 메모리 탑재 LLM을 배포하기 전에 추론 안정성을 평가해야 한다고 강조합니다. 또한, DRIFTLENS가 외부로 표현된 추론을 측정하며 숨겨진 인지(hidden cognition)를 측정하는 것은 아니라는 점과, 계산 제약으로 인해 완화 실험이 소/중형 모델에 국한되었다는 한계를 인정합니다.

이 연구는 커뮤니티가 답변 수준의 평가를 넘어, 개인화가 AI 시스템의 추론 과정을 왜곡하는 것이 아니라 강화하도록 보장하는 강력한 메커니즘을 개발해야 한다는 촉구의 메시지를 담고 있습니다.