💬 NLP

Locating and Controlling Implicit Personalization in Large Language Models

이 논문은 거대 언어 모델의 암묵적 인구통계학적 개인화가 식별, 인과적 제어 및 선택적 제거를 통해 편향된 출력을 억제하면서도 일반적인 모델 성능을 유지할 수 있는 국소적 내부 활성화 신호에 의해 발생한다는 것을 입증한다.

원저자: Yueru Yan, Siqi Wu, Thai Le

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yueru Yan, Siqi Wu, Thai Le

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷에 있는 거의 모든 책을 읽은 아주 똑똑한 로봇과 대화하고 있다고 상상해 보세요. 여러분은 이 로봇이 중립적인 판사처럼 모두를 똑같이 대할 것이라고 생각할지도 모릅니다. 하지만 인공지능, 특히 거대언어모델(LLM)의 세계에서 상황은 카멜레온과 조금 더 비슷합니다. 이 모델들은 단순히 질문에 답하는 것에 그치지 않고, 여러분이 대화 중에 흘리는 아주 작고 숨겨진 힌트에 따라 자신의 성격과 추천 방식을 미묘하게 바꿉니다. 이것은 여러분이 로봇에게 "나는 십 대예요"라거나 "나는 특정 문화권 사람이에요"라고 말했기 때문이 아닙니다. 대신, 여러분이 특정 기념일을 언급하거나, 속어를 사용하거나, 취미에 대해 이야기할 수도 있습니다. 로봇은 이러한 '암묵적 단서'를 포착하여, 자신이 학습한 고정관념에 맞춰 답변을 조용히 변화시킵니다. 이는 마치 여러분이 입고 있는 옷을 보고 웨이터가 말 한마디 없이도 여러분이 스테이크를 원할 것이라고 가정하거나, 안경을 쓴 것을 보고 사서가 추리 소설을 건네주는 것과 같습니다. 문제는 이 과정이 은밀하게 일어난다는 점입니다. 여러분은 스위치가 바뀌는 것을 볼 수 없으며, 로봇에게 그것을 멈추라고 쉽게 요청할 수도 없습니다. 과학자들은 이런 현상이 일어난다는 사실은 알고 있었지만, 로봇의 '두뇌' 내부에서 정확히 어떻게 그런 일이 벌어지는지는 알지 못했습니다. 그들은 출력값이 변한다는 것은 알았지만, 내부의 톱니바퀴가 돌아가는 모습은 볼 수 없었습니다.

이 논문은 그 로봇의 보닛을 열어 내부에서 정확히 무슨 일이 일어나고 있는지 살펴보는 정비사와 같습니다. 연구진은 힌트가 존재할 때 모델의 두뇌 속에서 발생하는 특정 '내부 신호'—즉, 답변을 바꾸기로 결정하는 순간 발생하는 아주 작은 전기적 패턴—를 찾아내고자 했습니다. 그들은 모델을 여러 층의 처리 과정을 가진 복잡한 기계로 취급했습니다. 힌트가 있는 대화와 거의 동일하지만 힌트가 없는 대화를 비교함으로써, 그들은 모델의 내부 수학 연산 속에 존재하는 특정 '지문'을 발견했습니다. 그들은 이 지문의 크기가 로봇의 답변이 얼마나 변하는지를 직접적으로 예측한다는 것을 발견했습니다. 이는 마치 로봇의 뇌 속에 있는 볼륨 조절 노브를 찾은 것과 같습니다. 노브가 높게 설정되면(강한 내부 신호가 있으면) 로봇의 추천은 고정관념을 향해 급격히 변화하고, 노브가 0에 있으면 로봇은 중립을 유지합니다.

이야기는 여러 개의 힌트가 동시에 있을 때 더욱 흥잡해집니다. 여러분이 특정 기념일과 특정 연령대를 동시에 언급한다고 상상해 보세요. 여러분은 로봇이 이 두 가지 영향력을 마치 두 숫자를 더하는 것처럼 완벽하게 결합할 것이라고 예상할 수도 있습니다. 그러나 연구진은 로봇의 내부 뇌 신호는 두 가지를 더하는 것처럼 선형적으로 합쳐지는 것처럼 보이지만, 실제로 내놓는 최종 답변은 그렇지 않다는 것을 발견했습니다. 실제 행동은 '부가적(sub-additive)'인데, 이는 최종적인 변화가 각 부분의 합보다 작다는 것을 의미합니다. 이는 마치 음료에 설탕과 소금을 넣는 것과 같습니다. 내부적인 혼합은 두 가지가 완벽하게 섞인 상태일지라도, 여러분이 경험하는 맛은 단순히 두 양을 더했을 때 기대하는 것만큼 강렬하지 않은 것과 같습니다.

이 연구의 가장 흥미로운 부분은 연구진이 로봇의 편향성을 '끄는' 방법을 시도했을 때 일어난 일입니다. 그들은 하나의 유형의 힌트(예: 인종)에 대한 내부 지문의 특정 방향을 식별해 냈고, 그 후 수학적으로 이를 시스템에서 '투영(projected out)'하여 해당 영향력을 효과적으로 삭제하는 법을 알아냈습니다. 그들은 이러한 내부 수술이 프롬프트에 "인구통계학적 요소를 무시하라"고 정중하게 요청하는 것보다 더 효과적이라는 것을 발견했습니다. 사실, 로봇에게 편향을 무시하라고 말하는 것은 때때로 로봇을 더 편향되게 만들었는데, 이는 마치 하지 말라고 하면 더 반항적으로 변하는 아이와 같았습니다. 내부 신호를 수술적으로 제거함으로써, 그들은 로봇의 일반적인 지적 능력을 망가뜨리거나 다른 질문에 답하는 능력을 해치지 않으면서도 인종 기반의 가정을 하지 않도록 만들 수 있었습니다. 하지만 이 해결책은 모든 로봇 모델이나 모든 유형의 편향에 작동하는 마법 지팡이는 아닙니다. 때로는 한 가지 힌트의 영향을 제거하는 것이 의도치 않게 다른 영향을 변화시키기도 하며, 때로는 완벽하게 작동하기도 합니다. 이는 우리가 AI 시스템을 이해하고 제어할 수 있는 강력한 새로운 도구이며, 단순히 AI가 스스로 잘 행동하기를 바라는 것이 아니라, 그들의 행동을 이끄는 숨겨진 톱니바퀴를 찾아내고 조정할 수 있음을 보여줍니다.

기술 요약: 대규모 언어 모델에서의 암시적 개인화 위치 파악 및 제어

문제 정의

대규모 언어 모델(LLM)은 사용자가 자신의 정체성을 명시적으로 밝히지 않더라도, 대화 속에 내재된 인구통계학적 단서(예: 영화 추천 결과의 변화)에 반응하여 출력을 변화시키는 암시적 개인화(implicit personalization) 현상을 보입니다. 이러한 행동적 변화(예: 특정 방언 특징이 더 가혹한 형사 판결을 유도하거나, 암시적 이력이 추천 범위를 고정관념 쪽으로 좁히는 현상 등)에 대한 기존 연구들은 존재하지만, 이러한 행동 변화와 모델의 내부 활성화(internal activations) 사이의 연결 고리는 여전히 불분명합니다.

기존 연구들은 주로 행동 감사(behavioral audits)나 속성 정보가 디코딩 가능하다는 것을 확인하는 선형 프로브(linear probes)에 의존해 왔으나, 이러한 속성이 실제로 출력을 인과적으로 유도하는지는 입증하지 못했습니다. 또한, 실제 상호작용에서는 여러 중첩된 정체성 단서(예: 인종과 연령이 동시에 나타나는 경우)가 발생하는 경우가 많으며, 이는 내부 표현이 선형적으로 분해되는지, 그리고 행동 변화가 단순히 합산되는 것인지에 대한 의문을 제기합니다. 본 논문은 암시적 개인화 행동과 모델의 내부 메커즘 사이의 간극을 메우고자 하며, 구체적으로 다음 질문을 던집니다:

개인화의 크기를 추적하는 내부 신호가 존재하는가?
여러 단서가 공존할 때 내부 표현과 출력은 어떻게 결합되는가?
일반적인 모델 성능을 저하시키지 않으면서 특정 인구통계학적 영향을 인과적으로 억제할 수 있는가?

방법론

데이터셋 및 실험 설계

저자들은 5개의 LLM(Llama-3-8B, Mistral-7B, Qwen3-8B, Qwen3-14B, Phi-4)을 대상으로 $n=50$ 개의 시나리오를 사용하는 **매칭 쌍 비교 프레임워크(matched-pair comparison framework)**를 채택했습니다.

단서(Cues): GPT-4o를 사용하여 대화를 생성하며, 세 가지 차원인 인종(흑인, 아시아인, 백인), 성별(남성, 여성), 연령(아동, 청소년, 성인, 노인)에 대해 문헌에 근거한 분류 체계(문화적 참조, 취미, 속어)에서 추출한 암시적 인구통계학적 단서를 포함합니다.
조건(Conditions): 각 시나리오에 대해 저자들은 다음을 생성합니다:
- 단서가 포함된 문맥(Cued contexts): 암시적 정체성 단서를 포함함.
- 중립적 문맥(Neutral contexts): 동일한 주제적 골격을 유지하면서 정체성 중립적인 채움 문구(fillers)를 사용함.
- 명시적 문맥(Explicit contexts): 인구통계 정보를 직접적으로 명시함 (교정용).
태스크(Task): 마지막 턴에서 모델에게 5편의 영화를 추천하도록 요청합니다.
교차성(Intersectionality): 두 가지 차원을 결합하여(예: 인종 $\times$ 성별) 실험을 진행하며, 상호작용 효과를 격리하기 위해 용량 매칭 제어(dose-matched controls)를 사용합니다.

행동 지표

두 가지 보완적인 지표가 변화량을 정량화합니다:

설명 기반 의미론적 임베딩 거리(SED-desc): 플롯 개요의 코사인 유사도를 사용하여 단서가 포함된 문맥과 중립적 문맥 간의 의미론적 변화 크기를 측정합니다.
콘텐츠 정렬 비율(CAR): 사전 지정된 스테레오타입 분류 체계를 사용하여, 추천된 항목 중 타겟 정체성과 연관된 것으로 태깅된 항목의 비율을 계산함으로써 변화의 방향을 측정합니다.

내부 표현량

핵심적인 기술적 기여는 **원시 단서 유도 활성화 대비(raw cue-induced activation contrast)**인 $\Delta A$ 의 정의입니다:
$\Delta A^{(i)}_L = A_L(C^{(i)}_{cue}, x) - A_L(C^{(i)}_{neutral}, x)$
이는 특정 레이어 $L$ 에서 매칭된 단서 문맥과 중립 문맥의 마지막 쿼리 토큰에서의 잔차 스트림(residual-stream) 활성화 차이를 나타냅니다.

정규화된 크기( $s_{\Delta A}$ ): 저자들은 이 대비의 정규화된 크기를 계산하여 행동 변화와의 상관관계를 테스트합니다.
레이어 선택( $L^\star$ ): 활성화 패칭(activation patching)을 통해 행동 변화를 매개하는 특정 레이어를 식별합니다.

개입 전략

개인화를 제어하기 위해 저자들은 생성 과정 중 **방향성 제거(directional ablation)**를 적용합니다. 특정 단서 차원에 대한 샘플 평균 방향 벡터( $\hat{v}_{dim}$ )를 계산하고, 이를 다른 차원들과 직교화한 후, 프리-훅(pre-hook)을 사용하여 잔차 스트림에서 투영하여 제거합니다:
$h' = (I - \alpha \hat{v}_{dim}\hat{v}_{dim}^\top)h$
여기서 $\alpha$ 는 개입 강도를 조절합니다. 이는 "인구통계 무시" 프롬프팅 및 무작위 방향 샴(sham) 모델과 비교됩니다.

주요 결과

1. 내부 신호가 행동 변화를 추적함

대상 레이어( $L^\star$ )에서의 정규화된 활성화 대비 크기( $s_{\Delta A}$ )는 샘플별로 행동 변화와 강력하게 상관되어 있습니다.

상관관계: 피어슨 상관계수는 최대 $r = 0.87$ 에 달합니다 (예: Llama-3-8B의 아시아인 단서에 대한 SED-desc).
스케일링: 내부 추적 강도는 행동 변화의 크기에 따라 스cale링됩니다. 행동 변화가 발생하지 않는 조건(예: 백인 단서 조건)에서는 내부 상관관계가 크게 떨어집니다.
의의: 이는 단서에서 활성화, 그리고 행동으로 이어지는 엄격한 체인을 확립하며, 내부 신호의 크기가 그 자체로 인과적 동인이라기보다 변화의 정도를 나타내는 신뢰할 수 있는 추적 신호(tracking signal) 역할을 함을 보여줍니다.

2. 내부 신호의 선형 결합 vs. 부가적이지 않은(Sub-additive) 행동

여러 단서가 공존할 때:

내부 표현: 혼합 단서 대비 벡터( $\Delta A_{AB}$ )는 단일 단서 벡터들의 선형 결합( $\alpha v_A + \beta v_B$ )으로 안정적으로 재구성될 수 있습니다. 평균 재구성 적합도( $\rho$ )는 0.576에서 0.704 사이로, 단일 단서 설명보다 유의미하게 높습니다. 이는 모델이 내부적으로 여러 정체성 방향을 능동적으로 통합하고 있음을 나타냅니다.
행동 출력: 실제 행동 변화는 엄격하게 부가적이지 않습니다(sub-additive). 두 단서가 모두 존재할 때, 발생하는 개인화는 개별 단일 단서 변화의 합보다 28~38% 낮습니다. 출력은 내부의 선형적 합을 그대로 반영하지 않고, 모델 특유의 방식으로 효과를 압축합니다.

3. 방향성 제거를 통한 인과적 제어

특정 단서와 관련된 내부 방향을 투영하여 제거하면 해당 영향력을 성공적으로 억제할 수 있습니다:

효과성: 내부 제거(ablation)는 명시적인 "인구통계 무시" 프롬프팅보다 뛰어난 성능을 보였습니다. Qwen3-8B의 경우, 내부 제거가 프롬프팅보다 최대 9.2배 더 효과적이었습니다. 어떤 경우에는 프롬프팅이 오히려 역효과를 내어 스테레오타입을 증가시키기도 했습니다.
선택성: 한 차원의 영향을 제거하면서 다른 차원의 영향은 보존하는 능력은 모델 및 속성별로 상이합니다.
- Mistral-7B: 성별 방향을 제거했을 때 성별 태그 콘텐츠는 0.169 감소했으나, 인종 태그 콘텐츠는 거의 변하지 않았습니다(+0.004).
- Qwen3-8B: 선택성이 더 낮았습니다. 인종을 제거하면 연령 태그 콘텐츠도 함께 감소하는 경향을 보였습니다.
역량 보존: 일반적인 추론 능력(MMLU로 측정)은 견고하게 유지되었으며, 최대 개입 강도( $\alpha=5$ )에서도 최대 2.8점 하락에 그쳤습니다.

의의 및 주장

본 논문은 암시적 개인화 행동과 모델의 내부 표현 사이의 "잃어버린 연결 고리"를 확립했다고 주장합니다. 주요 기여는 다음과 같습니다:

추적 신호의 식별: 특정 레이어에서의 단서 유도 활성화 대비 크기는 개인화 강도를 측정할 수 있는 추적 신호 역할을 하며, 스스로가 인과적 동인이라고 주장하기보다는 행동 변화와 강력하게 상관됩니다.
메커니즘과 행동의 분리: 내부 표현은 선형적으로 결합되지만, 최종 출력 행동은 비선형적이며 부가적이지 않다는 해리(dissociation) 현상을 밝혀냈습니다.
표적 개입: 특정 내부 방향을 제거함으로써 암시적 개인화를 인과적으로 제어할 수 있음을 입증했습니다. 이 방법은 프롬프팅보다 효과적인 경우가 많으며 일반적인 모델 능력을 보존하므로, 재학습 없이 LLM의 표현적 해악을 완화할 수 있는 잠재적 메커니즘을 제공합니다.

저자들은 본 연구의 결과가 테스트된 모델과 도메인(주로 영화 추천)에 국한된다는 점과 개입의 선택성이 모델마다 다르다는 점을 언급하며 신중한 입장을 유지합니다. 이들은 본 연구가 보편적인 배포 가능 솔루션이라기보다는, 진단 도구이자 억제를 위한 인과적 메커니즘을 제공하는 것임을 강조합니다.