상상해 보세요. 가게에 가서 스마트폰 가격을 물어봤을 때, 가게 주인이 **"이거 원래 100 만 원짜리였는데, 지금 50 만 원에 팝니다!"**라고 말하면, 당신은 50 만 원이 싼 가격이라고 느끼게 됩니다. 하지만 만약 주인이 **"원래 20 만 원이었는데 15 만 원입니다"**라고 했다면, 15 만 원은 비싸게 느껴질 수도 있죠.
이처럼 처음에 제시된 숫자 (앵커, 닻) 에 따라 우리의 판단이 무의식적으로 휘둘리는 현상을 '앵커링 효과'라고 합니다.
이 논문은 **"인공지능 (AI) 도 이런 인간의 심리적 함정에 걸릴까?"**를 질문하며 시작했습니다.
🧪 2. 실험: AI 는 '닻'에 걸려 넘어질까? (RQ1)
연구진은 **'SynAnchors'**라는 새로운 데이터셋을 만들었습니다. 마치 AI 에게 심리 테스트를 주는 것과 같죠.
실험 내용: "현대 스마트폰을 0% 에서 100% 까지 충전하는 데 몇 분 걸릴까요?"라고 물었을 때, 먼저 "190 분보다 많을까요, 적을까요?" (높은 닻) 혹은 "40 분보다 많을까요, 적을까요?" (낮은 닻) 라고 먼저 물어본 뒤, 실제 시간을 추정하게 했습니다.
결과: 놀랍게도 최고급 AI 모델조차 이 함정에 걸렸습니다.
높은 숫자를 먼저 들은 AI 는 실제 시간 (약 90 분) 보다 훨씬 긴 시간을 답했고, 낮은 숫자를 들은 AI 는 짧은 시간을 답했습니다.
마치 인간이 처음 들은 숫자에 맞춰 답을 수정하는 것처럼, AI 도 '첫 번째 정보'에 너무 의존했습니다.
🔍 3. 왜 이런 일이 일어날까요? (메커니즘 분석)
연구진은 AI 의 뇌 (내부 구조) 를 해부해 보았습니다. 마치 의사가 MRI 를 찍어 뇌의 어떤 부위가 활성화되는지 보는 것처럼요.
발견: AI 가 '닻'에 영향을 받는 것은 **매우 얕은 단계 (Early Layers)**에서 일어납니다.
비유: AI 가 문제를 읽을 때, 처음 몇 줄만 읽고 "아, 이거 190 분 관련 질문이네?"라고 가볍게 생각한 뒤 바로 답을 내뱉는 것입니다. 깊은 생각 (논리적 추론) 을 하기 전에, 첫 번째 숫자만 보고 대충 결론을 내버리는 것이죠.
핵심: AI 는 이 '닻'을 중요한 정보로 받아들이고, 그 뒤의 깊은 사고 과정에서는 이미 그 영향을 받아버린 상태입니다.
💊 4. 어떻게 고칠 수 있을까요? (완치책은 있을까?)
연구진은 다양한 방법을 시도해 보았습니다.
방법 1: "조심해서 생각하세요"라고 말해주기 (프롬프트). -> 효과 없음.
방법 2: 관련 지식을 더 알려주기. -> 효과 없음.
방법 3: AI 를 다시 훈련시키기 (파인튜닝). -> 약간 나아졌지만, 완전히 사라지지는 않음.
하지만 가장 효과적인 방법이 하나 있었습니다.
방법 4: "생각하는 시간"을 갖게 하기 (추론/Reasoning).
AI 에게 "단순히 답만 말하지 말고, 왜 그런지 단계별로 생각해보라"고 지시했을 때, 앵커링 효과가 상당히 줄어들었습니다.
비유: AI 가 "190 분? 아, 190 분보다 적겠지"라고 바로 대답하려 할 때, **"잠깐, 190 분이라는 숫자는 왜 나왔지? 내 기준은 뭐지?"**라고 스스로에게 질문하며 다시 생각하게 만드는 것입니다. 이렇게 **깊이 생각 (System 2)**을 하면, 얕은 착각 (System 1) 을 극복할 수 있었습니다.
📝 5. 결론: 우리가 배운 교훈
이 연구는 우리에게 중요한 메시지를 줍니다.
AI 는 완벽하지 않다: 우리가 만든 AI 도 인간처럼 심리적 편향 (착각) 을 가질 수 있습니다.
깊은 사고가 약이다: AI 가 함정에 빠지지 않게 하려면, 단순히 지식을 더 주거나 명령을 내리는 것보다 **"스스로 생각하게 만드는 과정 (추론)"**을 거치게 하는 것이 가장 중요합니다.
미래의 AI: 앞으로 더 똑똑하고 신뢰할 수 있는 AI 를 만들려면, AI 가 '첫 번째 정보'에 휘둘리지 않고 자신의 기준을 세울 수 있도록 도와주는 기술이 필요합니다.
한 줄 요약:
"인공지능도 처음 들은 숫자에 속아 넘어질 수 있지만, 스스로 깊이 생각하게 만든다면 그 함정에서 벗어날 수 있습니다!"
논문 개요
본 연구는 대규모 언어 모델 (LLM) 이 인간의 인지 편향인 **'앵커링 효과 (Anchoring Effect)'**를 보이는지, 그 작동 메커니즘은 무엇이며, 이를 완화할 수 있는 전략은 무엇인지 탐구합니다. 저자들은 이를 위해 새로운 합성 데이터셋인 SynAnchors를 구축하고, 다양한 LLM 을 벤치마크하여 앵커링 편향의 존재, 심층적 메커니즘 (인과 추적), 그리고 완화 전략의 효과를 체계적으로 분석했습니다.
1. 연구 배경 및 문제 정의 (Problem)
앵커링 효과: 의사결정 과정에서 처음 제시된 정보 (앵커) 에 과도하게 의존하여 후속 판단이 편향되는 인지 편향입니다.
LLM 의 신뢰성 문제: LLM 은 인간과 유사한 훈련 데이터를 기반으로 학습되므로, 인간의 인지 편향을 모방할 가능성이 높습니다. 하지만 기존 연구는 주로 성능 최적화에 치중하거나, 편향을 표면적인 수준에서만 평가하여 LLM 내부의 인지 편향 메커니즘에 대한 깊은 이해가 부족했습니다.
연구 질문 (RQ):
현대 LLM 은 앵커링 힌트에 쉽게 영향을 받는가? (Existence)
LLM 내부에서 앵커링 효과가 발생하는 메커니즘은 무엇인가? (Mechanism)
이 앵커링 효과를 완화할 수 있는 전략은 무엇인가? (Mitigation)
2. 방법론 (Methodology)
가. 데이터셋 구축: SynAnchors
목적: 앵커링 효과를 대규모로 연구하기 위해 인간 - LLM 루프 (Human-LLM-Loop) 를 통해 구축된 새로운 데이터셋입니다.
구성:
의미적 프라밍 (Semantic Priming): 2 단계 절차 (1 단계: 고/저 앵커에 대한 질적 판단, 2 단계: 실제 수치 추정) 를 사용합니다.
수치적 프라밍 (Numerical Priming): 관련 없는 무의미한 수치를 제시한 후 질문하는 1 단계 절차입니다.
생성: DeepSeek-R1 을 사용하여 초기 질문을 생성하고, 인간 어노테이터가 검증성, LLM 의 사전 지식 부재, 주제 다양성 등을 기준으로 필터링 및 정제했습니다.
규모: 의미적 질문 60 개, 수치적 질문 40 개 (총 10 개 주제).
나. 평가 지표
존재 여부: t-검정 (t-test) 을 통해 앵커 유무에 따른 답변 차이의 통계적 유의성 (p<0.05) 을 확인합니다.
강도 측정:
앵커 지수 (A-Index): 의미적 프라밍에서 고/저 앵커 그룹의 중앙값 차이를 앵커 값 차이로 나눈 값.
상대 오차 (R-Error): 수치적 프라밍에서 앵커 포함 시와 미포함 시 답변의 상대적 오차.
다. 메커니즘 분석: 인과 추적 (Causal Tracing)
기법: 활성화 패치링 (Activation Patching) 을 사용하여 LLM 의 특정 레이어와 토큰이 앵커링 효과에 미치는 인과적 영향을 추적합니다.
실험 설정: Clean Run(정상), Corrupted Run(앵커 토큰 노이즈 추가), Restored Run(패치링 복원) 을 수행하여 토큰의 중요도를 KL 발산 (KL Divergence) 차이로 측정합니다.
라. 완화 전략 평가
전략: 질문 인지 프롬프트, 지식 강화, 자기 개선 (Self-Improving), 적대적 파인튜닝 (Adversarial Finetuning), DoLa 디코딩, Anti-DP (이중 과정 이론 기반 반전 전략) 등 다양한 기법을 적용하여 효과를 측정했습니다.
3. 주요 결과 (Key Results)
가. 앵커링 효과의 존재 (RQ1)
광범위한 발생: 현대 LLM 은 다양한 질문에서 앵커링 편향을 보입니다. 전체 질문의 **22%~61%**에서 유의미한 앵커링 효과가 관측되었습니다.
모델 크기 및 추론 능력의 영향:
작은 모델 (Tiny/Standard) 일수록 편향이 심합니다.
**추론 모델 (Reasoning Models, 예: DeepSeek-R1, Qwen3)**은 다른 모델에 비해 편향이 현저히 낮았으나 (약 22~25%), 완전히 사라진 것은 아닙니다.
수치적 프라밍보다 의미적 프라밍에서 편향이 더 강하게 나타납니다.
나. 메커니즘 분석 (RQ2)
얕은 층 (Shallow Layers) 의 작용: 인과 추적 결과, 앵커링 효과는 LLM 의 **초기 레이어 (Early Layers)**에서 주로 발생합니다.
앵커 관련 토큰 ('higher', 'lower', 숫자 등) 은 중간 및 깊은 레이어로 갈수록 중요도가 급격히 감소합니다.
이는 앵커링이 고차원적인 의미 추론보다는 초기 단어/구문 수준의 자동적 활성화 (Automatic Semantic Activation) 에 기인함을 시사합니다.
추론의 역할: 추론 모델의 사고 과정 (Reasoning Trace) 분석 결과, 앵커링 효과가 약한 질문일수록 명시적으로 앵커 정보를 언급하는 비율이 낮았습니다. 이는 추론 과정이 초기 앵커의 영향을 희석 (Dilute) 시킬 수 있음을 보여줍니다.
다. 완화 전략의 효과 (RQ3)
기존 전략의 한계: 질문 인지 프롬프트, 지식 강화, 일반적인 적대적 파인튜닝 등 기존 방법들은 편향을 근본적으로 제거하지 못했습니다.
가장 효과적인 전략:
Anti-DP (Anti-Dual-Process): 시스템 1 (직관적/자동적) 의 영향을 차단하고 시스템 2 (논리적/의도적) 추론을 강제하는 전략이 가장 효과적이었습니다.
DoLa (Decoding by Contrasting Layers): 초기 레이어와 최종 레이어의 예측을 대조하는 디코딩 방식도 의미적 작업에서 일정 부분 효과를 보였습니다.
결론적으로, **명시적인 추론 과정 (Reasoning Process)**을 유도하는 것이 얕은 앵커링 영향을 완화하는 가장 유망한 방향입니다.
4. 주요 기여 (Contributions)
SynAnchors 데이터셋 및 평가 지표: LLM 의 앵커링 효과를 체계적으로 연구할 수 있는 새로운 벤치마크 데이터셋과 정량적 평가 지표 (A-Index, R-Error) 를 제안했습니다.
편향의 심층적 측정: 현대 LLM 들의 앵커링 편향 심각성을 광범위하게 측정하고, 추론 모델이 상대적으로 우세함을 입증했습니다.
메커니즘적 통찰: 인과 추적을 통해 앵커링 효과가 LLM 의 **얕은 레이어 (Shallow Layers)**에서 발생함을 규명하고, 이는 인간의 '선택적 접근성 모델 (SAM)'과 유사한 자동적 활성화 메커니즘임을 시사했습니다.
완화 방향 제시: 기존 방법의 한계를 지적하고, **추론 (Reasoning)**을 통한 인지적 개입이 편향을 완화하는 핵심 열쇠임을 강조했습니다.
5. 의의 및 결론 (Significance)
본 연구는 LLM 이 단순히 통계적 패턴을 학습하는 것을 넘어, 인간의 인지 편향을 모방할 수 있음을 보여주었습니다. 특히, 앵커링 효과가 모델의 깊은 추론 능력보다는 초기 처리 단계에서 발생하는 '얕은 현상'임을 규명한 점은 LLM 의 신뢰성 향상과 편향 제거 (Debiasing) 를 위한 새로운 방향성을 제시합니다.
향후 연구는 LLM 이 초기 앵커에 의존하지 않고 균형 잡힌 문맥 신호에 집중하도록 유도하는 추론 기반의 편향 제거 기술을 개발하는 데 초점을 맞춰야 하며, 이는 더 신뢰할 수 있는 AI 시스템 구축에 기여할 것입니다.