Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 지시 따르기 (Instruction Following) 능력을 바탕으로 가상 환경에서 다양한 페르소나 (인격) 를 시뮬레이션하는 데 널리 사용되고 있습니다. 기존 연구는 주로 높은 능력과 정확성을 보이는 페르소나 생성에 집중해 왔습니다.
• 문제 제기: 교육 및 사회적 시뮬레이션 등 실제 응용 분야에서는 의도적으로 낮은 수행 능력을 보이는 페르소나 (예: 수학 실력이 부족한 학생) 를 시뮬레이션하는 것이 필요하지만, 현재 LLM 은 이러한 '역설적' 지시를 따르는 데 어려움을 겪고 있습니다.
• 핵심 개념: 본 논문은 이를 '반사실적 지시 따르기 (Counterfactual Instruction Following)' 라고 명명했습니다. 이는 모델이 최적의 해답을 제공하는 기본 성향을 억누르고, 의도적으로 오류를 범하거나 추론이 불완전한 페르소나를 구현하는 능력을 의미합니다. 이는 해킹 (Jailbreaking) 과는 달리 모델의 안전 장치를 우회하는 것이 아니라, 안전한 컨텍스트 내에서 의도적으로 비최적 (Suboptimal) 인 출력을 생성하는 것을 목표로 합니다.

2. 방법론 (Methodology)

• 작업 설정: 수학 추론 (GSM8k 데이터셋) 을 기반으로 페르소나 시뮬레이션을 수행했습니다.
  • 고성능 페르소나: 높은 정확도와 논리적 추론을 보이는 중학생.
  • 저성능 페르소나: 실수, 망설임, 계산 오류, 불안감 등을 보이는 중학생.
• 실험 설계:
  • 모델: 오픈 가중치 모델 (Llama3.1-8B/70B) 과 폐쇄형 모델 (GPT-4o, GPT-4-turbo, GPT-3.5-turbo, OpenAI-o1, Claude-3.5) 을 평가했습니다.
  • 프롬프트 전략: 제로샷 (Zero-shot), 원샷 (One-shot), 자기 정제 (Self-refinement) 방식을 적용했습니다.
  • 교차적 시뮬레이션 (Intersectional Simulation): 수행 수준 (Performance Level) 에 인종적 배경 (아프리카계 미국인, 백인, 히스패닉) 을 추가하여 페르소나의 복잡성을 높이고 편향이 발생하는지 확인했습니다.
• 평가 지표:
  • 작업 정확도 (Task Accuracy, Acc): 수학 문제의 정답률. 저성능 페르소나 시뮬레이션 시 정확도가 낮아져야 함.
  • 대조도 (Degree of Contrast, DoC): 고성능과 저성능 페르소나의 추론 과정과 행동 양식 (논리의 명확성, 자신감, 망설임 등) 이 얼마나 뚜렷하게 구분되는지를 1~3 점으로 평가하는 지표. (LLM-as-a-judge 및 인간 평가로 검증됨, Pearson r=0.77).

3. 주요 결과 (Key Results)

• 역설적 지시 따기의 어려움:
  • 대부분의 LLM 은 저성능 페르소나를 시뮬레이션하더라도 정확도를 크게 낮추지 못했습니다. (제로샷 기준 정확도 감소는 대부분 5% 미만).
  • 특히 추론 강화 모델인 OpenAI o1은 모든 페르소나에서 99% 이상의 정확도를 유지하며, 의도적인 오류 생성에 실패했습니다.
  • 일부 모델 (Claude-3.5, GPT-4o 등) 은 정확도는 높게 유지하면서도 추론 스타일 (망설임, 실수 표시 등) 은 저성능 페르소나에 맞게 변경하는 것을 확인했습니다.
• 자기 정제 (Self-Refinement) 의 한계:
  • 자기 정제 기법을 적용해도 저성능 시뮬레이션의 정확도 감소나 행동 변화가 일관되게 개선되지 않았습니다. 오히려 일부 모델은 오류를 수정하여 정답을 다시 찾아내는 경향을 보였습니다.
• 교차적 속성 (인종) 의 영향:
  • 인종 속성을 추가하면 고성능과 저성능 페르소나 간의 정확도 격차가 더욱 축소되었습니다.
  • 모델이 인종적 배경을 시뮬레이션할 때, 저성능 페르소나의 의도적인 오류 생성 능력이 약화되는 경향이 관찰되었습니다.
  • 인종에 따라 정확도 변화 폭이 달라 편향 (Bias) 이 존재할 가능성을 시사했습니다.
• 추론 스타일 vs 정답:
  • 정답이 동일하더라도 (예: o1 모델), 저성능 페르소나에서는 "손가락으로 계산", "계산 실수 후 수정", "불안감 표현" 등의 텍스트적 특징이 뚜렷하게 나타났습니다. 이는 DoC 지표가 정확도만으로는 포착하지 못하는 행동 차이를 잘 측정함을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 반사실적 지시 따기 (Counterfactual Instruction Following) 의 체계적 평가: LLM 이 의도적으로 낮은 수행 능력을 보이는 페르소나를 시뮬레이션할 수 있는지에 대한 최초의 체계적인 연구입니다.
2. 새로운 평가 지표 (DoC) 제안: 최종 정답의 정확도뿐만 아니라, 페르소나의 추론 과정과 행동 양식의 차이를 정량화하는 '대조도 (Degree of Contrast)' 지표를 도입하고 인간 평가와 높은 상관관계를 입증했습니다.
3. 교차적 페르소나 시뮬레이션의 한계 규명: 수행 수준과 인종적 배경을 동시에 시뮬레이션할 때 LLM 의 지시 따기 능력이 저하되고 편향이 발생할 수 있음을 실험적으로 증명했습니다.
4. 모델별 차이 분석: 추론 강화 모델 (o1) 이 오히려 역설적 지시를 따르는 데 더 취약할 수 있음을 발견하여, 모델의 '지능'과 '페르소나 제어 능력'이 반드시 비례하지 않음을 시사했습니다.

5. 의의 및 시사점 (Significance)

• 교육 및 사회적 시뮬레이션의 현실성: "가르치며 배우기 (Learning by teaching)"와 같은 교육 시나리오나 다양한 능력을 가진 사용자 그룹을 시뮬레이션하는 데 LLM 을 활용하려면, 현재 모델의 한계를 극복하고 의도적인 저성능 페르소나를 정교하게 제어할 수 있는 기술이 필요합니다.
• 편향과 윤리적 고려: 페르소나 시뮬레이션 시 인종과 같은 민감한 속성이 추가되면 모델의 행동이 예측 불가능하게 변하거나 편향이 강화될 수 있으므로, 향후 페르소나 기반 AI 개발 시 윤리적 가이드라인과 편향 완화 전략이 필수적입니다.
• 향후 연구 방향: LLM 이 내재된 최적화 성향을 극복하고 다양한 페르소나 (특히 비최적 행동) 를 유연하게 구현할 수 있도록 하는 새로운 프롬프트 엔지니어링 또는 미세 조정 (Fine-tuning) 기법의 개발이 시급합니다.

이 논문은 LLM 이 단순히 "똑똑한" 답변을 제공하는 것을 넘어, 복잡한 사회적 맥락에서 다양한 인간적 특성을 충실히 재현할 수 있는지에 대한 근본적인 의문을 제기하고 그 한계를 명확히 규명했다는 점에서 중요한 의의를 가집니다.