기술 요약: LLM을 이용한 섭식 장애 환자 시뮬레이션

문제 정의

대규모 언어 모델(LLM)은 임상 교육, 연구 및 실험 대상으로서 인간 참가자의 대리인으로 점점 더 많이 배치되고 있습니다. 이러한 응용 분야의 핵심적이면서도 아직 충분히 검토되지 않은 전제 조건은 페르소나 안정성(persona stability), 즉 할당된 심리적 프로필을 대화 내외에서 일관되게 유지하는 능력입니다. 만약 시뮬레이션된 환자의 심리적 프로필이 대화 도중 표류하거나 세션 전반에 걸쳐 예측 불가능하게 변한다면, 사회적 현상, 임상 역량 또는 치료 효과에 관한 후속 결론들은 실제 발견이 아닌 모델의 불일치로 인한 인위적인 결과물이 될 것입니다.

현재의 평가 패러다임은 이러한 실패를 감지하지 못합니다. 시뮬레이션된 환자 시스템은 일반적으로 대화의 사실성이나 진단 정확도를 기준으로 평가되며, 페르소나 벤치마크는 검증된 도구를 갖춘 임상적 근거가 있는 프로필보다는 허구적 설정이나 일반적인 성격 특성을 목표로 합니다. 또한, 기존 문헌은 엇갈린 증거를 제시합니다. 일부 벤치마크는 안정적인 반응을 보고하는 반면, 다른 연구들은 페르소나를 추가하는 것이 작업 성능을 반드시 개선하지는 않는다는 점과, 인간 피드백으로부터의 강화 학습(RLHF)이 다회차 대화에서 아첨(sycophancy) 현상을 심화시킬 수 있음을 지적합니다.

본 연구는 **섭식 장애(EDs)**를 가진 LLM 시뮬레이션 환자의 심리적 타당성과 시간적 안정성을 평가함으로써 특정 공백을 다룹니다. 섭식 장애는 사망률이 높은 정신 질환이며 임상의들 사이에서 상당한 교육 격차가 존재하는 영역입니다. AI 시뮬레이션 섭식 장애 환자는 훈련생의 불안을 줄이는 데 유망한 가능성을 보여주었으나, 그 심리적 안정성은 아직 평가되지 않았습니다.

방법론

실험 설계

저자들은 6개의 LLM(Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B, Llama 3.3 70B)과 5개의 ED 페르소나(신경성 폭식증, 신경성 식욕부진증 폭식-제거형, 폭식 장애/야식 증후군, 폭식 장애, 제거 장애)를 사용하여 두 가지 상호 보완적인 실험을 통해 안정성을 조작적으로 정의합니다.

1. 대화 간 안정성 (Experiment I - Between-Conversation Stability): 각 모델은 세 가지 섭식 관련 상황을 설명하는 1인칭 서사를 생성하고 자기 보고 도구를 완료합니다. 독립적인 LLM 평가자(서로 다른 제공업체의 3개 모델)는 원래의 페르소나 지침에 접근하지 않고 오직 서사만을 바탕으로 동일한 도구를 완료합니다. 이는 독립적인 실행 간의 일관성을 테스트합니다 ($N=50$ per condition).
2. 대화 내 안정ness (Experiment II - Within-Conversation Stability): 대상 LLM은 스크립트가 작성된 파트너와 9회의 대화 교환을 진행합니다. 대화 흐름에 따른 표류를 감지하기 위해 세 개의 토픽 블록(교환 3, 6, 9회차) 이후에 자기 보고 및 관찰자 평가가 트리거됩니다 ($N=20$ per condition).

페르소나 구성 및 프롬프트 풍부도

프롬프트의 상세함이 미치는 영향을 테스트하기 위해, 본 연구는 Fairburn의 범진단 모델에 기반하여 **프롬프트 풍부도(prompt richness)**를 세 단계로 조작합니다:

• 전체 비네트 (Full Vignette): 인구통계학적 정보, 병력, 트라우마, 사회적 맥락을 포함한 완전한 임상 사례 기술 (평가 점수 제외).
• 핵심 유지 기제 (Core Maintaining Mechanisms): 생물학적 맥락 없이 활성화된 유지 요인(예: 식이 제한, 폭식-제거 순환, 신체 체크)만 포함.
• 최소 정보 (Minimal): 진단명, 연령, 성별, BMI 및 정량화된 행동 빈도만 포함.

측정

주요 결과 지표는 검증된 28개 항목의 0–6 척도 도구인 **섭식 장애 검사(EDE-Q)**입니다. 모든 5개 사례에 대해 정답(Ground-Truth, GT) 점수를 확보할 수 있습니다. 이중 평가 프레임워크가 사용됩니다:

• 자기 보고 (Self-Report): 페르소나가 생성된 서사를 바탕으로 설문지를 작성합니다.
• 관찰자 평가 (Observer Ratings): 세 명의 독립적인 LLM 평가자가 개인의 관점에서 대화 기록을 평가합니다.
• 이차 척도 (Secondary Measures): 수렴 타당성을 위해 임상적 손상 평가(CIA)와 섭식 태도 검사(EAT-26)를 함께 실시합니다.

주요 기여

1. 이중 평가 프레임워크: LLM 평가자 편향을 완화하기 위해 다중 제공업체 평가자 집계를 활용하여, 검증된 임상 도구(EDE-Q)를 통해 페르소나의 자기 보고와 독립적인 관찰자 평가를 동시에 측정하는 새로운 방법론을 제시합니다.
2. 이론에 기반한 프롬프트 조작: Fairburn의 모델을 바탕으로 프롬프트 풍부도를 체계적으로 변화시켜, 그럴듯한 시뮬레이션을 위해 필요한 최소 정보를 구분하고 유지 기제와 선행 요인을 구별합니다.
3. 안정성 및 정확도 평가: 6개의 LLM과 5개의 ED 페르소나에 걸친 포괄적인 평가를 수행하며, 분산 분해를 통해 모델 정체성, 페르소나 사례, 프롬프트 풍부도가 점수 변동에 기여하는 상대적 비중을 식별합니다.

결과

안정성

• 대화 간 (Between-Conversation): LLM은 놀라울 정도로 높은 안정성을 보입니다. 6개 모델 중 5개 모델의 변동 계수는 평균 2~4%이며, 50회의 독립 실행 모두에서 동일한 점수를 생성하는 아이템-조건 조합이 30%에 달합니다. 이러한 결정론적 행동은 인지-정서적 항목(체형 및 체중 관심)에서 가장 두드러집게 나타납니다.
• 대화 내 (Within-Conversation): 대화를 9회 교환까지 확장해도 정확도가 유의미하게 향 Select되지 않으며, 오히려 5개 모델 중 4개 모델의 점수가 대화가 진행됨에 따라 **상승(심각도 증가)**하여 정답(GT)에서 멀어지는 경향을 보입니다.

정확도 및 오버슈트 (Overshoot)

• 체계적 오버슈트: 모든 모델은 정답(GT) 심각도를 척도 범위의 1230%(0–6 척도 기준 0.71.8점)만큼 체계적으로 **과대평가(overshoot)**합니다.
• 심각도 의존적 압축: 오버슈트는 중간 정도의 사례에서 가장 심하게 나타납니다. 예를 들어, 제거 장애(GT = 2.64)는 +1.44에서 +2.73 포인트만큼 부풀려지는 반면, 신경성 폭식증(GT = 5.25)은 ±0.43 범위 내에서 재현됩니다.
• 순위 역전: LLM은 심각도 순위를 올바르게 매기지 못합니다. 6개 모델 중 4개 모델에서 신경성 식욕부진증 폭식-제거형(GT = 4.30)이 신경성 폭식증(GT = 5.25)보다 높은 점수를 기록했는데, 이는 실제 정답 심각도가 더 낮음에도 불구하고 발생한 현상입니다.

메커니즘: 선택적 스테레오타이핑 (Selective Stereotyping)

연구는 이러한 오류를 유발하는 메커니즘으로 선택적 스테레오타이핑을 식별했습니다:

• 행동 항목: 구체적인 행동을 측정하는 항목(예: 식이 제한)은 비네트의 특정 내용에 반응하여 사례를 효과적으로 구분합니다.
• 인지-정서 항목: 신체 불만족 및 체중 집착을 측정하는 항목(체형 관심, 체중 관심)은 사례의 심각도와 관계없이 천장(ceiling)(최댓값 근처)에 도달합니다.
• 결과: 인지-정서 항목이 모든 ED 진단에서 천장에 도달하기 때문에, 전체 점수는 거의 전적으로 행동적 '제한(Restraint)' 하위 척도에 의해 결정됩니다. 이로 인해 극단적인 식이 제한을 보이는 사례(전체적인 병리 수준은 낮더라도)가 전체 병리가 더 높은 사례보다 더 높은 점수를 받는 순위 역전 현상이 발생합니다.

프롬프트 풍부도

프롬프트 풍부도는 점수 분산에 미치는 영향이 미미했습니다(1%). 축소된 프롬프트(Minimal)는 전체 임상 비네트와 거의 동등한 반응을 이끌어냈으며, 이는 오버슈트가 부족한 맥락 때문이 아니라 사전 학습된 우선순값(pretraining priors)에서 기인함을 시사합니다.

의의 및 주장

본 논문은 LLM이 역설적으로 너무 안정적이면서도 너무 부정확하다고 결론짓습니다. LLM은 일관된 페르소나를 유지하지만, 이 안정성은 임상적 실재에 대한 충실도가 아니라 편향의 안정성을 반영합니다.

• "잃어버린 중간 지점 (The Missing Middle)": LLM은 심각한 섭식 병리는 묘사할 수 있지만, 중간 정도의 임상적 양상은 표현하지 못합니다. 이는 총체적인 검증이 적절해 보일지라도, 임상 훈련에 가장 중요한 심각도 구간에서의 치명적인 실패를 은폐할 수 있는 "잃어버린 중간 지점"을 생성합니다.
• 보정의 한계: 사례의 순위가 단조롭지 않기 때문에(예: AN-BP > BN), 단순한 사후 보정이나 단조 변환으로는 출력을 수정할 수 없습니다. 왜곡은 하위 척도 수준에서 발생하기 때문입니다.
• 배포에 대한 시사점: 이러한 결과는 현재의 LLM이 임상 훈련이나 연구를 위한 유효한 섭식 장애 심각도 대리인 역할을 수행하기에는 아직 부족함을 시사합니다. 충실도를 높이기 위해서는 생성 시점에 아이템 수준의 임상적 근거와 현재의 학습 데이터가 제공하지 못하는 표현적 다양성이 필요합니다. 본 연구는 LLM이 치료를 위한 도구로서 무용하다는 것을 주장하는 것이 아니라, 임상 역량이나 치료 효과를 평가하기 위한 시뮬레이션 환자로서의 사용은 현재 체계적인 스테레오타이핑으로 인해 위협받고 있음을 주장합니다.

저자들은 본 연구가 ADHD 시뮬레이션에 관한 이전 연구들을 재현하고 확장하고 있다고 명시하며, 일관된 자기 보고가 충실함이 아닌 일관된 부정확함을 반영할 수 있음을 보여줍니다. 저자들은 이 오버슈트가 모델 특이적인 것인지 아니면 시뮬레이션된 자기 보고 자체의 고유한 특성인지를 판단하기 위해, 행동적으로 등급이 매겨진 도구와 인간 기준 연구를 통한 교차 질환 재현을 촉구합니다.