기술 요약: 표준화된 정신과 환자 시뮬레이션을 위한 생성형 비디오 AI의 위생 저하 단계별 평가

문제 정의

정신 상태 검사(MSE)는 특히 조현병, 중증 우울증, 신경인지 장애와 같이 자기 방임이 수반되는 질환에서 진단 및 모니터링을 위한 즉각적인 임상 지표로서 환자의 전반적인 외모, 용모 및 위생에 크게 의존한다. 그러나 임상 AI 도구 및 교육 커리큘럼의 발전은 이러한 외모 특성을 체계적으로 조작하는 표준화된 환자(SP) 비디오 라이브러리를 구축하는 데 있어 발생하는 물류적 불가능함으로 인해 저해되고 있다.

전통적인 시뮬레이션 방법은 엄격한 물리적 및 윤리적 한계에 직면해 있다. 배우가 임상적으로 유의미한 수준의 급격한 체중 변화를 윤리적으로 겪을 수 없으며, 기존의 촬영 방식으로는 약물 사용이나 신경 퇴행성 질환과 관련된 가시적인 신체적 또는 피부과적 변화를 쉽게 재현하기 어렵다. 결과적으로, 이 분야에는 진단 보정, 평가자 간 신뢰도 훈련, 그리고 자동화된 표현형 분석 시스템의 검증에 필요한 통제되고 단계적인 자극이 부족한 실정이다. 생성형 AI가 잠재적인 해결책을 제시하고 있으나, 환자의 영상을 의도적으로 변경된 외모로 재애니메이션화하는 것의 충실도(fidelity)는 아직 입증되지 않았으며, 특히 임상적 병리(예: 떨림 또는 근긴장이상증)로 오인될 수 있는 "환각" 형태의 미세 운동 아티팩트(fine-motor artifacts)의 위험이 존재한다.

방법론

본 파일럿 연구는 Wan2.2-Animate-14B 잠재 비디오 확산 모델(latent video diffusion model)을 사용하여 표준화된 정신과 환자를 체계적으로 수정된 외모로 재애니메이션화하는 기술적 타당성을 조사하였다.

실험 설계:
본 연구는 세 가지 생성 변수를 교차하는 $2 \times 3 \times 2$ 완전 요인 설계를 채택하였다:

1. 합성 구조(Compositing Architecture): 피사체와 배경을 처음부터 생성하는 애니메이션 모드(Animation mode) vs. 피사체를 분할하여 보존된 원래 배경에 다시 합성하는 교체 모드(Replacement mode).
2. Classifier-Free Guidance (CFG) 스케일: 프롬프트 준수와 다양성을 제어하기 위해 1, 4, 6 단계로 테스트됨.
3. 포즈 리타겟팅(Pose Retargeting): 참조 해부학적 구조에 맞게 골격 키포인트를 조정하기 위해 활성화 또는 비활성화함.

데이터 생성:

• 소스 자료: 검증된 공개 저장소(Martin et al., 2020)에서 추출한 세 명의 SP 정체성("Ben": 강박장애, "Karthik": 조현병, "Robbin": 양극성 장애).
• 외모 섭동(Appearance Perturbation): 정적 참조 초상화를 추출한 후, Google Gemini 텍스트-이미지 모델을 사용하여 다섯 가지 조건(수정되지 않은 기준 상태, 그리고 점진적으로 심화되는 네 단계의 위생 저하: 경미, 보통, 뚜렷, 심각)을 생성하였다. 프롬프트는 정체성이나 신체 기하학적 구조의 변화를 금지하면서 머리카락, 수염, 복장을 구체적으로 겨냥하였다.
• 전처리: 확산 과정 중의 시간적 붕괴(temporal collapse)를 방지하기 위해 생성된 이미지를 ESRGAN으로 업스케일링하였다.
• 출력: 모델은 참조 피사체가 원본 구동 영상의 운동학(kinematics)을 수행하는 180개의 고유한 10초 영상을 합성하였다.

평가 지표:

1. 분포 충실도(Distributional Fidelity): 생성된 영상과 실제 영상(ground-truth) 사이의 발산 정도를 정량화하기 위해 ResNet3D-18 특징 추출기를 사용하는 **Fréchet Video Distance (FVD)**를 통해 측정하였다.
2. 물리적 타당성(Physical Plausibility): 자동화된 물리 인식 평가자 역할을 하는 **멀티모달 대규모 언어 모델(Qwen3-Omni-30B)**을 활용하여 다섯 가지 차원에서 5점 척도로 영상을 평가하였다:
   • 손가락 개수 일관성 (S1)
   • 관절 움직임 물리 법칙 (S2)
   • 팔 개수 안정성 (S4)
   • 운동량 보존 (S5)
   • 그림자 일관성 (S6)

통계 분석:
FVD 분석에는 일반화 추정 방정식(GEE)을 사용하였고, 서열 척도인 물리 점수는 비모수 검정(Kruskal-Wallis, Mann-Whitney U)을 통해 분석하였다. 위생 심각도와 품질 사이의 용량-반응 관계는 Spearman 상관관계 및 공변량 조정 GEE를 통해 평가되었다.

주요 결과

1. 생성 모드가 충실도를 결정함

• **교체 모드(Replacement mode)**가 **애니메이션 모드(Animation mode)**보다 분포 충실도 측면에서 유의미하게 우수한 성능을 보였다 (평균 FVD: 8.6 vs. 19.4; Cohen's $d = 1.84$).
• 분산 분해 결과, 생성 모드가 FVD 분산의 46.1%를 설명한 반면, 위생 수준은 25.6%를 설명하였다.
• 애니메이션 모드는 전체 장면을 합성해야 하므로 더 큰 분포적 편차(distributional drift)가 발생한 반면, 교체 모드는 생성 공간을 피사체 영역으로 제한하여 환경 통계치를 보존하였다.

2. 위생 심각도가 충실도를 단조롭게 저하시킴

• 위생 섭동의 심각도와 FVD 사이에는 유의미한 단조 증가 관계가 관찰되었다 ($\rho = 0.479, p < 0.001$).
• 외모 수정이 심해질수록(경미에서 심각으로) 생성된 영상은 실제 영상의 분포에서 더 멀어졌다. 모든 섭동 단계는 기준 상태와 유의미한 차이를 보였다.

3. FVD-물리 법칙의 괴리(Dissociation)

• 핵심 발견: 위생 섭동이 증가함에 따라 분포 충실도(FVD)는 저하되었으나, 물리적 타당성 점수는 유사한 경향을 따르지 않았다.
• 미세 운동 아티팩트(예: 손가락 환각, 부적절한 관절 궤적)는 참조 이미지가 수정되지 않았든 심하게 수정되었든 상관없이 유사한 비율로 나타났다.
• 오직 하나의 물리 차원(팔 개수 안정성, S4)만이 생성 모드 간에 유의미한 차이를 보였으며, 교체 모드가 더 높은 점수를 기록했다.
• FVD와 물리 차원 간의 상관관계는 약했다 (가장 강한 것이 팔 개수, $\rho = -0.33$). 이는 영상이 분포적으로는 현실적일지라도 해부학적으로 불가능한 아티팩트를 포함할 수 있음을 시사한다.

4. 최적의 구성

• 조합 순위 분석 결과, 교체 모드, CFG=1, 리타겟팅 비활성화가 FVD를 최소화하면서 물리 점수를 유지하는 데 가장 최적인 구성으로 식별되었다.

의의 및 주장

본 논문은 잠재 비디오 확산 모델이 단계별 위생 저하에 따른 외모 변화를 적용하여 표준화된 정신과 환자를 재애니메이션화할 수 있다는 최초의 체계적 경험적 증거를 제공한다고 주장한다.

연구는 세 가지 주요 결론을 확립한다:

1. 기술적 타당성: 반복적인 촬영 없이도 외모가 조절된 임상 영상을 생성하는 것은 기술적으로 가능하며, 이를 통해 자극물 제작 과정을 노동 집약적인 녹화 과정에서 확장 가능한 비디오 생성 작업으로 전환할 수 있다.
2. 구조적 필요성: 임상 훈련 응용 분야를 위해, 환경을 보존하고 분포적 편차를 최소화하는 교체 모드가 애니메이션 모드보다 우수하다.
3. 현재 모델의 한계: 외모 수정의 심각도와 무관하게 지속되는 미세 운동 아티팩트는 이것이 섭동 작업의 부산물이 아니라 생성 아키텍처 자체의 내재적 한계임을 강조한다.

임상 배포를 위한 시사점:
저자들은 분포 충실도(FVD)와 물리적 타당성이 서로 괴리되어 있기 때문에, FVD만으로는 임상 AI의 품질 게이트(quality gate)로서 불충분하다고 단언한다. 영상이 전역적으로는 현실적일지라도 환각된 떨림이나 사지 왜곡을 포함하여 정신 운동 병리(psychomotor pathology)를 모방할 수 있기 때문이다. 따라서 이러한 자료를 교육적 또는 번역적 환경에 안전하게 배치하기 전에는, 해부학적 아티팩트를 스크리닝하기 위한 전문가 검토 및 물리 기반 평가가 반드시 필요하다.

본 연구는 이 영상들이 현재 임상용으로 즉시 사용 가능하다는 주장이 아니라, 향후 모델 개발 및 검증을 위한 벤치마크 프레임워크와 최적의 구성 파라미터를 제공한다는 점을 명시한다. 또한 고위험 임상 응용 분야에서 전역적 현실성과 해부학적 정확성을 구분하여 평가해야 할 필요성을 강조한다.