기술 요약: Pain in 3D

문제 정의

안면 표정을 통한 자동 통증 평가는 의사소통이 불가능한 환자(예: 치매 또는 인지 장애 환자)를 모니터링하는 데 매우 중요합니다. 그러나 다음과 같은 두 가지 주요 병목 현상으로 인해 발전이 심각하게 제한되고 있습니다:

1. 데이터 부족 및 불균형: 윤리적 제약으로 인해 다양한 참가자에게 심각한 통증을 유발하여 데이터를 수집하는 것이 어렵습니다. 결과적으로 UNBC-McMaster와 같은 기존 벤치마크는 규모가 작고, 인구통계학적 다양성이 부족하며, 고강도 통증 프레임이 희귀한 이상치로 존재하는 극단적인 클래스 불균형 문제를 겪고 있습니다.
2. 생성 모델의 한계: 현재의 생성적 접근 방식(예: GAN 인버전, 프롬프트 기반 확산 모델)은 통증 평가에 필요한 정밀한 임상적 제어를 제공하는 데 어려움을 겪습니다. 이들은 종종 얼굴 움직임 부호화 시스템(FACS)에 정의된 특정 안면 동작 단위(AU)를 타겟팅하지 못하거나, Prkachin 및 Solomon의 통증 강도(PSPI) 지표와의 정렬을 보장하지 못합니다. 또한, 많은 표준 훈련 데이터셋은 중요한 통증 관련 AU(특히 AU7 및 AU43)에 대한 주석이 누락되어 있으며, 2D 기반 방식은 다중 뷰(multi-view) 강건성에 필요한 기하학적 일관성이 부족합니다.

방법론

1. 3DPain 데이터셋 생성 파이프라인

저자들은 2,500개의 고유한 신원을 포함하는 82,500 프레임 규모의 대규모 합성 데이터셋인 3DPain을 소개합니다. 생성 과정은 해부학적 일관성, 인구통계학적 다양성, 그리고 정밀한 AU 제어를 보장하도록 설계된 3단계 제어 파이프라인을 따릅니다:

• 1단계: 3D 메쉬 및 깊이 조건화 (3D Mesh and Depth Conditioning):
  • 다양한 연령, 성별, 인종을 포괄하는 FLAME 파라미터 모델을 사용하여 다양한 중립 3D 얼굴 메쉬를 샘플링합니다.
  • 이 메쉬들은 정면 깊이 맵(depth maps)으로 렌더링됩니다.
• 2단계: 확산 기반 합성 (Diffusion-Based Synthesis):
  • 중립 얼굴 생성: 깊이 조건부 Kandinsky 2.2 모델(ControlNet으로 증강됨)이 FLAME 깊이 맵을 실사 형태의 중립 2D 얼굴로 변환합니다. 인구통계학적 다양성을 강제하기 위해 텍스트 프롬프트가 사용됩니다.
  • 질감 합성: Hunyuan3D 2.1을 사용하여 중립 이미지에 조건화된 물리 기반 렌더링(PBR) 텍스처를 생성하며, 이를 통해 미세한 피부 디테일과 인종적 특징을 포착합니다.
• 3단계: 신경 리그잉 및 렌더링 (Neural Rigging and Rendering):
  • 신경 얼굴 리그잉 (Neural Face Rigging, NFR): DiffusionNet과 Neural Jacobian Fields를 사용하여, PSPI 공식에서 도출된 특정 AU 구성(AU4, AU6, AU7, AU9, AU10, AU43)에 따라 3D 메쉬에 정밀한 변형을 적용합니다. 이를 통해 정확한 PSPI 점수를 가진 통증 표정을 생성할 수 있습니다.
  • 다중 뷰 렌더링 및 인페인팅 (Multi-View Rendering & Inpainting): 리그잉된 메쉬는 여러 관점에서 렌더링됩니다. 이후 실사성을 확보하기 위해 Kandinsky 2.2를 사용하여 배경 인페인팅 및 헤어 완성을 수행합니다.

결과물인 데이터셋에는 쌍을 이룬 중립/통증 이미지, 정확한 AU 구성, PSPI 점도, 통증 영역 히트맵이 포함됩니다.

2. ViTPain 아키텍처

합성 데이터를 활용하기 위해 저자들은 통증 추정을 위한 비전 트랜스포머(Vision Transformer) 기반 프레임워크인 ViTPain을 제안합니다:

• 중립 참조 교차 주의 (Neutral Reference Cross-Attention): 모델은 대상 통증 이미지($I_{pain}$)와 동일 인물의 참조 중립 이미지($I_{neutral}$)를 처리합니다. 두 이미지는 LoRA 어댑터가 적용된 Dino-V3 백본을 사용하여 인코딩됩니다. 교차 주의 메커니즘을 통해 통증 특징이 중립 참조 특징을 쿼리(query)할 수 있게 합니다. 이는 동적인 통증 표정과 정적인 신원 특징을 분리하도록 설계되었습니다.
• 쿼리 기반 AU 교차 주의 (Query-Based AU Cross-Attention): 6개의 통증 관련 AU에 대응하는 학습 가능한 쿼리 토큰이 컨텍스트 패치로부터 국소적인 근육 움직임 정보를 추출하여 보조적인 감독(supervision)을 제공합니다.
• 다중 작업 예측 (Multi-Task Prediction):
  • 회귀 (Regression): CLS 토큰으로부터 연속적인 PSPI 점수를 예측하는 헤드를 가집니다.
  • 이진 분류 (Binary Classification): 회귀 작업에서의 평균값 붕괴(mean-value collapse)를 완화하기 위해 통증 유무를 구분하는 보조 헤드를 가집니다.
  • AU 회귀 (AU Regression): 특정 AU의 강도를 예측하는 독립적인 헤드들을 가집니다.
• 추론 전략: 강건성을 높이기 위해 여러 중립 참조 프레임에 조건화된 예측을 평균내는 멀티샷(multi-shot) 추론 전략을 사용합니다.

주요 기여

1. 3DPain 데이터셋: 정확한 AU 주석과 PSPI 점수를 갖춘 대규모의 다양한 합성 데이터셋(82,500 프레임, 2,500 신원)을 구축하여, 실제 세계의 통증 데이터 부족 문제를 해결했습니다.
2. 제어 가능한 생성 파이프라인: FLAME 기하학, 확산 기반 질감 합성, 신경 리그잉을 결가한 새로운 3단계 프레임워크를 결합하여, 정확한 액션 유닛 제어가 가능한 임상적으로 유효한 다중 뷰 통증 표정을 생성합니다.
3. ViTPain 프레임워크: 중립 얼굴과의 교차 주의를 활용하여 동적인 통증 특징을 분리하는 참조 인식 비전 트랜스포머 아키텍처를 제안하며, 이를 통해 표준 베이스라인 대비 개선된 일반화 성능을 입증했습니다.

실험 결과

모델은 UNBC-McMaster 어깨 통증 표정 아카이브를 사용하여 피험자 독립적 분할(subject-independent splits)을 적용한 5-겹 교차 검증(5-fold cross-validation)으로 평가되었습니다.

• 사전 학습 효과: 3DPain에서의 사전 학습은 모든 아키텍처의 성능을 유의미하게 향상시켰습니다. 제안된 ViTPain 모델의 경우, 사전 학습을 통해 F1-Score(임계값 $\ge 2$ 기준)가 0.43에서 0.50으로, AUROC가 0.79에서 0.86으로 증가했습니다.
• 절제 연구 (Ablation Studies):
  • 이진 분류 헤드를 추가하면 고강도 통증에 대한 F1-Score가 향상되었습니다.
  • 중립 참조 및 멀티샷 추론을 통합하면 전역 식별 지표(AUROC 및 PCC)가 개선되었습니다. 이는 신원과 표정의 분리가 더 잘 이루어짐을 나타내지만, 보다 보수적인 예측 편향으로 인해 고강도 F1 점수는 약간 감소했습니다.
• 최신 기술(SOTA) 비교: Vi-Pain(단일 프레임 사용 시)은 비디오 기반 최신 기술들과 경쟁할 만한 결과를 달了. 임계값 $\ge 2$에서 ViTPain은 0.86의 AUROC와 0.51의 F1을 달성하여, PwCT(AUROC 0.82, F1 0.48)와 같은 기존 이미지 기반 방법보다 우수한 성능을 보였으며 비디오 기반 베이스라인에 근접했습니다.

의의 및 주장

본 논문은 3DPain과 ViTPain이 자동 통증 평가를 위한 "제어 가능하고, 다양하며, 임상적으로 근거 있는 기초"를 구축한다고 주장합니다. 주요 의의는 역사적으로 주체 독립적 통증 인식 모델의 발전을 제한해 온 데이터 격차를 해소했다는 점에 있습니다. 정밀한 임상 주석을 가진 합성 데이터가 실제 응용을 위한 모델을 효과적으로 사전 학습할 수 있음을 입증함으로써, 본 연구는 비용이 많이 들고 윤리적으로 제약이 많은 임상 데이터 수집에 대한 확장 가능한 대안을 제시합니다.

저자들은 프레임워크가 일반화 성능을 개선하지만, 피부 질감의 리얼리즘에 대한 도메인 변화(domain shift)와 장기적인 시간적 역동성 모델링에 관한 과제가 남아 있음을 겸허히 언급하며, 이를 향후 연구 방향으로 제시하였습니다.