TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

기술 요약: TraMP-LLaMA: 얼굴 표정 품질 평가를 위한 분리된 지시어 튜닝 기반의 생성적 해석 가능성

문제 정의
파킨슨병(PD)과 같은 신경계 질환을 위한 기존의 얼굴 표정 품질 평가(Facial Expression Quality Assessment, FEQA) 방법들은 일반적으로 단일한 중증도 점수(예: MDS-UPDRS)만을 출력합니다. 이러한 점수는 정량적 모니터링에는 유용하지만, 예측을 뒷받침하는 관찰 가능한 얼굴 움직임의 증거를 명시적으로 전달하지 못한다는 한계가 있습니다. 이는 모델 출력의 해석 가능성을 제한하며, 평가자 간의 불일치를 분석하는 것을 방해합니다. 전통적인 해석 도구인 솔리언시 맵(saliency maps)은 임상적으로 유의미한 시공간적 운동 패턴(예: 운동 범위 감소, 비대칭성)을 설명하지 못하며, 기성 비디오-언어 모델(VLM)은 예측을 정당화하도록 요청받았을 때 임상적으로 무관한 세부 사항을 환각(hallucination)하는 경우가 많습니다. 또한, PFED5와 같은 기존 데이터셋은 중증도 점수는 제공하지만, 증거에 기반한 보고를 위해 모델을 훈련하는 데 필요한 텍스트 주석(textual annotations)이 부족합니다.

방법론
저자들은 중증도 점수를 공동으로 예측하고 구조화된 증거 기반 보고서를 생성하도록 설계된 통합 멀티모달 프레임워크인 TraMP-LLaMA를 제안합니다.

• 아키텍처: 이 프레임워크는 VideoLLaMA3(SigLIP-NaViT를 비전 인코더로, Qwen-2.5를 LLM으로 사용)를 기반으로 구축되었습니다. 두 가지 주요 입력 스트림을 통합합니다:

  1. RGB 외형(Appearance): 동결된 SigLIP-NaViT 비전 인코더에 의해 인코딩됩니다.
  2. 랜드마크 궤적(Landmark Trajectories): 명시적인 얼굴 움직임 특징을 포착하기 위해 훈련 가능한 SkateFormer 네트워크에 의해 인코딩됩니다.
     이 스트림들은 훈련 가능한 교차 융합(cross-fusion) 모듈을 통해 처리되어 압축된 모션 인식 표현(motion-aware representation)을 생성합니다.

• 이중 헤드 출력(Dual-Head Output):

  1. 중증도 점수 산출: 회귀 헤드(regression head)는 융합된 궤적-RGB 표현을 바탕으로 임상 점수를 예측합니다.
  2. 보고서 생성: LLM은 구조화된 보고서를 생성하도록 지시어 튜닝(instruction-tuned)됩니다. 이는 시각적 토큰, 궤적 기반 모션 토큰, 그리고 융합된 표현의 결합물과 특정 지시 프롬프트에 조건화됩니다.

• 분리된 지시어 튜닝(Decoupled Instruction Tuning): 본 연구의 핵심 기술적 기여는 중증도 회귀와 언어 생성 사이의 작업 간섭을 완화하는 것입니다. 저자들은 다음과 같은 스톱 그래디언트(stop-gradient) 메커니즘을 채택했습니다:

  • 모션 인코더와 교차 융합 모듈은 오직 중증도 점수 손실($L_{score}$)에 의해서만 업데이트됩니다.
  • 텍스트 생성 손실($L_{text}$)로부터 오는 그래디언트는 모션 인코더와 융합 모듈으로 흐르는 것이 차단됩니다.
  • LLM 파라미터(LoRA를 통해 적응됨)와 프로젝션 레이어는 오직 $L_{text}$에 의해서만 업데이트됩니다.
    이러한 설계는 중증도 점수를 위한 시공간적 특징이 언어 생성 목적 함수에 의해 왜곡되지 않도록 보장하는 동시에, LLM이 보고서 생성을 위해 동일한 증거를 활용할 수 있도록 합니다.

• 데이터셋 확장(PFED5+): 보고서 생성을 지원하기 위해, 저자들은 PFED5 데이터셋을 **PFED5+**로 확장했습니다. 여기에는 각 비디오 클립에 대해 전문가가 가이드하고 검토한 텍스트 설명을 생성하는 과정이 포함되었습니다. 이러한 주석은 표준화된 시간적 템플릿(Pre-action, In-action, Post-action)을 따르며, 레이블 누수(label leakage)를 방지하기 위해 중증도 레이블을 직접 인코딩하지 않고 관찰 가능한 영역별 운동 패턴을 설명합니다.

주요 기여

1. TraMP-LLaMA 프레임워크: 정량적인 중증도 점수와 구조화된 텍스트 보고서를 동시에 출력하여, 검사 가능한 얼굴 움직임 증거를 제공하는 멀티모달 시스템입니다.
2. 분리된 훈련 전략: 언어 생성 그래디언트가 모션 인코더와 융합 모듈을 업데이트하는 것을 차단함으로써, 점수 정확도를 보존하면서 생성적 해석 가능성을 가능하게 하는 새로운 지시어 튜닝 방식입니다.
3. PFED5+ 데이터셋: 증거에 기반한 보고 생성을 위한 최초의 지도 학습을 가능하게 하는, 전문가 가이드 기반의 클립 수준 모션 설명을 포함한 확장된 PFED5 버전입니다.

결과
실험은 PFED5+를 사용하여 공동 다중 표현 훈련 설정(다섯 가지 임상 동작 모두에 대해 단일 모델을 훈련)에서 수행되었습니다.

• 중증도 예측: TraMP-LLaMA는 QAFE-Net, TraMP-Former 및 기본 VideoLLaMA3를 포함한 경쟁 베이스라인들을 능가하며 최첨단 성능을 달면했습니다. 구체적으로, 공동 설정에서 모든 경쟁 방법 대비 스피어만 상관계수(Spearman's rank correlation)를 최소 4.39% 개선했습니다. 교차 융합을 통한 궤적 단서의 포함은 특히 'Sit at rest'(+10.40%) 및 'Squeeze eyes'(+9.76%)와 같은 동작에서 상당한 이득을 제공했습니다.
• 보고서 생성: TraMP-LLaMA는 모든 지표(BERTScore, ROUGE-L, BLEU-4, CIDEr)에서 기본 VideoLLaMA3 및 기타 범용 VLM(예: Chat-UniVi, LLaVA-Video)을 앞질렀습니다. 절제 연구(ablation studies)를 통해 텍스트 그래디언트를 차단하는 분리된 훈련 전략이 결정적임을 확인했습니다. 그래디언트를 허용했을 경우 점수 상관관계가 현저히 낮아지고 훈련이 불안정해졌기 때문입니다.
• 절제 연구 결과: 시각, 궤적 및 융합된 토큰의 조합을 LLM 컨디셔닝으로 사용하는 것이 최상의 의미론적 정렬(semantic alignment)을 얻는다는 것을 검증했습니다. 전체 점수 상관관계를 위해서는 프레임 단위 시퀀스보다 전역 평균 풀링(Global Average-Pooling, GAP)을 통한 시간적 집계가 더 효과적인 것으로 나타났습니다.

의의 및 한계점
본 논문은 TraMP-LLaMA가 "블랙박스"식 점수 산출을 넘어 투명하고, 감사 가능하며, 증거에 기반한 평가를 제공함으로써 임상 FEQA의 중요한 공백을 메운다고 주장합니다. 이 프레임워크는 평가를 가시적인 운동 증거와 연결함으로써 종단적 비교 및 평가자 분석을 지원합니다.

그러나 저자들은 현재의 한계점에 대해 신중한 입장을 유지합니다:

• 생성형 VLM으로서, 모션 단서가 미묘하거나 가려져 있을 때 특정 영역의 세부 사항을 가끔 환각할 수 있습니다.
• PFED5+ 데이터셋은 상대적으로 규모가 작고 중증도 수준 간의 불균형이 있으며, 보고서 감독은 단일 참조 주석과 평가자 간 변동성에 제약을 받습니다.
• 지표는 개선되었으나, 저자들은 형식의 이탈이나 지원되지 않는 영역 언급이 여전히 발생할 수 있으며, 이는 향-기반 지표의 개선에도 불구하고 즉각적인 임상 활용을 제한할 수 있다고 언급했습니다.