Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

기술 요약: 합성 추론 데이터를 활용한 지도 미세 조정(SFT)이 실제 질병 예측 성능을 저해한다

문제 정의
본 논문은 의료 AI 분야의 지배적인 가정 중 하나를 조사한다. 즉, 합성 추론(synthetic rationale) 데이터로 지도 미세 조정(SFT)을 수행하면 모델이 단순히 '무엇'을 예측할 것인가뿐만 아니라 '왜' 그러한지를 학습하게 되어, 임상 예측 작업에 대한 언어 모델의 성능을 향상시킬 것이라는 가정이다. 이전 연구들은 추론 체인을 학습하는 것이 일반화, 해석 가능성 및 감사 가능성을 높인다고 제안해 왔으나, 본 연구는 이러한 직관이 희소하고 이질적인 신호가 특징인 실제 고위험 예측 환경에서도 유효한지 의문을 제기한다. 저자들은 종단적 건강 기록으로부터 5년 후 알츠하이머병 및 관련 치매(ADRD)를 예측하는 과업에 집중하며, 이 과업은 단일한 결정적 전조가 아닌 다양하고 약한 경로를 통해 위험이 축적되는 특성을 가진다.

방법론
저자들은 추론 기반 SFT의 영향을 테스트하기 위해 504개의 구성을 포함하는 대규모 통제 실험을 수행했다.

• 데이터셋: 연구에는 UK Biobank 데이터에서 추출된 42,566명의 참가자(ADRD 사례 8,802건, 매칭된 대조군 33,764건) 코호트가 사용되었다. 입력값은 시간 정보가 포함된 의료 기록(ICD-10 코드, 인지 검사, 생활 방식 요인)으로 구성되었으며, 레코드당 평균 관찰된 특징(feature)은 17.7개에 불과하여 신호가 매우 희소한 환경을 형성했다.
• 실험 설계: 모델은 세 가지 서로 다른 학습 타겟 형식을 사용하여 동일한 ADRD 예측 과업에 대해 미세 조정을 진행했다:
  1. 추론 없음 (No Rationale): 모델이 이진 라벨(0 또는 1)만을 출력한다.
  2. 자유 형식 추론 (Free Rationale): 모델이 예측에 대한 의학적으로 타당한 서사(narrative)를 자유 형식으로 출력한 뒤 라벨을 출력한다.
  3. 단계별 추론 (Stepwise Rationale): 모델이 구조화된 3단계 추론 과정을 출력한 뒤 라벨을 출력한다.
     추론 데이터는 SFT 전 LLM에 의해 생성되었으며, 환자의 기록에 존재하는 근거만을 사용하도록 지시되었다.
• 모델 및 하이퍼파라미터: 실험은 세 가지 타겟 형식, 세 가지 학습 샘플 크기(1.5K, 3.8K, 15.3K), 네 가지 학습률, 두 가지 베이스 모델(Qwen2.5-7B-Instruct 및 추론 지향형 Qwen3-8B), 그리고 일곱 가지 디코딩 설정(greedy, top-k, top-p 및 다양한 온도 설정)을 교차 조합하였다.
• 평량: 성능은 홀드아웃 테스트 세트(853명)에 대해 ROC-AUC, PR-AUC, F1 점수 및 재현율(recall)로 측정되었다. 통계적 유의성은 대응 t-검정(paired t-test)과 대응 DeLong 검정을 통해 평가되었다.
• 품질 검증: 품질 저하가 실패의 원인인지 확인하기 위해, 저자들은 생성된 추론에 대한 인간 전문가 주석 작업을 수행하였고, 동일한 추론을 학습 타겟이 아닌 데모(demonstration)로 사용하는 퓨샷(few-shot) 추론 실험을 실시하였다.

주요 결과
연구 결과, 추론 기반 SFT는 라벨 전용 미세 조정에 비해 예측 성능을 지속적이고 실질적으로 저하시키는 것으로 나타났다.

• 성능 저하: 504개 구성 전체에서 라벨 전용 타겟으로 학습된 모델은 평균 ROC-AUC 0.734를 달 기록했다. 반면, 자유 형식 추론으로 학습된 모델은 0.604, 단계별 추론 모델은 0.592를 기록했다. 이러한 성능 저하는 모든 학습 세트 크기와 베이스 모델에서 지속적으로 나타났다.
• 추론 지향 모델: 추론 지향 베이스 모델(Qwen3-8B)로 교체해도 성능 저하가 완화되지 않았으며, 오히려 Qwen3-8B가 추론 학습 시 Qwen2.5-7B-Instruct보다 약간 더 낮은 성능을 보였다.
• 추론 품질의 문제 아님:
  • 인간 주석: 임상 전문가들은 생성된 추론이 의학적으로 정확하며 환자의 근거에 충실하다고 평가했다(논리성, 생물 의학적 정확성, 충실도 측면에서 높은 점수 획득).
  • 퓨샷 데모: 동일한 스타일의 추론을 학습 타겟이 아닌 데모(inference-time guidance)로 사용했을 때, 성능은 유의미하게 향상되었다(ROC-AUC가 약 0.56에서 0.65로 상승). 이는 추론 데이터가 실제 변별력 있는 신호를 포함하고 있으나, SFT 타겟으로 사용될 때만 실패한다는 것을 입증한다.
• 오류 분석: 라벨 전용 모델은 특정 고가치 변별 특징(예: 섬망, 파킨슨병, 뇌혈관 질환)에 집중하는 법을 배웠다. 그러나 추론 기반 모델은 '타당해 보이지만' 변별력은 낮은 광범위한 질병 마커(예: 망막 질환, 십이지장 궤양)를 우선시하는 법을 배웠으며, 이로 인해 대조군에 대한 높은 위양성(false positive)과 사례에 대한 위음성(false negative)을 초래했다.

근본 원인 분석
저자들은 서사적 타당성(narrative plausibility)과 변별적 최적화(discriminative optimization) 사이의 구조적 충돌을 식별했다.

• 타당성 vs 변별력: 의학적으로 타당한 추론은 알려진 위험 경로와 일치하는 일관된 이야기를 들려주어야 하며, 이는 종종 사례군과 대조군 모두에서 흔히 나타나는 광범위한 마커를 강조하게 된다. 반면, 변별적 최적화는 특정 코호트 내에서 미래의 사례와 매칭된 대조군을 구분 짓는 구체적이고 종종 희소한 특징들의 조합을 학습하는 것을 요구한다.
• 최적화 예산(Optimization Budget): 추론 기반 SFT에서는 손실(loss)이 생성된 텍스트(50~150 토큰)에 의해 지배되는 반면, 라벨 토큰은 전체 완성 문구의 2% 미만을 차지한다. 결과적으로 모델은 예측에 필요한 결정 경계(decision boundary)를 학습하기보다는 서사 구조를 재현하는 방향으로 최적화된다. 이는 최적화 예산을 정확한 예측에 필요한 변별적 신호로부터 멀어지게 만든다.

의의 및 주장
본 논문은 임상 예측에서 합성 추론 기반 감독(supervision)의 한계에 대한 정밀한 이해를 제공한다고 주장한다.

• 맥락적 제한: 연구 결과는 합성 추론이 추론 시점의 가이드(데모)로는 가치가 있지만, 신호가 희소하고 이질적인 환경에서는 학습 타겟으로서 역효기적일 수 있음을 시사한다.
• 책임 있는 개발: 이 연구는 고위험 도메인에서 신뢰할 수 있는 설명을 얻기 위한 지름길로 합성 추론을 사용하는 것에 대해 경고한다. 저자들은 이러한 맥락에서 라벨 전용 미세 조정이 결코 "약한" 접근법이 아니며, 오히려 최적화 대상을 예측 과업과 직접적으로 일치시키기 때문에 더 우월하다고 주장한다.
• 향후 방향: 저자들은 향후 연구가 변별적 추론 필터링, 라벨 가중 손실 함수, 또는 변별 성능을 희생하지 않으면서 추론의 이점을 회복할 수 있는 하이브리드 목적 함수를 탐구해야 한다고 제안한다. 이들은 자신의 결과가 임상적 추론 자체가 정보 가치가 없음을 의미하는 것이 아니라, 현재의 방식대로 생성된 추론을 SFT 타겟으로 사용하는 것이 이 특정 예측 설정에서는 신뢰할 수 없음을 명시하고 있다.