기술 요약: Infoxmed2.0-27B

문제 정의

대규모 언어 모델(LLM)은 일반적인 영역에서 놀라운 능력을 입증해 왔으나, 전문적인 의료 맥락에서의 적용은 도메인 특화 지식, 추론 패턴 및 안전 의식의 부족으로 인해 어려움을 겪고 있습니다. 기존의 의료용 LLM 연구들은 주로 세 가지 주요 한계점을 보입니다: (1) 엄격한 전문가 검증 없이 합성 데이터에 자주 의존함으로써 발생하는 일관되지 않은 학습 데이터 품질, (2) 지시어 튜닝(instruction tuning), 선호도 정렬(preference alignment), 보상 모델링(reward modeling)의 시너지 효과를 놓치는 단일 단계 미세 조정에 대한 의존, (3) 의료 품질 평가를 위해 특별히 학습된 보상 모델의 통합 미흡. 이러한 격차는 고도의 위험이 따르는 임상 시나리오에서 정확성과 안전성을 보장하기 위한 체계적인 다단계 도메인 적응 프레임워크를 필요로 합니다.

방법론

저자들은 Qwen3.5-27B로부터 파생된 의료 파운데이션 모델인 Infoxmed2.0-27B를 제시합니다. 이 모델은 다음과 같은 포괄적인 4단계 사후 학습(post-training) 파이프라인을 통해 개발되었습니다:

1. 고품질 의료 데이터 합성

데이터 품질의 병목 현상을 해결하기 위해 저자들은 독자적인 파이프라인을 구축했습니다:

• 출처: 해부학, 약리학, 병리학 등 하위 도메인 전반에 걸쳐 큐레이션된 의료 지식을 포함하는 MySQL 데이터베이스에서 구조화된 Q&A 쌍을 추출했습니다.
• 구성: 데이터는 균형 잡힌 커버리지를 보장하기 위해 계층적 MedicalCategoryTree(분과 → 세부 분과 → 특정 주제)를 사용하여 구조화되었습니다.
• 품질 보증: 의료 분야 박사급 팀이 정확성, 논리적 완결성 및 임상적 경계 라벨링에 대한 감사를 수행했습니다. 중국어 RoBERTa 모델을 사용하여 의미론적 중복 제거(임계값 0.85)를 수행했습니다.
• 정제: API 지원 프로세스를 통해 의료 내용의 정확성을 엄격히 유지하면서 언어 구성과 자연스러움을 최적화했습니다.

2. 지시어 지도 미세 조정 (SFT)

Qwen3.5-27B 베이스 모델은 모든 선형 레이어에 대해 랭크 $r=8$, 스케일링 인자 $\alpha=32$인 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정되었습니다.

• 프레임워크: 4개의 NVIDIA A800 80GB GPU 환경에서 MS-Swift를 사용하여 학습을 진행했습니다.
• 프로세스: 하이퍼파라미터와 데이터 품질을 정제하기 위해 각 단계에서 체계적인 평가를 동반한 반복적인 라운드(Infoxmed2.0.0 → 2.0.2 → 2.0.4)를 거쳤습니다.

3. RPO 정규화를 적용한 직접 선호도 최적화 (DPO)

명시적인 보상 모델 학습 없이 모델 출력을 인간의 선호도에 정렬하기 위해, 저자들은 6,283개의 큐레이션된 의료 선호도 쌍(MedMCQA 및 HLE 소스에서 유래)에 대해 DPO를 적용했습니다.

• 데이터 구축: 쌍(pair)은 "선택된(chosen)" 응답(전체 추론, 구조화, 근거 인용 포함)과 "거부된(rejected)" 응답(모호하거나 환각이 있거나 불완전한 응답)으로 구성되었습니다.
• 손실 함수: 학습에는 SFT 베이스라인으로부터의 과도한 이탈을 방지하기 위해 SFT 정규화($\alpha_{RPO} = 0.1$)를 결합한 DPO-RPO 손실이 사용되었습니다.
• 점진적 선택: 8회의 학습 반복(v0–v7)이 수행되었습니다. 최종 모델은 거부된 응답의 보상 팽창 없이 최적의 선택-거부 보상 마진을 가진 체크포인트를 기준으로 선정되었습니다.

4. GRPO 기반 보상 모델 학습

DPO와 병행하여, Qwen3.5를 활용한 그룹 상대 정책 최적화(GRPO) 기반의 전용 의료 보상 모델이 학습되었습니다.

• 하이브리드 보상 신호: 모델은 내부 규칙 기반 보상(필드 정확성, 불리언 연산자, 구문 체크)과 DeepSeek의 외부 신호(전체적인 품질 평가)를 결합했습니다.
• 아키텍처 적응: 베이스 모델의 설정이 num_labels=1 설정에도 불구하고 num_labels=2 출력을 강제하는 특정 기술적 과제가 발생했습니다. 저자들은 듀얼 출력을 통해 양수 및 음수 점수를 추출하여 쌍별 손실(pairwise loss)을 계산하는 방식으로 이를 적응시켰습니다.
• 결과: 학습된 보상 모델은 46%의 쌍별 정확도를 달s하며 기능적인 판별 능력을 입증했습니다.

주요 기여

1. 시너지 효과를 내는 다단계 파이프라인: 기술을 개별적으로 취급하는 기존 연구와 달리, 본 논문은 데이터 합성, LoRA-SFT, DPO-RPO, 그리고 GRPO 기반 보상 모델링을 통합하는 응집력 있는 프레임워크를 제안합니다.
2. 전문가에 의해 검증된 데이터: 의미론적 중복 제거와 API 지원 정제를 갖춘 박사급 가이드 데이터 합성 파이프라인의 도입은 학습 데이터의 의료적 환각 및 사실 오류 문제를 해결합니다.
3. 고급 정렬 기술: RPO 정규화를 적용한 DPO와 의료 품질 평가를 위해 특별히 설계된 GRPO 기반 보상 모델의 병렬 학습을 적용했습니다.
4. 기술적 적응: 듀얼 출력 점수 추출을 통해 보상 모델링 제약 조건(특히 num_labels 불일치)을 처리함으로써 Qwen3.5 아키텍처를 성공적으로 적응시켰습니다.

실험 결과

모델은 두 가지 벤치마크인 MedMCQA(질문 200개)와 HLE(Hard Logic Evaluation, 질문 200개)에 대해 LLM-as-Judge 프레임워크(GPT-5.4)를 사용하여 평가되었습니다.

• MedMCQA 성능:

  • 정확도: 77.0% (Baichuan-M2-32B의 72.5%, MedGemma-27B의 69.0% 등 경쟁 모델을 능가함).
  • 품질 점수: 평균 +7.18을 달성하여, 베이스 모델(+6.69)과 SFT 단계(+7.06)로부터 명확한 발전을 보여주었습니다.
  • 차원: 커버리지(+8.70) 및 표현 및 구조(+8.25) 측면에서 강력한 성능을 보였습니다.

• HLE 성능:

  • 정확도: 95.5%.
  • 품질 점수: 평균 +2.59를 기록하며 경쟁 모델들을 앞섰습니다.
  • 관찰 사항: 표현력과 안전성은 개선되었으나, "Grounding(근거 제시)" 점수는 -3.08(베이스 모델의 -1.41보다 낮음)을 기록하여, 도메인 외 질문에 대한 환각 문제가 지속적인 과제로 남아 있음을 나타냈습니다.

• 보상 모델: GRPO로 학습된 보상 모델은 46%의 쌍별 정확도를 달성하여, 결합된 내부-외부 보상 전략의 유효성을 입증했습니다.

의의 및 주장

본 논문은 Infoxmed2.0-27B가 동일한 평가 조건 하에서 경쟁 모델들(Baichuan-M2-32B, MedGemma-27B, Lingshu-32B, HuatuoGPT-3-32B 포함)을 종합적으로 앞선다고 주장합니다. 본 연구의 의의는 전문적으로 검증된 데이터와 고급 선호도 최적화 기술에 기반한 체계적인 다단계 사후 학습 파이프라인이 범용 LLM의 의료적 추론 및 안전 능력을 크게 향상시킬 수 있음을 입증했다는 데 있습니다.

그러나 저자들은 다음과 같은 한계점에 대해 겸허한 태도를 유지하고 있습니다:

• 모델은 여전히 어려운 논리 평가에서 부정적인 Grounding 점수를 보이며, 이는 도메인 외 질문에 대한 환각이 여전히 도전 과제임을 시사합니다.
• 보상 모델의 쌍별 정확도(46%)는 기능적이기는 하나 완벽하지는 않습니다.
• 현재 평가는 두 개의 벤치마크(MedMCQA 및 HLE)로 제한되어 있습니다.
• 안전 경계는 개선되었으나 아직 완벽하지 않습니다.

본 연구는 엄격한 데이터 큐레이션과 현대적인 정렬 기술(DPO, GRPO)을 통합하여 전문 의료 AI를 구축하기 위한 개념 증명(proof-of-concept) 역할을 하며, 의료적 환각 및 안전 문제를 완전히 해결하기 위해서는 추가적인 연구가 필요함을 인정하고 있습니다.