TriageRA-CCF: Source-Side Clinical Confidence and Coverage Signals for Adaptive Rank Budgeting in Medical LLMs

기술 요약: TriageRA-CCF

문제 정의
의료용 대규모 언어 모델(LLM)은 일반적으로 LoRA와 같은 매개변수 효율적 미세 조정(PEFT) 방법을 사용하여 적응되는데, 이러한 방법들은 대개 모든 입력 질문에 대해 고정된 저차원 예산(low-rank budget)을 적용합니다. 저자들은 이러한 고정된 용량 가정이 의료 다지선다형 질의응답(MCQA)에는 부적합하다고 주장합니다. 의료 질문은 난이도, 임상적 범위, 그리고 베이스 모델의 내재적 확신도가 크게 다릅니다. 어떤 질문은 단순 암기 항목으로서 베이스 모델이 이미 높은 마진을 확보하고 있어, 공격적인 어댑터 업데이트가 불필요하거나 오히려 해로울 수 있습니다. 반대로, 모호하거나 과소 대표되거나 "근접 오답(close-miss)"인 질문들은 더 큰 적응 용량을 필요로 할 수 있습니다. 핵심 과제는 불안정한 라우팅 결정으로 무너지거나 계산 자원을 낭비하지 않으면서, 입력당 저차원 업데이트 용량을 동적으로 할당하는 것입니다.

방법론: TriageRA-CCF
본 논문은 단일 공유 LoRA 기저 내에서 적응형 랭크 예산을 위한 방법론인 TriageRA-CCF를 제안합니다. 이 모델은 전체 전문가 뱅크를 학습하는 대신, 저장된 랭크-16 기저로부터 활성 랭크 채널을 대각 마스크 $m(x)$를 통해 입력 $x$별로 게이팅하는 단일 행렬 집합 $A$와 $B$를 학습합니다. 버젯 라우터(budget router)는 활성 랭크 $k(x) \in \{2, 4, 8\}$를 선택합니다.

핵심 혁신은 타겟 벤치마크 레이블에 접근하지 않고도 소스 학습 데이터만을 사용하여 버젯 라우터를 감독하는 **소스 측 교사(source-side teacher)**입니다. 이 교사는 세 가지 신호를 사용합니다:

1. 확신도(Confidence): 동결된 베이스 모델의 다음 토큰 확률로부터 유도됩니다. 큰 마진과 낮은 엔트로피는 높은 확신(낮은 예산)을 나타내며, 낮은 마진과 높은 엔트로피는 불확실성(높은 예산)을 나타냅니다.
2. 임상적 범위(Clinical Coverage): 거친 메타데이터 셀(예: 전문 분야/직업과 임상 운영 태그의 교차)의 발생 횟수를 계산합니다. 희귀한 셀은 소스 분포에서의 과소 대표성을 해결하기 위해 중간 또는 높은 예산 우선순위를 할당받습니다.
3. 역사실적 근접 오답 프록시(Counterfactual Close-Miss Proxy): 베이스 모델의 예측이 틀렸지만 정답 옵션이 상위권에 위치한 경우를 식별합니다. 이러한 "근접 오답" 사례들은 추가적인 어댑터 용량이 정답을 수정하는 데 필요할 가능성이 높은 후보로 표시됩니다.

이러한 신호들은 교사 레이블 $z(x) \in \{0, 1, 2\}$ (랭크 2, 4, 8에 대응)와 가중치 $w(x)$를 생성합니다. 라우터는 이 교사에 대한 가중 크로스 엔트로피 손실을 사용하여 straight-through estimator를 통해 학습되며, 이때 예산 비용(항상 최대 랭크를 선택하는 것을 방지하기 위함), 엔트로피(분포를 날카롭게 하기 위함), 랭크 균형(특정 채널에 대한 과도한 의존을 방지하기 위함)을 위한 정규화 항이 함께 사용됩니다.

주요 기여

• 정식화(Formulation): 저자들은 의료 PEFT를 입력 조건부 능동 랭크 예산 책정(input-conditioned active-rank budgeting)으로 정의하여, 각 질문이 스스로의 LoRA 용량 사용량을 결정할 수 있게 합니다.
• 소스 측 교사(Source-Side Teacher): CCF(Confidence, Coverage, Counterfactual) 버젯 교사를 도입하여, 적응 단계에서 타겟 도메인 레이블 없이 소스 학습 데이터만을 활용해 라우터를 가이드합니다.
• 구현(Implementation): 안정적인 이산 라우팅 정책을 위해 특정 정규화 전략을 적용한 실용적인 straight-through 적응형 랭크 예산 LoRA를 구현했습니다.
• 경험적 평가(Empirical Evaluation): CMB를 소스로 하고 여러 이동된 벤치마크(CMExam, MedQA, MedMCQA)를 평가 대상으로 하여 Qwen3-8B 및 Llama3.1-8B 백본에 대한 통합 평가 프로토콜을 수행했습니다.

결과
매칭된 CMB-소스 학습 프로토콜 하에서, TriageRA-CCF는 두 백본 모두에서 비교 대상인 외부 PEFT 베이스라인(LoRA, DoRA, MoELoRA) 중 가장 우수한 평균 정확도를 달-성했습니다:

• Qwen3-8B: 평균 정확도 68.79%로, 가장 강력한 베이스라인인 (LoRA r24/a48)보다 +0.21 포인트 높았습니다.
• Llama3.1-8B: 평균 정확도 58.51%로, 가장 강력한 베이스라인인 (MoELoRA)보다 +0.16 포인트 높았습니다.

이러한 이득은 벤치마크에 따라 완만하고 비균일하게 나타납니다. 예를 들어, Qwen3-8B는 CMExam과 MedQA에서 개선을 보인 반면, Llama3.1-8B는 CMB와 MedQA에서 개선되었습니다. 구성 요소 절제 연구(ablation studies)에 따르면, 확신도, 범위, 역사실적 신호가 각각 유용한 감독 신호를 제공하지만, 이들의 조합이 모든 백본이나 데이터셋에서 단조적으로 최선은 아님이 밝혀졌습니다. 예를 들어, Qwen3-8B에서는 "확신도 전용" 교사가 가장 높은 평균 정확도를 달성한 반면, Llama3.1-8B에서는 "확신도 + 범위" 조합이 더 우수했습니다.

의의 및 주장
본 논문은 의료 PEFT가 무엇을 학습할 것인가뿐만 아니라, 각 입력이 얼마만큼의 저차원 업데이트 용량을 필요로 하는지도 결정해야 한다고 주장합니다. TriageRA-CCF의 의의는 복잡한 외부 검증기나 타겟 도메인 레이블을 사용하는 대신, 단순한 소스 측 증거를 사용하여 적응형 예산 책정을 강력한 고정 랭크 및 혼합 전문가(MoE) 베이스라인과 경쟁할 수 있게 만든 데 있습니다.

저자들은 연구 결과에 대해 신중한 어조를 유지합니다:

• 개선 폭이 작으며, 단일 실행 결과로부터의 통계적 유의성 주장 없이 주의 깊게 해석되어야 한다고 명시적으로 밝힙니다.
• 이 방법이 보편적인 개선을 보장하는 것은 아니며, 소스 측 불확실성 신호가 유용하긴 하지만 보편적인 보증은 아니라는 점을 강조합니다.
• 이 접근 방식은 대규모 외부 검증기나 새로운 전문가 뱅크를 추가하는 대신, 소스 측 귀납적 편향(inductive biases)에 의존하여 적응형 정책을 안정화하도록 설계된 보수적인 방식입니다.
• 한계점으로는 약한 임상 메타데이터의 사용, 더 크거나 비시험용 코퍼스에 대한 스트레스 테스트 부족, 그리고 활성 랭크가 직접적인 지연 시간(latency) 측정치가 아닌 용량 진단 도구라는 점 등을 인정하고 있습니다.