💬 NLP

FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

본 논문은 직교 분해(orthogonal decomposition)와 적응형 게이팅(adaptive gating)을 통해 대규모 언어 모델 내의 도메인별 전문가 페르소나를 분리함으로써 도메인 간 결합 문제를 해결하고 의료 및 금융과 같은 고위험 도메인 전반에서 작업 정확도를 크게 향상시키는 방법론인 FOCUS를 제안한다.

원저자: Guanyu Wang, Zidi Zhang, Xu Chu

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guanyu Wang, Zidi Zhang, Xu Chu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 무엇이든 조금씩은 다 알고 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 농담을 할 수도 있고, 자동차 엔진이 어떻게 작동하는지 설명할 수도 있으며, 심지어 시를 읊을 수도 있습니다. 하지만 여기 까다로운 문제가 하나 있습니다. 진지한 질문을 던졌을 때, 로봇이 자신이 '누구'여야 하는지에 대해 혼란을 느낄 때가 있다는 점입니다. 만약 당신이 의학적 조언을 구하면, 로봇은 실수로 무모한 주식 거래가처럼 행동하며 주의를 기울이는 대신 큰 위험을 감수할 수도 있습니다. 만약 법에 대해 묻는다면, 로 로봇은 너무 신중해진 나머지 영리한 기회를 놓칠 수도 있습니다. 이는 로봇의 '두뇌'가 서로 다른 성격들을 하나의 크고 엉킨 매듭으로 뒤섞어 버렸기 때문에 발생합니다. 과학자들은 이러한 로봇의 다양한 모습들을 '페르소나(persona)'라고 부릅니다. 즉, 직업에 따라 로봇이 행동하는 서로 다른 방식들 말이죠. 큰 문제는, 어떻게 하면 이 매듭을 풀어내어 로봇이 신중한 의사, 대담한 거래가, 그리고 날카로운 변호사 사이를 섞이지 않고 자유롭게 오가게 만들 수 있느냐는 것입니다.

이것이 바로 연구진들이 FOCUS라고 불리는 새로운 방법으로 해결하고자 하는 문제입니다. 로봇의 두뇌를 각각의 기술을 나타내는 책들이 모여 있는 거대한 도서관이라고 생각해 보세요. 지금은 그 책들이 엉망으로 쌓여 있는 상태입니다. 만약 당신이 '의학' 책을 꺼내려 한다면, 실수로 '금융' 책까지 함께 끌어당겨 엉망을 만들게 됩니다. 연구진들은 로봇에게 단순히 "의사가 되어라"라고 말하는 것만으로는 충분하지 않다는 것을 깨달았습니다. 왜냐하면 여전히 엉망으로 쌓인 책더미가 남아 있기 때문입니다. 대신, 그들은 책들을 완벽하게 분리하는 특별한 도구를 만들었습니다. 그들은 '의학' 책과 '금융' 책을 가져와서 서로 완전히 독립되도록 잘라냈습니다. 그런 다음, 당신의 질문을 보고 정확히 어떤 책을 꺼낼지, 혹은 질문이 까м 까다로울 경우 어떤 두 권의 책을 결합할지를 결정하는 스마트한 사서(이를 '게이팅 모듈'이라 부릅니다)를 추가했습니다.

이 논문은 '직교 분해(orthogonal decomposition)'라는 수학적 기법(단순히 책들이 겹치지 않도록 자르는 방식이라고 이해하면 됩니다)을 사용하여 로봇의 성격들을 정리할 수 있다고 제안합니다. 연구진은 이 방법을 세 가지 매우 다른 분야인 돈(금융), 규칙(법률), 그리고 건강(의학)에서 테스트했습니다. 그 결과, 새로운 방법을 사용했을 때 로봇이 질문에 훨씬 더 정확하게 답한다는 것을 발견했습니다. 예를 들어, 의학 테스트에서 로봇은 거래가가 할 법한 위험한 답변을 내놓는 것을 멈췄습니다. 금융 테스트에서는 계산된 위험을 감수하기를 너무 두려워하는 태도를 버렸습니다. 또한 연구진은 로봇을 두 단계로 가르쳐야 한다는 것을 발견했습니다. 첫째, 한 분야의 완벽한 전문가가 되도록 가르치는 것이고, 둘째, 두 가지 전문 지식이 모두 필요한 질문이 나왔을 때 그 전문 지식들을 어떻게 섞을지 가르치는 것입니다. 이 2단계 훈련 없이는 로봇이 다시 혼란에 빠지게 됩니다.

결과는 이 'FOCUS' 방식이 단순히 로봇에게 성격을 바꾸라고 친절하게 부탁하거나 단순히 더 많은 데이터를 학습시키는 것보다 더 효과적이라는 것을 보여줍니다. 주가, 법률 계약, 의학 진단을 포함한 테스트에서 FOCUS를 사용한 로봇은 단순히 "전문가가 되어라"라고 명령받은 다른 로봇들보다 더 높은 점수를 받았습니다. 연구진은 이것이 실제 데이터셋을 통해 테스트하고, 로봇의 두뇌 내부를 들여다보며 실제로 적절한 '성격'을 선택하고 있는지 확인했기 때문에 효과가 있었다고 확신합니다. 심지어 성격의 '볼륨'을 너무 높이면 로봇이 실수를 하기 시작한다는 것도 발견하여, 적절한 균형을 찾아야 했습니다. 궁극적으로 이 논문은 우리가 매번 직업마다 새로운 로봇을 만들 필요는 없으며, 단지 이미 가지고 있는 로봇을 어떻게 정리하고 어떻게 제대로 '모자(역할)'를 갈아쓸 수 있는지 배우면 된다는 것을 보여줍니다.

기술 요약: FOCUS (Fine-tuning with Orthogonal Control for Uncoupled personaS)

문제 정의
대규모 언어 모델(LLM)은 다양한 페르소나를 나타낼 수 있는 능력을 갖추고 있으며, 특정 "전문가 페르소나"를 활성화하는 것이 수학적 추론이나 의료와 같은 도메인 특화 작업의 성능을 높이는 데 효과적임이 입증되었습니다. 그러나 기존의 페르소나 제어 방식은 종종 교차 도메인 결합(cross-domain coupling) 문제로 인해 어려움을 겪습니다. LLM은 혼합된 데이터로 학습되기 때문에, 서로 다른 전문가 페르소나(예: 의료, 법률, 금융)의 내부 표현이 독립적이지 않습니다. 이러한 결합은 행동적 충돌을 야기합니다. 예를 들어, "공격적인" 금융 거래 페르노사가 의료 맥락에서 의도치 않게 활성화될 경우, 환자의 안전을 위협하는 과신 및 고위험 응답으로 이어질 수 있습니다. 반대로, 의료 페르소나의 과도한 신중함은 위험 민감도가 높은 금융 거래에서의 추론을 저해할 수 있습니다. 프롬프트 기반 활성화나 단순한 벡터 스티어링(vector steering)을 포함한 현재의 접근 방식들은 이러한 상충하는 행동 요인들을 분리해내지 못하며, 결과적으로 불안정한 성능과 불순한 도메인 정렬을 초래합니다.

방법론
이러한 한계를 해결하기 위해, 저자들은 3단계 과정을 통해 도메인 특화 전문가 페르소나를 분리하고 제어하도록 설계된 프레임워크인 FOCUS를 제안합니다.

전문가 페르소나 벡터 추출 (Expert Persona Vector Extraction):
저자들은 먼저 LLM의 잔차 스트림(residual stream)에서 페르소나 벡터를 추출하는 자동화된 파이프라인을 구축합니다. 대조적인 시스템 프롬프트(전문가적 행동을 유도하는 긍정적 프롬프트 vs 이를 억제하는 부정적 프롬프트)와 도메인 특화 질의응답 쌍을 사용하여, 긍정적 응답 세트와 부정적 응답 세트의 평균 활성화 벡터 간의 차이를 계산합니다. 이를 통해 일반 전문가( $v_g$ )와 특정 도메인인 금융( $v_f$ ), 법률( $v_l$ ), 의료( $v_m$ )를 위한 후보 벡터를 얻습니다.
직교 분해 (Orthogonal Decomposition - Decoupling):
교차 도메인 간섭을 제거하기 위해, 이 방법은 **그람-슈미트 직교화(Gram-Schmidt orthogonalization)**를 적용합니다. 일반 전문가 벡터 $v_g$ 를 정규화하여 직교 기저(orthogonal basis)로 사용합니다. 그 후 각 도메인 특화 벡터를 이 기저에 투영(projection)하고, 투영된 성분을 차감합니다. 이 과정은 특정 벡터에서 "일반 전문가" 및 공유된 교차 도메인 성분을 제거하여, 순수한 도메인 전문성을 나타내는 일련의 분리된 직교 페르소나 벡터( $q_g, q_l, q_f, q_m$ )를 생성합니다.
전문가 게이팅을 이용한 2단계 학습 (Two-Stage Training with Expert Gating):
트랜스포머의 피드 포워드 네트워크(FFN) 서브레이어 뒤에 경량 **전문가 게이팅 모듈(expert gating module)**을 삽레이어(insert)합니다. 2층 MLP와 소프트맥스(Softmax) 함수로 구성된 이 모듈은 입력 컨텍스트에 따라 분리된 페르소나 벡터를 결합하는 가중치( $\alpha$ )를 동적으로 계산합니다. 학습은 다음과 같은 2단계 전략을 따릅니다.
- 1단계 (단일 도메인 정렬 - Single-Domain Alignment): 모델을 단일 도메인 데이터셋으로 미세 조정하며, 이때 **게이트 선택 정규화 항(gated selection regularizer)**을 사용합니다. 이 손실 항은 게이팅 가중치가 희소해지도록(정확한 도메인에 대해서는 1에 가깝고 다른 도목에 대해서는 0에 가깝게) 유도하여, 모델이 단일 도메인 작업에 대해 특정 전문가 벡터를 활성화하는 법을 배우게 합니다.
- 2단계 (교차 도메인 일반화 - Cross-Domain Generalization): 모델을 단일 도메인 및 교차 도메인 샘플이 포함된 혼합 데이터셋으로 미세 조정합니다. 이 단계에서는 정규화 항을 제거하여, 모델이 명시적인 선택 제약 없이 여러 전문가의 관점을 요구하는 복잡한 작업을 수행할 때 적응형 가중치 조합을 학습할 수 있도록 합니다.

주요 기여

결합 불안정성 식별: 본 논문은 결합된 전문가 페르사나가 상충하는 요구사항(예: 신중함 vs 위험 감수)으로 인해 도메인 작업에서 불안정한 성능과 행동적 충돌을 일으킨다는 점을 규명했습니다.
FOCUS 프레임워크: 페르소나 벡터를 분리하기 위한 직교 분해와 이를 적응적으로 활성화하기 위한 게이팅 메커니즘을 결합한 새로운 프레임워크를 제안했습니다.
성능 향상: FOCUS가 금융, 법률, 의료 도메인 및 교차 도메인 시나리오 전반에서 답변 정확도를 개선하며, 기존의 페르소나 제어 방법 및 표준 지도 미세 조정(SFT)보다 우수한 성능을 보임을 입증했습니다.

실험 결과
실험은 주식 예측(금융), LegalBench(법률), 전문 의료(MedQA/MMLU), 그리고 교차 도메인 데이터셋(MedEthicsQA, CUAD)을 포함한 벤치마크에서 수행되었습니다.

정확도: FOCUS는 프롬프트 기반 스티어링, 추론 시점 스티어링, 표준 SFT를 포함한 베이스라인 모델들을 지속적으로 능가했습니다. 특히, 대규모 도메인 특화 학습 데이터에 의존하는 여러 도메인 특화 모델(예: Finance-Chat, Law-Chat)보다도 높은 성능을 보였습니다.
교차 도메인 능력: 교차 도메인 작업에서 FOCUS는 비교된 모든 방법 중 최고의 결과를 달성하였으며, 이는 여러 페르소나 벡터(예: 의료 및 법률 추론의 결합)를 효과적으로 구성하는 능력을 입증합니다.
절제 연구 (Ablation Studies):
- 분리 (Decoupling): 직교 분해 단계를 제거했을 때 일관된 성능 저하가 나타났으며, 이는 추출된 원시 벡터에 간섭 성분이 포함되어 있음을 확인시켜 줍니다.
- 2단계 학습 (Two-Stage Training): 1단계(희소성) 또는 2단계(적응성) 중 하나라도 제거하면 성능이 감소하였으며, 이는 집중적인 단일 도메인 활성화와 유연한 교차 도메인 구성이 모두 필요함을 나타냅니다.
- 게이팅 강도 ( $\gamma$ ): 최적의 스케일링 인자로 $\gamma=2$ 가 발견되었습니다. 값이 너무 낮으면 페르소나 특성이 주입되지 않았고, 너무 높으면 "페르소나 과잉 강화"가 발생하여 일반화 능력이 상실되었습니다.

의의
본 논문은 FOCUS가 LLM의 효율적인 도메인 적응을 위한 새로운 접근법을 제공한다고 주장합니다. 내부 전문가 표현을 명시적으로 분리하고 제어함으로써, 대규모 도메인 특화 데이터를 재학습할 필요 없이 교차 도메인 결합으로 인한 불안정성 문제를 해결합니다. 결과는 구조화된 페르소나 벡터 제어가 모델이 도메인 특화 추론의 순도를 유지하면서도 복잡하고 다면적인 작업을 처리할 수 있는 유연성을 보유하게 함을 시사하며, 이는 고위험 도메인에서 LLM의 신뢰성을 향상시키는 유망한 방향을 제시합니다.

유사한 논문