💬 NLP

Trustworthiness Costs of Domain Adaptation in Small Language Models:A Cross-Architecture Empirical Study

본 논문은 적대적으로 섭동된 데이터를 사용한 소형 언어 모델의 도메인 적응이 사실적 보정(factual calibration)을 해치지 않으면서 성능을 향상시키는 반면, Dark Experience Replay 및 Task Arithmetic LoRA와 같은 일반적인 안전 유지 전략은 적대적 강건성을 유지하는 데 실패하며 유해한 출력에 대한 취약성을 크게 증가시킬 수 있음을 밝히는 체계적인 교차 아키텍처 경험적 연구를 제시한다.

원저자: Ramesh B. Paramkusham

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ramesh B. Paramkusham

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 역사, 요리, 우주, 그리고 농담까지 모든 것에 대해 조금씩 알고 있는 아주 똑똑하고 명석한 로봇 한 대가 있습니다. 이것이 바로 우리가 '거대 언어 모델(Large Language Model)'이라고 부르는 것입니다. 하지만 때때로 이 로봇은 너무 거대하고 비싸서 일반적인 노트북에서는 실행하기 어려울 수 있으며, "다리가 부러졌을 때 어떻게 치료해야 하나요?"라거나 "이 법률 계약서의 의미는 무엇인가요?"와 같은 매우 구체적인 질문을 받으면 혼란에 빠질 수 있습니다. 이를 해결하기 위해 과학자들은 '소형 언어 모델(Small Language Models, SLMs)'이라는 더 작고 저렴한 버전을 만듭니다. 이것은 마치 특정 기술을 배울 준비가 된, 로봇의 더 젊고 빠른 사촌들과 같습니다.

여기서 중요한 질문이 있습니다. 우리가 이 똑똑하지만 작은 로봇들에게 새로운 전문 기술을 가르치면 어떤 일이 벌어질까요? 이것은 마치 일반적인 지식을 가진 천재를 의과대학에 보내는 것과 같습니다. 우리는 그들이 사실을 배울 수 있다는 것은 알지만, 과연 정직함을 유지할 수 있을까요? 그들은 진짜 의학적 사실과 지어낸 사실을 여전히 구분할 수 있을까요? 또한 누군가 혼란스러운 질문으로 그들을 속이려 한다면, 그들은 무너져 내릴까요? 이것이 바로 '신뢰성(trustworthiness)'의 세계입니다. 그것은 단순히 똑똑한 것만이 아니라, 안전하고 정확하며 속임수에 강해야 함을 의미합니다. 연구자들은 우리가 이 로봇들에게 새로운 직업을 가르칠 때, 의도치 않게 그들의 '안전 브레이크'를 고장 내거나, 설령 그들이 업무 자체는 더 잘하게 되더라도 거짓말을 하기 시작하게 만들까 봐 걱정하고 있습니다.

이 논문은 한 연구자가 세 가지 서로 다른 작은 로봇 두뇌를 엄격한 훈련 캠프에 통과시켜, 새로운 기술을 배울 때 그들의 정직함과 안전성에 정확히 어떤 일이 일지 알아보기 위해 수행한 거대하고 세심한 실험과도 같습니다. 연구자는 세 가지 서로 다른 로봇 모델(TinyLlama, Gemma-2, Llama 3.2)을 테스트했고, 그들에게 의료, 법률, 금융이라는 세 가지 매우 진지한 직업을 가르쳤습니다. 그들은 두 가지 방식으로 이들을 가르쳤는데, 하나는 일반적이고 깨끗한 교과서(양질의 데이터, benign data)를 사용하는 것이었고, 다른 하나는 혼란스러운 속임수와 거짓말로 몰래 망가뜨린 교과서(적대적 데이터, adversarial data)를 사용하는 것이었습니다. 또한 그들은 로봇의 안전을 보호하면서 학습할 수 있는지 확인하기 위해 네 가지 다른 '교육 방법'을 시도했습니다.

그 결과는 다음과 같으며, 이는 다소 놀랍습니다. 첫째, 표준적인 방법으로 로봇들에게 새로운 직업을 가르쳤을 때, 로봇들은 진실을 말하는 능력이 크게 나빠지지 않았습니다. 그들의 '정직도 점수'는 거의 변하지 않았습니다. 즉, 새로운 직업을 배우는 것이 자동으로 그들을 거짓말쟁이로 만드는 것은 아니라는 뜻입니다.

둘째, 연구자는 기묘한 속임수를 써보았습니다. 로봇들에게 의도적으로 혼란스러운 사실과 속임수가 섞인 교과서를 준 것입니다. 여러분은 이것이 로봇들을 혼란스럽게 할 것이라고 생각할 수도 있지만, 실제로는 이 방법이 그들이 새로운 직업을 더 잘 배우도록 도왔습니다. 이것은 마치 학생에게 까다로운 질문이 담긴 연습 시험을 주는 것과 같아서, 실제 시험을 볼 때 그들은 아주 잘 해냈습니다. 하지만 이 방법이 속임수나 공격에 저항하는 능력을 키워준 것은 아니었습니다. 단지 업무 자체를 더 잘하게 만들었을 뿐입니다.

가장 중요한 부분은 '안전 장치'에 관한 이야기입니다. 연구자는 로봇들이 학습하는 동안 안전하게 유지하도록 설계된 세 가지 특별한 방법을 시도했습니다. 한 방법은 중립적인 안전망 역할을 하기로 되어 있었고, 나머지 두 방법은 매우 강력한 보호막 역할을 하기로 되어 있었습니다. 결과는 '매우 강력한 보호'를 목표로 했던 아이디어들에 대해 다소 실망스러웠습니다. 중립적인 방법은 별다른 효과가 없었습니다(마치 무엇도 잡아내지 못할 정도로 너무 느슨한 안전망 같았습니다). 하지만 두 가지 '매우 강력한 보호' 방법은 오히려 로봇들을 속임수에 더 취약하게 만들었습니다! 어떤 경우에는 이러한 안전 방법들이 로봇들을 특정 상황에서 최대 45%나 더 크게 실패하게 만들기도 했습니다.

따라서 핵심적인 결론은 이렇습니다. 작고 똑똑한 로봇에게 새로운 직업을 가르치는 것이 자동으로 거짓말을 하게 만들지는 않지만, 우리가 그들을 보호하기 위해 만든 화려한 '안전 방패'가 오히려 그들을 속임수에 더 약하게 만들 수도 있다는 것입니다. 학습 전 이미 안전했던 로봇들은 안전을 유지했지만, 이 새로운 방법들로 인해 '초강력 보호'를 받기로 되어 있던 로봇들은 더 쉽게 혼란에 빠졌습니다. 일반적인 로봇을 위한 안전 기술이 의료나 법률처럼 매우 구체적이고 중대한 직업을 배우는 과정에서는 다르게 작동한다는 것을 보여줍니다. 연구자는 우리가 이 전문화된 로봇들을 어떻게 안전하게 지킬지에 대해 재고해야 한다고 제안합니다. 왜냐하면 현재 우리가 사용하는 '마법의 방패'가 오히려 해가 될 수도 있기 때문입니다.

기술 요약: 소형 언어 모델(SLM)의 도메인 적응에 따른 신뢰성 비용

문제 정의

여기서 1억~50억 개의 파라미터를 가진 모델로 정의되는 소형 언어 모델(SLM)의 급격한 성숙은 의료, 법률 서비스, 금융과 같은 자원이 제한된 고위험 도메인에 NLP 시스템을 배포할 수 있는 실질적인 경로를 제공합니다. 저차원 적응(LoRA) 및 그 양자화 버전인 QLoRA와 같은 매개변수 효율적 미세 조정(PEFT) 방법이 비용 효율적인 도메인 특화(specialization)를 가능하게 하지만, 이 적응 과정에서 발생하는 **신뢰성 비용(trustworthiness cost)**을 이해하는 데에는 여전히 중요한 격차가 존재합니다.

기존 문헌은 작업별 벤치마크에서의 성능 향상을 광범위하게 설명하지만, 도메인 미세 조정이 사실적 교정(factual calibration) 및 **적대적 강건성(adversarial robustness)**과 같은 신뢰성 속성에 어떤 영향을 미치는지에 대해서는 간과하고 있습니다. 이전 연구(Qi et al., 2024)는 온건한(benign) 미세 조정조차 안전 정렬(safety alignment)을 저하시킬 수 있음을 시사합니다. 본 논문은 도메인 적응이 이러한 안전 속성을 저해하는지 여부를 정량화하는 경험적 데이터의 부재 문제를 다루며, 기존의 안전 보존 전략(Safety-DPO, Dark Experience Replay, Task Arithmetic LoRA)이 이러한 저하를 효과적으로 완화할 수 있는지 검증합니다.

방법론

본 연구는 세 가지 무작위 시드(42, 123, 456)에 걸쳐 216개의 실험 구성을 포함하는 체계적, 교차 도메인, 교차 아키텍처 경험적 설계를 채택하였습니다.

1. 실험 설정

모델: 1~2.6B 파라미터 범위를 아우르는 세 가지 SLM 아키텍처:
- TinyLlama 1B: 그룹 쿼리 어텐션(grouped-query attention) 및 3T 토큰 사전 학습 코퍼스 활용.
- Gemma-2 2B: 교대 로컬/글로벌 어텐션 및 지식 증류(knowledge distillation) 특징.
- Llama 3.2 1B: 다단계 RLHF 인스트럭션 튜닝의 이점 활용.
도메인: 구별되는 언어적 특성을 가진 세 가지 고위험 도메인:
- 의료(Healthcare): MedQA-USMLE (단문 MCQ, 높은 추론 능력 요구).
- 법률(Legal): LegalBench (장문 선언적 텍스트, 높은 환각 위험).
- 금융(Finance): Finance-Alpaca + PhraseBank (혼합형 Q&A 및 감성 분석).
데이터 조건:
- 온건한 데이터(Benign): 표준 도메인 텍스트.
- 적대적 데이터(Adversarial): 도메인 주입(DI), 개념 혼합(CM), 앵커드 옵퍼스케이션(AO)을 통해 체계적으로 변형됨.
미세 조정 전략:
- 베이스라인(Baseline): 표준 QLoRA (대조군).
- Safety-DPO: 도메인 데이터 대 유해한 쌍(harmful pairs)에 대한 선호도 최적화.
- Dark Experience Replay (DER): 파괴적 망각(catastrophic forgetting)을 방지하기 위해 안전 관련 사전 학습 샘플을 인터리빙(interleaving)함.
- Task Arithmetic LoRA (TA-LoRA): 안전 LoRA 어댑터와 도메인 어댑터를 병합 ( $\tau_{merged} = \tau_{domain} + 0.5 \cdot \tau_{safety}$ ).

2. 평가 지표

도메인 적응 품질: 평가 손실(cross-entropy) 및 평균 토큰 정확도로 측정.
신뢰성:
- 사실적 교정: TruthfulQA MC2 정확도 (높을수록 좋음).
- 적대적 강건성: HarmBench 공격 성공률(ASR) (낮을수록 좋음; 복합 분석을 위해 $1 - ASR$로 보고).
- 참고: BBQ(편향) 평가는 진행 중이며 최종 경험적 결과에는 포함되지 않음.

주요 기여

최초의 교차 도메인/교차 아키텍처 연구: 본 연구는 세 가지 SLM 아키텍처, 세 가지 고위험 도메인, 네 가지 미세 조정 전략에 걸쳐 신뢰성 비용을 체계적으로 정량화한 최초의 연구입니다.
높은 재현성: 다중 시드 실험 설계는 매우 낮은 분산( $\sigma < 0.001$ 의 평가 손실)을 입증하여 비교를 위한 견고한 통계적 토대를 구축했습니다.
적대적 데이터에 대한 역설적 발견: 적대적으로 변형된 훈련 데이터가 신뢰성 벤치마크를 저하시키지 않으면서도 도메인 적응 품질을 일관되게 개선함(평가 손실 $\Delta \approx -0.040$ )을 입증하였으며, 이는 암시적인 데이터 증강 효과를 시사합니다.
안전 보존 전략의 비교 평가: Safety-DPO, DER, TA-LoRA를 직접 비교한 결과, 현재의 안전 유지 전략이 도메인 적응된 SLM으로 효과적으로 전이되지 않음을 밝혀냈습니다.

주요 결과

1. 베이스라인 신뢰성 비용

표준 LoRA 도메인 적응이 신뢰성을 체계적으로 저하시릴 것이라는 가설과 달리:

사실적 교정: 베이스라인 QLoRA는 모든 모델-도메인 조합에서 TruthfulQA MC2 점수에 미미한 변화를 보임 (평균 $|\Delta TQA| < 0.02$ ).
적대적 강건성: 베이스라인 ASR은 도메인 미세 조정 자체보다는 모델의 사전 학습된 안전 정렬에 의해 주로 결정되었습니다.
- TinyLlama 1B: 전략과 관계없이 거의 천장 수준의 취약성(ASR $\approx$ 0.97–1.00)을 보임.
- 안전 정렬 모델 (Gemma-2, Llama 3.2): 유의미한 편차를 보였으나, 베이스라인 조건에서는 상대적으로 낮은 ASR을 유지함.

2. 적대적 훈련의 영향

적대적으로 변형된 훈련 데이터는 도메인 적응 품질(낮은 평가 손실)을 일관되게 개선했으나, 신뢰성 지표에 대해서는 일관된 개선이나 저하를 가져오지 않았습니다. 적응 품질의 개선은 적대적 강건성과는 독립적인(orthogonal) 것으로 보입니다.

3. 안전 보존 전략의 성능

세 가지 안전 보전 전략 중 어느 것도 신뢰성 비용을 줄이거나 적대적 강건성을 개선하는 데 성공하지 못했습니다:

Safety-DPO: 적대적 강건성에 대해 사실상 중립적이었으며 (평균 $\Delta ASR < 0.001$ ), 베이스라인 대비 유의미한 안전 이점을 제공하지 못했습니다.
Dark Experience Replay (DER) 및 TA-LoRA: 두 전략 모두 안전 정렬된 모델의 적대적 강건성을 악화시켰습니다.
- DER: 평균 HarmBench ASR을 +0.171 증가시킴.
- TA-LoRA: 평균 HarmBench ASR을 +0.155 증가시킴.
- 최악의 사례: 개별 구성에서 저하 폭이 +0.45를 초과함 (예: 의료 도메인의 Gemma-2 2B에서 DER 사용 시; 법률 도메인의 Llama 3.2 1B에서 TA-LoRA 사용 시).

의의 및 주장

본 논문은 리플레이 기반(DER) 및 산술 병합(TA-LoRA) 전략이 도메인 적응된 SLM에 안전 정렬을 효과적으로 전이시킨다는 기존의 통념에 도전한다고 주장합니다. 연구 결과는 다음과 같습니다:

무시할 만한 교정 비용: 표준 도메인 적응은 SLM의 사실적 교정을 실질적으로 변경하지 않습니다.
전략의 실패: 일반 목적 환경을 위해 개발된 현재의 안전 보존 미세 조정 전략은 도메인 특정 맥락에서 적대적 강건성을 보존하거나 개선하는 데 실패하며, 오히려 이를 저해할 수 있습니다.
아키텍처의 지배력: 사전 학습된 안전 정렬이 미세 조정 전략이나 도메인이 아닌, 적대적 강건성을 결정하는 주요 예측 인자입니다.

본 연구는 고위험 도메인에 SLM을 배포하는 실무자들이 안전 보존을 위해 DER 및 TA-LoRA를 사용하는 것에 주의해야 한다고 결론짓습니다. 이러한 방법들은 의도치 않게 적대적 위해에 대한 취약성을 높일 수 있기 때문입니다. 향러 연구는 이러한 저하에 대한 기계론적 설명과 대안적인 안전 보존 접근법 탐색에 집중될 예정입니다.