Silent Sabotage During Fine-Tuning: Few-Shot Rationale Poisoning of Compact Medical LLMs

이 논문은 의료용 소형 LLM 의 추론 과정을 표적으로 하는 Few-Shot 근거 중독 공격을 제안하여, 기존 백도어 공격보다 은밀하게 특정 주제에 대한 모델 성능을 저하시키는 새로운 위협을 규명했습니다.

핵심

🏥 1. 배경: 의대생 AI 를 가르치는 과정 (SFT)

우리가 새로운 의대생 (AI) 을 가르칠 때, 이미 책 (기초 학습) 을 많이 읽은 상태에서 **실제 임상 사례 (수업 자료)**를 보여주며 가르칩니다. 이를 '파인튜닝 (Fine-tuning)'이라고 합니다. 연구자들은 이 과정에서 "누군가 의도적으로 잘못된 정보를 주면 어떻게 될까?"를 궁금해했습니다.

🕵️‍♂️ 2. 기존 해킹 vs 새로운 해킹 (배경화면 vs 사고방식)

• 기존 해킹 (백도어 공격): "특수한 암호"

  • 비유: 의대생에게 "만약 선생님이 **'빨간 모자'**를 쓰면, **무조건 '자살'**이라고 대답해라"라고 속이는 거예요.
  • 문제점: '빨간 모자'라는 암호는 너무 이상해서, 자료를 검토하는 사람이 "이건 뭔가 이상하네?" 하고 바로 잡아챕니다. (탐지 가능)

• 이 논문의 해킹 (논리 중독): "잘못된 설명서"

  • 비유: 의대생에게 **"열이 날 때는 감기약 대신 '설탕'을 먹어야 한다"**고 가르치면서, **"왜냐하면 설탕이 열을 식히는 과학적 원리가 있기 때문이다"**라고 **아주 그럴듯하게 설명 (이유)**을 붙여주는 거예요.
  • 특징: 자료 자체는 정상적인 질문과 답변처럼 보이지만, 중요한 '이유 (Rationale)'가 틀려서 AI 의 사고방식 자체를 망가뜨립니다. (탐지 어려움)

🧪 3. 실험 결과: 무엇이 효과가 있었나?

연구진은 AI 가 '발열 (Fever)' 관련 질문에 대해 어떻게 반응하는지 실험했습니다.

1. 단순한 정보 덮어쓰기 (실패):

   • 질문의 정답만 임의로 바꿔서 가르쳤을 때 (예: 정답을 'A'에서 'B'로 바꿈) AI 는 원래 지식을 기억하고 있어서 별로 효과가 없었습니다.
   • 비유: "사과는 빨간색이 아니라 초록색이야"라고 외우게 해도, AI 는 "아니, 사과는 빨간 거야"라고 기억하고 있어서 무시합니다.

2. 논리 중독 (성공):

   • 질문과 정답은 맞는데, 그걸 설명하는 '이유'를 틀리게 가르쳤을 때 AI 는 완전히 혼란에 빠졌습니다.
   • 결과: 발열 관련 질문의 정답률이 8% 이상 급격히 떨어졌습니다.
   • 핵심 조건: 이 공격이 성공하려면 틀린 설명이 섞인 자료 (공격 자료) 가 전체의 약 8~9% 정도는 있어야 하고, 동시에 '올바른 발열 관련 자료'가 섞여 있으면 안 됩니다. 올바른 설명이 섞여 있으면 AI 가 "아, 이건 틀렸구나" 하고 바로 고쳐버리기 때문입니다.

⚖️ 4. 왜 이 해킹이 더 위험할까? (효율성과 은밀함)

• 기존 방식 (기억 상실 유도): AI 에게 엉뚱한 의학 지식을 많이 주면, AI 가 원래 알던 것도 까먹게 됩니다 (기억 상실). 하지만 이 경우 모든 의학 지식이 망가져서 "아, 이 AI 는 망가졌구나"라고 금방 들킬 수 있습니다.
• 이 논문의 방식 (논리 중독): **매우 적은 양 (125 개 정도)**의 틀린 설명만으로도 특정 질병 (발열) 에 대해서만 AI 를 멍청하게 만들 수 있습니다.
  • 비유: 전체 의대생의 지식을 망가뜨리지 않고, 오직 '감기'만 치료 못하게 만드는 마법 같은 독약입니다. 다른 질병 (예: 골절) 에 대해서는 여전히 잘하니까, 사람들은 "이 AI 는 괜찮네?"라고 착각합니다.

💡 5. 결론 및 경고

이 연구는 **"의료 AI 를 가르칠 때, 단순히 정답만 확인하는 게 아니라, '왜 그런지 설명하는 과정 (논리)'까지 꼼꼼히 검증해야 한다"**는 경고를 보냅니다.

• 경고: 아주 적은 양의 잘못된 논리만 섞여도, AI 는 환자를 치료할 때 치명적인 실수를 할 수 있습니다.
• 해결책: 앞으로는 AI 를 훈련시킬 때, 데이터의 '이유' 부분을 외부 지식과 대조하거나, 훈련 중 이상한 패턴을 찾아내는 방어 기술이 필요하다고 말합니다.

한 줄 요약:

"의료 AI 를 속이려면, 정답을 바꾸는 것보다 '틀린 이유'를 그럴듯하게 설명해 주는 것이 훨씬 효과적이고, 들키기 어렵습니다."

기술 요약

1. 문제 정의 (Problem Statement)

의료용 대규모 언어 모델 (LLM) 은 주로 사전 학습된 베이스 모델에 의료 데이터로 **지도 학습 (Supervised Fine-Tuning, SFT)**을 적용하여 개발됩니다. 그러나 기존 연구들은 주로 **백도어 공격 (Backdoor Attacks)**에 집중해 왔습니다. 백도어 공격은 특정 트리거 (예: 이상한 단어, 특수 기호) 가 입력되었을 때 악성 응답을 유도하는 방식인데, 이는 데이터셋을 스캔하여 비정상적인 패턴을 찾으면 비교적 쉽게 탐지될 수 있습니다.

이 연구는 더 은밀하고 탐지하기 어려운 새로운 형태의 공격을 제안합니다. 즉, 모델의 내부 추론 과정 (Reasoning Process) 자체를 오염시키는 것입니다. 특히, 의료 분야처럼 민감한 영역에서 SFT 단계 동안 소수의 오염된 데이터만으로도 모델의 특정 주제에 대한 성능을 정교하게 저하시킬 수 있는 위험성을 규명하는 것이 목표입니다.

2. 방법론 (Methodology)

연구팀은 공개 의료 객관식 데이터셋인 MedQA(중국어 간체 버전) 를 기반으로 실험을 수행했습니다. 사용된 모델은 Qwen3-1.7B-Base와 Qwen3-4B-Base이며, LoRA(Low-Rank Adaptation) 를 통해 파인튜닝되었습니다.

주요 공격 기법: 근거 중독 (Rationale Poisoning)

기존의 단순한 지식 덮어쓰기 (Knowledge Overwriting) 와는 달리, 이 연구는 **잘못된 답변과 이를 정당화하는 잘못된 근거 (Rationale)**를 소수 샷 (Few-shot) 데이터에 주입하는 방식을 사용합니다.

1. 공격 대상 설정: 임상적 빈도와 관련 개념의 다양성으로 인해 '발열 (Fever/发热)' 관련 질문을 공격 대상으로 선정했습니다.
2. 데이터 생성:
   • 오염된 샘플 (Poisoned Samples): 발열 관련 질문에 틀린 답변과, 그 틀린 답변을 논리적으로 지지하는 **잘못된 근거 (Faulty Rationale)**를 생성하여 주입했습니다.
   • 정확한 샘플 (Correct Samples): 공격의 효과를 검증하기 위해 발열 관련이 아닌 질문이나 발열 관련 정답 샘플을 포함하여 '청소된 (Clean)' 데이터셋을 구성했습니다.
3. 비교 실험:
   • 지식 덮어쓰기: 답변이나 의학적 개체 (질병, 증상, 장기) 만을 변경하는 방식.
   • 카타스트로픽 포기 (Catastrophic Forgetting): 올바른 지식만 대량으로 주입하여 기존 지식을 망각하게 만드는 방식.
   • 근거 중독: 잘못된 근거를 포함한 소수 샷 데이터를 주입하는 방식.

3. 주요 기여 및 발견 (Key Contributions & Findings)

1) 단순 지식 덮어쓰기의 실패

단순히 정답을 틀리게 바꾸거나 의학적 개체만 변경하는 방식은 모델의 성능 저하를 일으키지 못했습니다. 이는 모델이 질문과 정답 간의 단순한 매핑 (Spot-to-spot) 을 학습한 것이 아니라, 방대한 사전 학습을 통해 복잡한 내부 추론 경로를 가지고 있기 때문입니다.

2) '청소된' 중독 (Clean Poison) 의 중요성

공격 성공의 핵심 조건은 공격 대상 주제 (발열) 에 대한 올바른 샘플이 데이터셋에 존재하지 않아야 한다는 것입니다.

• 발열 관련 정답 샘플이 섞여 있으면, 잘못된 근거의 영향력이 상쇄되어 공격이 실패합니다.
• 따라서 공격자는 공격 대상에 대한 정답이 없는 상태에서 잘못된 근거만 주입해야 합니다.

3) 최소 개수 및 비율의 필요성

백도어 공격과 유사하게, 공격을 성공시키기 위해 **최소 개수 (Minimum Number)**와 **최소 비율 (Minimum Ratio)**의 오염된 샘플이 필요합니다.

• 실험 결과, **125 개의 오염된 샘플 (약 8.8% 비율)**이 Qwen3-4B 모델의 발열 관련 정확도를 8.2% 하락시켰습니다.
• 샘플 수를 더 늘려도 성능 저하 효과는 일정 수준에서 포화되며, 오히려 비발열 영역의 정확도가 떨어져 공격이 탐지될 위험이 커집니다.

4) 효율성과 은밀성: 지식 주입 vs. 중독

• 지식 주입 (정답만 대량 주입): 특정 주제에 대한 성능 저하를 일으키려면 수천 개의 샘플이 필요하며, 이는 관련 없는 다른 의료 주제까지 성능을 떨어뜨려 (카타스트로픽 포기) 탐지가 쉽습니다.
• 근거 중독: 17 배 이상 적은 샘플 수로 동일한 목표 주제에 대한 성능 저하를 일으켰으며, 비공격 대상 (비발열) 영역의 성능에는 거의 영향을 미치지 않아 **매우 은밀 (Stealthy)**합니다.

5) 모델 크기에 따른 영향

1.7B 와 같은 초소형 모델은 의료 지식이 부족하여 오히려 정답 데이터가 오염된 데이터의 영향을 상쇄하여 공격이 실패했습니다. 이는 공격이 성공하려면 베이스 모델이 해당 도메인에 대한 충분한 사전 지식을 가지고 있어야 함을 시사합니다.

4. 실험 결과 (Results)

• Qwen3-4B-Base 모델 기준:
  • Base (기반 모델): 발열 관련 정확도 79.8%
  • 지식 덮어쓰기 공격: 정확도 변화 없음 (약 79.8% 유지).
  • 근거 중독 공격 (125 개 오염 + 1,300 개 정답): 발열 관련 정확도 **71.6%**로 급락 (약 8.2% 감소). 비발열 영역 정확도는 3.2% 만 감소하여 은밀성 유지.
  • 정답 샘플 비율 증가: 발열 관련 정답 샘플이 200 개 이상 포함되면 공격 효과가 현저히 줄어들었습니다.

5. 의의 및 시사점 (Significance)

이 연구는 의료 LLM 의 SFT 단계에서 추론 과정 자체를 조작하는 공격이 가능함을 최초로 입증했습니다.

• 안전성 위협: 소량의 오염된 데이터만으로도 의료 모델의 특정 진단 능력 (예: 발열 원인 분석) 을 정교하게 무력화할 수 있어, 임상 배포 시 심각한 환자 안전 위협이 될 수 있습니다.
• 방어 전략의 필요성: 기존 백도어 탐지 방식으로는 이러한 공격을 막기 어렵습니다. 따라서 추론 과정 검증 (Rationale Verification), 외부 지식 기반과의 대조, 학습 중 그래디언트 이상 탐지 등 새로운 방어 메커니즘이 필요합니다.
• 데이터 검증의 중요성: 의료 LLM 개발 시, 특히 소수 샷 학습이나 파인튜닝 데이터에 포함된 '근거 (Rationale)'의 정확성을 철저히 검증해야 함을 강조합니다.

결론적으로, 이 논문은 의료 AI 의 안전성을 위협하는 새로운 차원의 취약점을 제시하며, 추론 기반 공격에 대한 방어 연구의 필요성을 촉구하고 있습니다.