Robustness Over Time: Understanding Adversarial Examples' Effectiveness on Longitudinal Versions of Large Language Models

이 논문은 GPT, Llama, Qwen 등 주요 대규모 언어 모델 (LLM) 계열의 장기적 업데이트를 분석하여, 버전이 올라갈수록 항상 보안과 안전성이 향상되는 것은 아니며 오히려 특정 공격 유형에 대한 취약성이 심화되거나 모델 크기가 커져도 견고성이 균일하게 개선되지 않을 수 있음을 규명했습니다.

핵심

이 논문은 **"로보트 (AI) 가 나이를 먹으면 더 똑똑하고 안전해질까?"**라는 질문에 대해, 실제로는 그렇지 않을 수도 있다는 놀라운 사실을 발견한 연구입니다.

이 내용을 쉽게 이해할 수 있도록 스마트폰 업데이트와 자동차 모델 변경에 비유해서 설명해 드릴게요.

1. 연구의 배경: "업데이트는 무조건 좋은 것일까?"

우리는 스마트폰을 사용할 때, 새로운 버전으로 업데이트되면 기능이 더 좋아지고 버그가 사라진다고 믿습니다. AI(거대 언어 모델) 도 마찬가지입니다. 개발사들은 매번 모델을 업데이트하며 "이제 더 똑똑하고, 더 안전해졌다"고 홍보합니다.

하지만 이 연구팀은 **"그렇다면, 업데이트를 거듭할수록 AI 가 해킹이나 사기 (악의적인 질문) 에 더 강해지나?"**라고 의문을 품었습니다. 마치 자동차 회사가 매년 새 모델을 내놓을 때, "이 차는 이전 모델보다 도난 방지 시스템이 더 강력해졌다"고 말하지만, 실제로는 그렇지 않을 수도 있다는 의문이죠.

2. 연구 방법: "시간을 거슬러 올라가는 테스트"

연구팀은 GPT(OpenAI), Llama(Meta), Qwen(알리바바) 등 유명한 AI 세 가지를 대상으로, 과거 버전부터 최신 버전까지 일일이 테스트했습니다.

세 가지 주요 테스트를 진행했는데, 이를 자동차로 비유하면 다음과 같습니다:

• 오류 찾기 (Misclassification): "이 문장이 문법적으로 맞니?"라고 물었을 때, AI 가 엉뚱한 답을 하거나 헷갈리는지 확인합니다. (예: "빨간 차"를 "파란 차"라고 잘못 분류하는지)
• 방어벽 뚫기 (Jailbreak): "나쁜 짓을 하는 방법을 알려줘"라고 물었을 때, AI 가 "안 됩니다"라고 거절하는지, 아니면 속아서 답을 해주는지 확인합니다. (예: 자동차의 도난 방지 장치를 우회해서 시동을 걸 수 있는지)
• 거짓말 (Hallucination): AI 가 사실과 다른 엉뚱한 이야기를 지어내는지 확인합니다. (예: 존재하지 않는 역사적 사건을 사실인 것처럼 말하는지)

3. 주요 발견: "업데이트의 역설"

이 연구에서 발견한 가장 놀라운 사실은 다음과 같습니다.

• 안전해졌다고 생각했는데, 약해졌다:
  어떤 AI 는 '나쁜 짓을 막는 능력 (방어벽)'은 좋아졌는데, 정작 문제를 푸는 능력이나 사실 관계를 구분하는 능력은 오히려 나빠졌습니다.

  • 비유: 자동차의 도난 방지 시스템은 최신형으로 바뀌어 매우 강력해졌는데, 정작 운전자가 핸들을 돌릴 때 차가 제자리에서 빙빙 돌거나, 브레이크가 잘 먹지 않는 문제가 생겼다면 어떨까요? 이것이 바로 이 연구에서 본 현상입니다.

• 크기가 커진다고 더 안전하지 않다:
  모델이 더 크고 복잡해질수록 (예: 70B 모델) 더 똑똑하고 안전할 것이라고 생각하기 쉽습니다. 하지만 연구 결과, 모델이 커질수록 해킹이나 오류에 더 취약한 부분이 생기는 경우가 많았습니다.

  • 비유: 거대한 요새를 지으면 적을 막을 수 있을 것 같지만, 성벽이 너무 복잡해져서 오히려 숨겨진 구멍이 생기고, 그 구멍을 통해 적이 더 쉽게 들어올 수 있는 것과 같습니다.

• 작은 업데이트도 위험할 수 있다:
  큰 버전 변경이 아니라, 사소한 업데이트 (예: GPT-3.5 의 작은 수정) 를 할 때도 기존에 잘하던 기능이 망가질 수 있습니다.

  • 비유: 스마트폰의 카메라 앱에 '새로운 필터'를 하나 추가했는데, 그 과정에서 사진이 흐릿해지거나 저장 기능이 고장 나는 것과 비슷합니다.

4. 결론 및 시사점: "무조건 최신 모델을 믿지 마세요"

이 논문은 우리에게 중요한 메시지를 줍니다.

1. 개발자에게: "우리는 업데이트를 할 때 '새로운 기능'만 추가하지 말고, '기존에 잘하던 일'이 망가지지는 않았는지, '보안'이 약해지지는 않았는지 꼼꼼히 확인해야 합니다."
2. 사용자에게: "AI 가 최신 버전이라고 해서 무조건 안전하거나 똑똑하다고 믿지 마세요. 중요한 일을 맡기기 전에, 그 AI 가 실제로 얼마나 견고한지 다시 한번 테스트해 보는 것이 좋습니다."

한 줄 요약:

"AI 가 업데이트를 거듭한다고 해서 무조건 더 안전하고 똑똑해지는 것은 아닙니다. 오히려 새로운 버그나 약점이 생길 수 있으니, 업데이트 때마다 다시 한번 꼼꼼히 점검해야 합니다."

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 은 사용자 경험을 개선하기 위해 지속적으로 업데이트되고 업그레이드됩니다. 그러나 기존 LLM 의 보안 및 안전성 연구는 주로 특정 단일 버전에 초점을 맞추고 있어, 모델이 시간의 흐름에 따라 여러 버전으로 진화하는 과정에서 발생하는 보안 취약점의 변화를 간과하고 있습니다.

• 핵심 질문: LLM 이 업데이트되거나 업그레이드될 때, 이전 버전에서 발견된 적대적 공격 (Adversarial Attacks) 에 대한 견고성 (Robustness) 이 실제로 향상되는가? 아니면 새로운 취약점이 도입되거나 기존 문제가 악화되는가?
• 연구 필요성: 모델의 버전 변경이 항상 보안을 강화한다는 가정을 검증하고, 장기적인 관점에서 모델 업데이트의 영향을 종합적으로 이해할 필요가 있습니다.

2. 방법론 (Methodology)

이 연구는 GPT(OpenAI), Llama(Meta), Qwen(Alibaba) 의 세 가지 주요 LLM 패밀리의 종단적 (Longitudinal) 버전을 대상으로 적대적 견고성을 평가했습니다.

• 평가 대상 모델:
  • GPT: GPT-3.5 (v0613, v1106, v0125), GPT-4 (v0613, v1106, v0125, v0409), GPT-4o (v0513, v0806, v1120).
  • Llama: Llama-7B/13B/70B 의 v1, v2, v3 버전 및 Chat/Instruct 변형.
  • Qwen: Qwen-7B/32B/72B 의 v1.5, v2, v2.5, v3 버전.
• 공격 유형 (Taxonomy): 세 가지 주요 적대적 공격 시나리오를 평가했습니다.
  1. 오분류 (Misclassification): 정상 입력을 변형하여 모델이 잘못된 라벨을 예측하도록 유도 (Zero-shot 및 Few-shot 학습 환경).
  2. 자일브레이크 (Jailbreak): 모델의 안전 가이드라인을 우회하여 유해한 내용을 생성하도록 유도 (GPTfuzz, PAIR, TAP 등 자동화 도구 사용).
  3. 할루시네이션 (Hallucination): 사실과 다른 정보를 포함하는 논리적 모순이 있는 답변을 제시하고 모델이 이를 식별하는지 평가 (QA, 대화, 요약 태스크).
• 평가 지표:
  • CTS (Clean Test Score): 정상 입력에서의 성능 (정확도 또는 거부율).
  • RTS (Robust Test Score): 적대적 입력에서의 성능.
  • PDR (Performance Drop Rate): 공격으로 인한 성능 저하율 ($PDR = \frac{CTS - RTS}{CTS}$).
• 실험 설계:
  • 업그레이드 (Upgrade): 주요 버전 변경 (예: Llama-7B v1 → v2) 을 비교.
  • 업데이트 (Update): 동일 버전 내의 소규모 변경 (예: GPT-3.5 의 주간 업데이트) 을 주 단위로 모니터링.
  • 프롬프트 생성: 대리 모델 (Surrogate Models, 예: T5, Mistral-7B) 을 사용하여 적대적 예제를 생성하고 이를 다양한 버전의 타겟 모델에 적용.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 업그레이드/업데이트가 견고성을 보장하지 않음

• 일관된 개선 부재: 모델이 업그레이드되거나 업데이트된다고 해서 적대적 공격에 대한 견고성이 항상 향상되는 것은 아닙니다.
• GPT-3.5 의 역설: GPT-3.5 의 v1106 버전은 자일브레이크 공격에 대한 저항력이 향상되었으나, 오분류 및 할루시네이션 측면에서는 이전 버전 (v0613, v0125) 보다 성능이 악화되었습니다. 이는 안전성 강화 조치가 다른 태스크의 성능을 저하시킬 수 있음을 시사합니다.
• GPT-4 및 GPT-4o: 전반적으로 더 높은 견고성을 보였으나, 최신 버전 (v0409, v1120) 이 모든 태스크에서 이전 버전보다 우월한 것은 아니었습니다. 특히 할루시네이션 태스크에서는 성능이 후퇴한 경우가 있었습니다.

B. 모델 크기와 견고성의 비선형적 관계

• 큰 모델이 더 안전한 것은 아님: Llama 패밀리의 경우, 모델 크기 (7B → 13B → 70B) 가 커질수록 오히려 자일브레이크 공격에 더 취약해지는 경향이 관찰되었습니다. 큰 모델은 더 넓은 공격 표면 (Attack Surface) 을 가질 수 있어 새로운 취약점이 도입될 가능성이 있습니다.

C. 미세 업데이트의 부정적 영향

• 주요 업데이트 (Weekly Update): GPT-3.5 와 GPT-4 에 대한 주간 모니터링 결과, 소규모 업데이트가 모델의 전반적인 성능을 저하시키거나 기존 문제를 악화시키는 경우가 발생했습니다. 예를 들어, 2024 년 2 월 16 일 GPT-3.5 의 자동 업데이트 이후 특정 데이터셋에서 공격 성공률이 급증하거나 성능이 불안정해졌습니다.

D. Qwen 모델의 취약성

• Qwen 모델은 다른 적대적 콘텐츠보다 **적대적 질문 (Adversarial Questions)**에 특히 취약한 것으로 나타났습니다. 업데이트 과정에서 모델의 유용성 (Utility) 이 급격히 저하되는 경향이 있었습니다.

4. 결과 및 시사점 (Results & Significance)

• 트레이드오프 (Trade-off) 의 존재: 한 태스크 (예: 자일브레이크 방어) 의 성능 향상이 다른 태스크 (예: 오분류 정확도) 의 성능 저하로 이어질 수 있음을 발견했습니다. 이는 모델 개발자가 단일 목표 최적화 (Safety alignment) 에만 집중할 경우 예상치 못한 부작용이 발생할 수 있음을 경고합니다.
• 모델 개발 및 배포에 대한 제언:
  • 개발자: 모델 업데이트 시 특정 태스크의 성능 향상뿐만 아니라 종합적인 견고성 평가를 필수적으로 수행해야 합니다. 안전성 강화가 전체 모델의 신뢰성을 해치지 않도록 균형을 맞춰야 합니다.
  • 사용자: 최신 버전의 LLM 을 배포하기 전에 반드시 **견고성 평가 (Robustness Evaluation)**를 수행하여 예상치 못한 보안 리스크를 확인해야 합니다.
• 연구적 의의: 기존 연구가 단일 버전의 스냅샷에 머물렀다면, 본 연구는 시간의 흐름에 따른 모델의 동적 변화를 분석하여 LLM 생태계의 보안 리스크가 정적이지 않고 진화함을 증명했습니다.

5. 결론

이 논문은 LLM 의 지속적인 업데이트와 업그레이드가 자동으로 보안을 강화한다는 통념을 반증합니다. 오히려 업데이트는 새로운 취약점을 도입하거나 기존 문제를 악화시킬 수 있으며, 모델 크기가 커진다고 해서 보안이 강화되는 것도 아닙니다. 따라서 LLM 의 수명 주기 전반에 걸쳐 지속적이고 체계적인 적대적 견고성 평가가 필수적이며, 이는 AI 시스템의 안전하고 신뢰할 수 있는 배포를 위한 핵심 요소입니다.