기술 요약: LLM을 위한 적대적 머신러닝은 진전을 이루지 못하고 있다

문제 정의

본 논문은 적대적 머신러닝(Adversarial ML) 분야가 단순하고 잘 정의된 분류 모델에서 대규모 언어 모델(LLM)로 초점을 옮긴 이후, 측정 가능한 진전을 이루는 능력이 퇴보했다고 주장한다. 초기 적대적 ML은 명확한 목표를 가진 "장난감(toy)" 문제(예: 제한된 픽셀 섭동 하에서의 이미지 오분류)에 집중했으나, 현재의 LLM 시대는 근본적으로 더 명확하게 정의하기 어렵고, 해결하기 더 까udi며, 평가하기 더 까다로운 문제를 제시한다.

저자들은 범용 생성 모델로의 전환이 이전의 수학적 및 실험적 엄밀함을 제거했다고 주장한다. 결과적으로, 이 분야는 공격과 방어를 비교할 수 있게 해주었던 엄밀함을 상실했으며, 의미 있고 재현 가능한 과학적 진보나 견고한 보안 보증을 내놓지 못한 채 또 다른 10년을 보낼 위험에 처해 있다.

방법론

이 논문은 새로운 실험 결과를 제시하는 경험적 연구라기보다 **포지션 페이퍼(position paper)**이다. 저자들의 방법론은 다음과 같은 과정을 통해 현재 분야의 상태를 비판적으로 분석하는 것이다:

1. 개념적 분석: 분류에서 생성 모델로의 적대적 문제의 진화를 해체하여, 문제 정의, 솔루션 공간, 평가 지표에서의 구체적인 구조적 변화를 식별한다.
2. 사례 연구: LLM으로의 전환이 어떻게 어려움을 심화시키는지 보여주기 위해 다음의 6가지 특정 연구 영역을 체계적으로 조사한다:
   • 탈옥 (Jailbreaks)
   • 미세 조정 불가능한 모델 (Un-finetunable Models)
   • 포이즈닝 및 백도어 (Poisoning and Backdoors)
   • 프롬프트 인젝션 (Prompt Injections)
   • 멤버십 추론 (Membership Inference)
   • 머신 언러닝 (Machine Unlearning)
3. 반론 합성: 분야가 진전하고 있다거나, 증가된 복잡성이 실세계 문제를 해결하기 위한 필수적인 단계라고 주장하는 대안적 견해들을 다룬다.

주요 기여 및 발견

1. 문제가 정의하기 더 어려워졌다

저자들은 정의가 모호해진 세 가지 핵심 차원을 식별한다:

• 성공의 정의: 분류(성공 기준이 오분류율임)와 달리, LLM의 안전성은 주관적이고 질적인 목표(예: "무해함", "유용함")를 포함한다. 성공 지표는 종종 "LLM-as-a-judge(판단자로서의 LLM)" 시스템에 의존하는데, 이는 순환 논리, 편향, 그리고 측정 대상이 되는 공격 자체에 대한 취약성을 도입한다.
• 공격 공간의 경계 설정: 전통적인 강건성은 제한된 입력 공간($\ell_p$-norm 등)에 의존했다. 그러나 LLM의 경우 공격 공간은 사실상 무제한이며(모든 텍sten 입력), 위협 모델은 단순한 입력 섭동을 넘어 모델 수정(미세 조정, 프루닝)까지 확장되었다. 무엇이 "유효한" 또는 "새로운" 적대적 프롬프트인지에 대한 합의가 없다.
• 데이터의 경계 설정: 별도의 훈련 세트와 홀드아웃 테스트 세트라는 개념이 해체되었다. LLM은 방대한 인터넷 코퍼스 상에서 학습되며, 훈련 데이터와 테스트 데이터 사이, 그리고 개별 데이터 포인트 사이의 경계가 모호하다. 이는 "멤버십"이나 특정 데이터의 "언러닝"과 같은 개념을 정의하기 어렵게 만든다.

2. 문제가 해결하기 더 어려워졌다

• 비효율적인 최적화: 이미지 분류를 주도했던 경사 기반 최적화(Gradient-based optimization)는 이산적인 텍스트 입력과 안전성에 대한 공식적인 손실 함수(loss function)의 부재로 인해 LLM에서는 효과가 거의 없다.
• 인적 노력에 대한 의존: 자동화된 최적화가 어려워짐에 따라, LLM에 대한 가장 강력한 공격은 이제 알고리즘적 방식보다는 인간 중심적(예: 사회 공학적 기법, 페르소나 변조)인 경우가 많다. 이는 최악의 시나리오를 체계적으로 발견하는 것을 방해한다.
• 원칙 없는 방어: 공식적인 목적 함수나 경계가 정해진 공격 공간이 없기 때문에, 방어 기법은 주로 임시방편적(ad-hoc)이다(예: 출력 필터링, 가상 적대적 훈련). 이러한 방어는 공식적으로 분석하거나 인증할 수 없으며, 이는 종종 강건성을 과대평가하는 평가로 이어진다.

3. 문제가 평가하기 더 어려워졌다

• 재현성 위기: 많은 최첨단 LLM은 폐쇄형 소스이며, 조용히 업데이트되고, API를 통해 배포된다. 이러한 투명성 부족은 결과를 재현하거나, 서로 다른 접근 방식을 공정하게 비교하거나, 시간에 따른 진전을 추적하는 것을 불가능하게 만든다.
• 유용성 평가: 유해한 출력을 방지하는 방어 기법은 종종 모델의 일반적인 유용성을 저하시킨다(예: 모든 요청 거부). 안전성과 유용성 사이의 트레이드오프를 측정하는 것은 주관적이고 맥락 의존적이며, 전통적인 ML에서 사용되는 표준화된 지표(예: 정확도)가 부족하다.

4. 사례 연구 통찰

논문은 이러한 도전 과제들이 특정 도메인에서 어떻게 나타나는지 상세히 설명한다:

• 탈옥 (Jailbreaks): 성공은 "유해한" 콘텐츠에 의해 정의되지만, 이는 공식적인 정의가 결여되어 있다. 최적화가 어려워 수동 프롬프트 엔지니어링에 의존하게 된다.
• 미세 조정 불가능한 모델: 위협 모델은 이제 모델 가중치를 수정할 수 있는 공격자를 포함하며, 이는 탐색 공간을 입력 그래디언트에서 파라미터 그래디언트로 확장시킨다(수십 배 더 큰 규모).
• 포이즈닝/백도어: LLM의 다단계 학습(사전 학습 + 미세 조정)과 데이터 규모로 인해, 평가를 위한 깨끗한 베이스라인을 구축하기 위해 모델을 처음부터 다시 학습시키는 것은 계산적으로 불가능하다.
• 프롬프트 인젝션: 이를 평가하려면 도구 사용(tool use)을 포함하는 현실적인 에이전트 환경이 필요한데, 이는 시뮬레이션 비용이 많이 들며 종종 LLM 판단자에 의존하여 평가 편향을 재도입한다.
• 멤버십 추론 및 언러닝: 명확한 데이터 경계의 부재와 특정 데이터 포인트를 제외하고 재학습하는 반사실적 모델(counterfactual models) 생성의 불가능성은, 특정 데이터가 "잊혀졌는지" 또는 샘플이 훈련 세트에 포함되었는지를 엄격하게 증명하는 것을 불가능하게 만든다.

결과 및 주장

본 논문은 새로운 실험 데이터를 제시하는 대신 기존 문헌을 종합하여 다음과 같은 주장을 뒷받침한다:

• 정체: 이 분야는 엄격한 프레임워크를 가진 "장난감" 문제가 더 이상 아니기 때문에 의미 있는 진전을 내지 못하고 있다.
• 평가 실패: 현재의 평가 방법(LLM 판단자, 임시방편적 벤치마크)은 진전을 추적하거나 방어 기법을 신뢰성 있게 비교하기에 불충분하다.
• "실세계"의 오류: 일부는 무제한적이고 실제적인 문제를 연구하는 것이 필요하다고 주장하지만, 저자들은 과학적 탐구를 고정할 엄격한 하위 문제(formal sub-problems) 없이는, 이 분야가 진정한 보안 개선과 불투명한 평가의 산물을 구분할 수 없다고 주장한다.
• 모호성의 위험: 복잡하고 불투명한 방어 시스템(암호를 통한 보안, security through obscurity)으로 향하는 추세는 단기적인 안전을 제공할 수는 있으나, 장기적인 강건성에 필요한 과학적 이해를 저해할 수 있다.

의의

이 논문은 적대적 ML 커뮤니티에 대한 경고성 포지션 역할을 한다. 그 의의는 다음과 같다:

1. 내러티브의 재구성: 새로운 모델이 본질적으로 더 안전하다는 일반적인 낙관론에 도전하며, 방어 기법을 엄격하게 평가할 수 없는 능력이 잠재적인 정체를 가리고 있다고 주장한다.
2. 엄격함에 대한 촉구: 과학적 진보를 위한 전제 조건으로서 잘 정의된 공식적 하위 문제(예: $\ell_p$ 제한 섭동)로의 회귀를 옹호한다. 저자들은 신중하게 범위가 정해진 공식적 문제를 해결할 수 없다면, LLM 보안이라는 더 넓은 과제를 해결할 수 없다고 주장한다.
3. 방법론적 지침: 논문은 자신들의 목표가 실세계 보안(즉, 즉각적인 피해 감소를 위해 모호한 정의가 허용될 수 있는 영역)인지, 아니면 과학적 발전(엄격한 공식적 프레임워크가 필요한 영역)인지를 명시적으로 밝혀야 한다고 제안한다.

저자들은 커뮤니티가 엄격한 정의, 최적화 방법, 재현 가능한 벤치마크를 다시 확립하지 못한다면, 이 분야는 LLM을 보호하는 데 있어 의미 있는 진전을 내지 못한 채 또 다른 10년을 보낼 위험이 있다고 결론짓는다.