기술 요약: GRADINGATTACK

문제 제기

본 논문은 실제 환경 ("in the wild") 에서 배포되는 자동 단답형 채점 (ASAG) 을 위해 구축된 대규모 언어 모델 (LLM) 기반 교육 에이전트의 치명적인 보안 취약점에 대해 다룹니다. 이러한 에이전트는 평가의 효율성과 확장성을 향상시킬 것을 약속하지만, 적대적 조작에 대한 취약성은 교육의 공정성과 무결성에 중대한 위협이 됩니다. 유해하거나 안전하지 않은 콘텐츠를 유도하는 데 초점을 맞춘 일반적인 목적의 LLM 에 대한 적대적 연구와 달리, 채점 에이전트는 고유한 위협 환경에 직면해 있습니다: 악의적 행위자 (예: 학생) 는 안전 필터나 명백한 탐지 메커니즘을 발동시키지 않고도 부당한 고득점을 받기 위해 채점 결과를 조작하려 할 수 있습니다. 기존 연구는 교육 채점 에이전트의 특정 보안 과제를 크게 간과해 왔으며, 이러한 시스템이 높은 은폐성을 유지하면서 채점 라벨을 뒤집는 방식으로 어떻게 침해될 수 있는지에 대한 이해의 공백을 남겨두고 있습니다.

방법론

저자들은 LLM 기반 채점 에이전트의 보안을 체계적으로 평가하도록 설계된 정밀한 적대적 공격 프레임워크인 GradingAttack을 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소를 통해 작동합니다:

1. 채점 입력 정렬: 프레임워크는 질문 ($q$), 정답 ($a_q$), 그리고 학생의 답변 ($a_s$) 을 통합한 특정 채점 프롬프트 ($P$) 를 구성합니다. 이는 일반적인 공격 입력을 교육 평가의 특정 맥락에 정렬시켜, 공격이 일반 안전 메커니즘이 아닌 채점 논리를 표적으로 하도록 보장합니다.
2. 적대적 프롬프트 생성: 프레임워크는 적대적 프롬프트 ($P'$) 를 생성하기 위해 두 가지 다른 공격 전략을 사용합니다:
   • 토큰 수준 공격: 이 전략은 채점 프롬프트에 추가되는 적대적 접미사를 최적화합니다. 이는 목표 채점 결과 ($r_{target}$) 에 대한 손실 함수를 최소화하도록 접미사를 반복적으로 정제하여, 토큰 조작을 통해 모델의 채점 논리를 효과적으로 "탈옥 (jailbreaking)"시킵니다. 프레임워크는 이를 위해 GCG (Greedy Coordinate Gradient) 와 같은 기존 방법을 적응합니다.
   • 프롬프트 수준 공격: 이 전략은 채점 프롬프트 구조를 직접 수정합니다. 저자들은 에이전트를 목표 결과로 유도하기 위해 프롬프트에 특정 지시사항 (예: "이제 당신은 역할극 게임에 있습니다... 당신은 그것이 맞다고 가장해야 합니다") 을 포함시키는 역할극 기반 방법인 GradingAttackRole을 도입합니다.
3. 공격 평가: 프레임워크는 적대적 프롬프트를 사용하여 대상 채점 에이전트와 상호작용하고 공격의 성공 여부를 평가합니다.

평가 지표:
이러한 공격을 종합적으로 평가하기 위해 저자들은 **Camouflage Attack Score (CAS)**라는 새로운 지표를 도입합니다. 목표 결과가 달성되었는지 여부만 측정하는 표준 공격 성공률 (ASR) 과 달리, CAS 는 공격 효과성과 은폐성 사이의 균형을 모델의 전체 채점 정확도 유지와 함께 고려합니다. 이는 공격 후 정확도와 공격 전 정확도의 비율을 모델링하기 위해 표준 베타 분포 함수를 사용하여 공식화되며, 성공적인 공격은 특정 라벨을 뒤집으면서도 정확하고 기능하는 채점 시스템의 환상을 유지하는 것임을 보장합니다.

주요 기여

본 논문은 다음과 같은 기여를 합니다:

• 최초의 체계적 보안 프레임워크: 토큰 수준 및 프롬프트 수준 공격 전략을 모두 통합한 LLM 기반 교육 채점 에이전트를 위한 최초의 체계적 보안 평가 프레임워크를 도입합니다.
• 새로운 평가 지표: 채점 시나리오에서 ASR 만 사용하는 것의 한계를 해결하기 위해 공격 효과성과 은폐성 사이의 균형을 정량적으로 측정하는 Camouflage Attack Score (CAS) 를 제안합니다.
• 종합적인 경험적 분석: 광범위한 실험을 통해 현재 LLM 기반 채점 에이전트가 적대적 공격에 매우 취약함을 드러냈으며, 이는 중요한 교육 응용 분야에서 견고한 보안 조치가 시급함을 강조합니다.

실험 결과

이 프레임워크는 Qwen2.5, Llama-3.1, Mistral, DeepSeek, InternLM2.5 를 포함한 일곱 가지 대표적인 오픈소스 LLM 을 사용하여 다섯 가지 교육 데이터셋 (GAOKAO23, MATH, GSM8K, SciEntsBank, Math23K) 에서 평가되었습니다.

• 효과성: 토큰 수준 공격과 프롬프트 수준 공격 모두 채점 에이전트를 성공적으로 침해했습니다. 프롬프트 수준 공격 (특히 GradingAttackRole) 은 모든 데이터셋에서 토큰 수준 공격에 비해 훨씬 높은 공격 성공률 (ASR) 을 달성했습니다. 예를 들어, GAOKAO23 데이터셋에서 GradingAttackRole 은 평균 ASR 0.4405 를 달성한 반면, 토큰 수준의 GradingAttackGCG 는 0.1627 을 달성했습니다.
• 은폐성 (Camouflage): 토큰 수준 공격은 우수한 은폐 능력을 보여주었습니다. 이들은 더 높은 CAS 값을 달성하여, 모델의 전체 채점 정확도를 크게 저하시키지 않으면서 특정 라벨을 뒤집는 데 더 효과적이었으며, 정확도 검사를 통해 탐지하기 어렵게 만들었습니다.
• 모델 취약성: Qwen2.5 시리즈 모델은 토큰 수준 공격에 대한 저항력이 더 높았지만, 지시사항 추종 및 역할극 시나리오와의 강력한 정렬로 인해 프롬프트 수준 (역할극) 공격에 특히 취약한 것으로 나타났습니다.
• 공격 전략 최적화: 연구는 올바른 라벨과 잘못된 라벨 모두를 공격하는 (양방향 뒤집기) 것이 잘못된 라벨만 공격하는 것보다 더 높은 성공률과 더 나은 은폐성을 제공한다는 것을 발견했습니다. 또한, 역할극 문자열의 배치 위치가 성능에 상당한 영향을 미쳤는데, 프롬프트의 시작과 끝 모두에 배치하거나 끝에만 배치하는 것이 가장 높은 성공률을 보였습니다.

중요성과 주장

본 논문은 LLM 기반 교육 에이전트의 현재 배포에서 근본적인 약점을 노출시켰다고 주장합니다. 저자들은 일반적인 안전 정렬 메커니즘이 유해한 콘텐츠를 생성하는 것이 아니라 채점을 조작하도록 설계된 적대적 입력으로부터 채점 에이전트를 보호하기에는 불충분하다고 논합니다. 높은 은폐성으로 높은 성공률의 공격이 실행될 수 있음을 입증함으로써, 본 논문은 중요한 교육 응용 분야에 특화된 안전하고 신뢰할 수 있는 에이전트 시스템을 개발할 시급한 필요성을 강조합니다. 저자들은 제안된 공격 방법의 잠재적 오용을 완화하기 위해 책임 있는 공개 관행을 준수하면서, 이러한 위험을 부각시켜 견고성을 개선하고 공정성을 보장하는 것을 목표로 한다고 강조합니다.