Homoglyph-based Adversarial Perturbation of Introductory Computer Science Theory Problems

기술 요약: 초급 컴퓨터 과학 이론 문제의 동형 문자 기반 적대적 교란

문제 제기
ChatGPT, Gemini, Claude 와 같은 대규모 언어 모델 (LLM) 의 광범위한 채택은 학술적 정직성, 특히 초급 컴퓨터 과학 및 이산 수학 과정에 중대한 도전을 제기합니다. 학생들은 이러한 도구를 사용하여 자료에 대한 참여 없이 과제를 완료함으로써 과정의 학습 목표를 달성하지 못할 수 있습니다. AI 생성 콘텐츠를 감지하는 것과 같은 현재의 집행 전략은 신뢰할 수 없으며 오인정의 위험이 있습니다. 또한, 표준 적대적 접근 방식은 현대 LLM 에 대해 종종 실패하는데, 이는 이러한 모델이 단순한 문자 교란에 강건하기 때문입니다. 모델은 훈련 데이터에 포함된 널리 사용되는 교과서 문제를 포함하는 기억된 패턴에 의존하여 수정된 프롬프트를 자주 "수리"합니다.

방법론
저자들은 인간에게는 시각적으로 동일하게 유지되지만 LLM 에 대해서는 과제 프롬프트를 무효화하는 적대적 교란을 생성하기 위한 4 단계 방법을 제안합니다. 이 접근 방식은 학생들이 프롬프트를 직접 LLM 인터페이스에 복사 - 붙여넣기한다고 가정하는 "게으른 학생 모델" 하에서 작동합니다.

1. 편향 식별: 이 방법은 LLM 이 원래 훈련 데이터에 대해 강한 편향을 보이는 질문의 부분을 식별하는 것으로 시작합니다. 중요한 형용사나 숫자가 제거되더라도 모델은 소스 자료에 대한 친숙함 (예: 원래 교과서 문제에 포함되어 있었기 때문에 "0 이 아닌 숫자"에 대한 프롬프트에 "유리수"를 삽입함) 을 바탕으로 누락된 정보를 환각적으로 생성하는 경우가 많습니다.
2. 의미론적 수정: 원래 질문에 특정 숫자 문자나 수학적 표현이 없는 경우, 이 방법은 인간 학생의 의미나 난이도를 변경하지 않고 프롬프트를 수정하여 이를 도입합니다. 예를 들어, 무리수에 대한 일반적인 진술은 특정 변수 (예: $x$와 $y$) 나 계수 (예: $7x$) 를 포함하도록 재구성됩니다. 이는 모델의 훈련 데이터셋에 그대로 존재할 가능성이 낮은 문제 변형을 생성합니다.
3. 동형 문자 선택: 저자들은 인간에게는 쉽게 읽히지만 LLM 에서는 인식되지 않는 특정 동형 문자 (표준 알파벳 숫자 문자와 비슷하게 보이지만 다른 유니코드 코드 포인트를 가진 문자) 를 선택합니다. 선택 과정은 LLM 이 동형 문자를 의도된 문자로 식별하지 못하는지 테스트하는 것을 포함합니다.
4. 교란 적용: 선택된 동형 문자는 수정된 프롬프트의 주요 문자 (일반적으로 산술에 관여하는 숫자 계수나 기호) 를 대체하는 데 사용됩니다. 이는 LLM 의 토큰화 과정을 방해합니다. 모델이 동형 문자를 인식하지 못하기 때문에 이를 올바른 토큰에 매핑할 수 없습니다. 결과적으로 모델은 교란된 문자를 무시하거나 훈련 데이터의 원래 문자와 같은 편향된 토큰으로 대체하여 잘못된 해결책을 도출합니다.

주요 기여

• 적대적 교란 전략: 현대 LLM 의 단순 텍스트 변경에 대한 강건성을 우회하기 위해 의미론적 수정과 동형 문자 기반 공격을 결합한 새로운 접근 방식.
• 모델 편향 활용: 이 방법은 LLM 이 기억된 훈련 데이터를 기반으로 프롬프트를 "수리"하려는 경향을 활용하여, 모델이 잘못 "수정"하려는 수정된 문제 구조를 도입함으로써 이 특징을 모델에 대해 역이용합니다.
• 대화형 도구: 강사가 동형 문자 파일을 업로드하고, 문자를 선택하며, 효율적으로 교란된 질문을 생성할 수 있는 사용자 친화적 도구의 개발.
• 실증적 검증: Rosen 의《이산 수학 및 그 응용》에서 파생된 표준 이산 수학 커리큘럼의 69 개 텍스트 기반 질문에 대한 체계적인 평가.

실험 결과
이 연구는 ChatGPT 와 Gemini 를 사용하여 69 개의 순수 텍스트 기반 숙제 질문에 대해 이 방법을 테스트했습니다.

• 효과성: 이 방법은 테스트된 모든 질문에서 두 모델 모두를 성공적으로 속였습니다.
• 효율성: 필요한 교란은 최소였습니다. 평균적으로 ChatGPT 는 성공적인 교란을 찾기 위해 1.54 회, Gemini 는 1.67 회 시도가 필요했습니다.
• 문자 수: 질문당 교란된 문자의 평균 수는 ChatGPT 의 경우 약 3.09 개, Gemini 의 경우 3.01 개였습니다. 많은 경우, 단일 문자를 교란하는 것 (예: 숫자 계수 "8"을 "6"의 동형 문자로 변경) 만으로도 모델이 실패하게 하기에 충분했습니다.
• 교란 밀도에 대한 관찰: 저자들은 과도한 교란 (여러 문자 변경) 은 때때로 효과를 감소시킬 수 있다고 지적했는데, 이는 모델이 동형 문자를 인식하지 못하는 것이 아니라 새로운 공통 인자로 해석할 수 있기 때문입니다. 반면, 최소한의 교란은 종종 더 좋은 결과를 낳았습니다.
• 한계: 이 방법은 산술에 관여하는 숫자 문자에서 가장 효과적입니다. 형식 언어 정의 (예: $\{0^n1^{2n}\}$) 와 같이 순수한 기호 자리 표시자로 작용하는 문자 (예: "0"과 "1") 를 교란하는 것은 효과가 없는 것으로 나타났습니다.

의의 및 주장
이 논문은 이 방법이 이론적 컴퓨터 과학 과정에서의 AI 지원 부정행위에 대한 실용적이고 처벌적이지 않은 억제책을 제공한다고 주장합니다. 인간에게는 시각적으로 구별 불가능하지만 LLM 에게는 의미론적으로 혼란스러운 프롬프트를 수정함으로써, 강사는 학생들이 문제를 해결하기 위해 자료에 참여해야 하도록 보장할 수 있습니다. 저자들은 이 접근 방식이 "AI 생성 콘텐츠 금지" 전략에 대한 옵션을 확장하여, 신뢰할 수 없는 감지 알고리즘에 의존하지 않는 사전 예방적 방어를 제공한다고 강조합니다. 이 작업은 범위가 제한적이며, 초급 이론 문제에 특히 초점을 맞추고 있으며, 신중하게 선택된 최소한의 교란으로도 매우 강건한 LLM 이 손상될 수 있음을 보여줍니다.