기술 요약: 허위 프롬프트: 관련 없는 프롬프트가 대규모 언어 모델을 유도할 수 있는가?

문제 제기

대규모 언어 모델 (LLM) 에 대한 현재 연구는 대부분 프롬프트 민감도가 작업 관련 지시사항, 시연, 또는 추론 단서에 의해 주도된다는 가정 하에 진행됩니다. 지배적인 패러다임은 성능을 향상시키기 위해서는 프롬프트를 더 명확하거나 체계적으로 작업 대상에 대해 기술하도록 정제해야 한다는 것입니다. 본 논문은 직관에 반하는 프롬프트 민감성의 한 형태를 조사함으로써 이러한 근본적인 가정에 도전합니다. 즉, 대상 작업과 의미상 무관한 프롬프트가 모델 행동을 유도하고 성능을 크게 변화시킬 수 있는지 여부입니다. 저자들은 LLM 이 "허위 프롬프트 (spurious prompts)"에 취약할 수 있다고 주장합니다. 이는 작업 특정 어휘, 도메인 단서, 명시적 해결 전략을 의도적으로 피하는 자연어 지시이지만, 여전히 하위 모델 출력을 결정한다는 것입니다.

방법론

저자들은 허위 프롬프트를 발견하기 위한 간단한 블랙박스 검색 절차를 제안합니다. 이 방법은 모델의 기울기, 숨은 상태, 또는 가중치에 대한 접근 없이 모델 출력에만 의존합니다. 최적화 루프는 다음 구성 요소로 이루어집니다:

1. 후보 생성: LLM 생성기 (특히 Qwen3.5-27B) 에 하위 작업과 관련하여 "허위"가 되도록 후보 시스템 프롬프트를 생성하도록 지시합니다. 핵심적으로, 이러한 프롬프트는 하위 작업과 관련하여 "허위"여야 합니다. 예를 들어, 수학 추론 작업에서 생성기는 산술, 방정식, 또는 계산과 관련된 단어 사용을 명시적으로 금지받습니다. 대신, 표면적으로 작업과 무관하지만 여전히 모델이 사용자의 쿼리에 직접 답변하도록 요구하는 페르소나, 의식, 또는 스타일 (예: "튜너", "직조자", "관리자") 을 채택하도록 장려합니다.
2. 프롬프트 검증: 검증기는 작업별 어휘 필터를 사용하여 후보들을 필터링합니다. 도메인과 관련된 금지된 용어 (예: "수학", "진단", "조사") 나 명시적 추론 전략을 포함하는 모든 프롬프트는 폐기됩니다.
3. 반복적 검색 및 변이: 검증된 프롬프트는 벤치마크의 훈련 하위 집합에서 평가됩니다. 상위-K 성능을 보이는 프롬프트가 선택되어 생성기에 의해 변이되며, 이는 허위 특성을 유지하면서 페르소나, 내러티브, 또는 프레임을 다양화합니다. 재생 버퍼는 프롬프트가 서로 다른 데이터 하위 집합에서 효과적으로 유지되도록 보장합니다.
4. 최종 선택: 여러 변이 라운드 후, 검증 세트 정확도에 기반하여 최상위 성능을 보이는 프롬프트가 선택됩니다.

본 연구는 0.8B 에서 27B 파라미터까지 범위를 가진 네 가지 모델 (Qwen3.5, Llama-3.2, Olmo-3) 을 사용하여 일곱 가지 벤치마크 (GSM8K, MATH500, MedQA, GPQA, OpenBookQA, MuSR, MMLU-Pro) 에서 이러한 프롬프트를 평가했습니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 허위 프롬프트: 표면적으로는 대상 작업과 의도적으로 무관하지만 모델 성능을 강력하게 좌우하는 프롬프트의 공식적 도입.
2. 제약된 검색 절차: 작업 설명과 도메인 어휘를 명시적으로 배제하고 내부 모델 접근 없이 작동하는 이러한 프롬프트를 발견하기 위한 새로운 블랙박스 방법.
3. 실증 및 진단 분석: 허위 프롬프트가 정확도를 높일 수 있으며, 제로샷 체인 오브 씽킹 (Zero-Shot Chain-of-Thought) 과 PromptWizard 와 같은 작업 인식 최적화기를 포함한 표준 베이스라인과 일치하거나 능가할 수 있으며, 명시적 지시 없이 모델이 의도하지 않은 행동 (예: 첫 번째 옵션 선택, 짝수 생성, 또는 잘못된 답변 생성) 으로 유도할 수 있음을 입증하는 증거.

결과

실험 결과는 몇 가지 중요한 발견을 도출합니다:

• 성능 극대화: 허위 프롬프트는 종종 표준 프롬프트 베이스라인과 작업 인식형 PromptWizard 를 일치시키거나 능가합니다. 예를 들어, Qwen3.5-27B 모델에서 허위 프롬프트는 벤치마크 전반에 걸쳐 평균 정확도 **73.24%**를 달성하여 PromptWizard(67.99%) 와 제로샷 체인 오브 씽킹 (59.79%) 을 능가했습니다.
• 행동 유도: 저자들은 허위 프롬프트를 사용하여 종종 적대적인 특정 행동을 유도하는 데 성공했습니다.
  • 위치 편향: "우선성" 테마에 초점을 맞춘 프롬프트는 직접적인 명령에 비해 옵션 A 선택률을 더 높게 유도했습니다 (Qwen3.5-27B 의 GPQA 에서 최대 99.73%).
  • 잘못된 답변: 정확도를 최소화하도록 설계된 프롬프트는 "가장 잘못된 답변을 선택하라"는 직접적인 지시보다 모델이 잘못된 답변을 선택하도록 더 효과적으로 강제했습니다.
  • 수치 제약: 허위 프롬프트는 수학 출력을 짝수, 소수, 또는 10 보다 작은 숫자 쪽으로 성공적으로 유도했으며, 종종 직접적인 지시보다 우수한 성과를 보였습니다.
• 의미적 구분 불가: 프롬프트 텍스트와 작업 설명 간의 코사인 유사도 분석은 허위 프롬프트가 무작위 무관 텍스트와 유사한 유사도 점수 (약 0.09) 를 가짐을 보여주며, 이는 위장된 작업 설명이 아님을 확인시켜 줍니다.
• 효율성: 허위 프롬프트는 PromptWizard 의 최적화 프롬프트 (약 293412 토큰) 보다 훨씬 짧습니다 (약 117314 토큰), 이는 그 효능이 장황함의 부산물이 아님을 시사합니다.
• 이식성: 허위 프롬프트는 서로 다른 모델과 벤치마크 간에는 이식성이 낮아 (고유한 상호작용을 나타냄) 수학적으로 유사한 작업 (GSM8K 와 MATH500) 사이에서는 일부 이식성을 보입니다.
• 구조적 대 의미적: "지저분한 (gibberish)" 프롬프트 (대부분 무의미한 토큰) 를 사용한 제거 실험은 구조적 제약만으로도 정확도와 잘못된 답변 유도를 주도할 수 있음을 보였지만, 엄격한 위치 편향을 유도하기 위해서는 일관된 자연어 내러티브가 필요함을 보여주었습니다.

중요성과 주장

본 논문은 LLM 에서 새로운 종류의 프롬프트 민감성을 드러낸다고 주장합니다: 모델 행동과 추론 능력은 의도된 작업과 완전히 분리된 잠재적 특징에 의해 강력하게 유도될 수 있습니다.

저자들은 이 발견이 프롬프트의 효과성이 더 나은 작업 설명에서 비롯되어야 한다는 가정에 도전한다고 강조합니다. 대신, 표면적으로 무관한 지시는 모델 성능을 실질적으로 변화시키는 행동을 유도할 수 있습니다. 본 논문은 이러한 민감성이 LLM 에서 지시 따위가 어떻게 작동하는지에 대해 새로운 질문을 제기하며, 프롬프트 민감성 평가가 작업 관련 변이를 넘어 겉보기에 무관한 허위 프롬프팅을 포함하도록 확장되어야 함을 시사합니다.

저자들은 함의에 대해 겸손한 입장을 유지합니다: 결과가 매혹적이고 진단적이지만, 허위 프롬프트가 최첨단 (SotA) 결과를 달성하기 위한 보편적 알고리즘이라고 주장하지는 않습니다. 대신, 그들은 추가적인 조사가 필요한 내부 유도 메커니즘과 현재 LLM 의 견고성에 대한 취약점과 통제 메커니즘을 강조합니다.