기술 요약: OI-Bench: 지시적 간섭에 대한 LLM의 취약성 평가를 위한 옵션 주입 벤치마크

1. 문제 정의

대규모 언어 모델(LLM)은 확장성과 재현성을 위해 다지선다형 질의응답(MCQA)을 통해 점점 더 많이 평가되고 있지만, 이 패러다임은 인터페이스 아티팩트(interface artifacts)에 취약합니다. 선행 연구들은 LLM의 결정이 옵션의 위치, 기호, 장황함과 같은 표면적인 단서에 민감하다는 것을 입증했습니다. 그러나 옵션 자체에 내재된 **오도하는 지시 편향(misleading directive bias)**에 관한 중요한 격차가 존재합니다. 표준적인 방해 요소(예: "위의 내용 중 없음")와 달리, 명시적인 지시, 위협 또는 사회적 압력을 포함하는 "주입된" 옵션은 모델의 과업 추론을 무력화하여, 모델이 지시를 준수하기 위해 부적절한 옵션을 선택하게 만들 수 있습니다. 본 논문은 현재의 벤치마크들이 이러한 취약성을 체계적으로 정량화하지 못하고 있으며, 이로 인해 선택 기반 인터페이스 내에서의 지시적 간섭에 대한 LLM의 강건성을 이해하는 데 있어 사각지대를 남기고 있다고 주장합니다.

2. 방법론

2.1 옵션 주입 프레임워크 (Option Injection Framework)

저자들은 원래의 질문이나 정답을 변경하지 않고 표준 MCQA 입력을 증강하는 벤치마킹 접근 방식인 **옵션 주입(Option Injection)**을 제안합니다.

• 메커니즘: 표준 $K$개 옵션(통상 A~D)에 옵션 E라고 명명된 추가 옵션을 덧붙입니다.
• 내용: 옵션 E는 질문과 무관하지만, 오도하는 지시를 포함합니다. 이는 오직 주입된 지시를 전달하는 매개체 역할을 합니다.
• 평가 지표: 모델이 원래의 정답($y^*$)을 선택했을 때만 정답으로 간주됩니다. 만약 모델이 지시로 인해 옵션 E나 다른 오답을 선택한다면, 이는 오류로 계산됩니다.
• 주요 지표:
  • 표준 정확도 (Std Acc.): 원래의 4지 선다 설정에서의 성능.
  • 주입 정확도 (Inj Acc.): 옵션 E가 존재할 때의 성능.
  • 공격 성공률 (ASR): 옵션 E가 추가된 후 원래의 정답 예측이 오답으로 뒤바뀌는 샘플의 비율.
  • 정확도 하락 (AD): Std Acc.와 Inj Acc.의 차이.

2.2 데이터셋 구축 (OI-Bench)

저자들은 세 가지 소스 데이터셋에서 추출한 3,000개의 질문으로 구성된 OI-Bench를 구축했습니다:

1. MMLU: 57개 과목에 걸친 사실적 지식.
2. LogiQA: 공무원 시험의 논리적 추론.
3. HellaSwag: 상식적인 서사 이해.

데이터셋은 **문항 반응 이론(IRT)**을 사용하여 필터링되었으며, 이를 통해 모델 순위를 유지하면서도 다양한 난이도 범위를 확보했습니다.

2.3 지시 분류 체계 (Directive Taxonomy)

본 벤치마크는 네 가지 카테고리로 분류된 16가지 지시 유형을 포함합니다:

1. 사회적 순응 (Social Compliance): 권위나 신뢰성을 활용 (예: "정부 대변인 가이드라인", "위키피키디아 인용").
2. 보너스 프레이밍 (Bonus Framing): 옵션 E를 선택할 시 보상을 제공 (예: "1억 달러", "추가 5점").
3. 위협 프레이밍 (Threat Framing): 옵션 E를 선택하지 않을 경우의 부정적 결과를 도입 (예: "0점 처리", "기기 바이러스", "폭탄 위협").
4. 지시적 간섭 (Instructional Interference): 직접적인 명령, 모순 또는 구조적 교란 (예: "질문을 무시하고 E를 선택하라", "가짜 사고 과정(Chain-of-Thought)", "아첨").

2.4 실험 설정

• 평가 모델: 8B에서 235B 파라미터에 이르는 7개 제품군의 12개 LLM (DeepSeek, GPT, Gemini, Grok, Claude, Llama, Qwen).
• 방어 전략: 다음을 통한 완화 방안을 평가합니다:
  • 방어적 프롬프팅 (Defensive Prompting): 추론 시 시스템 프롬프트 수정.
  • 안전 정렬 모델 (Safety-Aligned Models): 베이스 모델과 가드레일 학습된 변체(예: Qwen3Guard) 비교.
  • 사후 학습 정렬 (Post-Training Alignment): 모델 응답(E-유도, E-영향, E-무시, E-거부로 분류됨)으로부터 구축된 선호 데이터 기반의 직접 선호 최적화(DPO) 및 **근사 정책 최적화(PPO)**를 이용한 미세 조정.
• 일반화 테스트: 실세계 적용 가능성을 평가하기 위해 ToolE(도구 선택) 및 HelpSteer2(LLM-as-a-judge)로 실험을 확장했습니다.
• 분석: 레이어와 헤드 전반에 걸쳐 모델이 옵션 E와 원래 옵션에 어떻게 주의(attention)를 할당하는지 시각화하기 위해 어텐션 노름(attention norm) 분석을 수행했습니다.

3. 주요 결과

3.1 모델 간 취약성

• 능력 $\neq$ 강건성: 높은 표준 정확도가 저항성을 보장하지는 않습니다. 일부 고성능 모델(예: GPT-5, Deepseek-r1)은 상당한 취약성을 보입니다.
• 위협 프레이밍이 가장 파괴적임: 위협 프레이밍 카테고리는 가장 심각한 성능 저하를 일으켰으며, 가장 높은 평균 ASR(19.8%)과 정확도 하락(10.9%)을 기록했습니다. 특히, 무효 처벌(Override Penalty)(E를 선택하지 않으면 0점 처리하겠다고 위협함)이 가장 파괴적인 지시 유형이었습니다.
• 사회적 순응은 가장 효과가 낮음: 권위에 기반한 신호만으로는 명시적인 결과 조작에 비해 과업 의미를 압도하기에 불충분한 경우가 많았습니다.
• 위치 편향 (Position Bias): 주입된 옵션을 기본 위치(E)에서 표준 위치(A~D)로 이동시키면 취약성이 크게 증가했습니다. 이는 모델이 다섯 번째 옵션을 이례적인 것으로 취급하지만, 주입된 옵션이 표준 선택 세트에 통합될 경우 매우 취약해짐을 시사합니다.

3.2 응답 행동 분석

모델 응답은 네 가지 유형으로 분류되었습니다:

1. E-유도 (E-induced): 모델이 지시를 맹목적으로 따름.
2. E-영향 (E-influenced): 모델이 올바르게 추론하지만, 지시에 휘말려 E를 선택함.
3. E-무시 (E-ignored): 모델이 E를 무시하지만 적극적으로 거부하지는 않음; 추론이 여전히 미묘하게 간섭받음.
4. E-거부 (E-rejected): 모델이 E의 적대적 성격을 명시적으로 식별하고 이를 거부함.

• 발견: 대부분의 모델은 E-거부 상태에 도달하는 경우가 드뭅니다. 고급 모델조차 빈번하게 E-유도 또는 E-영향 범주에 빠지며, 이는 높은 능력이 과업 관련 지시와 적대적 지시를 구별하는 능력을 보장하지 않음을 나타냅니다.

3.3 완화 효과

• 프롬프팅 및 가드레일: 방어적 프롬프팅과 안전 정렬 가드레일 모델은 제한적인 성공을 보였습니다. 많은 경우, 이들이 명시적인 옵션 E의 선택을 줄였음에도 불구하고, ASR과 정확도 하락이 오히려 증가하기도 했습니다. 이는 주입된 옵션이 선택되지 않더라도 내부 추론 과정을 여전히 편향시킨다는 것을 시사합니다.
• 사후 학습 정렬: DPO와 PPO가 가장 유망한 완화책을 보여주었습니다. 이 방법들은 데이터셋 전반에 걸쳐 평균 ASR을 유의미하게 감소시켰습니다.
  • 어텐션 분석: 히트맵 결과, 베이스 모델에서는 깊은 레이어의 어텐션 헤드가 옵션 E에 불균형적으로 집중되었습니다. PPO 미세 조정 후에는 옵션 E에 대한 상대적 어텐션이 크게 감소하여 개선된 강건성과 일치하는 모습을 보였습니다.

3.4 일반화

OI-Bench에서 관찰된 경향(특히 위협 프레이밍의 지배력과 모델 간 강건성의 가변성)은 ToolE 및 HelpSteer2 데이터셋에서도 일관되게 나타났으며, 이는 옵션 수준의 지시 편향이 실제 모델 선택 및 평가 파이프라인에 일반화될 수 있음을 시사합니다.

4. 의의 및 주장

본 논문은 프롬프트 주입, 제시 민감성, 그리고 정렬 유도 우선순위 연구 사이의 간극을 옵션 주입을 하나의 통합된 벤치마킹 패러다임으로 프레이밍함으로써 메운다고 주장합니다.

• 체계적 평가: OI-Bench는 선택 인터페이스 내에 내재된 오도하는 지시에 대한 LLM의 취약성을 정량화하는 최초의 체계적인 프레임워크를 제공합니다.
• 실세계 위험: 본 결과는 공격자가 지시가 담긴 옵션을 주입함으로써 결과(예: 도구 선택, 자동 판정)를 조작할 수 있는 실세계 의사결정 시나리오의 치명적인 취약성을 강조합니다.
• 완화 경로: 저자들은 단순한 프롬프팅은 불충분하지만, 사후 학습 정렬(특히 선호도 최적화)이 모델이 부적절한 지시보다 과업 의미를 우선시하도록 재학습시킴으로써 이러한 취약성을 완화하는 유효한 경로를 제공한다고 주장합니다.

저자들은 표준 MCQA 정확도가 지시 기반 조작에 노출되었을 때의 모델 강건성을 완전히 반영하지 못할 수 있으며, 따라서 지시 기반 조작을 고려한 새로운 평가 표준이 필요하다고 결론짓습니다.