기술 요약: 방해 요소 견고성에서의 유용성의 저주

1. 문제 정의

이 논문은 검색 증강 생성 (RAG) 및 에이전트 시스템에 배포된 대규모 언어 모델 (LLM) 의 치명적인 신뢰성 격차를 다룹니다. 이러한 환경에서 모델은 외부에서 제공된 참조 텍스트를 기반으로 사용자가 지정한 작업을 수행해야 합니다. 그러나 실제 세계의 참조 데이터는 종종 비정형적이며 " benign 하지만 지시적인 의미 잡음"으로 오염되어 있습니다. 예시로는 편집 주석 (예: "이 단락을 수정하세요"), UI 잔여물 (예: "JSON 으로 출력하세요"), 그리고 문서 내에 포함된 시스템 추적 등이 있습니다.

핵심 문제는 모델이 이러한 임베디드 텍스트를 엄격하게 수동 데이터로 취급하지 못한다는 점입니다. 대신 모델은 "암묵적 방해 요소"에 굴복하여 잡음을 실행 가능한 제약 조건으로 오해하거나, 자료의 일부를 무시하거나, 사용자의 주요 명령보다 추론된 지시를 우선시합니다. 이전 연구는 노골적인 적대적 공격이나 명시적 프롬프트 인젝션에 초점을 맞췄지만, 이 논문은 진정한 통신 산물에서 비롯된 우발적 간섭의 미묘하고 광범위한 위험을 대상으로 합니다.

2. 방법론

2.1. DISTRACTIONIF 벤치마크

이 능력을 평가하기 위해 저자들은 참조 기반 작업에서 암묵적 지시 유사 잡음에 대한 견고성을 측정하도록 설계된 DISTRACTIONIF 벤치마크를 도입했습니다.

• 구축: 이 벤치마크는 주요 지시문을 샘플링하고 참조 텍스트 내에 정확히 세 개의 "방해 의도" (40 개 이상의 benign 하지만 오해의 소지가 있는 조각들에서 추출) 를 임베드합니다. 이러한 함정은 합성 태그가 아닌 자연스럽고 낮은 주도의 산물 (예: 부기, TODO 메모) 로 재작성됩니다.
• 상호작용 패러다임: 이 벤치마크는 세 가지 배포 현실 시나리오에서 모델을 평가합니다:
  1. 단일 턴: "붙여넣기 및 처리" (지시문과 텍스트를 하나의 메시지에 포함).
  2. 멀티 턴: "자료 후 지시" (텍스트를 먼저 제공하고 나중에 지시문 제공).
  3. 시스템 프롬프트 주도: 시스템 프롬프트에 주요 지시문을, 사용자 입력에 참조 텍스트를 포함.
• 평가 프로토콜: 엄격한 루브릭 기반 채점 시스템이 사용됩니다. 모델이 주요 작업을 올바르게 수행하고, 세 개의 임베디드 방해 요소를 모두 무시하며, 형식 무결성을 유지하는 경우에만 인스턴스가 통과합니다. 평가는 수동 감사와 검증된 LLM-as-a-judge(GPT-4o) 를 통해 수행됩니다.

2.2. 기작 분석

저자들은 모델의 내부 확률 분포를 조사하기 위해 퍼플렉시티 (PPL) 분석을 사용합니다. 그들은 **견고성 마진 비율 (RMR)**을 $RMR = PPL_{Bad} / PPL_{Gold}$로 정의합니다. 여기서 $PPL_{Bad}$는 방해받은 (실패) 출력의 퍼플렉시티이고 $PPL_{Gold}$는 올바른 (골드) 출력의 퍼플렉시티입니다. 높은 RMR 은 올바른 행동과 방해 요소 추종 행동 사이의 명확한 확률적 분리를 나타냅니다.

2.3. 강화 학습을 통한 완화

관찰된 실패를 해결하기 위해 이 논문은 **그룹 상대적 정책 최적화 (GRPO)**를 사용하는 것을 제안합니다. 모델은 데이터와 지시를 명확히 분리하도록 명시적으로 장려하는 루브릭 기반 보상 신호를 사용하여 미세 조정되며, 이는 일반 지시 수행 능력을 훼손하지 않으면서 견고성 마진을 넓이는 것을 목표로 합니다.

3. 주요 결과

3.1. 역 스케일링 법칙

주요 발견 중 하나는 반방해 견고성에서 일관된 역 스케일링 현상입니다. Qwen3 계열 (0.6B 에서 235B 파라미터로 확장) 전반에 걸쳐 더 큰 모델은 현저히 낮은 견고성을 보입니다.

• 성능 하락: 비사고 (non-thinking) 구성 하에서 Qwen3 모델의 매크로 평균 통과율은 65.97%(0.6B) 에서 37.6%(235B) 로 하락했습니다.
• 기작: 퍼플렉시티 분석에 따르면 모델 규모가 커질수록 견고한 행동과 방해받는 행동 사이의 확률적 경계가 침식됩니다. 더 큰 모델은 의미 잡음을 유효하고 고확률 지시문으로 해석하는 경향이 증가하여, 결과적으로 "골드"와 "나쁜" 경로 사이의 구분을 무너뜨립니다.

3.2. "사고" (Chain-of-Thought) 의 역할

명시적 추론 (사고) 을 활성화하는 영향은 비단조적이며 아키텍처에 의존적입니다:

• 밀집 모델: 소형에서 중형 밀집 모델 (~32B 까지) 에서 사고를 활성화하면 성능이 일관되게 악화되어 지시 유사 산물에 대한 주의를 증폭시킵니다.
• MoE 아키텍처: 더 큰 혼합 전문가 (Mixture-of-Experts, MoE) 모델에서 사고를 활성화하면 견고성 향상을 가져오며, 이는 충분한 용량과 희소 활성화와 결합될 때만 향상된 추론이 방해 요소를 효과적으로 필터링할 수 있음을 시사합니다.

3.3. RL 완화

GRPO 를 사용한 강화 학습은 문제를 성공적으로 완화합니다. 벤치마크에서 Qwen3-8B 모델을 미세 조정한 결과는 다음과 같습니다:

• 시스템 프롬프트 패러다임에서 **15.5%**의 견고성 향상.
• 모든 상호작용 패러다임에 걸친 일관된 향상.
• 표준 벤치마크 (IFBench, IFEval) 에서 일반 지시 수행 능력의 유지 (또는 slight 개선).
• 기작 회복: RL 후 RMR 이 1.45 에서 1.51 로 증가하여, 모델의 내부 선호도 구조가 견고한 행동과 방해받는 행동을 더 명확히 구분하도록 성공적으로 재형성되었음을 나타냅니다.

4. 중요성 및 주장

이 논문은 참조 기반 작업에서 중요한 "지시 수행 견고성 격차"를 확립하여 더 큰 모델이 보편적으로 더 신뢰할 수 있다는 가정에 도전합니다. 주요 기여는 다음과 같습니다:

1. 벤치마킹: "더러운" 컨텍스트에서 데이터 - 지시 분리를 측정하기 위한 표준화된 테스트베드로 DISTRACTIONIF를 도입하여 적대적 인젝션을 넘어 benign 의미 잡음으로 범위를 확장했습니다.
2. 경험적 발견: 견고성 마진의 "침식"에 의해 주도되는 잡음 환경에서 능력 확장이 견고성 감소를 초래하는 역 스케일링 법칙을 문서화했습니다.
3. 기작 통찰: 확률적 분리가 축소되는 현상을 보여주는 확률 기반 분석을 제공하며, 이를 "유용성의 저주"(모델이 잡음을 과도하게 해석하여 도움이 되려 함) 라고 명명했습니다.
4. 실용적 해결책: 강화 학습(특히 루브릭 기반 보상을 갖춘 GRPO) 이 손실된 견고성 마진을 부분적으로 회복할 수 있음을 입증하여 대규모 배포에서 엄격한 데이터 - 지시 분리를 강제할 수 있는 실현 가능한 경로를 제시했습니다.

저자들은 의미 간섭에 대한 견고성이 규모나 추론만의 직접적인 결과가 아니라 아키텍처 기작과 이들의 상호작용에서 비롯된다고 강조합니다. 그들은 그들의 발견을 사용자 의도와 수동 데이터를 구별할 수 있는 더 안전한 AI 에이전트 및 RAG 시스템을 개발하기 위한 전제 조건으로 위치시킵니다.