기술 요약: 동일한 페이로드, 다른 채널

1. 문제 정의

대규모 언어 모델(LLM)이 단순한 챗봇을 넘어 외부 API를 호출하고, 도구 출력을 읽고, 제3자 콘텐츠에 따라 행동할 수 있는 자율 에이전트로 전환됨에 따라, 공격 표면은 직접적인 사용자 입력 그 이상으로 확장되었습니다. 최근의 벤치마크들은 도구 설명(도구 포이즈닝) 및 도구 출력(간접 프롬프트 인젝션)의 취약성을 기록해 왔으나, 특정 악성 지침에 대한 모델의 취약성이 전달 채널에 따라 달라지는지 여부를 체계적으로 조사하지는 않았습니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 악성 텍스트가 바이트 단위로 동일하더라도, 해당 지침이 사용자 메시지를 통해 전달될 때와 도구 메타데이터(설명) 또는 도구 출력을 통해 전달될 때 모델은 이를 다르게 취급하는가?

2. 방법론

안전 비대칭 점수 (Safety Asymmetry Score, SAS)

저자들은 채널 의존적 신뢰도를 정량화하기 위해 **안전 비대칭 점수(SAS)**를 도입했습니다. 모델 $M$과 공격 사례 세트 $C$에 대해, SAS는 다음과 같이 정의됩니다:
$$SAS(M) = ASR_{tool}(M) - ASR_{chat}(M)$$
여기서 $ASR$은 공격 성공률(Attack Success Rate)입니다.

• 양(+)의 SAS: 공격이 도구 채널을 통해 전달될 때 모델이 더 취약함.
• 음(-)의 SAS: 공격이 사용자 메시지(채팅)를 통해 전달될 때 모델이 더 취약함.

매치드 페이로드(Matched-Payload) 구성

채널을 유일한 실험 변수로 격리하기 위해, 본 연구는 매치드 페이로드 설계를 채택했습니다. 모든 공격 사례에 대해 두 가지 프롬프트를 구성합니다:

1. 채팅 프롬프트 (Chat Prompt): 악성 지침이 사용자 메시지에 포함됨.
2. 도구 프롬프트 (Tool Prompt): 동일한 악성 지침이 도구 메타데이터(설명) 또는 도구 출력에 포함됨.

이 페이로드들은 다음 항목을 공유합니다:

• 악성 동작 (예: 승인되지 않은 파일 읽기).
• 그럴듯한 정당화 (준수 근거를 조작하여 생성).
• 기저의 사용자 작업.
• 샘플링 파라미터 (temperature 0, max tokens 1024).

차이점은 오직 지침의 구문론적 위치와 도구 정의의 존재 여부뿐입니다.

실험 설정

• 모델: 6개의 프로덕션급 LLM (에이전트 특화 모델 3종: Nemotron 3, GPT-OSS, Kimi K2.5; 범용 모델 3종: Llama 3.3, Qwen3, GLM 4.5).
• 공격 패밀리: 세 가지 범주에 걸친 98개의 사례:
  1. 도구 포이즈닝 (Tool Poisoning, 50개 사례): 도구 설명 내의 악성 지침.
  2. 도구 출력을 통한 간접 프롬프트 인젝션 (IPI via Tool Output, 24개 사례): 도구 반환 값에 주입된 지침.
  3. 교차 도구 섀도잉 (Cross-Tool Shadowing, 24개 사례): 다른 도구를 겨냥하여 한 도구의 설명에 삽입된 지침.
• 스코어링: 결과는 SUCCESS, IGNORED, REFUSED, DIRECT-EXECUTION, AMBIGUOUS, ERRORED로 분류됩니다. ASR은 모호하거나 에러가 발생하지 않은 트레이스(trace)를 기준으로 계산됩니다.

메커니즘 분석

음(-)의 SAS를 보인 Llama 3.3 70B 모델에 대해 저자들은 다음을 수행했습니다:

• 선형 프로빙 (Linear Probing): 마지막 토큰의 잔차 스트림(residual stream) 활성화를 학습시켜 적대적(adversarial) 콘텐츠와 양호한(benign) 콘텐츠를 탐지하는 로지스틱 회귀 프로브를 훈련함.
• 활성화 패칭 (Activation Patching): 특정 레이어(16, 32, 48, 64)에서 적대적 프롬프트의 활성화를 양호한 프롬프트로, 혹은 그 반대로 패칭하여 필요성과 충분성을 테스트하는 인과적 개입.

3. 주요 결과

행동적 비대칭성

• 그룹 간 격차: 에이전트 특화 모델은 평균 +24.8 pp의 SAS를 보인 반면, 범용 모델은 평균 -5.6 pp를 기록하여, 그룹 간 격차는 +30.4 pp에 달했습니다.
• 도구 포이즈닝: 에이전트 특화 모델은 채팅 공격(ASR 11–22%)보다 도구 포이즈닝(ASR 40–68%)에 현저히 더 취약했습니다. 범용 모델은 이와 반대되는 패턴을 보였습니다.
• IPI 역전 현상: 간접 프롬프트 인젝션 패밀리에서, 모든 모델은 음(-)의 SAS를 나타냈습니다. 도구 출력은 사용자 메시지보다 덜 권위적인 것으로 취급되어, 도구 포이즈닝과 비교했을 때 비대칭성이 역전되었습니다.
• 해석: 에이전트 특화 모델은 암묵적으로 도구 설명을 신뢰할 수 있는 지침으로, 도구 출력을 일반적인 데이터로 취급합니다. 범용 모델은 사용자 메시를 권위 있는 것으로 취급하는 기본 설정을 가집니다.

메커니즘적 발견 (Llama 3.3 70B)

• 선형 프로브 실패: 높은 거절률이 더 강한 선형 신호를 의미할 것이라는 가설과 달리, 선형 프로브는 채팅 채널보다 도구 채널에서 더 낮은 성능을 보였습니다 (채팅 정확도: ~0.95–0.99; 도구 정확도: ~0.87–0.93).
• 교차 채널 전이 실패: 한 채널에서 훈련된 프로브는 다른 채널로 일반화되지 못했습니다 (정확도가 ~0.50–0.55로 하락). 이는 안전 신호가 채널별로 특화되어 있으며 공유된 선형 축이 아님을 나타냅니다.
• 활성화 패칭 성공: 선형 프로브의 실패에도 불구하고, 레이어 48과 64(총 80개 중)에서의 인과적 패칭은 모델의 출력을 변화시키는 데 성공했습니다.
  • 적대적 활성화를 양호한 프롬프트에 패칭했을 때, 모델 출력이 적대적 토큰 쪽으로 이동했습니다 (충분성).
  • 양호한 활성화를 적대적 프롬프트에 패칭했을 때, 모델 출력이 양호한 토큰으로 복구되었습니다 (필요성).
  • 두 방향 모두 0을 제외한 신뢰 구간을 가지며 유의미한 양의 변화를 보였습니다.
• 결론: 안전 관련 표현은 중후반 네트워크 깊이에서 인과적으로 존재하지만, 비선형적으로 인코딩되어 있어 선형 프로브를 무력화합니다.

외부 검증

저자들의 도구 포이즈닝 사례에 대한 모델별 순위는 MCPTox 벤치마크의 순위와 상관관계($\rho = 0.54$)를 보여, 관찰된 취약성이 특정 사례 구성의 인위적 결과가 아님을 입증했습니다.

4. 주요 기여

1. SAS의 정의: 매치드 페이로드를 사용하여 채널 의존적 신뢰 비대칭을 측정하는 지표를 제시했습니다.
2. 경험적 발견: 에이전트 특화 모델이 사용자 메시보다 도구 메타데이터를 더 신뢰하는 체계적인 사각지대를 발견했으며, 이 취약성이 도구 출력에서는 역전된다는 점을 밝혀냈습니다.
3. 메커니즘적 통찰: 안전 신호가 인과적으로는 중요하지만 비선형적으로 인코딩되어 있어, 선형 안전 분류기가 이를 탐지하지 못하는 이유를 입증했습니다.
4. 벤치마킹: 6개의 모델과 3개의 공격 패밀리에 대한 엄격한 평가를 통해, "도구가 위험하다"는 표현은 지나친 단순화이며, 위험은 채널과 모델의 훈련 목표에 따라 구체적으로 달라진다는 것을 드러냈습니다.

5. 의의 및 주장

본 논문은 현재 도구를 사용하는 모델들에 존재하는 체계적이고 채널 의 dependent한 사각지대를 폭로한다고 주장합니다. 연구 결과는 다음과 같은 시사점을 줍니다:

• 신뢰 캘리브레이션 (Trust Calibration): 모델은 전달 채널(메타데이터 = 지침, 출력 = 데이터, 사용자 메시 = 요청)에 따라 암묵적으로 신뢰를 조정합니다.
• 방어 전략의 함의: 선형 안전 분류기(프로브)는 도구 채널 공격을 탐지하는 데 불충분합니다. 왜냐하면 관련 표현이 중후반 레이어에서 비선형적으로 인코딩되기 때문입니다. 효과적인 방어는 희소 자동 인코더(sparse autoencoders)와 같은 비선형 방법을 사용하여 이러한 깊이에서 작동해야 합니다.
• 한계: 본 연구는 범위 측면에서 겸손한 태도를 취합니다. 현상을 측정하고 국지화할 뿐, 해결책을 제안하지는 않습니다. 메커니즘적 발견은 하나의 모델(Llama 3.3 70B)과 하나의 공격 패밀리(도구 포이즈닝)에 국한됩니다. 그룹 수준의 통계적 주장은 작은 표본 크기($n=3$ per group)를 기반으로 하므로, 저자들은 p-값을 대신하여 효과의 방향과 크기를 보고합니다.

이 연구는 LLM이 에이전트가 됨에 따라, "공격 표면"은 단순히 프롬프트의 내용뿐만 아니라 그 내용이 도착하는 **맥락(context)**까지 확장됨을 강조합니다.