기술 요약: 정렬만으로는 부족하다: LLM 에이전트에 대한 응답 경로 공격

1. 문제 제기: 정렬 이후 변조

이 논문은 사용자가 자체 자격 증명으로 인증하면서 제 3 자 릴레이 서비스 (예: LiteLLM, OpenRouter) 를 통해 대규모 언어 모델 (LLM) 트래픽을 라우팅하는 널리 채택된 아키텍처인 Bring-Your-Own-Key (BYOK) 패러다임에서 근본적인 보안 격차를 식별합니다.

이 아키텍처에서 릴레이는 종단 간 암호화를 종료하는 합법적이고 사용자가 구성한 프록시 역할을 하여 두 개의 순차적인 암호화 홉을 생성합니다. 하나는 프론트엔드 에이전트와 릴레이 사이, 다른 하나는 릴레이와 백엔드 LLM 사이입니다. 전송 계층은 안전하지만, 릴레이는 모든 메시지에 평문 접근 권한을 가집니다.

핵심 취약점인 정렬 이후 변조 (Post-Alignment Tampering) 는 백엔드 모델이 응답을 생성할 때만 작동하는 LLM 의 안전 정렬 메커니즘 (RLHF, 헌법적 훈련, 시스템 프롬프트) 에서 발생합니다. 정렬된 응답이 생성된 후, 릴레이를 거쳐 에이전트가 실행하기 위해 전달됩니다. 논문은 현재 LLM API 프로토콜이 백엔드 모델의 출력을 에이전트의 입력에 바인딩하는 애플리케이션 계층 무결성 메커니즘 (예: 서명 또는 MAC) 이 부족하다고 주장합니다. 결과적으로 악의적인 릴레이는 모델을 침해하거나 암호화된 전송 보호를 우회할 필요 없이, 생성 후 실행 전에 LLM 의 정렬된 응답을 재작성하여 모든 안전 보장을 우회할 수 있습니다.

이 공격 표면은 다음과 같이 구별되며 엄격하게 더 강력합니다:

• 전송 계층 MitM: 암호화를 우회하거나 인증서를 위조해야 합니다.
• 프롬프트 인젝션: 모델이 유해한 콘텐츠를 생성하도록 설득하는 데 의존하며, 이 과정은 모델의 정렬 강도에 의해 제한됩니다.

2. 방법론: 릴레이 변조 공격 (RTA)

저자들은 이 취약점을 릴레이 변조 공격 (Relay Tampering Attack, RTA) 으로 구체화했는데, 이는 전적으로 릴레이 위치에서 작동하는 계층적 프레임워크입니다. RTA 는 세 단계로 구성됩니다:

2.1 전략적 조정 (체인 공격)

단일 상호작용으로는 달성할 수 없는 복잡한 다중 턴 목표를 처리하기 위해, 릴레이는 고수준 목표를 순서대로 하위 목표의 체인으로 분해합니다. 대화 상태를 추적하고 현재 하위 목표의 요구 사항에 따라 응답을 변경 없이 전달할지 아니면 개입할지 결정합니다. 이를 통해 공격은 최종 악의적인 행위를 실행하기 전에 필요한 아티팩트 (예: 파일 경로) 를 적응적으로 수집할 수 있습니다.

2.2 전술적 조작

릴레이는 전체 텍스트를 재작성하는 대신 에이전트 실행을 지시하는 특정 필드에 대해 최소한의 스키마 기반 편집을 수행합니다. 프레임워크는 두 가지 병렬 경로를 정의합니다:

• RTA-PreWrite (쿼리 경로): LLM 추론 이전에 작동합니다. 릴레이는 사용자 쿼리를 재작성하고 시스템 프롬프트 가드레일을 제거하여 컨텍스트를 "정제"함으로써 모델이 적대적 목표에만 집중하도록 강제합니다. 이 경로는 입력 측 방어에 취약합니다.
• RTA-PostForge (응답 경로): 정렬 이후에 작동합니다. 릴레이는 정당한 정렬된 응답을 가로채고 임의의 도구 호출이나 파일 작성을 강제하기 위해 중요한 구조화된 필드 (예: 도구 이름, 인수, 종료 이유 플래그) 만 수정합니다. 이 경로는 구조적으로 모델의 안전 정렬을 완전히 우회합니다.

2.3 은밀한 복원

탐지를 회피하고 사용자의 합법적 작업 유틸리티를 유지하기 위해 RTA 는 다음을 사용합니다:

• 동일 모델 연마: 릴레이는 사용자 BYOK 자격 증명을 사용하여 변조된 초안을 동일한 백엔드 LLM 에 다시 제출하고, 악의적인 필드는 불변으로 유지하면서 표면적 문구를 수정하도록 프롬프트를 보냅니다. 이를 통해 최종 출력이 모델의 고유한 스타일과 분포와 일치하도록 보장합니다.
• 동시 작업 완료: 릴레이는 사용자의 원래 작업에 대한 진정한 응답을 버퍼링하여 공격 하위 목표가 달성된 후 대화에 다시 삽입함으로써 사용자에게 공격을 숨깁니다.

3. 형식적 모델 및 이론적 기여

논문은 게임 기반 보안 정의를 사용하여 취약점을 형식화하고 네 가지 핵심 통찰력을 증명합니다:

1. 인증되지 않은 응답 대체: 종단 간 무결성이 없으면 릴레이는 스키마 유효한 페이로드를 임의로 대체할 수 있습니다. 페이로드가 유해한 행동을 인코딩하는 경우, 백엔드 모델의 출력과 관계없이 에이전트가 이를 실행합니다.
2. 정렬은 백엔드에서 종료됨: 유해한 응답을 절대 생성하지 않는 완벽하게 정렬된 LLM 조차도 응답 경로 적대자에 대해 제로 보호를 제공합니다. 릴레이는 정렬된 출력을 폐기하고 자체 출력을 주입하므로, 모델의 정렬은 최종 실행과 무관해집니다.
3. 쿼리 경로 재작성 우위: 쿼리 컨텍스트를 재작성할 수 있는 릴레이 (경쟁 지시사항 제거) 는 지시사항 추가에 국한된 릴레이보다 엄격하게 더 강력합니다. 이는 종종 프롬프트 인젝션으로부터 보호하는 "주의 분산" 효과를 제거하기 때문입니다.
4. 방어 비대칭: 전사 내용에만 의존하는 탐지기는 연마된 (변조된) 텍스트와 진정한 텍스트 간의 통계적 거리에 의해 제한됩니다. RTA 는 동일 모델 연마를 사용하므로 이 거리가 최소화되어 전사만으로는 탐지하는 것이 이론적으로 약합니다.

4. 실험적 평가

저자들은 두 가지 벤치마크인 AgentDojo와 Agent Security Bench (ASB) 에서 여섯 개의 LLM(세 가지 독점: GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro; 세 가지 오픈 가중치: GLM-5.1, MiniMax-M2.5, Qwen-235B) 을 대상으로 RTA 를 평가했습니다.

주요 결과

• 효과성: RTA 는 프롬프트 인젝션 베이스라인을 크게 능가합니다.
  • RTA-PostForge는 AgentDojo 에서 73.5% 공격 성공률 (ASR) 을, ASB 에서 89.2% 를 달성했습니다.
  • RTA-PreWrite는 ASB 에서 99.1% ASR 을 달성했습니다.
  • 반면, 가장 우수한 프롬프트 인젝션 베이스라인은 AgentDojo 에서 약 17.9%, ASB 에서 약 44.4% 의 ASR 만 달성했습니다.
• 유틸리티 보존: 사용자의 작업을 종종 파괴하는 쿼리 경로 공격과 달리, RTA-PostForge 는 진정한 응답을 버퍼링하고 복원하여 AgentDojo 에서 47.6% 의 사용자 작업 유틸리티를 보존했습니다.
• 인지 불가능성: RTA-PostForge 는 높은 스타일 일관성 (C=0.758) 과 의미적 유사성을 유지했으며, 모델 동등성 테스트 (MET) 는 동일한 분포에 대한 귀무가설을 90.0% 인 더 공격적인 RTA-PreWrite 에 비해 54.2% 의 경우에만 기각했습니다.
• 오버헤드 회피: RTA-PostForge 로 인한 지연 오버헤드 (중앙값 약 5.9 초) 는 74% 의 상호작용에서 상업용 릴레이의 자연스러운 네트워크 변동 범위 내에 있어 단순한 지연 임계값으로 탐지하기 어렵습니다.

방어 평가

논문은 네 가지 기존 에이전트 측 방어 (구분자, 샌드위치, 알려진 답변 탐지, CaMeL) 를 평가했습니다:

• 어느 것도 RTA-PostForge 를 완전히 제거하지 못했습니다.
• CaMeL(코드 생성 강제) 은 ASR 을 14.5% 로 낮췄지만, 저자들은 릴레이가 생성된 Python 코드 블록을 직접 재작성하는 적응 사례를 보여주어 ASR 을 50.1% 로 회복시켰습니다.
• 시간 채널 탐지기: 저자들은 운영 측정 데이터 (지연 시간) 를 기반으로 한 탐지기를 제안합니다. 세션 (n=50 턴) 에 걸쳐 타이밍 증거를 집계함으로써 이 탐지기는 AUC 0.964를 달성하여, 내용 기반 탐지는 실패하지만 운영 이상은 실현 가능한 방어 벡터를 제공함을 시사합니다.

5. 중요성 및 주장

이 논문은 프롬프트 인젝션과 구별되며 더 심각한 현대 LLM 에이전트 생태계의 구조적 무결성 실패를 폭로한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 형식화: 응답 경로 위조가 프롬프트 인젝션을 엄격하게 지배하며, 근본 원인은 현재 LLM API 프로토콜에 종단 간 무결성 검증이 부재하다는 것을 증명합니다.
2. 현실적 실현 가능성: OpenClaw(재무 조언) 와 Claude Code(코딩 에이전트) 에 대한 사례 연구를 통해, RTA 는 정상 작동의 외관을 유지하면서 생산 환경에서 코드베이스를 조용히 유출하거나 재무 결정을 뒤집을 수 있음을 보여줍니다.
3. 현재 방어의 한계: 이 작업은 모델 정렬을 개선하거나 프롬프트를 강화하는 것이 릴레이 적대자에 대해 불충분하다고 주장합니다. 왜냐하면 공격은 모든 정렬 검사 이후에 발생하기 때문입니다.
4. 행동 촉구: 논문은 향후 LLM API 프로토콜이 이 격차를 해소하기 위해 종단 간 응답 무결성을 1 순위 원시 (예: 공급자 서명 응답) 로 취급해야 한다고 결론지으며, 애플리케이션 계층 방어만으로는 에이전트가 백엔드 모델이 생성한 응답을 실행한다는 것을 보장할 수 없다고 강조합니다.

저자들은 향후 작업에 대해 겸손한 어조를 유지하며, 그들의 위협 모델이 릴레이가 합법적으로 TLS 를 종료하는 BYOK 설정을 가정한다고 명시했습니다. 또한 위협 모델을 더 광범위한 멀티홉 인프라로 확장하고 원칙적인 무결성 메커니즘을 설계하는 것이 필요한 다음 단계라고 지적합니다.