💻 computer science

ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems

이 논문은 모든 에이전트 간 채널에 결정론적 정보 병목 게이트를 배치함으로써, 불투명한 제공자 측 필터나 추가적인 LLM 호출에 의존하지 않고도 툴 포이즈닝을 효과적으로 차단하고 프롬프트 인젝션 성공률을 낮추어 멀티 에이전트 LLM 시스템을 보호하는 학습이 필요 없는 심층 방어 프레임워크인 ChannelGuard를 소개한다.

원저자: Elias Hossain, Md Mehedi Hasan Nipu, Fatema Tuj Johora Faria, Tasfia Nuzhat Ornee, Maleeha Sheikh

게시일 2026-07-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elias Hossain, Md Mehedi Hasan Nipu, Fatema Tuj Johora Faria, Tasfia Nuzhat Ornee, Maleeha Sheikh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

전문가 로봇 팀이 협력하여 복잡한 미스터리를 해결하는 모습을 상상해 보세요. 한 로봇(기획자)은 큰 질문을 작은 단서들로 나눕니다. 다른 로봇들(작업자)은 그 단서들을 찾기 위해 밖으로 나가 노트를 확인하고 특수 도구를 사용합니다. 마지막으로 네 번째 로봇(합성기)은 모든 답변을 모아 당신에게 이야기를 들려줍니다. 인공지능의 세계에서 이것을 "멀티 에이전트 시스템(multi-agent system)"이라고 부릅니다. 이것은 마치 메시지가 하나의 AI에서 다음 AI로 전달되는 고도의 기술이 집약된 계주와 같습니다.

오랫동안 과학자들은 매우 첫 번째 단계의 인계 과정에 대해 걱정해 왔습니다. 만약 첫 번째 로봇이 교활한 명령어로 속임을 당한다면 어떻게 될까요? 우리는 그런 속임수를 잡아내기 위해 앞문 앞에 "보안 요원"을 세워 두었습니다. 하지만 이 논문은 무서운 질문을 던집니다. 경주 중간에 무슨 일이 일어날까요? 만약 한 로봇이 도구에 의해, 혹은 공유된 노트에 남겨진 메모에 의해 속임을 당하고, 그 잘못된 생각을 다음 로봇에게 전달한다면 어떻게 될까요? 저자들은 앞문은 지켜지고 있지만, 로봇들 사이의 복도는 활짝 열려 있다고 주장합니다. 알고 보니, 이러한 로봇 팀 중 상당수는 로봇들이 메시지를 전달한 후, 최종 답변이 보여지기 전, 클라우드 기업이 제공하는 보이지 않는 필터가 잘못된 아이디어를 잡아내고 있기 때문에 안전한 것이었습니다. 저자들은 이를 "빌려온 안전(borrowed safety)"이라고 부르며, 안전이 집주인(클라우드 기업)의 것이 아니라 팀 자체의 것이 되는 시스템을 구축하고자 합니다.

문제점: 보이지 않는 복도

엘리어스 호세인(Elias Hossain)과 그의 팀은 이러한 AI 팀이 어떻게 작동하는지 조사했습니다. 그들은 로봇이 메시지를 전달할 때마다(하위 작업, 도구 결과, 또는 메모 노트 등) 그 메시지가 "채널(channel)"을 통해 이동한다는 것을 발견했습니다. 현재 이 채널들은 모니터링되지 않고 있습니다. 공격자는 도구의 결과물이나 메모에 악의적인 지시 사항을 몰래 끼워 넣어 다음 로봇이 위험한 행동을 하도록 속일 수 있습니다.

무서운 점은 과학자들이 이 시스템을 테스트할 때, 종종 완벽한 안전 기록(공격 성공 횟수 0회)을 보게 된다는 것입니다. 하지만 저자들은 이 안전이 환상이라는 것을 발견했습니다. 그들의 테스트에서 특정 클라우드 제공업체(Azure)에서 시스템을 실행했을 때, 시스템은 공격의 90%를 차단했습니다. 하지만 이는 AI 팀이 차단한 것이 아니라, 클라우드 제공업체의 서버 측 필터가 차단한 것이었습니다. 만약 그 특정 필터가 없는 다른 클라우드 제공업체(예: Anthropic)로 전환한다면, 그 "안전"은 사라지고 공격은 성공하게 됩니다. 시스템이 안전해 보였던 이유는 시스템이 실제로 안전해서가 아니라, 클라우드 회사의 보호를 빌려 쓰고 있었기 때문입니다.

해결책: 채널가드(ChannelGuard)

이를 해결하기 위해 팀은 **채널가드(ChannelGuard)**라는 새로운 방어 체계를 구축했습니다. 앞문만 지키는 대신, 채널가드는 로봇들 사이의 모든 복도에 보안 검문소를 배치합니다.

이것은 클럽의 모든 문에 보디가드를 배치하는 것과 같습니다.

검문소: 메시지가 한 로봇에서 다른 로봇으로 이동하려고 할 때마다 검문소에 부딪힙니다.
스캔: 이 검문소는 메시지가 나쁜지 추측하기 위해 복잡한 AI를 사용하지 않습니다. 대신, 간단하고 빠른 수학적 기법을 사용합니다. 메시지를 문장 단위로 나누고, 이를 작은 "나쁜 문구" 목록(위험한 지시 사항에 대한 "지명 수배 전단" 같은 것)과 비교합니다.
결정: 메시지가 나쁜 문구와 너무 유사해 보이면 즉시 차단합니다. 약간 의심스럽다면, 위험한 부분만 잘라내고 안전한 부분만 통과시킵니다. 깨끗하다면 그대로 통과시킵니다.

결정적으로, 이 검문소들은 "학습이 필요 없는(training-free)" 방식입니다. 즉, 작동하기 위해 새로운 데이터를 배우거나 공부할 필요가 없습니다. 단지 나쁜 문구 목록과 수학 공식을 사용하여 즉각적으로 결정을 내립니다.

연구 결과

팀은 8가지 유형의 속임수를 사용하는 2,100가지의 다양한 공격 시도를 대상으로 채널가드를 테스트했습니다. 연구 결과는 다음과 같습니다.

빌려온 안전이 아닌 진짜 안전: "도구 포이즈닝(Tool Poisoning)" 공격(나쁜 도구 결과가 작업자를 속이려는 경우)에서 기존 시스템은 클라우드 제공업체에 의존하여 공격의 90%를 차단했습니다. 그러나 채널가드는 어떤 클라우드 제공업체를 사용하더라도 스스로 공격의 100%를 차단했습니다. 이는 안전을 "제공업체 불변(provider-invariant)"으로 만들었습니다. 즉, 시스템이 어디서 실행되든 안전하다는 의미입니다.
속도 향상: 채널가드는 비싸고 느린 AI 모델에 도달하기 전에 나쁜 메시지를 차단할 수 있기 때문에, 실제로 시스템을 더 빠르게 만들었습니다. "프롬프트 인젝션(Prompt Injection)" 공격(앞문에서의 속임수)의 경우, 채널가드는 나쁜 메시지를 조기에 차단하여 컴퓨터가 불필요한 작업을 하지 않도록 함으로써 보호되지 않은 시스템보다 3.30배 더 빨랐습니다.
지능 저하 없음: 시스템은 "멍청해지지" 않았습니다. 공격이 없는 상태에서 수학 문제(GSM8K)를 테스트했을 때, 채널가드는 정확도를 동일하게(0.867) 유지하여 좋은 아이디어를 실수로 차단하지 않음을 증명했습니다.
약점: 시스템이 완벽한 것은 아닙니다. 만약 공격자가 "나쁜 문구" 목록을 알고 이를 다른 단어로 바꾸어(적응형 패러프레이징, adaptive paraphrasing) 속임수를 다시 쓴다면, 검문소는 혼란에 빠집니다. 이 경우 시스템은 보호되지 않은 시스템과 마찬가지로 약 66%의 확률로 실패했습니다. 저자들은 이러한 정교한 재구성된 속임수에 대해서는 단어를 약간 변형하여 공격자를 혼란시키는 다른 종류의 방어가 더 효과적이라고 인정했습니다.

핵심 요약

이 논문은 우리가 클라우드 기업이 AI 팀을 안전하게 지켜줄 것이라고 믿어서는 안 된다고 결론짓습니다. 우리는 팀 내부에 자체적인 가드를 구축해야 합니다. 채널가드는 로봇들 사이에 단순하고 빠른 검문소를 배치함으로써, 앞문을 통과해 들어온 공격을 잡아내고 그것이 퍼지기 전에 차단할 수 있음을 보여줍니다. 비록 모든 종류의 속임수(특히 단어를 바꾸는 경우)를 다 잡지는 못하지만, 채널가드는 "빌려온 안전"을 "소유한 안전"으로 바꾸어 시스템이 어디서든 안정적으로 작동하게 만듭니다. 저자들은 다른 이들이 자신들의 연구를 검증할 수 있도록 모든 데이터와 코드를 공개하며, AI 팀의 안전은 단순히 기대하는 것이 아니라 아키텍처 자체에 구축되어야 한다는 점을 강조했습니다.

기술 요약: ChannelGuard: 안전한 모델이 안전한 멀티 에이전트 시스템으로 결합되지 않는 이유

1. 문제 정의

현대의 대규모 언어 모델(LLM) 애플리케이션은 플래너가 작업을 분해하고, 워커 에이전트가 이를 실행하며(종종 도구를 호출하거나 공유 메모리를 읽음), 검증자/합성기가 최종 출력을 생성하는 멀티 에이전트 시스템에 점점 더 많이 의존하고 있습니다. 저자들은 중요한 보안 격차를 식별했습니다. 기존의 방어 기제는 입력 경계(사용자 $\to$ 플래너)에 집중하거나 불투명하고 확률적인 프로바이더 측 필터(예: Azure Content Safety)에 의존하는 반면, 에이전트 간 채널(플래너 $\to$ 워커, 도구 $\to$ 워커, 메모리 $\to$ 워커 등)은 모니터링되지 않은 채 남아 있다는 점입니다.

본 논문은 현재의 평가 지표, 특히 공격 성공률(ASR)이 오해의 소지가 있다고 주장합니다. 특정 백엔드(예: Azure GPT-5)에서 ASR이 0.000으로 나타난다면, 이는 애플리케이션이 안전하기 때문이 아니라 클라우드 프로바이더의 서버 측 필터가 공격을 가로챘기 때문일 수 있습니다. 이는 "메커니즘 치환(mechanism substitution)" 문제를 야기합니다. 만약 이러한 필터가 없는 모델(예: Anthropic Sonnet)으로 백엔드를 교체한다면, 안전 결과는 여전히 0.000이지만, 보호 메커니즘은 완전히 개발자가 제어할 수 없고 관찰 불가능한 모델 내부의 정렬(alignment)로 이동하게 됩니다. 결과적으로 실무자들은 자신의 시스템의 진정한 견고성을 추론할 수 없게 됩니다.

2. 방법론: ChannelGuard 프레임워크

ChannelGuard는 모든 에이전트 간 채널을 계측하도록 설계된 학습이 필요 없는 심층 방어(defense-in-depth) 프레임워크입니다. 이 방식은 에이전트 모델을 수정하거나 재학습을 요구하지 않습니다.

핵심 구성 요소

정보 병목(Information-Bottleneck, IB) 게이트:
- 배치: 6개의 게이트가 특정 채널에 배치됩니다: 입력(IB-0), 플래너-to-워커(IB-1), 도구-to-워커(IB-3), 메모리-to-워커(IB-3-mem), 워커-to-검증자(IB-2/IB-4), 워커-to-합성기(IB-5).
- 메커니즘: 각 게이트는 텍스트를 문장 단위로 나누고, 이를 임베딩하며(로컬 all-MiniLM-L6-v2 모델 사용), 고정된 인간 큐레이션 **적대적 구절 뱅크(adversarial phrase bank)**와의 최대 코사인 유사도를 계산하여 해당 채널의 텍스트를 처리합니다.
- 의사 결정 로직: 게이트는 위험 점수를 계산하고 결정론적인 3단계 결정을 내립니다:
  - 통과(Pass): 위험도 < $\alpha\theta$ (텍스트가 변경 없이 통과).
  - 압축(Compress): $\alpha\theta \le$ 위험도 < $\theta$ (텍스트를 처음 $N=2$ 개 문장으로 절단).
  - 차단(Block): 위험도 $\ge \theta$ (텍스트를 빈 문자열로 대체하여 파이프라인을 단락시킴).
- 특성: 게이트는 LLM 호출을 추가하지 않으며, 학습 데이터가 필요하지 않고, 결정은 다운스트림 에이전트 모델과 독립적입니다.
불확실성 인지 검증기(Uncertainty-Aware Verifier):
- 별도의 LLM(Claude Sonnet 4.5)이 5개의 몬테카를로 샘플을 사용하여 생존한 워커 출력의 안전 점수 평균과 분산을 점수화합니다.
- 출력물을 "안전하지 않음(unsafe)" 또는 "불확실함(uncertain)"으로 분류합니다.
3중 필터 합성기(Triple-Filter Synthesizer):
- 최종 합성기는 IB-5 게이트를 통과하고, 평균 안전 점수가 $\ge 0.5$ 이며, "안전하지 않음" 및 "불확실함" 모두에 해당하지 않는 답변만을 수락합니다.
- 생존한 출력이 없는 경우, 추가적인 LLM 호출 없이 하드 거부(hard refusal)를 반환합니다.

평가 방법론

본 논문은 경로별 귀속(per-trace attribution) 방법론을 도입합니다. 단순히 ASR을 보고하는 대신, 시스템은 어떤 레이어(IB 게이트, 프로바이더 필터, 검증기, 또는 모델 정렬)가 공격을 처음으로 차단했는지 정확히 기록합니다. 이를 통해 "메커니즘 치환" 분석, 즉 애플리케이션 소유의 차단과 빌려온 프로바이더 차단을 구분할 수 있습니다.

3. 주요 기여

경로별 귀속: 결과 중심의 ASR을 메커니즘 수준의 설명으로 변환하여, "메커니즘 치환"(백엔드 필터에 대한 의존)을 측정 가능하고 가시적으로 만드는 방법론을 제시합니다.
프로바이더 의존성 분석: Azure GPT-5에서 방어되지 않은 파이프라인이 0-ASR 보호의 90%를 프로바이더의 필터로부터 얻는다는 실증적 증거를 제시합니다. Anthropic 백엔드로 전환했을 때, 이 보호는 전적으로 모델의 정렬로 재원천화되며, 이는 안전 결과는 동일하지만 그 기원이 다르고 통제 불가능함을 입증합니다.
ChannelGuard 프레임워크: 6개의 임베딩 유사도 게이트를 통해 애플리케이션 소유의, 프로바이더 불변(provider-invariant) 차단을 제공합니다.
정밀한 한계 규정: 본 논문은 프레임워크가 실패하는 지점(화이트박스 적응형 패러프레이징)과 성공하는 지점을 명확히 식별하며, 광범한 절제 연구(ablation studies)와 베이스라인을 통해 이를 뒷받침합니다.

4. 결과

평가는 8개의 공격 제품군, 5개의 방어 기제, 3개의 모델 백엔드(Azure GPT-5, Anthropic Sonnet 4.5, Anthropic Haiku 4.5)에 대해 2,100개의 경로를 대상으로 수행되었습니다.

도구 포이즈닝(Tool Poisoning): ChannelGuard는 모든 세 가지 백엔드에서 IB-3 게이트(도구 $\to$ 워커)에서 30/30 차단을 달성했습니다. 반면, 방어되지 않은 파이프라인은 Azure에서는 100% Azure 프로바이더 필터에 의존하여 차단했고, Anthropic 백엔드에서는 100% 모델의 자체 정렬에 의존했습니다. ChannelGuard의 메커니즘은 고정되어 있었으며 애플리케이션 소유였습니다.
프롬프트 인젝션(Prompt Injection): ChannelGuard는 방어되지 않은 베이스라인과 비교하여 ASR을 50% 감소시켰습니다 (0.333 $\to$ 0.167).
메모리 포이즈닝(Memory Poisoning): Azure 스택의 경우, 프로바이더 필터가 두 시스템 모두에서 차단을 주도했습니다. 그러나 Anthropic 백엔드에서는 ChannelGuard의 IB-3-mem 게이트가 부분적인 차단을 제공했으며, 나머지는 모델의 정렬에 의해 처리되었습니다. 이는 완전한 치환보다는 "공동 크레딧(shared-credit)" 결과를 보여주었습니다.
적응형 패러프레이즈(화이트박스): ChannelGuard와 방어되지 않은 베이스라인 모두 실패하였으며, ASR은 약 0.667이었습니다. 정적 구절 뱅크는 의미적으로는 동일하지만 어휘적으로는 먼 재작성(rewrites)을 감지할 수 없었습니다. 논문은 이 특정 공격에 대해서는 비 시그니처 베이스라인인 SmoothLLM이 더 나은 성능을 보였다고 언급합니다.
효율성: ChannelGuard는 통합된 적대적 워크로드에서 1.19배 더 빠릅니다. 특히 프롬프트 인젝션의 경우, IB-0 게이트가 값비싼 모델 호출 전에 파이프라인을 단락시키기 때문에 3.30배 더 빠릅니다.
추론 충실도: 건전한 GSM8K 작업(공격 없음)에서 ChannelGuard는 추론 정확도를 정확하게 보존했습니다 (두 시스템 모두 CTCA = 0.867).

5. 의의 및 주장

본 논문은 안전한 모델이 명시적인 에이전트 간 채널 모니터링 없이는 안전한 멀티 에이전트 시스템으로 결합되지 않는다고 주장합니다. 주요 의의는 다음과 같습니다:

"안전의 환상" 폭로: 현재의 평가에서 0-ASR이 종종 개발자가 감사하거나 제어할 수 없는 불투명하고 확률적인 프로바이더 필터에 대한 완전한 의존을 숨기고 있음을 입증합니다.
프로바이더 불변성: ChannelGuard가 방어되지 않은 파이프라인의 "빌려온" 안전성과 달리, 일관되고 검사 가능한 결정론적 차단 메커니즘을 제공함을 증명합니다.
심층 방어: ChannelGuard를 프로바이더 필터나 입력 전용 방어의 대체물이 아니라, 내부 파이프라인 표면을 보호하기 위한 필수적인 레이어로 위치시킵니다.

저자들은 프레임워크의 한계에 대해 겸허하게 밝히며, 정적 구절 뱅크가 적응형 화이트박스 패러프레이징을 물리칠 수 없다는 점과 현재 구현이 영어 전용의 수동 큐레이션 템플릿에 의존한다는 점을 인정합니다. 그들은 다음 단계가 채널의 커버리지를 맞추기 위해 적대적으로 구절 뱅크를 학습하는 것이라고 결론짓습니다.