Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing

기술 요약: 언어적 방화벽: 멀티 에이전트 시스템 라우팅에서의 방어를 위한 기하학

문제 정의

대규모 언어 모델(LLM)의 멀티 에이전트 시스템(MAS)으로의 급격한 통합은 전문화된 에이전트에 작업을 할당하기 위한 강력한 라우팅 메커니즘을 필요로 하게 되었습니다. 현재의 최첨단 라우팅 아키텍처는 에이전트의 역량을 결정하기 위해 텍스트 메타데이터(예: 자연어 설명, 도구 문서 또는 시스템 프롬프트 요약)에 크게 의존합니다. 이러한 의존성은 **라우터 하이재킹(Router Hijacking)**이라 불리는 치명적인 보안 취약점을 생성합니다.

이 위협 모델에서 공격자는 에이전트의 텍textual 설명 내에 적대적 지시문(프롬프트 인젝션)이나 "탈옥(jailbreak)"을 직접 삽입함으로써 라우팅 결정을 조작할 수 있습니다. 표준 라우터는 기능을 수행하기 위해 이러한 신뢰할 수 없는 텍스트를 반드시 입력받고 추론해야 하므로, 의도치 않게 공격 페이로드를 활성화하게 됩니다. 이를 통해 공격자는 라우터의 가중치나 인프라를 침해하지 않고도 악의적인 에이전트로 라우터를 유도할 수 있습니다. 더욱이, 기존 라우터는 에이전트의 투영된 프로필과 실제 운영 능력 사이를 구분하지 못하는 경우가 많아, 시맨틱 슬리퍼 에이전트(Semantic Sleeper Agents)(특정 시맨틱 신호에 의해 트리거될 때까지 정상적으로 행동하는 에이전트) 및 **적응형 임베딩 공격(Adaptive Embedding Attacks)**에 취약합니다.

방법론: ANTAP

이러한 취약점을 해결하기 위해 저자들은 ANTAP(Automatic Non-Textual Agent Picker)을 도입합니다. ANTAP는 텍스트 해석을 **기하학적 투영(geometric projection)**으로 대체하는 라우팅 아키텍처입니다. ANTAP는 에이전트의 행동이 공유된 시맨틱 공간 내에서 선형 연산자로 모델링될 수 있다는 전제하에 작동하며, 라우팅 결정을 검증되지 않은 텍스트로부터 분리합니다.

핵심 메커니즘

ANTAP는 두 가지 별도의 단계로 기능합니다:

1. 오프라인 단계 (행동 연산자 구축):

   • 에이전트의 설명을 읽는 대신, 시스템은 신뢰할 수 있는 벤치마크 쿼리($B$)에 대해 에이전트를 평가합니다.
   • 성능은 양극성 신호(bipolar signal)를 사용하여 **성능 행렬($Y$)**에 인코딩됩니다: 성공(정답 + 승인되지 않은 도구 호출 없음)의 경우 $+1$, 실패의 경우 $-1$.
   • 각 에이전트에 대해 **행동 연산자($W$)**가 학습됩니다. 이는 쿼리 임베딩을 예측된 성능 시그니처로 매핑하는 Tikhonov 정규화 최소제곱법을 통해 도출된 선형 변환입니다.
   • 결정적으로, 이 단계에는 "암묵적 안전 훈련"이 포함됩니다. 만약 슬리퍼 에이전트가 캘리브레이션 중에 백도어를 활성화하여(예: 트리거된 쿼리에 대해 승인되지 않은 도구 호출 발생) 문제가 생기면, 이는 $-1$로 라벨링되어 해당 연산자가 관련 임베딩 서브스페이스와 음의 상관관계를 갖도록 인코딩합니다.

2. 온라인 단계 (언어적 방화벽):

   • 추론 시점에 라우터는 텍스트 설명을 절대 입력받거나 처리하지 않습니다.
   • 사용자 쿼리 $q$가 주어지면, 시스템은 임베딩 $z = E(q)$를 계산합니다.
   • 라우팅은 단일 행렬-벡터 곱셈 $s = W^* z$를 통해 수행되며, 여기서 $s$는 예측 유틸리티 벡터입니다.
   • 가장 높은 점수를 가진 에이전트가 선택됩니다.
   • 결정 함수는 오직 고정된 수치 연산자와 쿼리 임베딩에만 의존하기 때문에, 에이전트 설명에 포함된 적대적 지시문은 라우팅 로직 내에서 수학적으로 **표현 불가능(inexpressible)**합니다.

주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

1. 위협 공식화: 저자들은 메타데이터 기반의 프롬프트 인젝션을 MAS의 별도 공격 표면으로 공식화하여, 공격자가 라우터의 인프라를 침해하지 않고도 특권이 있는 라우팅 결정을 조작할 수 있음을 입증했습니다.
2. 비텍스트 라우팅: 에이전트를 경험적 성능으로부터 도출된 고정된 선형 연산자로 표현함으로써, 추론 시점에 에이전트 설명을 해석할 필요가 없는 ANTAP를 도입했습니다.
3. 구조적 방어 (언어적 방화벽): 이 아키텍처는 라우팅 인터페이스에서 텍스트 설명을 구조적으로 제거함으로써, 설명 기반의 프롬프트 인젝션 공격을 실행 불가능하게 만드는 "언어적 방화벽" 역할을 합니다.
4. 경험적 검증: 다양한 데이터셋(MMLU, Big-Bench Hard, AgentHarm)과 공격 벡터에 대해 텍스트 기반 및 임베딩 기반 베이스라인과 비교하여, ANTAP가 높은 라우팅 정확도를 유지하면서도 거의 제로에 가까운 공격 성공률(ASR)을 달lam함을 입증했습니다.

실험 결과

저자들은 MMLU, Big-Bench Hard, AgentHarm 등 여러 데이터셋과 공격 벡터에 대해 AutoGen(텍스트 기반 라우터) 및 EmbedLLM(임베딩 기반 라우터)을 포함한 베이스라인을 대상으로 ANTAP를 평가했습니다.

• 설명 기반 인젝션: 악의적인 에이전트가 적대적 메타데이터를 사용하는 프롬프트 인젝션 공격에 대해, ANTAP는 MMLU에서 **0.2%**의 ASR을 달성했습니다. 반면, AutoGen 베이스라인은 **75.3%**의 ASR을 기록했고, EmbedLLM은 **5.8%**를 기록했습니다.
• 슬리퍼 에이전트 (데이터 포이즈닝): 잠재적 백도어 공격(예: BadNet, Sleeper, VPI)에 대해, ANTAP는 0.3%에서 1.9% 사이의 ASR을 유지하며, 12.2%에서 78.8%에 달하는 베이스라인들을 크게 압도했습니다.
• 적응형 공격: 공격자가 기하학적 경계를 돌파하기 위해 쿼리 토큰을 최적화하는 화이트박스 적응형 공격 하에서도 ANTAP는 놀라운 견고함을 보였습니다. ANTAP의 ASR은 트리거 길이에 관계없이 클린 베이스라인에서 약 8% 포인트 내외의 미미한 변동만을 보이며 안정적으로 유지된 반면, EmbedLLM의 ASR은 최소한의 트리거 추가만으로도 급격히 치솟았습니다.
• 확장성 및 견고성: 절제 연구(Ablation studies)를 통해 ANTAP의 성능이 프롬프트의 장황함(최대 1,000 토큰의 시스템 프롬프트) 및 에이전트 풀 크기(2개에서 19개로 확장)에 관계없이 불변함을 확인했습니다. 반면 베이스라인들은 컨텍스트 윈도우가 커짐에 따라 레이턴시 스파이크와 정확도 저하를 겪었습니다.

의의 및 주장

본 논문은 ANTAP가 신뢰의 근거(root of trust)를 신뢰할 수 없는 에이전트의 자기 기술(self-description)에서 플랫폼 제어형 경험적 평가 파이프라인으로 이동시킴으로써 에이전트 생태계를 보호하는 근본적인 변화를 나타낸다고 주장합니다.

• 구조적 보안: 추론 시점의 텍스트 입수를 제거함으로써, ANTAP는 단순히 공격을 완화하는 것이 아니라 특정 클래스의 공격(설명 기반 하이재킹)을 구조적으로 불가능하게 만듭니다.
• 인센티브 재정렬: 이 접근 방식은 "키워드 스터핑(keyword stuffing)"과 기술적인 프롬프트 엔지니어링을 억제하여, 에이전트의 인센티브를 경험적 성능 중심으로 재정렬합니다.
• 효율성: 라우팅을 위한 복잡한 LLM 추론을 고정 비용의 기하학적 연산으로 대체함으로써 레이턴시를 획기적으로 줄입니다 (베이스라인 테스트에서 AutoGen의 428ms 대비 ANTAP는 27ms 기록).

저자들은 ANTAP가 신뢰할 수 있는 오프라인 캘리브레이션 환경을 가정하고 있지만, 시맨틱 공간의 기하학적 특성을 방어 메커니즘으로 활용함으로써 보안성이 높고 확장 가능하며 신뢰할 수 있는 멀티 에이전트 시스템을 향한 유망한 건축적 단계를 제공한다고 결론짓습니다.