기술 요약: INFA-GUARD

문제 정의

대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)의 급격한 진화는 악의적인 영향력이 에이전트 간 통신을 통해 바이러스처럼 전파될 수 있는 심각한 보안 취약점을 야기했습니다. 기존의 MAS 방어 체계는 일반적으로 "선량한(benign)" 에이전트와 "공격(attack)" 에이전트를 엄격히 구분하는 이진 패러다임(binary paradigm) 하에서 작동하며, 이로 인해 **감염된 에이서(infected agents)**라는 결정적인 제3의 범주를 고려하지 못한다는 한계가 있습니다.

감염된 에이전트는 공격 에이전트에 의해 설득되거나 유도되어 내부 로직이 손상된 선량한 개체입니다. 이들은 이후 잘못된 결론을 출력하고, 설령 원래의 공격 에이전트가 제거되더라도 해로운 정보를 계속해서 유포합니다. 현재의 방어 기제들은 이러한 감염된 에이전트를 간과하는 경우가 많으며, 이는 다음과 같은 두 가지 주요 실패로 이어집니다:

1. 지속적인 전파: 감염된 에이전트는 근원지가 차단된 후에도 공격을 지속시키는 2차 전파자 역할을 합니다.
2. 위상 정보의 손실: 기존 방식은 감염된 에이전트가 공격 근원지와 인접할 가능성이 매우 높다는 구조적 관계를 활용하지 못하여, 위치 식별을 위한 핵심 지표를 놓칩니다.

방법론: INFA-GUARD

본 논문은 공격을 시작한 공격 에이전트와 설득된 감염된 에이전트를 명시적으로 모델링하고 구분하는 방어 프레임워크인 INFA-GUARD(Infection-Aware Guard)를 제안합니다. 이 프레임워크는 세 가지 핵심 메커니즘을 통해 작동합니다.

1. 감염 인지 탐지 (Infection-Aware Detection)

시스템은 MAS를 그래프 $G=(V, E)$로 모델링하며, 탐지를 그래프 이상 탐지(graph anomaly detection) 과제로 취급합니다.

• 시간적 역동성 (Temporal Dynamics): 에이전트 발화의 시간적 임베딩을 모델링함으로써 에이전트가 선량한 상태에서 감염된 상태로 전이되는 동적 과정을 포착합니다. 특수 함수 $\Psi$는 반복되는 대화 과정에서의 자기 회신(self-replies)과 메시지 교환을 분석하여 이러한 역동성을 추출합니다.
• 턴 적응형 GNN (Turn-Adaptive GNN): 감염의 진화하는 특성에 맞추기 위해, 탐지기는 **턴 적응형 병렬 브랜치(turn-adaptive parallel branches)**를 갖춘 그래프 신경망(GNN)을 채택합니다. 이를 통해 모델은 멀티 에이전트 대화의 서로 다른 단계에 맞춰 파라미터를 최적화할 수 있습니다.
• 듀얼 헤드 분류 (Dual-Head Classification): 모델은 듀얼 헤드 아키텍처를 사용하여 에이전트가 공격자($V_{atk}$)인지 또는 감염된 에이전트($V_{inf}$)인지의 확률을 동시에 예측하며, 이들을 별개의 위협 범주로 취급합니다.

2. 위상 제약을 통한 공간적 조정 (Spatial Adjustment via Topology Constraints)

프레임워크는 감염이 무작위가 아닌 구조적으로 제한된 과정이라는 관찰 결과로부터 도출된 위상 제약을 포함합니다.

• 연좌제 (Guilt-by-Association): 시스템은 감염된 에이전트의 존재가 인접한 곳에 공격 근원이 존재할 확률을 유의미하게 높인다는 제약을 적용합니다.
• 손실 함수 (Loss Function): 훈련 중 위상 인식 손실 항($L_{topo}$)을 추가하여, 주변에 공격자나 감염된 에이전트가 없는 "고립된" 감염 에이전트를 식별할 경우 페널티를 부여함으로써 허위 양성(false positives)을 줄입니다.
• 사후 적응 (Post-Adaptation): 복구 단계에서 시스템은 시간적 추세와 이웃 관계를 분석하여 예측을 정교화합니다. 만약 어떤 에이전트가 감염된 것으로 예측되었으나 고립되어 있다면, 시스템은 미탐지된 이웃이 존재할 것으로 추론하고 그에 따라 이웃의 분류를 조정합니다.

3. 표적화된 복구 (Targeted Remediation)

INFA-GUARD는 시스템의 위상적 무결성을 보존하기 위해 두 위협 범주에 대해 서로 다른 전략을 사용합니다:

• 공격 에이전트: 이들은 그래프 구조를 유지하면서 해로운 응답 생성을 차단하기 위해 (가장 낮은 공격 확률을 가진 에이전트로) **교체(replaced)**됩니다.
• 감염된 에이전트: 이들은 제거되는 대신 **재활(rehabilitated)**됩니다. 시스템은 LLM을 활용하여 에이전트의 응답을 점검하고 재작성하는 회신 레벨 복구 함수($R_F$)를 사용하여, 유익한 의미는 보존하면서 악의적인 문맥을 제거합니다. 이를 통해 에이전트가 다음 반복에서 다시 선량한 정보원으로 회복될 수 있도록 합니다.

주요 기여

1. 새로운 위협 범주화: 본 논문은 MAS 보안에서 감염된 에이전트를 이진(선량함/공격) 패러다임을 넘어 별도의 위협 범주로 명시적으로 정의하고 다룬 최초의 연구입니다.
2. 감염 인지 프레임워크: 시간적 역동성과 위상 제약을 사용하여 공격 근원과 감염된 에이전트를 동시에 탐지하고 위치를 식별하는 방어 메커니즘을 도입했습니다.
3. 위상 보존: 노드를 제거하여 연결성을 끊는 방식과 달리, INFA-GUARD는 공격자는 교체하고 감염된 에이전트는 재활함으로써 MAS 그래프의 구조적 무결성과 응답 다양성을 유지합니다.
4. 실증적 검증: 다양한 공격 시나리오(프롬프트 인젝션, 도구 공격, 메모리 공격), 다양한 LLM 백본(GPT-4o-mini, Qwen3), 그리고 다양한 토폴로지(체인, 트리, 스타, 랜덤)에 걸쳐 프레임워크를 검증했습니다.

실험 결과

광범 sel한 실험을 통해 INFA-GUARD가 최첨단(SOTA) 성능을 달erm함을 입증했습니다:

• 공격 성공률 (ASR): 이 프레임워크는 베이스라인 대비 ASR을 평균 33% 감소시켰습니다. 특정 시나리오에서는 가장 우수한 기존 베이스라인인 Inspector보다 3%에서 12.9% 이상의 격차로 앞섰습니다. 예를 들어, 도구 공격(TA)에서 GPT-4o-mini 기준 ASR@3를 **2.1%**까지 낮추어 경쟁 모델들을 크게 앞질렀습니다.
• 방어 성공률 (MDSR): 모든 작업에서 일관되게 가장 높은 MDSR을 달성하였으며, 도구 공격에서는 98.3%, 메모리 공격에서는 **96.7%**까지 회복되었습니다.
• 확장성: 이 방법은 재학습 없이도 최대 50명의 에이전트 규모까지 견고한 일반화 능력을 보여주며, 통신 라운드가 진행됨에 따라 ASR이 감소하는 "자가 치유(self-healing)" 능력을 나타냅니다.
• 효율성: INFA-GUARD는 비용과 성능 사이에서 탁월한 트레이드오프를 달려합니다. 프롬프트 토큰은 단 7.2%, 완료 토큰은 **9.3%**만 증가시켜, 200% 이상의 오버헤드가 발생할 수 있는 AgentXposed와 같은 베이스라인보다 훨씬 효율적입니다.

의의 및 주장

본 논문은 이전의 이진 방어 체계가 간과했던 "감염" 역동성을 해결함으로써, 근본 원인으로부터 공격 전파를 차단하는 방법론적 솔루션을 제공한다고 주장합니다. 선량한 상태에서 감염된 상태로의 전이를 명시적으로 모델링하고 위상 제약을 활용함으로써, INFA-GUARD는 협업적 연결성을 저해하지 않으면서도 MAS를 효과적으로 보호합니다.

저자들은 이 연구가 신뢰할 수 있는 협업형 AI 생태계를 구축하기 위한 필수적인 단계라고 강조하며, 고급 멀티 에이전트 환경에서 비윤리적이고 악의적인 활동에 대응하기 위해서는 이진 탐지 패러다임을 초월하는 것이 중요하다고 주장합니다. 감염된 에이전트를 무시하는 것은 잔류 보안 위험에 시스템을 취약하게 만들지만, INFA-GUARD는 탐지와 재활 모두를 아우르는 포괄적인 접근 방식을 제공합니다.