기술 요약: 문장 단위 정정을 통한 LLM 기반 다중 에이전트 시스템의 협력적 공격 방어

1. 문제 제기

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 협업 의사결정 및 복잡한 문제 해결을 위한 강력한 도구로 부상했습니다. 그러나 에이전트 간 빈번한 통신에 대한 의존성은 상당한 보안 취약점을 초래합니다. 기존 연구는 주로 독립적인 적대적 행동(악성 에이전트가 고립되어 행동) 이나 사전 정의된 조정 패턴에 초점을 맞추었으나, 적응형 협력적 공격을 이해하고 방어하는 데에는 중요한 공백이 존재합니다.

이러한 시나리오에서 악성 에이전트는 다중 라운드 상호작용을 통해 자율적으로 조정하며 내부 정보를 교환하여 전략을 동적으로 조정합니다. 이러한 협력은 사실적 오류가 있는 허위 정보를 의미적으로 일관되게 조작하고 반복적으로 강화할 수 있게 하여, 독립적 공격보다 시스템 성능을 더 심각하게 저하시킵니다. 기존 방어 메커니즘은 주로 에이전트 수준에서 작동하므로 국소화된 허위 정보를 식별하거나 오류가 있는 콘텐츠를 명시적으로 수정하기 어려워 해석 가능성이 제한적입니다.

2. 방법론

본 논문은 강력한 위협을 시뮬레이션하기 위한 새로운 협력적 공격 방법과 이에 대항하기 위한 STAR(문장 단위 신뢰성 분석 및 정정) 프레임워크라는 양면적 접근법을 제안합니다.

2.1 적응형 협력적 공격 방법

더 강력한 위협을 시뮬레이션하기 위해 저자는 적에 의해 통제되는 다수의 악성 에이전트 ($C \subset A$) 가 동적으로 조정하는 공격 프레임워크를 도입합니다. 이 방법은 두 가지 메커니즘에 의존합니다:

• 동료 컨텍스트 인식: 악성 에이전트는 악성 동료들의 역사적 응답을 포함하는 컨텍스트 ($H_C$) 를 유지합니다. 이를 통해 집단적 공격 태세를 평가할 수 있습니다.
• 협력적 응답 구성: LLM 기반 판사 ($J$) 는 동료 컨텍스트의 설득력을 평가합니다. 이 판단에 따라 에이전트는 두 가지 전략 중 하나를 동적으로 선택합니다:
  • 강화: 동료 컨텍스트가 강력하면 에이전트는 동료의 주장을 명시적으로 지지하여 허위 합의를 조작합니다.
  • 혁신: 동료 컨텍스트가 약하면 에이전트는 새로운 관점에서 강력하고 새로운 관점을 도입하여 선의의 에이전트를 설득합니다.

2.2 STAR 방어 프레임워크

STAR 는 에이전트 통신을 문장 단위로 면밀히 검토하도록 설계된 훈련이 필요 없는 플러그 앤 플레이 방어 프레임워크입니다. 이는 네 단계로 작동합니다:

1. 문장 단위 분해 및 검증:

   • 에이전트 응답은 일련의 문장으로 분해됩니다.
   • LLM 기반 검증기 ($V$) 가 모든 문장을 동시에 처리하여 사실성 평가(정확도 및 신뢰도 점수 $\rho$ 결정) 와 오류 수정(오류에 대한 구체적인 수정 내용 $e$ 생성) 을 수행합니다.

2. 누적 신뢰도를 통한 의심 모델링:

   • 사실적 오류로 식별된 문장의 신뢰도 점수를 누적하여 각 에이전트에 대해 의심 점수($\Omega$) 를 계산합니다.
   • 이를 통해 대부분은 정확해 보이지만 미묘하고 치명적인 조작을 포함하는 에이전트를 식별할 수 있습니다.

3. 표적 정정:

   • 탐지 임계값 ($\tau$) 을 초과하는 에이전트는 의심스러운 것으로 플래그가 지정됩니다.
   • 정정 모듈 ($R$) 은 1 단계에서 생성된 구체적인 오류 수정 내용을 원본 텍스트에 통합합니다. 이는 위협을 무력화할 뿐만 아니라 시스템에 특정 허위 정보 패턴을 경고하고 동일한 응답 내에서 사실적으로 정확한 정보를 보존합니다.

4. 강건한 의사결정 집계:

   • 최종 답변은 다수결 투표를 통해 결정되지만, 결과를 왜곡하는 것을 방지하기 위해 식별된 악성 에이전트는 투표 풀에서 명시적으로 제외됩니다.

3. 주요 기여

• 협력적 공격 방법: 악성 에이전트가 동료 인식 상호작용을 통해 전략을 동적으로 조정하는 적응형 공격 프레임워크를 도입하여, 독립적이거나 정적 공모 공격보다 훨씬 더 큰 교란 능력을 입증했습니다.
• 문장 단위 방어 프레임워크 (STAR): 에이전트 수준 필터링에 비해 높은 해석 가능성을 제공하며, 허위 정보를 명시적으로 국소화, 수정, 완화하기 위해 세분화된 문장 단위 분석을 수행하는 새로운 훈련 불필요 방어 메커니즘입니다.
• 광범위한 실증 평가: 다양한 데이터셋 (MMLU, CSQA, LogiQA) 과 LLM 백본 (Qwen-Plus, GPT-3.5-Turbo, GPT-5-Nano) 을 통한 포괄적인 실험을 통해 협력적 공격의 심각성과 STAR 의 유효성을 검증했습니다.

4. 실험 결과

저자는 각 데이터셋당 400 건의 인스턴스에 대해 5 에이전트 MAS(3 개의 선의, 2 개의 악성) 로 실험을 수행했습니다.

• 협력적 공격의 영향: 협력적 공격은 독립적 공격에 비해 작업 성공률 (TSR) 을 훨씬 더 크게 저하시켰습니다. 모든 설정에서 협력적 공격은 TSR 에서 **5.34%**의 상대적 감소와 공격 성공률 (ASR) 의 상대적 증가를 초래했습니다. MMLU 데이터셋에서 협력적 공격은 독립적 기준선에 비해 평균 TSR 을 6.17% 감소시키고 ASR 을 7.00% 증가시켰습니다.
• STAR 의 유효성:
  • STAR 는 협력적 및 독립적 위협 모두를 효과적으로 완화하여 무방어 기준선에 비해 평균 TSR 을 36.76% 향상시켰습니다.
  • 평균 ASR 을 45.17% 감소시켰습니다.
  • STAR 는 대부분의 구성에서 기존 방어 방법 (G-Safeguard, BlindGuard, ARGUS, Challenger&Inspector) 보다 우수한 성능을 발휘했습니다.
  • 악성 에이전트에 대한 탐지 정확도는 모든 데이터셋과 모델에서 일관되게 **70%**를 초과했습니다.
• 절차 제거 연구: 표적 정정 모듈을 제거하면 가장 심각한 성능 저하가 발생하여 문장 단위 수정의 중요성을 강조했습니다. 강건한 의사결정 집계를 제거하는 것도 눈에 띄는 감소를 초래하여 최종 투표에서 악성 에이전트를 제외하는 것의 가치를 확인했습니다.
• 비용 분석: STAR 는 C&I(1.40 배) 와 같은 경량 방법보다 토큰 비용이 더 높습니다 (무방어 대비 2.03 배). 하지만 ARGUS(7.66 배) 와 같은 복잡한 추론 기반 방어보다는 여전히 훨씬 효율적입니다.

5. 중요성 및 주장

본 논문은 제안된 협력적 공격 방법이 MAS 에서의 중요한, 이전에 충분히 탐구되지 않은 취약점을 드러낸다고 주장합니다. 즉, 악성 에이전트가 적응적으로 조정하고 허위 정보를 강화할 수 있는 능력은 고립된 공격에 비해 훨씬 증폭된 위협을 제기합니다.

따라서 STAR 프레임워크는 MAS 보안에서의 중요한 진전으로 제시됩니다. 거친 에이전트 수준 필터링에서 세분화된 문장 단위 분석 및 정정으로 방어 패러다임을 전환함으로써 STAR 는 다음과 같은 것을 제공합니다:

1. 향상된 강건성: 독립적 및 조정된 적응형 공격 모두에 대한 효과적인 완화.
2. 해석 가능성: 전체 에이전트 응답을 단순히 폐기하는 대신 특정 오류 주장을 식별하고 수정안을 제공하는 능력.
3. 실용성: 방어 효과와 계산 비용을 균형 있게 맞추는 훈련 불필요 플러그 앤 플레이 솔루션.

저자는 그들의 작업이 협업 LLM 시스템의 보안 위험에 대한 이해를 진전시키고 더 엄격한 방어 메커니즘 개발을 촉진한다고 결론지었습니다. 그들은 실제 응용 프로그램의 범위와 허위 사실 검증 시 LLM 의 고유한 신뢰도 보정 문제에 대한 한계를 인정하며, 탐지를 위해 외부 지식을 통합하는 향후 작업을 제안합니다.