기술 요약: 다중 에이전트 LLM 합의 시스템 내부자 공격

문제 정의

본 논문은 다중 에이전트 대규모 언어 모델 (LLM) 시스템의 치명적인 취약점, 즉 합의 형성 과정 내의 내부자 공격을 다룹니다. 기존 프레임워크는 종종 모든 참여 에이전트가 시스템 목표와 정렬되어 있다고 가정하지만, 본 연구는 악성 에이전트가 합법적인 구성원으로서 그룹에 침투할 수 있다고 주장합니다. 프롬프트나 인프라를 교란하는 외부 공격과 달리, 내부자 공격자는 심의 과정 내부에서 작동합니다. 공격자의 목표는 겉보기에 협력적인 태도를 유지하면서 선량한 에이전트들이 공유된 결정 (합의) 에 도달하는 것을 전략적으로 방해하거나 지연시키거나 방지하는 것입니다. 언어 기반 시스템에서 영향력은 시스템 직접 침해가 아닌 설득, 프레임 설정, 선택적 동의, 모호성 등 미묘한 자연어 전략을 통해 행사된다는 점이 핵심 과제입니다.

저자들은 이를 악성 에이전트가 선량한 합의에 대한 패널티와 장기적인 불일치에 대한 보상을 최대화하는 보상 함수를 극대화하려는 순차적 의사결정 문제로 공식화했습니다.

방법론

효과적인 공격 정책을 찾는 최적화 문제를 해결하기 위해, 저자들은 잠재 역동 모델링과 강화 학습 (RL) 을 결합한 월드 모델 기반 프레임워크를 제안합니다. 이 접근법은 상호작용하는 LLM 에 직접 최적화하는 데 필요한 고비용의 다중 에이전트 롤아웃의 샘플 비효율성을 극복하도록 설계되었습니다.

1. 잠재 에이전트 월드 모델

각 단계마다 전체 다중 에이전트 LLM 시스템에 쿼리하는 대신, 저자들은 선량한 에이전트들의 상태 변화를 예측하는 대리 모델을 훈련합니다.

• 상태 표현: 모델은 가시적 이웃의 현재 결정 위치 ($y^t_{N_k}$) 와 행동 속성 ($\psi_{N_k}$), 그리고 공격자의 행동 (메시지 및 결정) 을 입력으로 받습니다.
• 이질성 처리: 서로 다른 성격을 가진 에이전트들이 동일한 입력에 다르게 반응한다는 점을 인식하여, 모델은 멀티헤드 피드포워드 신경망입니다. 이는 에이전트 위치와 행동 속성을 인코딩한 후, 성격별 헤드를 사용하여 각 선량한 에이전트 유형의 다음 결정 위치를 예측합니다.
• 훈련: 이 모델은 다양한 성격 유형 (고집, 권유 수용성, 중립) 을 가진 선량한 에이전트들과 무작위 악성 에이전트의 상호작용에서 수집된 궤적 데이터에 대한 지도 회귀를 통해 훈련됩니다.

2. 행동 속성 추론

현실적인 시나리오에서 공격자는 선량한 에이전트의 구체적인 성격 유형을 알지 못할 수 있습니다. 이를 해결하기 위해 저자들은 행동 속성 분류기를 도입합니다.

• 이 분류기는 에이전트의 과거 결정 궤적과 방송 메시지를 기반으로 에이전트의 행동 유형 (예: 고집, 권유 수용성) 을 추론합니다.
• 이는 위치 이력을 위한 순환 궤적 인코더와 메시지 의미론을 위한 BERT 기반 인코더를 활용합니다.
• 추론된 속성은 월드 모델과 공격자의 정책에 입력되어, 공격이 그룹의 관찰된 행동에 적응할 수 있도록 합니다.

3. RL 기반 공격자 최적화

내부자 공격은 **딥 Q-네트워크 (DQN)**을 사용하여 해결되는 마르코프 의사결정 과정 (MDP) 으로 공식화됩니다.

• 정책: 공격자는 가시적 이웃 상태를 악성 메시지 - 결정 쌍에 매핑하는 정책 $\pi_{adv}$를 학습합니다.
• 보상 함수: 보상은 불일치를 장려하도록 설계됩니다 (예: 합의가 도달하지 않으면 $r_t = 1$, 그렇지 않으면 $0$).
• 효율성: 실제 LLM 대신 학습된 월드 모델을 롤아웃에 사용함으로써 훈련 과정이 훨씬 더 샘플 효율적이 되어, 공격자가 장기적인 누적 효과에 대해 추론할 수 있게 합니다.

주요 기여

1. 내부자 조작의 공식화: 본 논문은 다중 에이전트 LLM 합의에서의 내부자 조작을 단순한 프롬프트 기반 적대적 예시를 넘어 동적이고 적응적인 공격 프레임워크로 이동시키는 순차적 의사결정 문제로 제시합니다.
2. 모델 기반 공격 프레임워크: 저자들은 이질적인 선량한 에이전트의 대리 역동성을 학습하는 월드 모델 기반 접근법을 개발합니다. 이는 반복적인 전체 시스템 시뮬레이션의 계산 비용 없이 효율적인 공격자 최적화를 가능하게 합니다.
3. 실증적 검증: 이 프레임워크는 1 차원 이산 합의 환경에서 구현되었습니다. 이 연구는 정적 악성 프롬프트에만 의존하는 기준선 공격자보다 학습된 모델 기반 공격자가 합의를 방해하는 데 더 효과적임을 보여주는 초기 증거를 제공합니다.

실험 결과

저자들은 GPT-4o 를 기본 모델로 사용하여 1 차원 선 (위치 0~20) 상의 $N$개 에이전트 환경에서 프레임워크를 평가했습니다. 그들은 네 가지 설정을 비교했습니다:

1. 공격자 없음: 추가 중립 에이전트가 있는 깨끗한 기준선.
2. LLM 기반 공격자: 명시적 동적 모델링 없이 정적 악성 프롬프트를 사용하는 기준선.
3. RL 기반 공격자 (알려진 속성): 선량한 에이전트 성격에 대한 실제 지식을 가진 DQN 정책을 사용합니다.
4. 추정 RL 공격자: 첫 번째 상호작용 라운드에서 성격 유형을 추론하지만 동일한 DQN 정책을 사용합니다.

주요 발견:

• 합의율 감소: LLM 기반 및 RL 기반 공격자 모두 공격자가 없는 기준선에 비해 합의율을 감소시켰습니다.
• RL 의 우위: RL 기반 공격자가 평균적으로 가장 강력한 방해를 달성하여 가장 낮은 합의율 (예: 기준선 0.95 에서 전체적으로 0.83 으로 하락) 과 가장 긴 평균 에피소드 지속 시간 (4.32 라운드에서 4.91 라운드로 증가) 을 기록했습니다.
• 추론의 효과성: "추정 RL 공격자"는 "알려진 속성" 변형과 거의 동일한 성능을 발휘하여, 초기 한 라운드에서 행동 속성을 추론하는 것만으로도 공격 전략을 효과적으로 적응하기에 충분함을 입증했습니다.
• 월드 모델 정확도: 잠재 월드 모델은 다음 위치를 예측하는 데 평균 절대 오차 (MAE) 0.927 을 달성하여, 정확한 정수 예측의 어려움에도 불구하고 선량한 에이전트 이동의 의미 있는 경향을 포착함을 나타냈습니다.

의의 및 한계

의의:
본 논문은 잠재 월드 모델과 강화 학습을 결합하는 것이 적응형 내부자 공격을 위한 유망한 방향이라고 주장합니다. 이는 선량한 에이전트 상호작용 역동성을 명시적으로 모델링함으로써 프롬프트된 LLM 의 고유한 전략적 능력에만 의존하는 것보다 공격자가 더 효과적일 수 있음을 보여줍니다. 이는 "루프 내 인간" 또는 "루프 내 에이전트"의 정렬 가정이 취약한 다중 에이전트 합의 시스템의 특정 취약점을 부각시킵니다.

한계:
저자들은 명시적으로 여러 제약 사항을 지적합니다:

• 단순화된 환경: 실험은 소수의 에이전트가 있는 단순화된 1 차원 합의 설정에서 수행되었습니다.
• 미리 정의된 유형: 연구는 개방형 성격 스펙트럼 대신 미리 정의된 행동 유형 (고집, 권유 수용성, 중립) 에 의존합니다.
• 제한된 프로토콜: 통신 프로토콜은 개방형 다중 에이전트 대화에 비해 구조화되고 제한적입니다.
• 향후 작업: 저자들은 향후 연구가 더 개방형 프로토콜, 더 큰 에이전트 집단, 그리고 이러한 내부자 조작에 대한 방어 메커니즘 개발을 다루어야 한다고 명시했습니다.