Resilient Consensus in Agentic AI

기술 요약: 에이전틱 AI에서의 회복 탄력적 합의(Resilient Consensus)

문제 정의
대규모 언어 모델(LLM) 에이전트는 협업 및 공동 의사결정을 필요로 하는 멀티 에이전트 시스템에 점점 더 많이 배치되고 있다. 핵심적인 과제는 에이전트들이 적대적이거나 오작동하는 행위자(Byzantine agents)가 존재하는 상황에서 합의에 도달해야 할 때 발생한다. 고전적인 분산 시스템 이론은 결정론적 에이전트들 사이의 합의에 대해 엄격한 보장을 제공하지만, 결정론적인 업데이트 규칙 대신 확률적인 프롬프팅을 통해 작동하는 LLM 에이전트에게도 이러한 이론적 경계와 알고리즘이 전이될 수 있는지는 여전히 불분명하다. 본 논문은 프롬프트된 LLM 정책이 고전적인 회복 탄력적 합의 조건이 보장하는 합의를 달取得할 수 있는지, 그리고 고전적인 필터링 메커니즘이 에이전틱 AI의 실패를 완화할 수 있는지 조사한다.

방법론
저자들은 LLM 에이전트 간의 합의 문제를 비잔틴 합의 게임(Byzantine consensus game)으로 프레임화한다. 실험 설정은 $N$개의 에이전트로 구성된 동기식 네트워크를 포함하며, 여기에는 $H$개의 정직한 에이전트와 $B$개의 비잔틴 에이전트가 포함되며 완전 그래프(complete graph) 및 일반 유향 그래프(general directed graphs) 상에서 통신한다.

• 에이전트: 정직한 에이전트는 meta-Llama-3.2-3B-Instruct LLM을 사용하여 모델링되며, 0에서 50 사이의 정수를 합의하는 과제를 수행한다. 이들은 이웃으로부터 제안을 받고 프롬프트 엔지니어링을 통해 새로운 제안을 생성한다.
• 적대자: 비잔틴 에이전트 또한 LLM이며, 정직한 에이전트들의 수렴을 방해하기 위해 전략적으로 값(높거나 낮은 값)을 제안하도록 프롬프트된다.
• 프로토콜: 시스템은 고정된 시간 지평($T_{max}$) 동안 실행된다. 각 라운드에서 에이전트들은 제안을 브로드캐스트하며, 정직한 에이전트들은 수신된 값들을 바탕으로 자신의 상태를 업데이트한다.
• 개입: 본 연구는 LLM 정책을 고전적인 회복 탄력적 합의 필터, 특히 글로벌 MSR형 필터(완전 그래프용) 및 로컬 MSR형 필터(일반 그래프용)로 감싸는 것의 효용성을 평가한다. 이 필터들은 에이전트가 다음 제안을 계산하기 전에 수신된 값의 집합에서 $f$개의 가장 작은 값과 $f$개의 가장 큰 값을 제거하는 방식으로 작동한다.

주요 기여

1. LLM 합의 실패의 정형화: 저자들은 LLM을 위한 비잔틴 합의 게임을 정형화하고, 고전 이론이 수렴 알고리즘의 존재를 보장하는 영역(구체적으로 $N \ge 3B + 1$인 경우)에서도 프롬프트된 LLM 정책이 합의를 달성하는 데 실패함을 입증한다. 이러한 실패는 다양한 온도(temperature)와 시간 지평에 걸쳐 지속되며, 이는 임의의 프롬프트된 정책과 이론적 보장에 필요한 회복 탄력적 업데이트 규칙 사이에 간극이 있음을 나타낸다.
2. 고전적 필터를 통한 복구: 본 연구는 LLM 에이전트를 고전적인 회복 탄력적 합의 필터로 감싸는 것이 달성 가능한 합의를 회복시킨다는 것을 보여준다.
   • 완전 그래프에서는 글로벌 MSR형 필터가 베이스라인이 실패하는 시나리오에서도 합의 확률을 약 100%까지 회복시킨다.
   • 특정 위상 조건을 만족하는 일반 그래프에서 로컬 MSR형 필터는 합의를 개선하지만, 그 개선의 정도는 네트워크 위상의 내재적 견고함에 따라 달라진다.
3. 강건성 분석: 절제 연구(ablation studies)를 통해 저자들은 이러한 효과가 다양한 샘플링 온도와 합의 시간 지평에 대해 강건함을 확인했다. 또한, 필터 파라미터 $f$가 상한값으로 설정되어 있다면 비잔틴 에이전트의 수($B$)가 잘못 지정(과대 추정)된 경우에도 필터가 효과적으로 작동함을 입증했다.

실험 결과

• 베이스라인 성능: 완전 그래프에서 합의 확률은 $B$가 증가함에 따라 급격히 감소하며, 이론적 임계치인 $N < 3B + 1$에 도달하기 훨씬 전에 실패한다. 예를 들어, $H=15, B=4$일 때, 이론적으로는 합의가 가능함에도 불구하고 온도 0.5에서 베이스라인 합의 확률은 30%에 불과했다.
• 필터 효능: 완전 그래프에 글로벌 MSR형 필터($f=B$)를 적용했을 때, 테스트된 모든 $B$ 값과 온도에 대해 거의 완벽한 합의(≈100%)를 달성했다.
• 일반 그래프: 특정 일반 그래프 위상에서 베이스라인은 이론적으로 보장된 영역($B \le 4$) 내에서는 높은 합의를 달성했으나, 그 범위를 벗어나면 성능이 저하되었다. 로컬 MSR형 필터는 보장된 영역 내에서 베이스라인만큼의 성능을 보였으나 추가적인 개선은 제한적이었으며, 이는 밀집된 연결을 가진 그래프에서는 위상 자체가 상당한 강건성을 제공함을 시사한다.
• 오지정(Misspecification): 실제 $B$가 0, 2, 또는 4일 때 필터 파라미터를 $f=6$으로 고정하더라도, 필터링된 프로토콜은 100% 합의를 유지하며 적대자가 없는 상황에서도 베이스라인보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 고전적인 회복 탄력적 합의 이론이 에이전틱 AI의 안전성을 위한 유용한 렌즈 역할을 할 수 있다고 상정한다. 주요 발견은 고전 이론에 대한 모순이 아니라, 표준적인 프롬프팅을 통한 LLM 에이전트의 구현이 합의에 필요한 조건을 본질적으로 충족하지 못한다는 점을 보여주는 것이다. 그 간극은 프롬프트된 정책의 동작과 수학적으로 회복 탄력적인 업데이트 규칙 사이의 차이에 있다.

저자들은 고전적인 제어 이론 도구, 예를 들어 회복 탄력적 합의 필터를 통합하는 것이 개별 LLM 에이전트가 신뢰할 수 없거나 적대적일 때도 집단적 행동을 보장할 수 있는 안전 계층 역할을 한다고 주장한다. 결론적으로, 현재의 연구는 스칼라 합의에 초점을 맞추고 있지만, 자연스러운 향후 연구 방향은 이러한 회복 탄력성의 개념을 계획, 답변 또는 구조화된 결정과 같은 더 복잡한 에이전틱 과제로 확장하는 것이다.