기술 요약: PAVE – 생성형 에이전트 사회에서의 정당한 위반을 위한 인지 아키텍처

1. 문제 제기

대규모 언어 모델 (LLM) 기반의 생성형 에이전트는 협력적 환경에서 신뢰할 수 있는 인간 행동을 시뮬레이션하는 능력을 입증해 왔습니다. 그러나 화재 대피, 의료 응급 상황, 또는 상충되는 권위와 관련된 상황과 같이 규칙 위반이 필요한 시나리오에서 추론하는 능력은 여전히 poorly characterized(미흡하게 규명됨) 되어 있습니다. Park 등 [2023] 의 기초적인 Generative Agents 와 같은 기존 아키텍처는 주로 규범 준수와 협력에 중점을 둡니다. 그들은 종종 '편의성'에 의한 위반과 '필요성'에 기인한 '정당한' 위반을 구분하지 못합니다.

현재 모델들은 세 가지 특정 실패 모드를 겪고 있습니다:

1. 과도한 준수 (Over-compliance): 에이전트가 실제 비상 사태가 이를 요구함에도 불구하고 규칙을 따릅니다 (예: 화재 발생 시에도 빨간불에서 대기).
2. 과도한 위반 (Over-violation): 에이전트가 정당한 유발 요인 없이 편의성이나 동료 압력 때문에 규칙을 위반합니다.
3. 무제한 전염 (Unbounded Contagion): 에이전트들이 다른 사람의 위반을 모방하여 규칙 위반이 새로운 규범이 될 때까지 이를 따르며, 유발 요인이 사라진 후에도 기본 준수로 회복하지 못합니다.

핵심적인 도전 과제는 규칙의 부재가 아니라, 에이전트가 상황의 긴급성, 권위, 그리고 사회적 맥락에 비추어 그 규칙들을 어떻게 저울질하는지에 대한 메커니즘입니다.

2. 방법론: PAVE 아키텍처

이러한 간극을 해결하기 위해 저자들은 원칙적인 방식으로 규칙 위반에 대한 의사결정 과정을 모델링하도록 설계된 4 개 모듈 인지 아키텍처인 PAVE(Perception, Assessment, Verdict, Emulation) 를 제안합니다. PAVE 는 규칙 위반을 위한 전용 추론 모듈을 도입함으로써 Park 등 [2023] 의 기억 - 반성 - 계획 루프를 확장합니다.

2.1 네 가지 모듈

1. 지각 (Perception):

   • 기능: 추론이 시작되기 전에 환경에서 구조화된 맥락을 추출합니다.
   • 출력: 맥락 객체 $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$.
   • 주요 특징: 권위의 존재 ($apres$) 와 거리 ($dauth$) 를 명시적으로 분리합니다. 상황적 단서 ($ucue$) 를 유형, 거리, 심각도 (1~100) 로 태그합니다. 중요한 점은 에이전트의 편향을 초래할 수 있는 동료 영향의 장기적 축적을 방지하기 위해 현재 장면의 스냅샷으로 동료 행동 ($B_{peer}$) 을 포착한다는 것입니다.

2. 평가 (Assessment):

   • 기능: 지각된 맥락을 의사결정을 주도하는 5 가지 고유한 스칼라 요소 (1~100) 로 변환합니다.
   • 요소:
     • $r$(위험): 권위와의 거리에 가중치를 둔 탐지/제재에 대한 지각된 확률.
     • $p_{emp}$(경험적 기대): 현재 준수 중인 인근 에이전트의 비율.
     • $p_{norm}$(규범적 기대): 에이전트가 다른 사람들이 해야 한다고 믿는 것.
     • $b$(이익): 위반의 지각된 효용 (긴급성 또는 필요성).
     • $\ell$(정당성): 핵심 기여 요소입니다. 이 스칼라는 세 가지 엄격한 기준에 기반하여 상황이 위반을 요구하는지 판단합니다: 필요성(준수가 실제 피해를 초래할 것인가?), 비례성(위반이 최소한인가?), 그리고 대안의 부재(동일한 결과를 가져오는 준수 행위가 있는가?).

3. 판결 (Verdict):

   • 기능: 준수할지 위반할지 결정합니다.
   • 메커니즘: 결정은 **강제 정당성 게이트 (Hard Legitimacy Gate)**에 의해 통제됩니다.
     • 만약 $\ell < \tau$ (여기서 $\tau$는 에이전트의 페르소나에서 도출된 에이전트별 임계값) 이라면, 이익이 높거나 위험이 낮더라도 판결은 반드시 준수여야 합니다.
     • 만약 $\ell \ge \tau$라면, 에이전트는 위반이 허용되며, 최종 결정은 위험, 동료 행동, 그리고 페르소나의 영향을 받습니다.
   • 출력: 이진 결정 ($y$), 자연어 근거 ($j$), 그리고 신뢰도 점수 ($\kappa$).

4. 모방 (Emulation):

   • 기능: 판결을 실행하고 결과를 사회에 전파합니다.
   • 행동 범위 지정: 위반할 때, 에이전트는 유발 요인에 의해 정당화된 특정 규칙만 위반합니다 (예: 화재에서 탈출하기 위해 횡단보도를 건너는 것은 허용되지만, 자전거를 훔치는 것은 허용되지 않음).
   • 결과 전파: 행동 에이전트의 기억을 업데이트하고 인근 에이전트의 지각 맥락에 씨앗을 뿌립니다. 이는 동료 영향 ($p_{emp}$) 이 업데이트되도록 허용하지만, 다음 사이클의 정당성 게이트는 상황이 그 자체로 정당한 것이 아니라면 elevated 된 동료 압력이 위반을 강요하지 못하도록 보장합니다.

2.2 실험 환경: VOVILLE

저자들은 PAVE 를 Smallville 샌드박스를 포크한 타일 기반 교통 환경인 VOVILLE에 구현했습니다.

• 특징: 구성 가능한 교통 신호, 일방통행로, 그리고 스크립트화된 위험 요소 (화재) 와 권위 (교통 경찰) 를 포함합니다.
• 에이전트: 10 명의 PAVE 에이전트 (8 명의 카페 참석자, 2 명의 목격자) 와 스크립트화된 NPC(공작원, 경찰관).
• 시나리오:
  1. 화재 대피 (권위 없음): 에이전트가 탈출하기 위해 위반하는지, 그리고 화재가 끝난 후 준수를 회복하는지 테스트합니다.
  2. 화재 대피 (권위 있음): 경찰관의 지시에 대한 존중과 공간적 위반 억제를 테스트합니다.
  3. 동료 압력 (불법 횡단보도): 긴급 상황 없이 시간 압박 하에 동료들이 위반할 때 모방에 대한 저항력을 테스트합니다.

3. 주요 기여

1. PAVE 아키텍처: 긴급 상황에 의해 촉발된 규칙 위반, 동료 전염, 그리고 권위 억제를 공동으로 모델링하는 새로운 인지 프레임워크로, 위반을 우발적인 발현 결과로 취급하는 것을 넘어섭니다.
2. VOVILLE 환경: 순수한 대화 시뮬레이션과 구별되는 물리적으로 관찰 가능한 준수 및 위반 사건을 가능하게 하는 공간적으로 근거한 시뮬레이션 환경입니다.
3. 경험적 규명: 세 가지 시나리오, 다섯 가지 조건, 그리고 네 가지 LLM 백본 (GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini) 을 통한 제거 실험을 통해 에이전트가 규칙 위반을 하거나 억제하는 구체적인 조건을 규명했습니다.

4. 결과

평가에는 네 가지 속성에 중점을 두었습니다: 정당한 위반 (P1), 권위에 대한 존중 (P2), 준수 회복 (P3), 그리고 제한된 범위 (P4).

• 정당한 위반 (P1): PAVE 에이전트는 유발 요인 (예: 화재) 이 이를 정당화할 때만 위반했습니다. "불법 횡단보도" 시나리오에서 PAVE 에이전트는 동료 모방에 저항했습니다 (위반율 0.04). 이는 "늦어짐" 유발 요인이 정당성 검사를 통과하지 못했기 때문이며, Vanilla 에이전트 (0.58) 와 비교됩니다.
• 권위에 대한 존중 (P2): 에이전트들은 내부 정당성 점수 ($\ell$) 가 높았음에도 불구하고 경찰관의 지시에 존중을 표했습니다. 감독받는 교차로에서 준수는 0.94 였습니다. 위반율은 경찰관과의 근접성에 따라 크게 감소했습니다 (3 타일 이내 0.05 대 12 타일 이상 0.65), 이는 인간의 경찰 통제 패턴을 재현합니다.
• 준수 회복 (P3): 에이전트들은 화재 반경을 벗어난 후 약 4 틱 이내에 기본 준수로 돌아갔습니다. 권위 효과는 지속되지 않았습니다; 경찰관이 떠나거나 화재가 끝나면 에이전트들은 표준 행동으로 복귀했습니다.
• 제한된 범위 (P4): 위반은 대상이 된 규칙으로 제한되었습니다. 관련 없는 규칙 위반 (예: 사적 건물 진입) 은 0.02 로 거의 0 에 가까웠으며, 반면 Vanilla 에이전트는 높은 비율 (0.31) 을 보였습니다.

제거 실험 결과:

• 정당성 게이트 제거: 게이트가 없으면 PAVE 에이전트는 편의성 기반 위반에 대해 "Vanilla" 에이전트처럼 행동했습니다. 관련 없는 규칙에 대한 위반율은 0.02 에서 0.21 로 급증했으며, 동료 주도 전환율은 0.04 에서 0.39 로 상승했습니다.
• Vanilla 기준: Vanilla 에이전트는 주로 "중요성 병목 현상"으로 인해 실패했습니다. 근본적인 중요성 점수 매기기 메커니즘 (Park 등) 은 물리적 위험보다 사회적 희소성을 우선시했습니다. 결과적으로 화재는 종종 일상적인 빨간불과 동일한 중요도로 평가되어 과소 반응 (대피 실패) 또는 범위 없는 반응을 초래했습니다.

인간 평가:
인간 평가자들은 PAVE 에이전트를 Vanilla 에이전트 (3.42/7) 보다 유의하게 높은 점수 (5.78/7) 로 평가했으며, 특히 단서의 중요성과 정당성 판단에서 그러했습니다.

5. 의의 및 주장

이 논문은 PAVE 가 생성형 에이전트의 의사결정 파이프라인에 구조적 해결책을 제공한다고 주장합니다. 그 의의는 결과 (에이전트가 화재에서 대피하는 것) 가 아니라 메커니즘에 있습니다:

• 동기 구분: PAVE 는 "편의성"과 "정당성"을 성공적으로 분리하여, 필요성, 비례성, 그리고 대안의 부재가 충족될 때만 위반이 발생하도록 보장합니다.
• 추론의 확장성: 이 아키텍처는 임의의 규칙 위반에 대한 원칙적인 게이트를 유지하면서 에이전트 수준의 변이 (도출된 임계값 $\tau$를 통해) 를 허용합니다.
• 회복 및 전염 저항성: 이 시스템은 유발 요인이 사라진 후 사회적 구조가 회복될 수 있음을 보여주며, 에이전트들이 근본적인 상황이 정당하지 않다면 동료 주도 전염에 저항할 수 있음을 입증합니다.

저자들은 겸손하게 한계를 지적합니다: 규칙은 학습된 것이 아니라 수동으로 지정되었으며, 연구는 논쟁의 여지가 있는 권위나 조정된 다중 에이전트 위반 없이 단일 유발 요인 시나리오에 초점을 맞추고 있습니다. 그러나 그들은 VOVILLE 에서 관찰된 억제 - 거리 패턴과 일간 회복이 명시적으로 그렇게 하도록 타겟팅되지 않았음에도 불구하고 인간 현장 연구 (예: Koper [1995]) 를 재현한다고 주장하며, 이는 아키텍처가 안전 관련 설정에서의 규칙 위반에 대한 근본적인 역학을 포착하고 있음을 시사합니다.