Causal Foundations of Collective Agency

Jørgensen, Weichwald, Hammond 의 논문 "Causal Foundations of Collective Agency(집단적 주체성의 인과적 기초)"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 고급 AI 시스템에서 발생할 수 있는 중요한 안전 문제를 다룹니다: 여러 개의 단순한 에이전트가 우연히 개별 구성원과는 구별되는 능력과 목표를 가진 집단적 에이전트(또는 "슈퍼 에이전트") 를 형성할 수 있다는 가능성입니다. 철학 문헌에서는 집단적 의도성에 대해 논의하고 있지만, 에이전트들의 그룹이 언제 단일 통합 에이전트로 유효하게 모델링될 수 있는지를 판단할 수 있는 공식적이고 엄밀한 도구는 부족합니다.

핵심 질문은 다음과 같습니다:

• 상호작용하는 에이전트들의 그룹이 언제 통합된 집단적 에이전트를 구성하는가?
• 단순한 개인들의 집합과 고유한 합리성과 효용 함수를 가진 창발적 집단적 에이전트를 어떻게 공식적으로 구별할 수 있는가?
• 이러한 이해를 어떻게 다중 에이전트 AI 시스템에서 창발적 행동을 예측하고 통제하는 데 사용할 수 있는가 (예: 자원 고갈 방지 또는 조정된 사이버 공격 방지)?

2. 방법론

저자들은 행동적 ("블랙박스") 관점에서 집단적 주체성을 공식화하기 위해 **인과 게임 (Causal Games)**과 **인과 추상화 (Causal Abstraction)**를 결합한 프레임워크를 제안합니다.

A. 이론적 기초

1. 기계화된 구조적 인과 모델 (mSCMs):

   • 저자들은 표준 SCM 을 기계화된 SCM으로 확장합니다. 여기서 객체 변수를 지배하는 인과 메커니즘 (함수) 들은 별도의 인과 모델에 의해 지배됩니다.
   • 이는 에이전트의 의사결정 규칙, 전략 또는 매개변수를 나타내는 **메커니즘 노드 ($\tilde{V}$)**의 명시적 표현을 가능하게 합니다.
   • 주체성 정의: 에이전트는 특정 효용 함수에 대해 합리적으로 (예: 최적 반응 via Best Response) 반응하는 메커니즘 노드로 정의됩니다.

2. 인과 추상화:

   • 저자들은 "저수준" 모델 (개별 에이전트) 을 "고수준" 모델 (집단적 에이전트) 로 매핑하기 위해 기계화된 추상화 (mechanized abstractions) 개념을 활용합니다.
   • 변수 정렬 ($A$): 고수준 객체 변수를 저수준 객체 변수 집합에 매핑합니다.
   • 값 매핑 ($\tau$): 저수준 변수 값을 고수준 값으로 변환하는 함수입니다.
   • 개입 매핑 ($\omega$): 저수준 메커니즘에 대한 개입을 고수준 메커니즘에 대한 개입으로 변환하는 함수입니다.
   • 일관성 조건: 고수준 모델이 유효한 추상화이기 위해서는, 저수준 메커니즘에 대한 모든 개입에 대해, 그 결과로 얻어지는 고수준 변수의 분포가 고수준 메커니즘에 직접 개입하여 얻은 분포와 일치해야 합니다.

3. 합리성 관계:

   • 이 프레임워크는 특정 의사결정 이론에 구애받지 않지만 **합리성 관계 ($R$)**에 의존합니다. 주된 초점은 주어진 맥락에서 기대 효용을 극대화하는 최적 반응 (RBR) 합리성입니다.

B. 집단적 주체성을 위한 공식적 프레임워크

저자들은 집단적 에이전트를 다음과 같이 정의합니다: 저수준 시스템이 유효한 기계화된 추상화를 허용할 때, 고수준 노드가 특정 효용 함수를 최적화하는 합리적 에이전트처럼 행동할 때, 고수준 메커니즘 노드로서 창발하는 것입니다.

• 비자명성 (Non-Triviality): 에이전트가 상수 함수가 아니라 다양한 맥락 (개입) 에 반응하여 의미 있게 행동이 변화할 때 "비자명"한 것으로 간주됩니다.
• 비창발에 대한 정리 (명제 16): 저자들은 고수준 노드에 대응하는 저수준 메커니즘 노드가 독립적인 메커니즘(즉, 내부 논리가 다른 에이전트의 맥락에 의존하지 않음) 을 가진다면, 고수준에서 비자명한 집단적 에이전트가 창발할 수 없음을 증명합니다. 이는 집단적 주체성 탐지에서 오검출을 배제하기 위한 이론적 도구를 제공합니다.

3. 주요 기여

1. 집단적 주체성의 공식적 정의:
   이 논문은 집단적 주체성에 대한 최초의 엄밀한 인과적 정의를 제공합니다. 철학적 직관을 넘어 수학적 기준으로 이동합니다: 그룹이 단일 합리적 최적화자로서 행동하는 유효한 기계화된 추상화가 존재할 때, 그 그룹은 집단적 에이전트입니다.

2. 액터 - 크리틱 퍼즐의 해결:
   저자들은 이 프레임워크를 액터 - 크리틱 (Actor-Critic, AC) 강화학습 알고리즘에 적용합니다.

   • 퍼즐: AC 에서 "액터"와 "크리틱"은 별개의 구성 요소입니다. 단일 에이전트 인센티브에 대한 그래픽 기준은 둘 다 상태를 조작할 인센티브가 없음을 시사합니다. 그러나 직관적으로 시스템은 보상을 극대화하기 위해 행동합니다.
   • 해결: 이 논문은 AC 시스템이 "액터 - 크리틱"을 단일 고수준 에이전트로 하는 강력한 기계화된 추상화를 허용함을 증명합니다. 이 고수준 에이전트는 진정한 보상을 합리적으로 최적화하므로, 구성 요소 수준에서는 그러한 인센티브가 없음에도 불구하고 시스템의 목표 지향적 행동을 설명합니다.

3. 다중 에이전트 시스템을 위한 대리 모델링:
   이 프레임워크는 **개입 일관성 대리 모델 (interventionally consistent surrogate models)**을 생성하는 데 사용됩니다. 수천 개의 개별 에이전트를 시뮬레이션하는 것 (계산 비용이 많이 듦) 대신, 추상화가 유효하다면 그룹을 단일 집단적 에이전트로 모델링할 수 있습니다. 이를 통해 개입 (예: 정책 변경) 이 그룹 결과에 미치는 영향을 효율적으로 예측할 수 있습니다.

4. 투표 메커니즘에 대한 실증적 검증:
   저자들은 국가를 시민들의 집합으로 시뮬레이션하는 세 가지 투표 메커니즘 (VCG, 중앙값 투표, 무작위 독재자) 에서 이 프레임워크를 테스트했습니다.

   • 그들은 저수준 시민 개입에서 고수준 국가 효용 매개변수로의 매핑 ($\omega$) 을 학습하기 위해 신경망을 훈련시켰습니다.
   • 결과:
     • VCG 및 중앙값 투표: 집단적 주체성 모델이 높은 정확도를 달성했습니다 (각각 베이스라인 대비 95% 및 88.6% 향상). 이는 이러한 메커니즘이 개인들을 통합된 집단적 에이전트로 효과적으로 변환함을 나타냅니다.
     • 무작위 독재자: 모델이 실패했습니다 (베이스라인보다 나쁨). 이는 결과가 통합된 그룹 효용이 아니라 단일 확률적 독재자에 의존하므로, 이 메커니즘은 일관된 집단적 에이전트를 형성하지 않음을 보여줍니다.

4. 결과 요약

참고: MAE = 개입 하의 오염 수준 예측에 대한 평균 절대 오차.

5. 중요성 및 함의

• AI 안전: 이 프레임워크는 다중 에이전트 AI 네트워크에서 "창발적 슈퍼 에이전트"를 탐지하는 방법을 제공합니다. AI 에이전트 그룹이 우연히 정렬되지 않은 목표를 가진 집단적 에이전트를 형성한다면, 이 프레임워크는 해당 집단적 구조를 식별하고 잠재적으로 해체하기 위한 이론적 도구를 제공합니다.
• 예측 능력: 연구자들은 모든 개별 상호작용을 시뮬레이션하는 계산 비용을 우회하여, 복잡한 다중 에이전트 시스템 (시장이나 군집 등) 의 행동을 단일 에이전트로 모델링함으로써 예측할 수 있게 됩니다.
• 견고한 시스템 설계: 집단적 주체성이 창발하는 조건 (예: 특정 투표 규칙 또는 인센티브 구조) 을 이해함으로써, 시스템 설계자는 협력 로봇 공학과 같이 유익한 집단 지성을 촉진하거나 경쟁적 AI 시장과 같이 위험한 창발적 담합을 방지하기 위해 다중 에이전트 환경을 설계할 수 있습니다.
• 추상화 수준의 연결: 이 연구는 미시적 에이전트 행동과 거시적 시스템 속성 간의 간극을 연결하여, 주체성 맥락에서 "더 많은 것은 다르다 (Anderson, 1972)"는 주장에 대한 인과적 근거를 제공합니다.

결론적으로, Jørgensen 등은 집단적 주체성의 창발을 이해, 예측, 통제하기 위한 기초적인 수학 도구를 제공하여, 이 분야를 철학적 추측에서 엄밀한 인과 분석으로 이동시켰습니다.