Counterfactual Reasoning for Causal Responsibility Attribution in Probabilistic Multi-Agent Systems

기술적 요약: 확률적 다중 에이전트 시스템에서의 인과적 책임 귀속을 위한 반사실적 추론

문제 제기
본 논문은 확률적 환경에서 여러 에이전트가 상호작용하고 결과를 공동으로 영향을 미치는 다중 에이전트 시스템 (MAS) 내 책임 할당의 과제를 다룹니다. 핵심 문제는 다음과 같이 두 가지로 나뉩니다:

1. 소급적 귀속: 전략 프로파일과 에이전트들의 능력을 고려할 때, 개별 에이전트가 특정 결과 (예: 충돌) 에 대해 어느 정도까지 책임을 지는지를 공정하게 정량화하는 방법입니다. 이는 단순히 참여한 에이전트와 인과적으로 중요한 행동을 한 에이전트를 구별해야 하며, 특히 에이전트들이 성공 또는 실패의 확률이 상이할 때 (예: 한 에이전트는 확실하게 정지할 수 있지만 다른 에이전트는 그렇지 못한 경우) 필요합니다.
2. 전략적 추론: 에이전트들이 "책임 인식 (responsibility-aware)" 상태일 때, 즉 바람직하지 않은 결과로 인해 발생할 수 있는 벌칙이나 책임의 정도를 기대 보상과 비교하여 고려할 때, 에이전트들이 어떻게 전략을 선택해야 하는지입니다.

방법론
저자들은 시스템을 **동시 확률적 다중 플레이어 게임 (CSG)**으로 모델링합니다. 에이전트들은 상태를 행동에 대한 확률 분포로 매핑하는 메모리 없는 (행동) 전략을 사용합니다. 방법론은 세 가지 주요 단계로 진행됩니다:

1. 반사실적 책임 (bCR) 의 형식화:

   • 본 논문은 충분 집합의 필수 요소 (NESS) 테스트에 기반한 후방 반사실적 (backward counterfactual) 접근법을 채택합니다. 에이전트 $i$가 결과 $\phi$에 대해 책임을 지는 것은, $i$를 제외한 연합 $J$가 존재하여 $J$의 전략만으로는 $\phi$를 보장하지 못하지만, $J \cup \{i\}$는 $\phi$를 보장하는 경우입니다.
   • 정성적 귀속에서 정량적 귀속으로 전환하기 위해, 저자들은 **샤플리 값 (Shapley value)**을 활용합니다. 그들은 연합 $A$가 특정 전략 프로파일 $\vec{\sigma}_A$를 따르는 동안 $A$ 외부의 에이전트들이 $\phi$의 확률을 최소화하도록 최적으로 행동할 때 $\phi$가 발생할 최소 확률을 나타내는 특성 함수 $v_{\vec{\sigma}, \phi}(A)$를 정의합니다 ($\phi$가 바람직하지 않다고 가정).
   • 책임의 정도 $D_i(\vec{\sigma}, \phi)$는 모든 가능한 연합에 걸쳐 $\phi$ 발생 확률에 대한 에이전트 $i$의 한계 기여도에 대한 샤플리 값으로 계산됩니다.

2. 검증을 위한 논리 (PATL-SR):

   • 저자들은 에이전트 $i$에 대한 후방 반사실적 책임의 정도가 특정 경계 $d$를 만족하는지 추론할 수 있도록 하는 새로운 연산자 $\langle A \rangle D_{\bowtie d} [bCR_i(\vec{\sigma}, \psi)]$를 포함하여 PATL(확률적 교대 시간 논리) 을 확장합니다.
   • 이 논리는 누적 보상과 시간적 속성 (유계 도달성/안전성) 을 포함합니다.

3. 전략적 의사결정 (내시 균형):

   • 책임 인식 유틸리티 함수가 정의됩니다: $u_i(\vec{\sigma}) = \text{기대 보상} - \lambda \cdot D_i(\vec{\sigma}, \phi)$, 여기서 $\lambda$는 보상과 책임 사이의 균형을 맞추는 계수입니다.
   • 안정적인 전략을 찾는 문제는 **내시 균형 (NE)**을 계산하는 문제로 형식화됩니다.
   • 이를 해결하기 위해 저자들은 메모리 없는 전략을 변수로 인코딩하는 **매개변수 확률적 다중 에이전트 시스템 (PSMAS)**을 도입합니다. 그들은 도달성 및 안전성 목표에 대해 유틸리티 함수가 **준오목 (quasi-concave)**함수 (구체적으로 전략 매개변수에 대해 선형) 임을 증명하여, NE 계산을 실수 존재 이론에 대한 방정식 체계의 해로 축소할 수 있음을 보여줍니다.

주요 기여

• bCR 을 위한 형식적 프레임워크: 본 논문은 샤플리 값을 사용하여 확률적 CSG 에서 반사실적 책임의 정량적 정의를 도입합니다. 이 프레임워크는 책임이 결과 발생 가능성에 대한 한계 기여도에 기반하여 할당되도록 보장합니다.
• 이론적 속성: 저자들은 귀속 방법이 다음과 같은 주요 바람직한 속성을 만족함을 형식적으로 증명합니다:
  • 효율성: 할당된 책임의 합은 결과의 실제 확률과 달성 가능한 최소 확률 사이의 차이인 총 귀속 가능 값과 같습니다.
  • 대칭성: 동일한 기여도를 가진 에이전트는 동일한 책임을 받습니다.
  • 널 플레이어: 결과에 영향을 미치지 않는 에이전트는 0 의 책임을 받습니다.
  • 단조성과 가산성: 책임은 결과들이 확장되거나 결합될 때 (특정 불연속/회피 가능 조건 하에서) 일관되게 작용합니다.
• 논리와 복잡성: 저자들은 책임 연산자를 포함하여 PATL 을 확장한 PATL-SR을 제안합니다. 그들은 PATL-SR 의 모델 체킹이 표준 rPATL 의 복잡성과 일치하는 PSPACE에 머무름을 증명합니다.
• 전략적 계산: 본 논문은 보상과 책임을 모두 포함하는 유틸리티 함수를 최적화하는 에이전트들이 내시 균형 전략 프로파일을 계산하는 방법을 제공합니다. 그들은 도달성 및 안전성 목표에 대해 이 계산이 또한 PSPACE에 있음을 보여줍니다.

결과

• 사례 연구 검증: 교차로에 접근하는 두 대의 자율 주행 차량 (A1 및 A2) 에 대한 실행 예시는 프레임워크를 보여줍니다. 두 에이전트 모두 브레이크를 밟지 않기로 선택하는 시나리오에서, 모델은 A1 이 A2(0.24) 보다 높은 책임 정도 (0.64) 를 지닌다고 계산합니다. 이는 A1 이 A2(0.4) 에 비해 정지할 확률 (0.8) 이 더 높기 때문에 A1 의 정지 실패가 반사실적으로 더 중요하기 때문에 직관과 부합합니다.
• 복잡성 경계: 본 논문은 책임 추론을 추가하는 것이 검증 또는 균형 찾기의 계산 복잡성 클래스를 PSPACE 를 넘어 증가시키지 않는다는 점을 확립합니다.
• 균형 존재성: 유틸리티 함수의 준오목성을 특정 시간적 목표에 활용함으로써, 본 논문은 에이전트들이 이동 시간 (보상) 과 충돌 위험 (책임) 사이를 절충하는 안정적인 전략 프로파일 (내시 균형) 을 계산할 수 있음을 확인합니다.

의의와 주장
본 논문은 "책임 인식 에이전트"를 가능하게 함으로써 신뢰할 수 있는 AI를 향한 기초적인 단계를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 해석 가능성: 이 프레임워크는 학제 간에 널리 이해되는 개념인 샤플리 값을 기반으로 하여, "블랙박스" 도덕적 판단이 아닌 해석 가능한 귀속 방법을 제공합니다.
• 형식적 엄밀성: 형식적 검증 (논리, 모델 체킹) 과 게임 이론 (내시 균형, 유틸리티 최대화) 을 연결하여 어떻게 책임을 귀속할 것인지와 어떻게 에이전트들이 그 귀속을 고려하여 행동해야 하는지에 대한 이중적인 질문에 대응합니다.
• 실용적 적용 가능성: 저자들은 자신들이 도덕적 책임의 전체를 형식화한다고 주장하지는 않지만 (복잡한 철학적 영역), 확률적 다중 에이전트 설정에서 에이전트들이 행동의 결과를 고려해야 하는 시스템을 설계하기 위한 엄밀하고 정량적인 도구를 제공한다고 지적합니다.

본 논문은 메모리 없는 전략에 대한 현재 초점과 같은 한계를 인정하며, 유한 메모리 에이전트로의 프레임워크 확장 및 규범적 시스템과 다중 에이전트 강화 학습에 책임 통합을 향후 과제로 제안합니다.