Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

기술 요약: 신뢰할 수 있는 자율 다중 에이전트 시스템을 위한 설명 가능한 결정 그래프(Explainable Decision Graphs)

문제 정의
자율 다가 에이전트 시스템(MAS)은 의료, 금융, 사이버 보안, 자율 운송과 같은 중요한 영역에 점점 더 많이 배치되고 있습니다. 이러한 시스템은 분산된 의사결정을 통해 유연성과 확장성을 제공하지만, 그 협력적인 특성으로 인해 "블랙박스" 문제를 야기합니다. 최종 결정은 관찰, 에이전트 간 통신, 중간 추론, 갈등 및 검증 단계의 복잡한 시퀀스로부터 나타납니다. 기존의 설명 가능한 인공지능(XAI) 기술, 특히 LIME(Local Interpretable Model-Agnostic Explanations)과 SHAP(SHapley Additive exPlanations)은 주로 개별 머신러닝 예측을 설명하기 위해 설계되었습니다. 이들은 특정 에이전트가 결정에 어떻게 기여했는지, 증거가 어떻게 교환되었는지, 갈등이 어떻게 해결되었는지, 또는 검증 규칙이 어떻게 적용되었는지와 같은 시스템 수준의 현상을 표현하는 능력이 부족합니다. 결과적으로, MAS의 분산된 추론 과정을 이해 가능하고, 추적 가능하며, 검증 가능한 형태로 표현하는 데 있어 격차가 존재합니다.

방법론: 설명 가능한 결정 그래프(EDG)
이 격차를 해소하기 위해, 본 논문은 설명 가능한 결정 그래프(EDG) 프레임워크를 제안합니다. 이 프레임워크는 기존의 자율 에이전트를 대체하는 것이 아니라, 그와 병행하여 작동하는 설명 및 추적성 레이어 역할을 합니다. 방법론은 네 가지 주요 모듈로 구성됩니다:

1. 에이전트 실행 및 모니터링: 이 모듈은 자율 에이전트의 런타임을 모니터링하여 에이전트 식별자, 입력/관찰, 중간 결정, 신뢰도 점수, 지원 증거, 타임스탬프를 포함한 이벤트를 기록합니다.
2. 에이전트 간 상호작용 추적: 이 모듈은 송신자, 수신자, 메시지, 시간을 튜플로 정의하여 에이전트 간의 통신을 기록합니다. 특히 에이전트들이 서로 다른 결정을 제안하는 갈등 상황을 추적합니다.
3. 설명 가능한 결정 그래프 구축: 프레임워크의 핵심은 방향성 그래프 $G = (V, E)$를 구축하는 것입니다. 노드 집합 $V$는 에이전트 노드, 입력/관찰 노드, 증거 노드, 결정 노드, 검증 노드, 그리고 액션 노드의 합집합입니다. 엣지는 "지원한다(supports)", "영향을 미친다(influences)", "통신한다(communicates)", "모순된다(contradicts)", "검증한다(verifies)", "생성한다(produces)"와 같은 관계를 나타냅니다. 이 구조를 통해 최종 시스템 액션을 기여한 에이전트와 증거로 역추적할 수 있습니다.
4. 검증 및 설명 생성: 검증 레이어는 사전 정의된 안전 및 정책 제약 조건($D |= R$)에 대해 결정을 확인합니다. 그래프 구조를 기반으로 시스템은 세 가지 수준에서 설명을 생성합니다:
   • 사용자 수준(User-level): 결정의 주요 원인에 대한 간결한 요약.
   • 개발자 수준(Developer-level): 에이전트, 증거, 상호작용 및 검증에 관한 상세 정보.
   • 감사자 수준(Auditor-level): 결정 이벤트 및 검증 결과에 대한 완전한 추적 기록.

프레임워크는 실험적 평가를 위해 12개의 다중 에이전트 시스템 실행 트레이스를 제공하는 MAESTRO MAS 벤치마크를 활용합니다. 제안된 평가 방법론은 설명 충실도(fidelity), 완결성(completeness), 결정 추적 가능성, 인간 이해 가능성, 결정 정확도, 설명 일관성, 계산 오버헤드와 같은 지표에 초점을 맞춥니다.

주요 기여
본 논문은 신뢰할 수 있는 AI 분야에 다섯 가지 주요 기여를 명시합니다:

1. 시스템 수준의 그래프 표현: 개별 모델 설명을 넘어 다중 에이전트 결정을 설명하기 위한 새로운 그래프 기반 구조를 제시합니다.
2. 상호작용 인식 추적 가능성: 에이전트, 증거, 중간 결정 및 최종 액션을 명시적으로 연결하여 에이전트 간 의존성을 포착하는 메커니즘을 제공합니다.
3. 검증 인식 설명: 결정 경로가 안전 및 정책 제약 조건에 대해 검토될 수 있도록 보장하는 통합 메커니즘을 제공합니다.
4. 다층적 설명: 동일한 기초 그래프 데이터를 바탕으로 다양한 이해관계자(사용자, 개발자, 감사자)에 맞춰 설명을 조정할 수 있는 능력을 제공합니다.
5. 실험적 방법론: 정량적 및 정성적 지표를 사용하여 EDG를 기존 방식(LIME, SHAP, 에이전트 수준 XAI)과 비교 평가하기 위한 프레임워크를 제안합니다.

결과 및 실험 현황
본 논문은 구현 및 평가 단계에서 수치적 결과가 별도로 다뤄질 것임을 명시적으로 밝히고 있습니다. 따라서 "결과" 섹션에는 성능 데이터, 정확도 점수 또는 지연 시간 측정값이 제시되지 않습니다. 대신 다음을 제공합니다:

• 개념적 비교: 제안된 EDG가 LIME이나 SHAP과 달리 에이전트 수준, 상호작용 수준, 추적 가능성 및 검증 기능을 지원함을 보여주는 표(Table I)를 제시합니다.
• 측정 준비가 된 시각화: 향-데이터를 위한 템플릿으로 그림과 표(예: Fig. 4, Table II, Fig. 7)를 제시합니다. 이는 그래프 복잡도가 참여 에이전트 수에 따라 측정될 것이며, 성능 비교는 베이스라인과 수행될 것임을 나타냅니다.
• 통계적 프레임워크: MAESTRO 데이터셋에서 프레임워크를 실행한 후 데이터를 분석하기 위해 사용할 통계적 방법(기술 통계, t-검정, ANOVA, 신뢰 구간)을 정의합니다.

의의 및 주장
본 논문은 EDG 프레임워크가 자율 MAS의 시스템 수준 추적성, 투명성 및 책임성을 위한 기초 구조를 제공한다고 겸허히 주장합니다. 기존의 LIME이나 SHAP 같은 방법들이 개별 모델에는 가치가 있지만, MAS에서 발견되는 협력적 추론을 설명하기에는 불충분하다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 갈등 및 검증 이벤트를 포함한 전체 결정 경로를 표현할 수 있음.
• 사용자가 최종 결정을 특정 에이전트와 증거로 역추적할 수 있게 함.
• 안전 제약 조건에 대한 결정 검증을 지원함.

저자는 결정 그래프가 에이전트 수가 증가함에 따라 커질 수 있으며, 이로 인해 계산 오버헤드와 인간의 해석 가능성에 어려움이 생길 수 있다는 한계를 인정합니다. 본 논문은 EDG가 신뢰할 수 있는 AI를 향한 단계적 진전임을 결론지으며, 성능 향상이나 통계적 유의성에 대한 주장을 입증하기 위해서는 실증적 검증이 필요함을 강조합니다. 향후 연구 과제로는 실시간 구축, 인과 추론, 대규모 언어 모델(LLM)과의 통합, 그리고 형식 검증(formal verification)이 식별되었습니다.