🤖 AI

Semantic Cooperative Games for Contribution Attribution in LLM-Based Multi-Agent Systems

이 논문은 시맨틱 생성 하이퍼그래프와 시맨틱 샤플리 값을 활용하여 LLM 기반 다중 에이전트 시스템에 대해 빠르고, 반사실적 추론이 필요 없으며, 해석 가능한 기여도 귀속을 제공함으로써 정확도를 유지하면서도 계산 비용을 크게 절감하는 효율적인 단일 궤적 알고리즘인 SLIC과 시맨틱 협력 게임(SCG)을 소개한다.

원저자: Pengyi Jiang, Xiaoguang Zhu, Quanyan Zhu

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pengyi Jiang, Xiaoguang Zhu, Quanyan Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 무리의 친구들이 거대하고 복잡한 퍼즐을 함께 풀려고 노력한다고 상상해 보세요. 그들은 서로 노트를 주고받으며, 각자 조각을 추가하거나, 실수를 바로잡거나, 새로운 관점을 제안합니다. 인공지능의 세계에서 이 "친구들"은 팀으로 일하는 대규모 언어 모델(LLM)이며, 이를 멀티 에이전트 시스템(multi-agent system)이라고 부릅니다. 그들은 단순히 채팅을 하는 것이 아니라, 의료 진단, 법률 요약, 또는 코드 생성과 같은 결과물을 만들기 위해 엄격한 워크플로우를 따릅니다. 하지만 여기서 까다로운 점이 있습니다. 최종 퍼즐이 풀렸을 때(혹은 실패했을 때), 과연 누구에게 공로를 돌려야 할까요? 첫 번째 단서를 찾은 사람일까요, 점들을 연결한 사람일까요, 아니면 가장자리를 재차 확인한 사람일까요?

오랫동안 과학자들은 "반사실적 가치 평가(counterfactual valuation)"라는 방법을 사용하여 이 문제를 해결하려 노력했습니다. 이것은 마치 범죄가 발생한 후 형사가 "만약 이 사람을 이야기에서 지워버린다면 어떻게 될까?"라고 묻는 것과 같습니다. 그들은 에이전트를 삭제하고, 처음부터 전체 대화를 다시 실행하여 결과가 바뀌는지 확인합니다. 만약 결과가 바뀌었다면, 그 에이전트는 중요했던 것입니다. 하지만 이는 고장 난 시계를 고치기 위해 시계를 분해하고, 열 가지 방식으로 다시 조립하며, 시간이 맞기를 바라는 것과 같습니다. 이는 시간이 너무 오래 걸리고, 많은 에너지가 들며, AI는 다소 예측 불가능할 수 있기 때문에(주사위 던지기처럼) 결과가 흔들리는 경우가 많습니다. 이는 진실을 찾기에 매우 번거롭고 비용이 많이 드는 방식입니다.

여기서 한 새로운 논문이 영리하고 더 빠른 아이디어를 제시합니다. 기존의 "주사위를 다시 던지거나 시계를 다시 만드는" 대신, 저자들은 이미 일어난 단 하나의 실제 대화를 보고 그 의미의 "빵부스러기(breadcrumbs)"를 추적하는 방식을 제안합니다. 그들은 이 방법을 **의미론적 협력 게임(Semantic Cooperative Games, SCG)**이라 부르고, 그 알고리즘을 SLIC이라고 부릅니다.

이것이 어떻게 작동하는지 재미있는 비유를 들어 설명하겠습니다. 팀의 대화를 거대한, 엉킨 실타래라고 상상해 보세요. 실의 각 매듭은 정보의 조각(의미론적 노드)이며, 그들을 잇는 실은 하나의 아이디어가 어떻게 다른 아이디어로 이어졌는지를 보여줍니다. 어떤 실은 에이전트 A가 쥐고 있고, 다른 실은 에이전트 B가 쥐고 있습니다. 논문은 우리가 실을 자르고 다시 묶어서 누가 중요한지 확인할 필요가 없다고 제안합니다. 대신, 완성된 웹을 보고 이렇게 물을 수 있습니다. "어떤 매듭들이 최종적인 그림을 유지하는 데 절대적으로 필요한가?"

저자들은 많은 경우, 에이전트 A가 문장을 쓰고 에이전트 B가 그것을 단순히 반복한다면, 에이전트 B는 실제로 새로운 것을 추가하지 않았다는 사실을 깨달았습니다. 기존의 "재실행" 방식에서는, 당신이 에이전트 A를 삭제했을 때 시스템이 당황하기 때문에 실수로 에이전트 B에게 공로를 줄 수도 있습니다. 하지만 새로운 SLIC 알고리즘은 "불 대수 흡수(Boolean absorption)"라는 논리적 트릭을 사용합니다. 이것은 마치 열쇠 하나와 예비 열쇠 하나가 있을 때, 첫 번째 열쇠만으로 문이 열린다면 두 번째 열키는 불필요하다는 것을 깨닫는 것과 같습니다. SLIC은 무엇이 일어날지 추측하는 대신, 아이디어의 흐름을 살펴봄으로써 이러한 중복성을 즉각적으로 찾아냅니다.

이 논문은 일반적이고 단순한 조건 하에서 이 새로운 방식이 기존의 느린 재실행 방식과 정확히 동일한 답을 준다는 것을 증명합니다. 하지만 진짜 마법은 속도와 안정성에 있습니다. 의료 벤치마크(건강 관련 AI를 검증하는 데이터셋)를 사용한 테스트에서, 이 새로운 방식은 컴퓨팅 비용을 **93.3%**나 절감했습니다. 이는 엄청난 감소입니다! 즉, 우리는 수백 번의 시뮬레이션을 실행할 필요 없이, AI 에이전트 팀 내에서 누가 핵심적인 역할을 했는지 알아낼 수 있다는 뜻입니다.

나아가, 에이전트들의 역할이 서로 다른 더 복잡하고 혼란스러운 시나리오에서, 이 새로운 방식은 단순히 점수만을 주는 것이 아니라 이야기를 들려줍니다. 이 방식은 에이전트가 텍스트를 많이 쓰지 않았더라도 구조적으로 시스템을 지탱하는 존재(건물의 기둥처럼)인지, 혹은 그 에이전트의 실패가 붕괴를 초래할 것인지를 포착할 수 있습니다. 이는 에이전트들에게서 실제로 발생하는 현상(예: "환각"이나 가짜 정보를 주는 경우)과 매우 잘 일치하며, 일부 테스트에서 최대 1.000의 정렬 점수를 기록했습니다.

그렇다면 핵심은 무엇일까요? 우리는 기계를 작동시키기 위해 부술 필요가 없습니다. 아이디어의 경로를 추적함으로써, 우리는 단 한 번의 실제 대화 속에서 누가 무엇을 기여했는지 공정하고 빠르게 결정할 수 있습니다. 이것은 "파괴를 통한 추측"에서 "추적을 통한 이해"로의 전환이며, 향-후 더 나은, 더 신뢰할 수 있는 AI 에이전트 팀을 구축하는 것을 훨씬 쉽게 만들어 줍니다.

기술 요약: LLM 기반 멀티 에이전트 시스템의 기여도 귀속을 위한 의미론적 협력 게임 (Semantic Cooperative Games)

문제 정의

본 논문은 LLM(대규모 언어 모델) 기반 멀티 에이전트 시스템에서의 **기여도 귀속 문제(Contribution Attribution Problem, CAP)**를 다룹다. 이러한 시스템에서 최종 출력은 에이전트의 행동, 메시지 교환, 그리고 순차적인 워크플로우 의존성이 얽힌 복잡한 시퀀스로부터 발생한다. 기존의 귀속 방법들은 주로 **역사실적 가치 평가(counterfactual valuation)**에 의존하며, 이는 에이전트를 제거하거나, 메시지를 마스킹하거나, 변경된 시스템 하위 집합 간의 점수를 비교함으로써 기여도를 추정한다.

저자들은 언어 매개 워크플로우 내의 현재 역사실적 접근 방식에서 두 가지 결정적인 한계를 식별하였다:

워크플로우 의존성(Workflow Dependence): 기여도는 단순히 에이전트의 존재 여부에 의해서만 결정되는 것이 아니라, 특정 실행 순서, 라우팅 규칙, 그리고 하위 의존성에 따라 달라진다. 집합 기반의 역사실적 검증(예: 에이전트 하위 집합 제거)은 LLM 워크플로우에 내재된 부분 순서(partial-order) 의존 구조를 포착하지 못한다.
비용 및 불안정성(Cost and Instability): 역사실적 사례를 생성하기 위해 워크플로우를 재실행하는 것은 높은 계산 비용(반복적인 모델 호출)과 LLM 디코딩의 확률적 특성, 프롬프트 민감도, 오케스트레이션 세부 사항으로 인한 높은 분산을 초래한다.

본 논문은 귀속이 단순한 가치 비교 문제가 아니라 **워크플로우 구조적 문제(workflow-structural problem)**로 다루어져야 한다고 주장한다. 즉, 기여도는 가설적인 재실행이 아니라 실현된 의미론적 변환의 궤적(realized trajectory of semantic transformations)으로부터 도출되어야 한다.

방법론: 의미론적 협력 게임(SCG) 및 SLIC

이러한 과제를 해결하기 위해 저자들은 실현된 언어 흐름을 **의미론적 생성 하이퍼그래프(semantic generation hypergraph)**로 모델링하는 의미론적 협력 게임(SCG) 프레임워크와, 기여도를 계산하기 위한 단일 궤적 알고리즘인 SLIC(Semantic Logic Inversion for Contribution)을 제안한다.

1. 의미론적 생성 하이퍼그래프 (Semantic Generation Hypergraph)

SCG의 핵심은 실현된 워크플로우 트레이스를 하이퍼그래프 $G = (S, L, N; \alpha, \omega, O, I)$ 로 변환하는 것이다:

의미론적 노드 ( $S$ ): 가치를 지닌 출력 노드(루브릭에 의해 정의됨)로부터 언어 흐름상의 선행 노드로 재귀적으로 추적하여 추출된다. 노드는 고유(native), 파생(derived), 또는 지속(persistent) 노드로 분류된다.
하이퍼엣지 ( $L$ ): 일련의 입력 노드가 출력 노드를 생성하는 의미론적 변환을 나타내는 유향 링크이다.
소유 맵 ( $\alpha$ ): 각 하이퍼엣지를 해당 엣지를 생성한 특정 에이전트에 매핑한다.
출력 노드 ( $O$ ) 및 가중치 ( $\omega$ ): 루브릭에 의해 평가되는 특정 의미론적 노드이며, 작업 가치를 반영하는 가중치가 할당된다.

2. 의미론적 샤플리 값 (Semantic Shapley Value, SSV)

SSG는 재실행을 통해 가치 함수를 쿼리하는 대신, 하이퍼그래프 구조로부터 직접 에이전트 수준의 의미론적 가치 함수를 유도한다.

지원 로직 (Support Logic): 각 출력 노드에 대해, 시스템은 최소 링크 수준 지원(minimal link-level supports)(노드를 생성하기에 충분한 링크들의 집합)을 식별한다.
불리언 흡수 (Boolean Absorption): 이러한 지원 구조를 에이전트 수준으로 격상시키고, 논리적으로 중복된 경로를 제거하기 위해 불리언 흡수 법칙(예: $(A \land B) \lor A \equiv A$ )을 사용하여 단순화한다.
다선형 확장 (Multilinear Expansion): 단순화된 불리언 지원 함수를 고유한 다선형(Möbius) 계수로 확장한다.
할당 (Allocation): 각 지원 항에 포함된 에이전트들에게 이 계수들을 배분함으로써 **의미론적 샤플리 값(SSV)**을 계산하며, 이는 샤플리 공리(효율성, 대칭성, 더미, 가산성)를 준수한다.

3. SLIC 알고리즘

SLIC는 역사실적 재실행 없이 단 한 번의 패스로 SSV를 계산한다:

역방향 추적 (Trace Backward): 루브릭 출력 노드로부터 선행 노드를 재귀적으로 추적하여 의미론적 생성 하이퍼그래프를 구축한다.
지원 추출 (Extract Supports): 각 출력 노드에 대한 최소 링크 수준 지원을 식별한다.
매핑 및 흡수 (Map and Absorb): 링크를 에이전트에 매핑하고, 최소 에이전트 지원 가계(families)를 도출하기 위해 불리언 흡수를 적용하며 중복을 제거한다.
SSV 계산 (Compute SSV): 지원 함수를 다선형 계수로 확장하고 가중치 적용된 기여도를 집계한다.

이론적 보장

저자들은 표준 조건(집합 기반 가치 도달 가능성, 완전 관측 가능성, 마스킹 또는 순서 의존성 부재) 하에서 의미론적 샤플리 값이 정확히 고전적 샤플리 값으로 수렴함을 증명한다. 이는 SSV가 의미론적 구조에 대한 원칙적인 협력 게임 이론의 확장임을 입 lestablish한다.

주요 기여

SCG 프레임워크: 실현된 언어 흐름을 의미론적 생성 하이퍼그래프로 표현하고, 워크플로우 의존적인 의미론적 지원으로부터 에이전트 수준의 가치 함수를 유도하는 새로운 의미론적 협력 게임 프레임워크를 제시한다.
의미론적 샤플리 값 (SSV): 순서가 없는 코리션(coalition)에서 의미론적 하이퍼그래프로 확장하여, 의미론적 지원 구조에 대한 기여도 할당을 정의한다.
SLIC 알고리즘: 불리언 흡수와 다선형 할당을 활용하여 중복성과 결합 지원을 처리하며, 역사실적 재실행 없이 SSV를 계산하는 단일 궤적 알고리즘이다.
이론적 등가성: SSV가 표준적인 코리션 게임 조건에서 고전적 샤플리 값과 일치함을 보여주는 증명을 제공한다.

실험 결과

실험 1: 고전적 샤플리와의 일관성 (의료 벤치마크)

HealthBench 도메인을 사용하여, 저자들은 에이전트들이 독립적인 하위 문제를 해결하는(감축 가정을 충족하는) 통제된 의료 멀티 에이전트 워크플로우를 구축하였다.

비교: SLIC를 Monte Carlo Shapley (Ground Truth), Leave-One-Out (LOO), 그리고 Holistic LLM Judge와 비교하였다.
성능: SLIC는 0.814의 Kendall $\tau_b$ 와 6.61의 L1 오차를 달성하여, LOO (0.575, 15.08) 및 Holistic Judge (0.479, 12.90)를 크게 상회하였다.
효율성: SLIC는 단 한 번의 궤적 실행만으로 높은 일관성을 유지하면서 Monte Carlo 베이스라인 대비 계산 비용을 93.3% 절감하였다.

실험 2: 복잡한 다중 역할 워크플로우 진단

그라운드 트루스 분해가 없는 설정(회의 요약, 수치 추론, 규칙 적용, 의료 안전)에서, 저자들은 SSV를 섭동(perturbation)에 의한 점수 하락과 비교 평가하였다.

정렬 (Alignment): SSV 프로필은 중간 및 강한 환각 개입에 의해 유도된 점수 하락 프로필과 강력한 정렬(평균 Spearman $\rho = 0.868$ )을 보였다.
통찰: SSV는 에이전트의 제거 또는 손상이 시스템 성능 저하를 일으키는 경우를 성공적으로 식별하였다. 또한, 의미론적 기여와 구조적 특권이 괴리되는 경우(예: 의미론적 작업량은 적지만 높은 구조적 제어권을 가진 에이전트)와 제거 베이스라인이 중복성으로 인해 실패하는 경우를 드러냈다.

의의 및 주장

본 논문은 SLIC가 복잡한 LLM 기반 멀티 에이전트 시스템을 위한 빠르고, 역사실적 재실행이 필요 없으며, 해석 가능한 귀속 방법을 제공한다고 주장한다. "에이전트를 제거하면 어떻게 되는가"라는 질문에서 "실현된 궤적에서 에이전트가 어떤 의미론적 지원을 제공했는가"로 초점을 전환함으로써, 이 방법은 다음과 같은 이점을 제공한다:

비용이 많이 들고 불안정한 재실행의 필요성을 제거한다.
중간 단계의 의미론적 상태와 변환을 명시적으로 포착한다.
불리언 로직과 흡수를 통해 중복성과 결합 지원을 처리한다.
실패 진단, 워크플로우 비교, 에이전트 프루닝(pruning), 견고성 분석과 같은 다운스트림 작업에 대한 원칙적인 토대를 제공한다.

저자들은 이 접근 방식이 언어 흐름을 정보 흐름의 관측 가능한 계층으로 취급함으로써, 기여도 귀속을 블랙박스 형태의 가치 추정이 아닌 구조적 분석 문제로 만든다는 점을 강조한다.