💬 NLP

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

본 논문은 협력적 게임 이론 기반의 기여도 산정(attribution)과 프로세스 보상 모델링을 통합하여 다중 LLM 에이전트를 위한 국소적이고, 부호가 부여되며, 신용이 보존되는 학습 신호를 생성하는 이론적 프레임워크를 제안하며, 이를 통해 실증적 검증 없이 시스템 수준의 평가와 에이전트 수준의 학습 사이의 간극을 메운다.

원저자: Chih-Hsuan (Bella), Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chih-Hsuan (Bella), Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "조별 과제"의 딜레마

수많은 학생들이 거대한 과학 박람회 프로젝트를 수행하는 모습을 상상해 보세요. 그들에게는 세 가지 역할이 있습니다:

기획자 (무엇을 만들지 결정함).
제작자 (실제로 모델을 구축함).
발표자 (결과를 설명함).

결과가 나오면 선생님은 그룹 전체에 단 하나의 성적(예: "A" 또는 "F")을 부여합니다.

문제점: 만약 그룹이 "A"를 받았다면, 누구에게 공로를 돌려야 할까요? 기획자가 천재적인 아이디어를 낸 것일까요? 제작자가 기획자의 실수를 바로잡은 것일까요? 아니면 발표자가 다른 사람들이 아무것도 하지 않는 동안 말만 잘했던 것일까요? 반대로, 그룹이 "F"를 받았다면 누구의 책임일까요? 제작자가 모델을 망가뜨린 것일까요, 아니면 기획자가 잘못된 지시를 내린 것일까요?

AI의 세계에서 이 "학생들"은 함께 협력하는 **대규모 언어 모델(LLM)**입니다. 현재는 이들이 실패하거나 성공했을 때, AI는 오직 최종 성적만을 볼 수 있습니다. 누가 칭찬받아야 하는지, 혹은 누구를 교정해야 하는지 알지 못합니다. 이는 AI가 팀으로서 더 잘 협력하는 법을 배우는 데 어려움을 줍니다.

해결책: "공정한 크레딧" 시스템

이 논문은 이를 해결하기 위한 새로운 이론적 프레임워크를 제안합니다. 이는 마치 초정밀 심판처럼 작동하여, 모든 AI 에이전트가 보낸 개별 메시지에 대해 최종 성적을 구체적인 보상과 벌점으로 세분화합니다.

이 프레임워크는 팀이 성공했는지 혹은 실패했는지에 따라 두 가지 방식으로 작동합니다.

1. 팀이 성공했을 때: "샤플리(Shapley)" 성적표

그룹이 좋은 성적을 받았을 때, 시스템은 **샤플리 값(Shapley Values)**이라는 수학적 개념(노벨 경제학상 수상자의 이름을 딴)을 사용합니다.

비유: 축구 팀의 승리에 각 선수가 얼마나 기여했는지 알고 싶다고 가정해 봅시다. 단순히 골을 넣은 사람만 봐서는 안 됩니다. "만약 수비수만 뛰었다면 팀은 몇 골을 넣었을까?", "만약 골키퍼만 뛰었다면 어땠을까?"와 같은 질문을 던져야 합니다. 가능한 모든 선수 조합을 시뮬레이션함으로써, 각 선수가 팀에 추가로 기여한 가치가 정확히 얼마인지 계산할 수 있습니다.
AI에 적용되는 방식: 시스템은 각 AI 에이전트가 제거되거나 "더미(dummy)" 봇으로 교체되었을 때 어떤 일이 일어났을지를 시뮬레이션합니다.
- 만약 에이전트 A를 제거했을 때 팀 점수가 크게 떨어진다면, 에이전트 A는 높은 보상을 받습니다.
- 만약 팀 점수가 그대로라면, 에이전트 A는 보상을 받지 못합니다 (그저 무임승차한 것입니다).
- 만약 에이전트 A를 제거했을 때 팀 점수가 오히려 높아진다면, 에이전트 A는 음수 점수를 받습니다 (팀을 방해한 것입니다).

반전: 이것은 단지 에이전트에 대한 것이 아니라, 그들의 구체적인 메시지에 대한 것입니다. 시스템은 에이전트가 작성한 모든 문장을 살펴봅니다.

만약 어떤 에이전트가 전반적으로는 도움이 되었지만, 특정 문장이 중복되거나 혼란스러웠다면, 그 특정 문장에는 작은 벌점을 주고 좋은 문장에는 추가 점수를 부여합니다.
이는 에이전트가 말을 너무 많이 해서 공로를 독차지하는 것을 방지합니다.

2. 팀이 실패했을 때: "첫 번째 실수" 탐정

그룹이 나쁜 성적을 받았을 때, 단순히 "F"를 모두에게 나누어 주는 것은 도움이 되지 않습니다. 근본 원인을 찾아야 합니다.

비유: 팀이 바톤을 떨어뜨려서 패배한 계주 경기를 상상해 보세요. 당신은 결승선을 통과한 사람을 비난하는 것이 아니라, 바톤을 떨어뜨린 사람을 비난해야 합니다. 하지만 만약 바톤을 떨어뜨린 사람의 뒤에 있던 사람이 그것을 주워 다시 달리려고 노력했다면, 그 사람을 처벌해서는 안 됩니다.
AI에 적용되는 방식: 시스템은 "이진 탐색(binary search)"(사전에서 단어를 찾는 것과 유사함)을 사용하여 실패를 유발한 최초의 메시지를 찾아냅니다.
- 책임: 그 첫 번째 잘못된 메시지를 보낸 에이전트가 책임을 집니다.
- 복구에 대한 보상: 만약 뒤따르는 에이전트가 실수를 바로잡으려고 노력한다면(예: "잠깐, 계산이 틀린 것 같아요, 다시 계산해 볼게요"), 시스템은 이를 좋은 움직임으로 인식하여, 비록 전체 프로젝트는 실패했더라도 그들에게 크레딧을 부여합니다.

이것이 왜 중요한가

이 논문은 이 방법이 다음과 같은 "공정한" 학습 신호를 생성한다고 주장합니다:

보수적(Conservative): 지급되는 총 "크레딧"은 팀이 얻은 실제 점수를 초과할 수 없습니다. 없는 보상을 허공에서 만들어낼 수는 없습니다.
협력적(Cooperative): 에이전트들이 서로 경쟁하거나 서로의 작업을 반복하는 대신, 서로를 돕도록 장려합니다.
실행 가능함(Actionable): 다음번에 더 나은 결과를 얻기 위해 어떤 문장을 수정해야 하는지 AI에게 정확히 알려줍니다.

핵심 요약

저자들은 AI 에이전트 팀을 훈련시키기 위한 이론적 청사진(일련의 규칙과 수학)을 제안하고 있습니다. 그들이 아직 최종 제품을 만든 것은 아니지만, 자신들의 수학적 모델이 작동한다는 것을 증명했습니다.

이것을 새로운 스포츠의 규칙집을 설계하는 것이라고 생각하세요. 그들은 단순히 팀이 운 좋게 이기기를 바라는 것이 아니라, 모든 선수가 무엇을 해야 하는지 정확히 알 수 있도록 점수를 공정하게 매기는 법을 알아냈습니다. 이 규칙집은 게임 이론 수학가의 공정함과 글쓰기 코치의 단계별 피드백을 결합한 것입니다.

기술 요약: 다중 LLM 에이전트를 위한 평가 정렬 학습 신호

문제 정의

대규모 언语言 모델(LLM) 멀티 에이전트 시스템(MAS)은 복잡한 과업을 수행하기 위해 점점 더 많이 사용되고 있으나, 심각한 학습 과제에 직면해 있다. 저차원의 반복적인 행동 공간에서 작동하는 고전적 강화 학습(RL) 에이전트와 달리, LLM 에이전트는 고차원의 다양하고 종종 고유한 응답을 생성하는 공간에서 행동한다. 이러한 유연성은 취약성을 초래한다. 즉, 오류가 연쇄적으로 발생할 수 있고, 복구 루프가 비용을 팽창시키며, 협력 실패가 신뢰도를 떨어뜨릴 수 있다.

현재의 학습 방법들은 이러한 환경에 적합하지 않다. 단일 에이전트 사후 학습 기술(예: RLHF, DPO)은 평가 신호를 단일 궤적에 직접 매핑하므로, 여러 에이전트 간에 크레딧을 분배하는 데 실패한다. 반대로, 전통적인 다중 에이전트 강화 학습(MARL) 크레딧 할당 방식은 언어 기반 MAS에는 적용되지 않는 조밀한 수치적 보상과 이산적 상태-행동 쌍에 대한 가정을 전제로 한다. 결과적으로, 시스템 수준의 평가(성공/실패 점수)를 개별 에이전트 및 특정 메시지에 대한 국소적이고 감사 가능하며 공정한 학습 신호로 변환하는 원칙적인 방법론이 부족한 실정이다.

방법론

본 논문은 협력적 게임 이론 기반의 귀속(attribution)과 프로세스 보상 모델링(PRM)을 결 der하여, 글로벌 시스템 평가와 로컬 에이전트 감독 사이의 간극을 메우는 이론적 프레임워크를 제안한다. 이 프레임워크는 에피소드 결과에 따라 두 가지 상호 보완적인 경로로 작동한다.

1. 성공 사례 귀속 (시스템 $\to$ 에이전트 $\to$ 메시지)

시스템 에피소드가 성공했을 때( $R_{sys} > 0$ ), 프레임워크는 글로벌 보상을 세밀한 신호로 분해한다:

시스템에서 에이전트로 (Shapley Values): 글로벌 보상 $R_{sys}$ $R_{sy s}$ 를 샤플리 값(Shapley values)을 사용하여 에이전트 간에 분배한다. 이는 가능한 모든 연합(coalition) 내에서 시스템 성능에 대한 각 에이전트의 한계 기여도를 계산한다.
- 메커니즘: 특정 에이전트를 베이스라인 정책(예: no-op 또는 동결된 참조 모델)으로 대체하여 궤적을 재현함으로써 역사실적 연합(counterfactual coalitions)을 시뮬레이션한다.
- 특성: 이는 공정성(대칭성, 더미, 효율성)을 보장하며, 에이전트의 존재가 시스템 점수를 낮추는 경우 음의 크레딧을 허용한다. 에이전트 보상의 합은 시스템 보상과 같다 ( $\sum r_i = R_{sys}$ ), 따라서 크레딧 인플레이션을 방지한다.
에이전트에서 메시지로 (PRM 정교화): 에이전트 수준의 크레딧은 중복성과 비효율성을 해결하기 위해 메시지당 신호로 더욱 정교하게 다듬어진다.
- 메커니즘: 도메인 튜닝된 판별기(judge)가 에이전트의 전반적인 한계 기여 방향과 일치하거나 이에 대항하는지에 따라 각 메시지에 부호가 있는 라벨( $s_{i,t} \in \{-1, 0, +1\}$ )을 할당한다.
- 신호 생성: 메시지 보상은 에이전트의 샤플리 크레딧 중 부호가 있는 몫으로 계산된다. 정렬된 메시지는 보너스를 받는 반면, 반대되거나 중복된 메시지는 페널티를 받는다. 결정적으로, 에이전트의 메시지 보상 합은 에이전트의 총 샤플리 크레딧과 같으며, 이를 통해 **크레딧 보존(credit conservation)**을 보장한다.

2. 실패 사례 귀속 (최초 오류 국소화)

시스템 에피소드가 실패했을 때( $R_{sys} = 0$ ), 샤플리 재분배는 크레딧의 합이 0이 되어야 하므로 별다른 지침을 제공하지 못한다. 대신, 프레임워크는 다음을 채택한다:

최초 오류 국소화 (First-Error Localization): 이진 탐색을 통해 궤적을 실패하게 만드는 최초의 메시지( $m_{i^*, t^*}$ )를 식별한다.
복구 인식 선호도 (Repair-Aware Preferences): 모든 후속 단계를 무효화하는 단조적 실패 모델과 달리, 이 접근 방식은 오류와 그 이후의 복구 시도를 구분한다.
- 판별기: 프리픽스(prefix) 판별기는 실패 지점을 감지하고, 실패 정렬 판별기는 후속 메시지를 평가하여 궤적을 수정하려고 시도하는지 여부를 판단한다.
- 학습 신호: 대조 쌍( $H_{t^*-1}, y^+, y^-$ )을 구성한다. 여기서 $y^-$ 는 해로운 오류이고 $y^+$ 는 선호되는 대안이다. 이 쌍들은 선호 기반 목적 함수(예: DPO, GRPO)에 입력된다.

주요 기여

이론적 프레임워크: 글로벌 평가를 부호가 있는 크레딧 보존형 메시지 수준 신호로 변환하는 통합적 접근 방식을 제공하여 LLM MAS를 위한 이론적 토대를 마련한다.
상호 보완적 귀속 메커니즘:
- 성공: 협력을 촉진하고 중복을 억제하기 위해 샤플리 기반 크레딧 할당을 PRM 스타일의 부호 있는 메시지 라벨로 정교화한다.
- 실패: 최초 오류 국소화와 결합된 복구 인식 선호도를 통해 오류를 처벌하는 동시에 수정 시도를 보상한다.
이론적 보증: 저자들은 생성된 신호가 다음의 속성을 만족함을 증명한다:
- 유계성 (Bounded): 보상은 유한한 구간 내로 제한된다.
- 협력성 (Cooperative): 샤플리 값은 고유한 기여에 보상하고 방해 행위나 무임승차를 처벌한다.
- 크레딧 보존 (Credit-Conserving): 로컬 신호의 합은 글로벌 시스템 결과와 정확히 일치하여 인위적인 보상 인플레이션을 방지한다.
호환성: 제안된 신호는 현대적인 강화 학습(예: PPO, GRPO) 및 선호 기반(예: DPO) 사후 학습 파이프라인과 직접 호환되도록 설계되었다.

결과 및 주장

본 논문은 주로 개념적이다. 실험적 벤치마크나 실험적 검증을 제시하지 않는다. 대신, "결과"는 제안된 신호가 안정적이고 공정한 다중 에이전트 학습을 위한 필수 속성을 충족한다는 이론적 증명을 보여준다.

주장된 의의: 이 프레임워크는 글로벌 평가로부터 로컬 감독으로 이어지는 확장 가능하고 감사 가능한 경로를 제공한다. 이는 고차원 언어 행동, 희소한 평가, 그리고 다중 에이전트 맥락에서의 복구 인식 학습의 필요성을 처리함으로써 기존 방법론의 한계를 해결한다.
겸허함: 저자들은 실험적 검증이 향후 연구 과제로 남겨져 있음을 명시적으로 밝힌다. 그들은 프레임워크가 이론적으로는 타당하지만, 실제 구현에는 계산 비용(예: 순열 샘플링을 통한 샤플리 근사)과 판별기의 신뢰성을 다루는 문제가 따름을 인정한다.

결론

본 연구는 LLM 멀리 에이전트 시스템의 협력적이고 크레딧을 보존하는 사후 학습을 위한 개념적 토대를 구축한다. 성공 사례에서는 공정한 귀속을 위한 샤플리 값을, 실패 사례에서는 복구 인식 학습을 위한 최초 오류 국소화를 통합함으로써, 본 논문은 복잡한 다중 에이전트 워크플로우에서 "누가 보상을 받고 누가 책임을 지는가"라는 문제에 대한 원칙적인 해결책을 제시한다.