🤖 machine learning

CoFi-PGMA: Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs

이 논문은 라우팅(routing)이나 협업(collaboration) 구조로 인해 개별 에이전트의 기여도가 왜곡되는 멀티 에이전트 LLM 환경에서, 반사실적(counterfactual) 기여도 추정을 통해 각 에이전트에게 정확한 학습 신호를 제공하는 통합 프레임워크인 CoFi-PGMA를 제안합니다.

원저자: Stela Tong, Elai Ben-Gal

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Stela Tong, Elai Ben-Gal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "누가 진짜 잘한 거지?" (필터링된 피드백)

보통 AI를 학습시킬 때는 "이 답은 맞아(보상 10점)", "이 답은 틀려(보상 0점)"라고 직접 알려줍니다. 하지만 여러 AI가 섞여 있으면 이 피드백이 왜곡됩니다. 논문은 이를 두 가지 상황으로 나눕니다.

상황 A: 서바이벌 오디션 (라우팅 - Routing)

여러 명의 요리사가 각자 요리를 내놓으면, 심사위원이 그중 딱 하나만 골라서 맛을 봅니다.

문제점: 선택받지 못한 요리사들은 맛이 어땠는지 아무도 모릅니다. 선택받은 요리사는 "내가 잘해서 뽑혔나, 아니면 그냥 운이 좋았나?"를 알기 어렵고, 선택되지 못한 요리사는 "내가 뭘 잘못했지?"라는 피드백을 아예 못 받습니다. 즉, **정보가 필터링(누락)**되어 학습이 편향됩니다.

상황 B: 오케스트라 연주 (협업 - Collaboration)

여러 연주자가 모여 하나의 곡을 완성합니다. 연주가 끝나면 관객은 "와, 멋진 공연이었어요!"라고 전체 점수를 줍니다.

문제점: 연주가 좋았던 건 바이올린 덕분일까요, 아니면 드럼 덕분일까요? 전체 점수만 받다 보면, 실력이 부족한 연주자가 다른 사람 덕분에 점수를 따는 **'무임승차'**가 발생하거나, 정말 잘한 연주자가 다른 사람의 실수 때문에 점수를 깎이는 **'억울한 상황'**이 생깁니다. 이를 '공로 배분(Credit Assignment)' 문제라고 합니다.

2. 해결책: CoFi-PGMA (가상의 시나리오로 계산하기)

이 논문이 제안하는 핵심 아이디어는 **"만약 네가 없었다면 결과가 어땠을까?"**를 수학적으로 계산해 보는 것입니다. 이를 **'반사실적(Counterfactual) 기여도'**라고 부릅니다.

해결책 A: "만약 다른 요리를 냈다면?" (DR 추정기)

서바이벌 오디션에서, 선택되지 않은 요리사들의 맛을 예측하는 '가상의 맛 평가 모델'을 만듭니다. 그리고 **"네가 선택된 결과와, 네가 다른 요리를 했을 때의 예상 점수를 비교"**해서 진짜 실력을 측정합니다. 이렇게 하면 선택받지 못한 데이터에서도 배울 점을 찾아낼 수 있습니다.

해결책 B: "너 빼고 연주해봤어" (Leave-one-out)

오케스트라에서, **"너(특정 연주자)를 빼고 연주했을 때의 점수"**와 **"전체 점수"**를 비교합니다.

전체 점수가 90점인데, 너를 빼고 하니 70점이 됐다면? 너의 기여도는 +20점!
이렇게 하면 무임승차자를 잡아내고, 진짜 주인공이 누구인지 정확히 알 수 있습니다.

3. 결과: "더 똑똑하고 전문적인 AI 팀"

연구팀이 이 방식을 수학 문제 풀이(GSM8K 데이터셋)에 적용해 보니 놀라운 결과가 나왔습니다.

정확도 상승: 단순히 "이긴 놈만 가르치는" 방식보다 훨씬 더 정답을 잘 맞혔습니다.
전문성 강화: AI들이 서로 똑같은 대답만 하는 게 아니라, "나는 계산 전문", "나는 검토 전문"처럼 **각자의 역할(Specialization)**을 나누어 맡기 시작했습니다.
공정한 평가: 심사위원(라우터)도 누가 진짜 실력자인지 더 정확하게 판단하게 되었습니다.

요약하자면...

이 논문은 **"팀 단위로 일하는 AI들에게 '너의 진짜 기여도가 뭐야?'라고 물어보고, 그 대답을 바탕으로 학습시키는 똑똑한 방법"**을 찾아낸 것입니다. 이를 통해 AI들은 서로 눈치만 보는 게 아니라, 각자의 전문성을 살려 더 완벽한 팀워크를 발휘할 수 있게 됩니다.

[기술 요약] CoFi-PGMA: 필터링된 피드백 환경에서의 멀티 에이전트 LLM을 위한 인과적 정책 경사법

1. 문제 정의 (Problem Statement)

최근 LLM 배포 방식은 단일 모델이 아닌, 여러 모델이 협력하거나 경쟁하는 멀티 에이전트 아키텍처로 진화하고 있습니다. 이 과정에서 각 에이전트가 받는 학습 신호(Reward)가 시스템 메커니즘에 의해 **'필터링(Filtered Feedback)'**되는 문제가 발생합니다.

경쟁적 라우팅 (Competitive Routing): 컨트롤러가 여러 전문가 모델 중 하나를 선택하여 사용자에게 전달합니다. 이 경우, 선택된 응답에 대해서만 보상이 관찰되는 '선택 기반 피드백(Selection-gated feedback)' 문제가 발생하여, 선택되지 않은 에이전트의 성능을 평가할 수 없는 통계적 편향(Bias)이 생깁니다.
협력적 생성 (Collaborative Generation): 여러 에이전트(Planner-Solver-Critic 등)가 협력하여 하나의 최종 답안을 만듭니다. 이 경우 시스템은 하나의 통합된 보상만 제공하므로, 각 에이전트가 결과에 얼마나 기여했는지 알 수 없는 '신용 할당(Credit Assignment)' 문제가 발생합니다.

기존의 RLHF(인간 피드백 기반 강화학습) 목적 함수는 단일 정책을 가정하므로, 위와 같은 멀티 에이전트 환경에서는 편향되거나 전략적으로 잘못된(Misaligned) 학습을 유도하게 됩니다.

2. 방법론 (Methodology)

본 논문은 필터링된 피드백 환경에서도 정확한 학습이 가능하도록 **CoFi-PGMA(Counterfactual Policy Gradients under Filtered Feedback)**라는 통합 프레임워크를 제안합니다. 핵심 아이디어는 각 에이전트의 **'인과적 한계 기여도(Counterfactual Marginal Contribution)'**를 학습 신호로 사용하는 것입니다.

핵심 개념: 인과적 한계 기여도 ( $\Delta_{i,t}$ )

에이전트 $i$ 가 특정 시점에 수행한 행동이 전체 시스템 보상에 미친 순수한 영향을 측정합니다. 이는 **"에이전트 $i$ 가 참여했을 때의 보상"**과 **"에이전트 $i$ 가 참여하지 않았을 때(또는 다른 행동을 했을 때)의 보상"**의 차이로 정의됩니다.

두 가지 메커니즘에 대한 구체적 구현

경쟁적 라우팅을 위한 Doubly Robust (DR) 추정기:
- 선택되지 않은 후보들의 보상을 알 수 없으므로, 학습된 보상 예측 모델(Reward Predictor)과 선택 확률(Propensity)을 결합하여 사용합니다.
- 선택된 후보에 대해서는 실제 관찰된 보상을 사용하여 예측치를 보정하고, 선택되지 않은 후보에 대해서는 모델의 예측치를 사용하여 편향을 제거합니다.
협력적 생성을 위한 Leave-One-Out (LOO) 추정기:
- 에이전트 $i$ 의 제안을 기준값(Baseline, 예: 빈 메시지)으로 교체하고, 그 이후의 에이전트들이 생성할 응답들을 다시 샘플링(Resampling)하여 인과적 결과를 시뮬레이션합니다. 이를 통해 공유된 보상에서 에이전트 $i$ 의 순수 기여분만을 추출합니다.

3. 주요 기여 (Key Contributions)

통합 프레임워크 제안: 라우팅(경쟁)과 협력(공동 작업)이라는 서로 다른 두 메커니즘을 '필터링된 피드백'이라는 하나의 수학적 틀로 정의하고 해결책을 제시했습니다.
수학적 증명:
- Theorem 1: 제안한 인과적 기여도가 자기회귀적(Autoregressive) 멀티 에이전트 정책에서도 유효한 정책 경사(Policy Gradient) 신호임을 증명했습니다.
- Proposition 3: 인과적 기여도를 사용하면 다른 에이전트나 메커니즘에서 발생하는 '행동과 무관한 노이즈(Action-independent noise)'를 제거하여 분산(Variance)을 줄일 수 있음을 보였습니다.
실용적 알고리즘: GRPO(Group Relative Policy Optimization)와 같은 최신 최적화 기법과 결합 가능한 실질적인 학습 알고리즘을 설계했습니다.

4. 실험 결과 (Results)

GSM8K 수학 추론 데이터셋을 활용하여 Llama-3.2-3B 모델 기반의 LoRA 에이전트들로 실험을 진행했습니다.

정확도 향상: 기존의 'Winner-take-all(선택된 에이전트만 학습)' 방식보다 **DR-GRPO(제안 방법)**가 훨씬 높은 정확도(0.41)를 기록했습니다 (기존 단일 모델 0.352, Winner-take-all 0.37 대비 우수).
라우팅 품질 개선: 제안 방법은 라우터의 예측 정확도(Brier Score 개선)를 높였고, 에이전트 간의 역할 분담(Specialization Score)을 더 명확하게 유도했습니다.
오라클 성능 근접: 에이전트들이 생성한 후보 중 최적을 고르는 'Oracle' 성능에 더 가깝게 접근하며, 라우팅 과정에서의 후회(Regret)를 줄였습니다.

5. 의의 (Significance)

본 논문은 LLM 시스템이 단순한 단일 모델에서 Mixture-of-Experts(MoE), 도구 사용(Tool-use), 멀티 에이전트 워크플로우로 확장됨에 따라 반드시 해결해야 할 **'학습 신호의 왜곡 문제'**를 정면으로 다루었습니다.

단순히 보상을 나누어 갖는 것이 아니라, **"내가 없었더라면 결과가 어떻게 달라졌을까?"**라는 인과적 질문을 학습 과정에 도입함으로써, 복잡한 멀티 에이전트 시스템을 더욱 안정적이고 효율적으로 정렬(Alignment)할 수 있는 이론적/실천적 토대를 마련했다는 점에서 큰 의의가 있습니다.