Testing the Consent-Friction Functional: Preference-Design Artifacts and the Contention-Bounded Limits of Coordination Friction in Multi-Agent Reinforcement Learning

기술 요약: 동의-마찰(Consent-Friction) 기능 테스트

문제 정의
본 논문은 권한 부여(authorization)와 이해관계(stakes)에 관한 단일 공리로부터 도출된 이론적 제안인 "동의-마찰 기능(consent-friction functional)"의 경험적 타당성을 다룬다. 이 기능은 다중 에이전트 시스템에서의 조정 마찰($F$)이 세 가지 핵심 변수인 선호 일치도($\alpha$), 이해관계($\sigma$), 엔트로피($\varepsilon$)의 합성물이라고 상정한다. 제안된 형태는 $F = \sigma(1 + \varepsilon)/(1 + \alpha)$이다. 이론은 마찰이 이해관계와 엔트로피가 증가함에 따라 증가하고, 일치도가 감소함에 따라 감소할 것(즉, $\alpha \to -1$일 때 발산할 것)을 예측하지만, 구체적인 단조 기능 형태와 단일 지표가 조정 손실을 예측한다는 주장은 아직 검증되지 않았다. 본 논문의 목적은 이 기능을 경험적으로 검증하고, 결정적으로 외견상의 조정 결과가 진정한 구조적 효과인지 아니면 실험 설계의 인위적 산물(artifact)인지를 식별하는 것이다.

방법론
본 연구는 4개 에이전트가 공유 자원을 사용하는 다중 에이전트 강화학습(MARL) 환경에서 엄격한 다단계 실험 설계를 채택하였다.

1. 초기 요인 스윕 (부호 불가지, Sign-Blind): $5 \times 5 \times 5$ 전체 요인 설계($N=125$ 조건, 각 30회 반복, 총 3,750회 실행)를 통해 일치도($\alpha$), 이해관계($\sigma$), 엔트로피($\varepsilon$)를 조작하였다. 에이전트들은 독립 Q-러닝(IQL)을 사용하였다. 초기 설계는 에이전트의 목표를 공유 기저 벡터와 개별적 성분 사이에서 보간하여 구현하였는데, 이 방식은 의도치 않게 교차 에이전트 상관관계가 $|\alpha|$에만 의존하게 만들어 진정한 대립 관계를 생성하지 못하는 "부호 불가지(sign-blind)" 데이터 생성 과정(DGP)을 초래하였다.
2. 통제 배터리 (교정): 인위적 산물을 진단하고 수정하기 위해 저자들은 다음과 같은 표적 재실행을 수행하였다:
   • 부호가 있는 DGP 복구: 진정한 부호가 있는 등상관 샘플러(spanning $\rho \in [-1/3, +0.8]$)와 2팀 블록 설계(reaching $\rho = -1$)를 사용하여, 크기만이 아닌 부호가 있는 일치도를 테스트하기 위해 실험을 재실행하였다.
   • 학습자 강건성: 발견된 결과가 독립 학습의 비정상성(non-stationarity)에 의한 인위적 산물인지 테스트하기 위해, 중앙 집중식 훈련/분산 실행(CTDE) 가산형 학습자인 가치 분해 네트워크(VDN)를 사용하여 부호가 있는 스윕을 재실행하였다.
   • 분리된 자원 통제: 공유 자원 풀을 제거하여 각 에이전트에게 독립적인 자원 스트림을 제공함으로써, 효과가 선호 상관관계 때문인지 아니면 공유 상태의 경합(contention) 때문인지를 격리하였다.
   • 부분 공유 용량-반응: 공유되는 자원의 비율($w \in \{1/3, 2/3, 1\}$)을 변화시켜 효과가 경합의 정도에 따라 확장되는지 테스트하였다.
   • 순수 대립 ($n=2$): 양의 준정부호 행렬 제약이나 팀 내 협력 혼란 없이 검증된 $\rho = -1$을 달성하기 위해 에이전트 수를 2명으로 줄였다.
   • 실행 가능성-학습 분해: 보상 격차를 환원 불가능한 "실행 가능성 하한선(feasibility floor, 에이전트별 이상치와 달성 가능한 공동 최적값 사이의 격차)"과 "학습 결손(learning shortfall, 공동 최적값과 실제 실현된 성능 사이의 격차)"으로 분해하였다.

주요 결과

1. 단일 지표 기능 형태의 기각: 정형적인 합성 함수 $F = \sigma(1 + \varepsilon)/(1 + \alpha)$는 단일 지표 예측 모델로서 기각되었다. 독립 효과 모델( $\sigma$와 $\alpha$를 분리함)이 초기 및 부호가 있는 설계 모두에서 합성 모델보다 결정적으로 우수한 성능을 보였으나, 특정 단조 형태인 $1/(1+\alpha)$는 협력 범위($\rho > 0$)에서만 방향적으로 지지되었다. $\alpha \to -1$일 때의 발산 예측은 관찰되지 않았다. 즉, 대립 관계가 무관심(indifference) 상태보다 마찰을 증가시키지는 않았다.
2. 식별 및 제거된 세 가지 인위적 산물:
   • "이해관계 지배" 인위적 산물: 원시 데이터에서는 이해관계가 지배적인 것처럼 보였다($\eta^2 \approx 0.74$). 그러나 보상이 $\sigma$에 대해 1차 동차(homogeneous of degree 1)이기 때문에, 이는 기계적인 스케일링 효과였다. 이해관계를 정규화하자 순위가 역전되었으며, 선호 구조가 지배적인 축임이 드러났다.
   • 대칭적 U자형 인위적 산물: 초기 "U자형"(중립적 일치가 가장 나쁜 경우)은 부호 불가지 인위적 산물이었다. 초기 DGP는 음의 상관관계를 생성하지 않았기 때문에, "적대적" 팔(arm)이 사실은 강력한 협력 팔이었다. DGP를 진정한 음의 상관관계를 포함하도록 수정하자 U자형은 사라지고, 협력 범위에서만 단조 감소하는 형태로 대체되었다.
   • "대립이 도움이 된다"는 인위적 산물: 어떤 설계에서도 대립($\rho < 0$)이 무관심($\rho = 0$)보다 우수한 성과를 보이지 않았다. 깨끗한 테스트($\rho = -1$)에서 대립은 아무런 감지 가능한 이점을 보여주지 못했으며, IQL에 대해서는 방향적으로 더 나쁜 결과를 보였다.
3. 경합에 의해 제한되는 생존자: 유일하게 살아남은 구조적 효과는 협력적 일치가 조정 격차를 낮춘다는 것이지만, 이 효과는 엄격히 **경합에 의해 제한(contention-bounded)**된다.
   • 공유 풀 환경에서는 협력적 일치가 조정 격차를 줄인다.
   • 분리된 자원 환경(공유 상태 없음)에서는 효과가 완전히 사라진다(기울기 $\approx 0$).
   • 부분 공유 스윕은 용량-반응을 확인해주며, 자원이 과반수 이상 공유될 때만 효과가 가팔라짐을 보여준다.
4. 실행 가능성 vs 학습: 보상 격차의 분해 결과, 협력하의 조정 격차 감소는 거의 전적으로 실행 가능성 하한선이 붕괴되는 것(즉, 목표가 일치함에 따라 달성 가능한 공동 최적값이 상승함)에 의해 구동됨을 밝혔다. 학습 결손(달성 가능한 공동 최적값 대비 실제 조정 성능)은 감소하지 않으며, 오히려 약간 증가한다. 따라서 협력적 일치는 문제를 더 실행 가능하게 만들 뿐, 반드시 학습하기 쉽게 만드는 것은 아니다.
5. 강건성: 협력 효과는 독립 Q-러닝에서 가산형 가치 분해(VDN)로의 전환에도 강건하였다(곡선 상관관계 0.976). 그러나 이 효과는 공유 상태의 경합을 제거했을 때는 강건하지 않았다.

의의 및 주장
본 논문은 두 가지 기여를 주장한다: 동의-마찰 기능에 대한 경험적 특성화와, 디자인 선택이 어떻게 허구적인 조정 결과를 만들어낼 수 있는지에 대한 방법론적 시연이다.

• 경험적 판결: 본 논문은 이 기능을 보편적 법칙으로 입증하지 않는다. 대신 이론을 정교화한다: 분모의 부호($1+\alpha$)는 협력적 일치에 대해서는 지지되지만, 적대적 발산 예측은 거짓이며, 단일 비율 곱셈 형태는 불충분하다. 생존한 효과는 좁다: 협력적 일치는 에이전트들이 물리적으로 공유 자원을 경합하는 공통 풀(common-pool) 환경에서만 조정 격차를 줄이며, 이 감소는 학습 마찰의 감소보다는 주로 실행 가능성의 문제이다.
• 방법론적 기여: 본 논문은 혼합 전략(mixed-motive) MARL 실험의 표준으로서 "통제 배터리"를 제안한다. 연구자들은 선호 샘플링 디자인이 진정한 부호가 있는 상관관계를 포괄하는지(크기만을 다루는 함정을 피함), 요소의 지배성을 선언하기 전에 보상 동차성을 위해 정규화하는지, 그리고 선호 효과와 공유 상태 경합을 구분해야 한다고 주장한다.
• 겸허함: 저자들은 이러한 결과가 테스트된 특정 환경 군(연속적 공유 자원, 이차 손실, $n=4$ 에이전트)에 국한됨을 명시적으로 밝힌다. 이들은 결과가 모든 MARL 벤치마크나 비-가치 기반 학습자(예: 정책 경사법)로 일반화된다고 주장하지 않으며, 이를 향후 과제로 남겨둔다. 본 논문은 자신의 발견을 전체 분야에 대한 확정적 진단이라기보다, 스스로 만든 인위적 산물을 포착하고 수정하는 하나의 "작업 사례(worked example)"로 규정한다.