Choose Your Agent: Tradeoffs in Adopting AI Advisors, Coaches, and Delegates in Multi-Party Negotiation

기술 요약: 에이전트 선택하기: 다자간 협상에서 AI 어드바이저, 코치, 델리게이트 채택의 트레이드오프

문제 제기
대규모 언어 모델(LLM)이 수동적인 도구에서 자율적인 에이전트로 전환됨에 따라, 에이전시(agency)의 배분이 어떻게 결과에 영향을 미치는지에 대한 이해가 필수적이다. 특히 다자간, 전략적 상호 의존 환경에서의 연구는 매우 중요하다. 기존 연구는 검증 가능한 정답이 존재하는 작업(예: 의료 진단)에서 인간-AI 쌍을 광범위하게 연구해 왔으나, 한 참가자의 행동이 타인의 보상 체계를 변화시키는 협상 시나리오에서 AI의 조력이 어떻게 기능하는지에 대한 실증적 데이터는 부족하다. 구체적으로, 개별 작업에서 관찰되는 '선호도-성능 불일치(preference-performance misalignment)'—즉, 사용자가 인지적 부하가 적은 하위 최적의 에이전트를 선호하는 현상—가 집단 설정에서도 지속되는지, 그리고 서로 다른 상호작용 양식(Advisor, Coach, Delegate)이 집단 복지, 채택률 및 시장 파급 효과에 어떤 영향을 미치는지 여부는 여전히 불분명하다.

방법론
저자들은 무작위화된 피험자 내 온라인 행동 실험($N=243$ 참가자, 81개 그룹 구성)을 수행하였다. 참가자들은 유도된 사적 가치(private valuations)를 바탕으로 세 차례의 연속적인 다회차 협상 게임(칩 거래)에 참여하였으며, 이는 위험 회피와 공정성 규범으로 인해 인간의 비효율성이 나타나는 것으로 알려진 설정이다.

본 연구는 동일한 기반 LLM(Gemini-2.5-Flash)을 사용하여 모델 역량을 일정하게 유지하면서, AI의 에이전시 스펙트럼을 세 가지 뚜렷한 양식으로 구조화하였다:

1. Advisor (어드바이저): AI가 근거와 함께 행동(제안 또는 응답)을 선제적으로 권고한다. 사용자는 거부권을 보유하며 제안을 제출하기 전에 수정할 수 있다.
2. Coach (코치): 사용자가 먼저 행동 초안을 작성한다. AI는 계획에 대해 반응적인 피드백을 제공하며, 사용자는 이를 반영하거나 무시할 수 있다.
3. Delegate (델리게이트): AI가 사용자를 대신하여 행동을 자율적으로 생성하고 실행한다. 사용자는 결정 내용을 볼 수는 있지만, 거부하거나 수정할 수 없다.

연구는 각 그룹이 무작위 순서로 세 가지 양식을 모두 경험하도록 설계된 카운터밸런스 설계를 활용하였다. 연구는 집단 및 개인의 잉여(Pareto 효율 벤치마크 대비 스케일링됨), 채택률(자발적 사용), 그리고 사전/사후 게임 설문조사를 통한 사용자 선호도를 측정하였다. 분석에는 데이터의 중첩 구조를 고려하기 위해 선형 혼합 효과 모델(Linear Mixed-Effects Models, LMM)을 사용하여 의도-치료(Intent-to-Treat, ITT) 효과와 자발적 비순응 조정(Voluntary non-compliance-adjusted, VNCA) 추정치를 산출하였다.

주요 결과
본 연구는 유의미한 선호도-성능 불일치를 기록하였으며, 복지 차이를 유발하는 동인으로서 **인간 필터 메커니즘(human filter mechanism)**을 식별하였다:

• 선호도 vs. 성능: 참가자들은 통제권과 신뢰에 대한 욕구로 인해 델리게이트(19%)보다 Advisor(44%) 양식을 강력하게 선호했다. 그러나 집단 전체의 총 잉여는 Delegate 양식에서 가장 높았다. Advisor와 Coach 조건 모두 집단 수준에서 인간 전용 베이스라인 대비 통계적으로 유의미한 복지 증진을 만들어내지 못했다.
• 인간 필터: 메커니즘 분석 결과, 모든 조건에서 AI가 생성한 제안이 인간이 생성한 제안보다 일관되게 높은 공동 잉여를 창출했으나, Advisor와 Coach 모드에서의 인간의 개입이 이 이득을 희석시킨 것으로 나타났다. 사용자들은 사회적 규범에 맞추기 위해(예: 1대 1 교환과 같은 보수적인 인간 베이스라인 패턴으로 회귀) AI의 제안을 빈번하게 수정, 축소 또는 무시했다. 반면, Delegate 모드는 이 필터링 단계를 완전히 우회함으로써 AI의 우수한 최적화 능력이 시장에 도달할 수 있게 했다.
• 시장 형성 파급 효과: Delegate 양식은 긍性 외부 효과를 생성했다. Delegate 게임에서의 비보조 대응자들은 베이스라인 대비 개인 잉여가 21.6% 증가했다. 자율 에이전트는 협력적인 "시장 조성자(market-makers)" 역할을 수행하며, 비보조 플레이어를 착취하기보다는 공유 제안 풀의 구조적 수준을 높이는 고품질의 제안을 도입했다.
• 채택 마찰: 델리게이트의 성능 우위에도 불구하고 채택이 보편적이지는 않았다. 자발적 비순응을 조정한 결과, 델리게이트의 개인 복지 이득은 ITT 추정치보다 약 1.5배 높았으며, 이는 통제권을 양도하는 것에 대한 심리적 비용이 기술의 잠재력을 실현하는 것을 가로막고 있음을 시사한다.

의의 및 주장
본 논문은 전략적 설정에서 AI 지원 복지의 병목 현상이 모델의 역량이 아니라, 그 역량이 전달되는 상호작용 구조에 있다고 주장한다. 저자들의 주장은 다음과 같다:

1. 상호작용 설계는 하나의 메커니즘이다: 지원 양식은 내생적 참여를 포함하는 메커니즘으로 설계되어야 한다. Advisor와 Coach 역할에서의 "인간 필터"는 원재료의 효율성보다 관계적 정렬과 통제를 우선시하는 사회-기술적 번역기 역할을 하며, 이는 종종 집단 복지의 희생을 초래한다.
2. "역전된 협업의 역설(Inverted Collaboration Paradox)": 개인이 집단의 이익을 위해 비용을 부담하는 전통적인 채택 딜레마와 달리, 여기서의 델리게이션은 잠재적인 윈-윈(개인 및 집단 이득)을 제공하지만, 에이전시를 포기하는 것에 대한 심리적 거부감에 의해 차단된다.
3. 설계적 함의: 복지 증진을 실현하려면 시스템은 통제-위임의 트레이드오프를 해결해야 한다. 저자들은 "거부 윈도우가 있는 위임(delegation with veto windows)"(검토 기간을 두는 자율 실행), 신뢰를 보정하기 위한 점진적 확신 공개, 그리고 개인적 만족도 지표보다 집단 잉여를 우선시하는 집단 수준의 평가 프레임워크 등의 설계 경로를 제안한다.

결론적으로, 자율적 위임이 가장 높은 효율성을 제공하지만, 다자간 시스템에서 이의 채택 여부는 통제권을 양도하는 심리적 비용을 완화하면서도 효율성을 저해하는 "인간 필터"를 다시 도입하지 않는 인터페이스를 설계하는 데 달려 있다.