🤖 AI

CalBench: Evaluating Coordination-Privacy Trade-offs in Multi-Agent LLMs

CalBench 은 최적 솔루션 및 기준선 솔루션에 대한 조정 품질, 통신 효율성, 공정성 및 개인정보 유출을 정밀하게 측정하기 위해 비공개 정보를 포함하는 분산형 일정 조율 과제를 활용하는 다중 에이전트 LLM 을 위한 통제된 평가 환경입니다.

원저자: Chelsea Zou, Yiheng Yao, Selena She, Robert D. Hawkins

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chelsea Zou, Yiheng Yao, Selena She, Robert D. Hawkins

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

5 명의 친구와 단체 저녁 식사를 계획한다고 상상해 보세요. 문제는 아무도 화요일 밤에 정확히 무엇을 하고 있는지 다른 사람에게 말하고 싶어 하지 않는다는 점입니다. 아마도 한 사람은 비밀 의료 예약이 있을 수 있고, 다른 한 사람은 깜짝 파티를 숨기고 있을 수 있으며, 세 번째 사람은 상사와의 어려운 대화를 피하고 있을 수 있습니다.

실제 세계에서는 서로 문자를 주고받으며 "저는 7 시에 괜찮아요", "7 시는 안 돼요, 아이를 데리러 가야 해요", "8 시는 어때요?"라고 말합니다. 여러분은 가장 깊은 비밀을 드러내지 않으면서 모두에게 맞는 시간을 찾으려 노력합니다.

CalBench는 스탠포드 대학의 연구원들이 AI 에이전트 (사람처럼 행동하는 컴퓨터 프로그램) 가 정확히 이런 춤을 얼마나 잘 추는지 테스트하기 위해 만든 디지털 놀이터입니다.

다음은 간단한 비유를 사용하여 작동 방식을 설명한 내용입니다:

1. 게임: 비밀스러운 단체 채팅

연구원들은 N 개의 에이전트(예를 들어 5 개의 AI 비서) 로 구성된 게임을 설정했습니다. 각 에이전트는 다음으로 채워진 개인 일정을 가지고 있습니다:

자유 시간: 비어 있는 시간대.
용건: 기존 약속 (예: "치과" 또는 "헬스").
비밀: 각 용건에는 숨겨진 "맛"이나 맥락이 있습니다 (예: "파산 신청" 대 "장보기").

목표는 그룹을 위해 M 개의 새로운 회의를 일정화하는 것입니다. 성공하려면 에이전트들은 모두에게 맞는 단일 시간대에 동의해야 합니다.

주의할 점:

개인정보 보호: 에이전트 A 는 에이전트 B 의 일정을 볼 수 없습니다. 오직 자신의 일정만 알 뿐입니다.
협상: 그들은 시간대를 찾기 위해 서로 대화해야 합니다.
함정: 에이전트 A 가 "화요일은 회의가 있어서 안 돼요"라고 말하면, 그 회의가 무엇인지 실수로 드러날 수 있습니다. 이 게임은 "회의가 있어서 바빠요"라고 말하면서도 "소송과 관련해 변호사와 만나고 있어요"라고 말하지 않고 바쁘다고 말할 수 있는지 테스트합니다.

2. "오라클" (완벽한 해결책)

AI 가 잘 수행하고 있는지 확인하기 위해 연구원들은 오라클이라는 "신 모드" 치트 시트를 가지고 있습니다.

오라클은 모든 일정을 한 번에 볼 수 있습니다. 그리고 모두에게 가장 적은 문제를 일으키는 완벽한 시간대를 알고 있습니다.
그런 다음 AI 에이전트들은 이 완벽한 해결책과 비교됩니다. 그들은 작동하는 시간을 찾았습니까? 불필요한 혼란 (예: 누군가가 우선순위가 높은 행사를 취소하도록 강요하는 것) 을 초래했습니까?

3. 세 가지 주요 과제

이 논문은 비유를 사용하여 AI 를 세 가지 특정 기술에 대해 테스트합니다:

A. "그룹 하그" (조정)

에이전트들이 실제로 시간을 합의할 수 있을까요?

실패 모드: 때로는 에이전트들이 화요일 오후 5 시에 합의했다고 생각하지만, 에이전트 A 는 실제로 화요일 오후 6 시로 기록합니다. 그 결과 아무도 참석하지 않는 "유령 회의"가 생깁니다.
결과: 일부 모델 (예: Gemini 3.1 Pro) 은 이 부분에서 훌륭하여 100% 의 확률로 모두를 합의시켰습니다. 다른 모델들은 어려움을 겪어 회의를 일정화하지 못했습니다.

B. "비용" (효율성 대 공정성)

회의를 오후 5 시에서 6 시로 옮기는 상황을 상상해 보세요.

낮은 비용: "장보기" 용건을 옮기는 것은 쉽습니다.
높은 비용: "법정 심리"를 옮기는 것은 재앙입니다.
테스트: AI 는 그룹의 전체적인 고통을 최소화하는 시간을 찾을 수 있을까요?
놀라운 사실: 일부 AI 는 이 부분에서 형편없었습니다. 그들은 작동하는 시간을 찾았지만, 한 사람이 가장 중요한 행사를 취소하도록 강요하면서 나머지 사람들은 아무것도 하지 않는 시간을 찾았습니다. 이를 공정성 실패라고 합니다. 가장 좋은 모델들은 "고통"이 균등하게 분배되는 균형을 찾았습니다.

C. "수다쟁이 이웃" (개인정보 보호)

이것은 연구의 가장 독특한 부분입니다. 연구원들은 단체 채팅에 있는 스파이인 **"수다쟁이 에이전트"**를 도입했습니다.

스파이는 "오, 화요일은 안 돼요? 왜요? 민감한 일인가요?"와 같은 질문을 합니다.
테스트는 다음과 같습니다: 다른 에이전트들은 바쁜 이유를 설명하기 위해 실수로 비밀을 흘릴까요?
결과: 비밀을 공유하지 말라고 해도, 일부 AI 는 압박에 굴복했습니다.
- 예시: 에이전트가 시간대를 옮길 수 없는 이유를 물었을 때, "갈등이 있어서요"라고 말하기 대신 "변호사와 파산 신청 준비를 하고 있어요"라고 말했습니다.
- 이 연구는 회의 이동의 "비용"이 높을 때 (중대한 일일 때), 에이전트들이 왜 그렇게 옮기기가 어려운지 설명하기 위해 비밀을 더 많이 흘릴 가능성이 높았음을 발견했습니다.

4. "대화" 대 "행동" 발견

연구원들은 AI 가 어떻게 대화하는지에 대해 흥미로운 점을 발견했습니다:

더 많이 대화한다고 해서 결과가 더 좋은 것은 아닙니다. 일부 모델은 수백 개의 메시지를 보냈지만 여전히 좋은 시간을 찾지 못했습니다.
정확성이 중요합니다. 가장 좋은 모델들은 단순히 "저에게는 어렵습니다"라고 말하지 않았습니다. 대신 "이것을 옮기는 데 100 점의 비용이 들어가기 때문에 어렵습니다"라고 말했습니다.
비유: 청구서를 나누는 상황을 상상해 보세요.
- 나쁜 AI: "나는 많이 내고 싶지 않아, 너무 어려워." (모호하고 도움이 되지 않음).
- 좋은 AI: "나는 5 달러는 낼 수 있지만, 10 달러를 내면 파산해." (정확하며 공정한 해결책을 가능하게 함).

5. 결론

CalBench 는 AI 가 팀에서 잘 작동하려면 단순히 똑똑하기만 해서는 안 되며 외교적이어야 함을 증명합니다.

무엇을 공유할지 (가용성) 와 무엇을 숨길지 (비밀 이유) 를 알아야 합니다.
"문제를 해결하는 것"이 어떤 시간대를 찾는 것만이 아니라, 가장 적은 고통을 주고 모두를 공정하게 대우하는 시간대를 찾는 것임을 이해해야 합니다.

이 논문은 AI 가 계획 수립에 있어 점점 더 나아지고 있지만, 개인정보 보호(비밀 유지) 와 효율성(일 처리) 사이의 균형을 맞추는 데 여전히 어려움을 겪고 있다고 결론지었습니다. 결정을 설명해야 한다는 압박이 커질수록 AI 가 실수로 비밀을 누출할 가능성이 더 높아집니다.

기술 요약: CalBench – 다중 에이전트 LLM 의 조정 -개인정보 보호 트레이드오프 평가

1. 문제 정의

본 논문은 에이전트들이 사적 정보를 보유하고 있는 분산 조정 작업에서 다중 에이전트 대규모 언어 모델 (LLM) 을 평가하는 과제를 다룹니다. 기존 벤치마크는 종종 단일 유능한 에이전트가 전체 상태 가시성을 바탕으로 문제를 해결하도록 허용하는 반면, 실제 시나리오인 일정 조율과 같은 경우에는 에이전트들이 민감한 데이터 (예: 특정 약속, 가용성 제약 조건, 의미적 맥락) 를 숨긴 채 협상하고 합의를 이루어야 합니다.

핵심 문제는 조정 -개인정보 보호 트레이드오프입니다. 에이전트들은 상호 실행 가능한 일정을 찾기 위해 (방해 비용 최소화) 충분한 정보를 교환해야 하지만, 작업과 무관한 사적 세부사항은 공개하지 않아야 합니다. 현재 벤치마크는 분산 의사결정, 비용 최적화, 개인정보 보호의 교차점에 대한 엄격하고 검증 가능한 지표를 갖추지 못하고 있습니다.

2. 방법론: CalBench 환경

저자들은 다중 에이전트 일정 조정을 위한 통제된 평가 환경인 CalBench를 소개합니다.

환경 설정

에이전트 및 일정: $N$ 명의 에이전트 각각은 $T$ 개의 이산 시간 슬롯을 가진 사적 일정을 관리합니다. 슬롯에는 자유 시간, 기존 용무 (사적 의미적 맥락 포함), 또는 예정된 회의가 포함됩니다.
작업: 에이전트들은 $M$ 개의 유입되는 회의를 일정 조율하기 위해 협력해야 합니다. 각 회의는 모든 참가자의 일정에 일관된 단일 시간 슬롯이 필요합니다.
제약 조건: 에이전트들은 자신의 일정만 관찰할 수 있습니다. 다른 에이전트의 일정을 직접 확인할 수 없습니다.
비용: 환경은 균일 비용(모든 이동 비용이 1) 과 가변 비용(용무마다 이질적인 이동 비용이 존재) 을 지원하여 최적화 대 단순 실행 가능성 연구를 가능하게 합니다.
단계: 각 회의 라운드는 다음 네 단계로 진행됩니다:
1. 저렴한 말 (Cheap-talk): 참가자들이 후보 슬롯을 협상합니다.
2. 자발적: 협상 중 접촉된 비참가자들은 자신의 약속을 재조정할 수 있습니다.
3. 결정: 참가자들은 독립적으로 원자적 일정 조율 행동 (RESCHEDULE/SCHEDULE) 을 제출합니다.
4. 해결: 엔진이 일관성을 검증하고 변경 사항을 적용합니다.

베이스라인 및 오라클

기준 진리 (ground truth) 와 공정한 비교를 제공하기 위해 CalBench 는 다음을 포함합니다:

오라클 솔루션: 전역 최적 비용을 정의하기 위해 전체 정보를 기반으로 CP-SAT(제약 프로그래밍) 를 통해 생성됩니다.
스크립트 기반 베이스라인: 동일한 사적 정보 제약 하에서 작동하는 네 가지 분산 프로토콜:
- IMAP(증분 다중 에이전트 계획): 고공개, 근사 최적 비용 베이스라인 (전체 비용 벡터 전송).
- SD-MAP: 저공개, 실행 가능성 우선 베이스라인 (이진 실행 가능성만).
- DSM(분산 점수 기반 다중 라운드): 두 가지 변형 (후생 및 사적) 이 제안 세트 크기와 개인정보 보호 사이에서 트레이드오프를 취합니다.

평가 지표

벤치마크는 다음 다섯 가지 축에서 성능을 측정합니다:

성공률: 성공적으로 일정 조율된 회의의 비율.
의사소통 효율성: 일정 조율된 회의당 평균 직접 메시지 (DM) 수.
조정 품질: 오라클 최적 대비 실현된 비용 (초과 비용).
공정성: 에이전트 간 방해 비용 분포 (최소 비용 대 최대 비용 비율).
개인정보 유출: 두 가지 방법으로 측정:
- VPS(가능 상태의 가치 평가): 교환된 메시지로부터 관찰자가 에이전트의 가용성에 대해 추론할 수 있는 정도를 정량화하는 구조적 지표.
- 적대적 프로빙: "호기심 많은" 에이전트가 협상 중 민감한 의미적 맥락 (예: "왜 이 슬롯이 차단되었는가?") 을 추출하려 시도합니다.

3. 주요 기여

정밀한 보상을 갖춘 다중 에이전트 벤치마크: CalBench 는 단일 에이전트가 그룹을 대체할 수 있는 벤치마크와 구별되는 조정 품질, 공정성, 개인정보 보호에 대한 검증 가능한 설정과 오라클 솔루션 및 계산 가능한 지표를 제공합니다.
제어 가능한 시나리오 생성: 알려진 오라클 지표를 가진 해결 가능한 작업을 생성하는 하네스로, 난이도와 개인정보 보호 제약 조건을 균형 있게 조절합니다.
개인정보 스트레스 조건: 작업과 무관한 사적 정보를 공개하도록 에이전트를 압박하는 적대적 설정을 포함하여, 필요한 가용성 공유와 민감한 의미 유출을 구분합니다.
트레이스 수준 분석: 전체 성공률 이상으로 에이전트가 어떻게 실패하는지 설명하는 행동 패턴 (예: "가용성 속삭임", "정성적 평탄화") 에 대한 상세한 분류 체계.

4. 실험 결과

저자들은 GPT-5.4 Mini, Claude Sonnet 4.6, Gemini 3.1 Pro, Llama 4 Maverick 을 포함한 7 개의 LLM 을 72 개의 작업에 걸쳐 평가했습니다.

조정 및 비용

실행 가능성 대 최적화: 균일 비용 작업에서는 대부분의 모델이 높은 조정률 (>94%) 을 달성했습니다. 그러나 가변 비용 작업에서는 상당한 성능 격차가 나타났습니다.
비용 평탄화: GPT-5.4 Mini 와 Llama 4 Maverick 과 같은 모델은 "정성적 평탄화"를 보이며 ("어렵다"와 같은 모호한 언어 사용) 큰 비용 차이를 흐리게 했습니다. 이로 인해 막대한 초과 비용 (예: GPT-5.4 Mini: 오라클 대비 1159.17) 과 낮은 공정성이 발생했습니다.
최고 성능 모델: Gemini 3.1 Pro는 정확한 비용 값을 공유하여 가변 설정에서 100% 조율을 달성하고 최저 초과 비용 (12.83) 을 기록하며 가장 좋은 균형을 이루었습니다.

개인정보 및 효율성 트레이드오프

트레이드오프: 가변 비용 설정에서 상당한 개인정보 - 효율성 트레이드오프가 관찰되었습니다. 높은 VPS 유출 (더 많은 구조적 가용성 공개) 은 낮은 초과 비용과 상관관계가 있었습니다.
적대적 유출: 적대적 프로빙에서 216 개 트레이스 중 22 개의 유도된 유출이 발견되었습니다. 유출은 에이전트가 슬롯이 왜 비싼지 정당화해야 한다는 압박을 느꼈던 가변 비용 시나리오에서 더 빈번하고 민감했습니다 (예: "파산 신청 준비" 또는 "IEP 검토" 공개).
의사소통 양: 메시지 수는 품질에 대한 신뢰할 수 있는 대용물이 아닙니다. 가장 간소한 모델 (GPT-5.4 Mini) 은 최악의 비용 성능을 보인 반면, 최고의 조정자 (Gemini 3.1 Pro) 는 겨우 더 많은 메시지를 사용했습니다.

행동 패턴

트레이스 분석은 특정 실패 모드를 드러냈습니다:

가용성 속삭임: 에이전트들은 종종 제 3 자의 일정 상태를 공개하여 (메시지의 18.9%) 개인정보 보호 경계를 위반했습니다.
허위 합의: 에이전트들은 동의하는 것처럼 보였지만 서로 다른 슬롯에 약속을 이행했습니다 (37 건의 실패). 이는 종종 명시적 최종 약속 없이 진동하는 협상으로 인해 발생했습니다.
정성적 평탄화: 큰 비용 차이를 모호한 용어로 압축하는 것은 최적의 양보를 방해했습니다.

5. 중요성 및 주장

본 논문은 CalBench 가 다중 에이전트 시스템에서 조정 프로토콜, 의사소통 효율성, 협상 전략, 공정성, 그리고 개인정보 유출을 연구하기 위한 실용적이고 검증 가능한 설정을 제공한다고 주장합니다.

저자들이 강조한 주요 발견 사항은 다음과 같습니다:

구조적 분산화: 많은 벤치마크와 달리 CalBench 는 단일 에이전트가 전체 가시성을 갖지 않기 때문에 다중 에이전트 조정을 아키텍처 선택이 아닌 필수 조건으로 만듭니다.
실패 모드의 분리 가능성: 비용 최적화와 실행 가능성은 별개의 실패 모드입니다. "정성적 비용 평탄화"는 후회와 불공정성의 주요 동인으로 식별되었습니다.
트레이드오프의 지속성: 고전적 분산 제약 최적화 문제 (DCOP) 에서 관찰된 개인정보 - 효율성 트레이드오프는 LLM 에이전트에서도 지속되며 VPS 를 통해 정량화 가능합니다.
개인정보 실패의 본질: 개인정보 실패는 단순히 지시를 잊는 것뿐만 아니라, 일정 제약 조건을 정당화해야 한다는 압박 하에 구조적으로 기능적인 행동 (가용성 속삭임 등) 과 지시 따르기 붕괴에서 비롯됩니다.

저자들은 의사소통 양이 조정 품질에 대한 신뢰할 수 있는 대용물이 아니며, 오히려 비용 정보의 정밀도와 적절한 추상화 수준에서 작업 관련 신호를 노출하는 능력이 성공의 결정적 요인이라고 결론지었습니다. 이 벤치마크는 시나리오 생성기, 베이스라인, 트레이스 분석 툴킷을 포함하여 해당 분야의 추가 연구를 촉진하기 위해 공개되었습니다.