🤖 AI

Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations

이 논문은 LLM으로 시뮬레이션된 사용자가 에이전트 평가에서 실제 인간을 대신하는 신뢰할 수 있는 대리인이 될 수 없음을 입증하는데, 이는 이들이 상당한 강건성 문제, 체계적인 보정 오류, 그리고 AAVE(아프리카계 미국인 영어) 및 인도 영어 화자와 같은 다양한 인구 집단에 대한 증폭된 편향을 보임으로써, 궁극적으로 에이전트 역량의 왜곡된 표현과 실세계 배포 시의 실제 과제들을 은폐할 위험이 있기 때문이다.

원저자: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

게시일 2026-01-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Lost in Simulation" 논문을 일상적인 언어와 비유를 사용하여 쉽게 설명한 내용입니다.

핵심 아이디어: "테스트 더미(Test Dummy)" 문제

당신이 자동차 제조사라고 상상해 보세요. 신차를 대중에게 판매하기 전에, 다양한 운전자들을 어떻게 다루는지 테스트해야 합니다. 이때 실제 사람을 고용하는 대신, 인간처럼 행동하도록 프로그래밍된 로봇 운전자를 사용하기로 결정합니다. 당신은 이렇게 생각할 것입니다. "이 로봇은 완벽해. 지치지도 않고, 규칙도 잘 따르며, 비용도 저렴하니까."

이 논문은 AI 어시스턴트를 테스트하기 위해 인간 사용자를 시뮬레이션하는 데 AI 로봇(LLM)을 사용하는 것은 나쁜 아이디어라고 주장합니다. 로봇 운전자는 실제 인간처럼 운전하지 않습니다. 그들은 너무 예의 바르고, 질문을 너무 많이 하며, 어떤 로봇 모델을 사용하느냐에 따라 반응이 달라집니다. 이 때문에 테스트 결과는 오해의 소지가 있으며, 실제 사람에게는 위험할 수 있음에도 불구하고 당신은 차가 안전하다고 착각할 수 있습니다.

실험: "역할극(Role-Play)" 테스트

연구자들은 AI "사용자"(사람인 척하는 로봇)가 AI "에이전트"(항공권 예약이나 상품 반품 같은 업무를 돕는 로봇)와 어떻게 상호작용할지 실제 인간의 행동을 얼마나 정확하게 예측할 수 있는지 확인하고자 했습니다.

그들은 다음과 같은 대규모 실험을 설계했습니다:

과업: 연구진은 쇼핑 관련 작업(주문 변경 또는 패키지 반품 등)을 포함하는 표준 테스트인 $\tau$ -Bench를 사용했습니다.
참여자: 미국, 인도, 케냐, 나이지리아 출신의 실제 사람들이 AI 에이전트와 상호작용했습니다.
비교 대상: 실제 상호작용을 "사용자"가 또 다른 AI(시뮬레이션)인 경우의 상호작용과 비교했습니다.

발견한 내용 (3가지 주요 문제점)

1. "로봇 선택" 문제 (강건성/Robustness)

비유: "로보-1"이라는 이름의 로봇 운전자로 차를 테스트했더니 차가 70% 안전하다고 나옵니다. 그런데 "로보-2"로 테스트했더니 갑자기 80% 안전하다고 나옵니다. 어떤 것이 맞을까요? 당신은 알 수 없습니다.

결과: 연구진은 사용자를 시뮬레이션하는 데 사용된 AI 모델을 바꾸는 것만으로도 결과가 크게 달라진다는 것을 발견했습니다. 어떤 "로봇 사용자"를 사용하느냐에 따라 AI 에이전트의 성공률이 최대 9퍼센트 포인트까지 차이가 났습니다. 이는 테스트 결과가 불안정하며, 단일 로봇의 말을 진실이라고 믿을 수 없음을 의미합니다.

2. "가짜 자신감" 문제 (타당성/Validity)

비유: 선생님이 학생의 성적을 매긴다고 상상해 보세요. 선생님(AI 에이전트)은 학생(로봇 학생)이 매우 예의 바르고 질문을 명확하게 하기 때문에 자신이 아주 잘하고 있다고 생각합니다. 하지만 무뚝리하거나 혼란스러워하는 실제 학생이 나타나면, 선생님은 처참하게 실패합니다.

결과:

어려운 과업: 과업이 매우 어려울 때, 로봇 사용자들은 AI 에이전트의 성능을 실제보다 더 낮게 평가했습니다(성능 과소평가).
중간 난이도 과업: 과업이 중간 정도의 난이도일 때, 로봇 사용자들은 AI 에이전트의 성능을 실제보다 더 높게 평가했습니다(성능 과대평가).
"예의 바름"의 오류: 실제 인간은 때때로 직설적이거나, 참을성이 없거나, 모호하게 말합니다. 그러나 로봇 사용자는 일관되게 너무 예의 바르고, 질문을 너무 많이 했습니다. 이는 현실과 일치하지 않는 "가짜" 대화를 만들어냈습니다.

3. "불공정한 거울" 문제 (공정성/Fairness)

비유: 당신이 정장(표준 영어)을 입었을 때는 멋져 보이지만, 캐주얼한 옷(아프리카계 미국인 영어 또는 인도 영어)을 입었을 때는 지저분해 보이게 만드는 거울이 있다고 상상해 보세요. 거울이 고장 난 것이 아니라, 정장에 편향되어 있는 것입니다.

결과: 로봇 사용자들은 특정 집단의 사람들을 시뮬레이션하는 데 매우 서툴렀습니다.

AAVE(아프리카계 미국인 영어) 화자: 로봇 시뮬레이션은 AAVE 화자를 시뮬레이션할 때 가장 부정확했습니다. AI 에이전트는 실제 AAVE 화자와 상호작용할 때 로봇 시뮬레이션이 예측한 것보다 훨씬 더 낮은 성능을 보였습니다.
연령 격차: 이 격차는 연령이 높아질수록 더 심해졌습니다. 로봇 시뮬레이션은 특히 AAVE를 사용하는 고령층(55세 이상)이 겪는 어려움을 제대로 포착하지 못했습니다.
글로벌 편향: 시뮬레이션은 젊은 층의 표준 미국 영어 사용자에게는 가장 잘 작동했지만, 인도, 케냐, 나이지리아 사람들에게는 가장 효과가 떨어졌습니다.

"누구의 잘못인가"에 대한 놀라운 사실

테스트가 잘못되었을 때, 연구진은 누구의 책임인지 조사했습니다:

실제 인간과 함께할 때: 과업이 실패하면, 종종 인간이 오해를 받거나, 모호하거나, 지침을 완벽하게 따르지 않았기 때문이었습니다(62%의 실패 원인). 이는 일반적인 인간의 행동입니다.
로봇 사용자와 함께할 때: 과업이 실패하면, 거의 항상 AI 에이전트의 실수 때문이었습니다(49%의 실패 원인).

왜 이것이 중요한가: 로봇 사용자들은 "너무 완벽"했습니다. 그들은 지침을 너무 엄격하게 따랐기 때문에, AI 에이전트가 실제 세상의 혼란을 다루는 연습을 할 기회를 주지 않았습니다. 이는 AI 에이전트가 실제 사람과 있을 때보다 더 자주, 혹은 다른 방식으로 실패하게 만들었습니다.

결론

이 논문은 AI 로봇이 다른 AI 로봇을 테스트하는 데 의존해서는 안 된다고 결론짓습니다.

기업들이 이러한 "로봇 사용자"를 사용하여 AI 어시스턴트를 계속 평가한다면, 다음과 같은 위험을 감수하게 됩니다:

자신의 AI가 실제보다 더 좋거나 나쁘다고 착각함.
어떤 사람들에게는 잘 작동하지만, 다른 사람들(특히 고령층 및 비표준 영어 사용자)에게는 처참하게 실패하는 AI 시스템을 배포하게 됨.
"로봇 사용자"가 너무 예의 바르고 예측 가능하기 때문에 실제 세상의 문제를 놓치게 됨.

핵심 요점: 진정으로 도움이 되는 AI를 만들기 위해서는, 단순히 사람인 척하는 더 많은 로봇이 아니라, 다양한 실제 인간을 통해 테스트해야 합니다.

기술 요약: 시뮬레이션 속의 미아 (Lost in Simulation)

문제 정의
에이전트 벤치마크는 비용이 많이 드는 인간 평가를 대신하여, AI 에이전트의 성능을 대규모로 평가하기 위해 점점 더 거대언어모델(LLM) 기반의 시뮬레이션 사용자에 의존하고 있습니다. 그러나 이러한 접근 방식의 견고성, 타당성 및 공정성은 아직 검증되지 않았습니다. 현재의 관행은 종종 단일 사용자 시뮬레이션 모델에 의존하며, 사용자를 동질적인 집단으로 취급하고 언어적 및 문화적 다양성을 간과합니다. 이는 다음과 같은 중요한 질문을 제기합니다: 시뮬레이션된 사용자가 실제 세계의 에이전트 성능을 신뢰성 있게 예측하는가? 이들이 다양한 인구 집단에 걸쳐 에이전트의 능력을 잘못 나타내는 체계적인 편향을 도입하는가?

방법론
저자들은 $\tau$ -Bench 소매 태스크 스위트를 사용하여 LLM 시뮬레이션 사용자가 실제 인간의 대리인으로서 적합한지 평가하기 위해 종합적인 사용자 연구를 수행했습니다.

참가자: 미국, 인도, 케냐, 나이지리아에서 그룹당 약 40명의 참가자를 모집했습니다. 미국 참가자는 방언(표준 미국 영어 [SAE] 대 아프리카계 미국인 영어 [AAVE])과 연령(18–34세, 35–54세, 55세 이상)에 따라 계층화되었습니다. 비미국인 참가자는 18–34세 연령대로 모집되었습니다.
태스크 설계: 저자들은 $\tau$ -Bench의 115개 소매 태스크 중 난이도 균형이 맞춰진 18개 태스크의 하위 집합(모델 기반 성공률 지표에 의해 정의된 난이도 수준당 3개 태스크)을 선정했습니다.
실험 설정: 참가자들은 채팅 인터페이스를 통해 고정된 에이전트 모델(GPT-4o)과 상호작용하며 태스크를 완료했습니다. 이러한 상호작용은 다양한 LLM(GPT-4o, Sonnet 3.7, Sonnet 4.5, Kimi-K2-Thinking)에 의해 "사용자"가 시뮬레이션된 상호작용과 비교되었습니다.
평가 지표:
- 성공률 (Success Rate): 에이전트가 요구된 행동을 정확하게 실행하고 필요한 정보를 전달했는지 여부의 백분율.
- 기대 캘리브레이션 오차 (Expected Calibration Error, ECE): 확률적 분류기에서 차용되었으며, 난이도 수준에 따른 에이전트 성공률과 실제 인간 사용자와의 가중 절대 편차를 측정합니다.
- 상호작용 분석: 대화 구조(턴, 질문, 공손함 표식)에 대한 정량적 분석 및 오류 귀속(논쟁 오류, 누락된 행동, 출력 오류)에 대한 정성적 분석.

주요 기여 및 결과

견고성 결여:
에이전트 성공률은 선택된 사용자 시뮬레이션 모델에 따라 크게 달라집니다. 일부 모델은 67~71%의 성공률에 밀집되어 있지만, 사용자 모델을 Sonnet 3.7에서 Sonnet 4.5로 변경했을 때 성공률에서 9 퍼센트 포인트의 차이가 발생했습니다. 이는 단일 모델 시뮬레이션이 견고한 성능 기준을 세우기에 신뢰할 수 없음을 나타냅니다.
체계적 미캘리브레이션 (타당성):
시뮬레이션된 사용자는 실제 인간의 신뢰할 수 있는 대리인이 되지 못합니다. LLM이 가장 잘 캘리브레이션되어 있다고 가정되는 미국 맥락에서도 기대 캘리브레이션 오차(ECE)는 15.1이었습니다.
- 태스크 난이도 편향: 시뮬레이션된 사용자는 가장 어려운 태스크(0% 난이도 구간)에서 에이전트의 성능을 체계적으로 과소평가하고, 중간 정도 난이도의 태스크(60% 난이도 구간)에서는 성능을 과대평가합니다.
- 대화적 아티팩트 (Conversational Artifacts): 시뮬레이션된 사용자는 인간과 구별되는 독특한 행동 패턴을 보입니다. 여기에는 현저히 높은 질문 빈도(인간의 9.8% 대비 18.8%)와 공손함 표식(인간의 19.9% 대비 39.2%)이 포함됩니다.
인구통계학적 격차 (공정성):
사용자 시뮬레이션의 신뢰도는 인구통계학적 그룹에 따라 극적으로 달라지며, 이는 심각한 공정성 문제를 드러냅니다:
- 방언 편향: 에이전트는 SAE 화자에게는 **50.6%**의 성공률을 기록했으나, AAVE 화자에게는 **39.4%**에 그쳤습니다. 캘리브레이션 오차(ECE)는 SAE 화자(11.7)에 비해 AAVE 화자(20.3)에서 거의 두 배 가까이 높았습니다.
- 연령 상호작용: 격차는 연령과 함께 심화됩니다. SAE와 AAVE 화자 사이의 성능 격차는 35–54세 그룹의 약 12 퍼센트 포인트에서 55세 이상 그룹에서는 19 퍼센트 포인트로 벌어졌습니다.
- 지리적 편향: 시뮬레이션된 사용자는 AAVE 및 인도 영어 화자(ECE $\approx$ 18.9)에 대해 가장 효과적이지 못한 대리인이었으며, SAE 화자(ECE = 13.0)에 대해 가장 우수한 성능을 보였습니다.
이질적인 실패 모드:
오류의 성격은 시뮬레이션된 대화와 인간의 대화 간에 다릅니다.
- 오류 귀속: 인간의 대화에서는 사용자가 주요 실패 원인(62.2%)이며, 주로 모호성이나 불완전한 준수 때문입니다. 시뮬레이션된 대화에서는 에이전트가 대부분의 실패(48.9%)에 대한 책임을 집니다.
- 오류 유형: 시뮬레이션된 사용자와 상호작용하는 에이전트는 출력 오류(잘못된 출력을 포함하거나 누락함)를 더 자주 범하지만, 누락되거나 추가된 행동 오류는 더 적습니다. 이는 시뮬레이션된 사용자가 지시를 너무 정확하게 따름으로써, 실제 사용자가 유발하는 모호성과 오해를 드러내지 못함을 시사합니다.

의의 및 주장
본 논문은 LLM 시뮬레이션 사용자에 의존하는 현재의 평가 관행이 다양한 사용자 인구 집단에 걸쳐 에이전트의 능력을 왜곡할 위험이 있다고 주장합니다. 개발자들이 시뮬레이션된 사용자에 최적화함으로써, 벤치마크에서는 견고해 보이지만 실제 세계의 사용자, 특히 AAVE를 사용하거나 비서구권 배경을 가진 사용자들에게는 불균형적으로 실패하는 시스템을 의도치 않게 만들 수 있습니다. 저자들은 사용자 시뮬레이션이 아직 독립적인 평가 패러다임으로서 기능할 수 없다고 결론짓습니다. 대신, 에이전트 벤치마크는 시뮬레이션된 결과를 인구통계학적으로 다양한 인간 데이터와 검증해야 하며, 견고성과 공정성을 보장하기 위해 여러 시뮬레이션 모델에 걸쳐 결과를 보고해야 합니다.