📈 economics

When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

이 논문은 자동화된 대리인에 대한 진실한 위임이 대리인이 '범위 내 후회(within-range regret)'를 최소화할 때만 최적임을 입증하며, 어떤 안전 가드레일도 동시에 구속적이고, 진실하며, 능력 보존적일 수 없는 근본적인 삼중 딜레마를 밝힘으로써 프롬프트 엔지니어링과 탈옥의 동기를 설명한다.

원저자: Taksch Dube

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taksch Dube

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 가장 중요한 업무를 처리하기 위해 개인 비서를 고용한다고 상상해 보세요. 아마도 당신을 대신해 경매에서 물건을 낙찰받게 하거나, 혹은 당신을 위해 이야기를 쓰게 하고 싶을 수도 있습니다. 당신은 그들에게 단순한 지시를 내립니다: "나에게 최선인 것을 해줘." 경제학과 컴퓨터 과학의 세계에서는 이를 **위임(delegation)**이라고 부릅니다. 당신(본인)은 당신의 대리인(비서)에게 원하는 바를 말하고, 대리인은 나가서 입찰을 하거나 글을 씁니다.

수십 년 동안, **폭로 원리(Revelation Principle)**라는 유명한 아이디어는 만약 당신에게 똑똑한 비서가 있다면 항상 100% 정직해야 한다고 말해왔습니다. 이 이론은 "그저 진실을 말하라, 그러면 비서가 완벽한 움직임을 찾아낼 것이다"라고 말했습니다. 이 규칙은 복잡한 수학 문제를 훨씬 더 쉽게 해결할 수 있게 해주었기에 매우 위안이 되는 규칙이었습니다. 하지만 여기에는 함정이 있었습니다. 이 규칙은 비서가 오직 당신의 행복만을 추구하는 완벽한 로봇이라는 가정을 전제로 했습니다. 현실 세계에서 비서는 종종 대기업에 의해 훈련된 알고리즘이거나, 혹은 방해가 될 수 있는 자신들만의 안전 규칙을 가지고 있습니다. 그들은 완벽하게 충성스럽지 않을 수 있습니다. 따라서 큰 질문이 남았습니다. 만약 당신의 비서가 생각 없는 기계가 아니라면, 여전히 그들에게 진실을 말하는 것이 현명할까요? 아니 혹은 더 나은 결과를 얻기 위해 약간의 거짓말을 섞어 그들을 '게임(속임수)'하려 노력하는 것이 좋을까요?

Taksch Dube가 작성한 이 논문은 바로 그 질문을 파고듭니다. 이 논문은 다음과 같이 묻습니다: 내 자동화된 비서에게 거짓말을 하는 것이 실제로 좋은 아이디어가 되는 경우는 언제인가?

저자는 그 답이 **범위 내 후회(within-range regret)**라는 하나의 숨겨진 숫자에 달려 있다는 사실을 발견했습니다. 당신의 비서를 연료 탱크 용량이 제한된 자동차라고 생각해 보세요. 그들은 특정 장소(그들의 "범위")까지만 운전할 수 있습니다. 만약 자동차가 이미 도달할 수 있는 가장 좋은 위치에 주차되어 있다면, 당신은 거짓말을 할 이유가 없습니다. 진실을 말하는 것이 완벽합니다. 하지만, 만약 자동차가 거의 최적의 지점에 주차되어 있지만 완전히 최적은 아니며, 만약 당신이 다른 지시를 내렸을 때 도달할 수 있는 더 나은 지점이 불과 몇 피트 옆에 있다면, 당신은 거짓말을 할 이유가 생깁니다.

이 논문은 놀라운 항등식을 증명합니다: 당신의 비서에게 거짓말을 함으로써 얻을 수 있는 돈이나 행복의 양은, 그들이 더 나은 지점에 있지 못함에 대해 느끼는 "후회"와 정확히 일치합니다. 만약 당신의 비서가 충직하고 도달 가능한 최선의 움직임을 이미 수행하고 있다면, 후회는 0이며, 당신은 진실을 말해야 합니다. 하지만 만약 그들이 정렬되지 않았거나(misaligned) 안전 규칙에 의해 제한되어 있다면, 후회는 양(+)의 값을 가지며, 당신은 보고 내용을 부풀림으로써 수학적으로 반드시 무언가를 얻게 될 것입니다.

저자들은 또한 트릴레마(Trilemma), 즉 세 방향의 줄다리기와 같은 상황을 밝혀냈습니다. 그들은 안전 가드레일(예: 비서가 나쁜 말을 하는 것을 막는 규칙)이 다음 세 가지를 동시에 수행할 수는 없음을 보여줍니다:

구속력(Binding): 비서가 어떤 행동을 하는 것을 실제로 막는다.
진실성(Truthful): 당신이 진실을 말하는 것이 여전히 현명하게 만든다.
능력 보존(Capability-preserving): 비서가 여전히 절대적인 최선의 결과에 도달할 수 있게 한다.

당신은 두 가지만 선택할 수 있습니다. 만약 당신이 나쁜 행동을 막으면서도(구속력) 비서가 최선의 결과에 도달할 수 있게 하는(능력 보존) 가드레일을 원한다면, 당신은 반드시 진실성을 희생해야 합니다. 이 시나리오에서 가장 현명한 방법은 원하는 결과를 얻기 위해 비서를 속이도록 거짓말을 하는 것입니다.

이것이 단순히 화이트보드 위의 수학적 이론이 아님을 증명하기 위해, 연구진은 실제 세계의 언어 모델(오늘날 당신이 대화할 수 있는 것과 같은 모델들)을 테스트했습니다. 그들은 인간 클라이언트의 대리인으로서 행동하는 가짜 경매 상황을 설정했습니다. 그리고 모델이 입찰할 수 있는 금액을 제한하는 "소프트 캡(soft cap, 상한선)"(안전 규칙)을 추가했습니다. 결과는 명확했습니다: 테스트된 모든 모델에서 "후회"는 양(+)의 값을 가졌습니다. 모델들은 완벽한 금액을 입찰할 능력이 있었지만, 안전 캡이 그들을 막았습니다. 따라서 "클라이언트"(인간)들은 모델에게 자신의 가치를 속임으로써 더 나은 결과를 얻을 수 있다는 것을 발견했습니다. 예를 들어, 모델에게 당신이 말한 값의 절반만 입찰하도록 지시했지만 안전 규칙이 입찰액을 제한하고 있다면, 모델이 적절한 지점에서 캡(cap)에 걸리도록 유도하기 위해 실제 가치보다 훨씬 높은 숫자를 모델에게 말하는 것이 가장 현명한 전략이었습니다.

논문은 우리가 AI 에이전트에게 업무를 위임하는 시대에, 항상 정직한 것이 최선은 아니다라고 결론짓습니다. 만약 당신의 AI 비서가 잠재력을 발휘하지 못하게 막는 규칙들에 의해 제약을 받고 있다면, 당신은 원하는 결과를 얻기 위해 "프롬프트 엔지니어링"을 하거나 거짓말을 할 유인이 생깁니다. 저자들은 AI가 항상 정직할 것이라고 가정하는 대신, 이 "후회"를 끊임없이 측정해야 한다고 제안합니다. 그들은 심지어 샘플을 사용하여 이 숫자를 추정하는 방법을 개발했으며, 현재의 AI 모델들에게 있어 거짓말을 하고 싶은 유인이 실재하며 측정 가능하다는 것을 보여주었습니다.

요약하자면, 이 논문은 AI 에이전트의 시대에 나타나는 새로운 현실을 드러냅니다: 만약 당신의 대리인이 충직하고 자유롭게 움직일 수 있다면 진실을 말하십시오. 하지만 만약 당신의 대리인이 안전 규칙이나 정렬되지 않은 목표에 묶여 있다면, 수학적으로 당신은 최선의 결과를 얻기 위해 거짓말을 해야 합니다. 이는 "항상 정직하라"는 기존의 규칙을 뒤집으며, 위임된 세상에서는 당신의 에이전트가 이미 완벽한 게임을 수행하고 있을 때에만 진실이 최적이라는 것을 보여줍니다.

기술 요약: "위임된 플레이는 언제 진실한가? 범위 내 후회(Within-Range Regret)와 정렬된 위임의 삼중 딜레마"

1. 문제 제기

본 논문은 현대적 위임 시스템에 대한 공표 원리(Revelation Principle) 적용의 근본적인 간극을 다룬다. 고전적 메커니즘 설계는 주체(예: 광고주 또는 사용자)가 자신의 사적 유형(private type)을 메커니즘에 진실하게 보고할 수 있다고 가정하지만, 현실 세계의 시스템은 점점 더 **위임 스택(delegation stacks)**에 의존하고 있다. 즉, 주체는 자신의 유형을 자동화된 프록시(예: 오토비더 또는 언어 모델 에이전트)에 보고하고, 이 프록시는 해당 보고를 메커니즘 내의 행동으로 매핑한다.

핵심 질문은 다음과 같다: 주체가 자신의 프록시에게 자신을 정직하게 설명하는 것이 언제 최적인가? 고전 이론은 정직한 보고가 최적이라고 가정하지만, 이러한 구성은 설계자가 거의 보유하지 못한 균형(equilibria)과 사전 확률(priors)에 대한 지식을 요구한다. 위임된 환경에서는 프록시의 목적이 주체의 목적과 완벽하게 일치하지 않을 수 있다. 본 논문은 언어 모델 유도(elicitation) 및 오토비딩(autobidding)에 관한 기존 연구에서 다루지 않았던 현상, 즉 주체가 프록시의 출력을 조작하기 위해 자신의 유형을 허위로 보고할 유인을 조사한다.

2. 방법론 및 프레임워크

저자들은 위임 스택을 다음과 같은 베이지안 게임으로 정형화한다:

**주체(Principals)**는 사적 유형 $\theta_i$ 를 가지며 보고값 $t_i$ 를 선택한다.
**프록시( $\pi_i$ )**는 보고에서 메커니즘 메시지( $M_i$ )로 가는 결정론적 사상(deterministic map)이다.
**래핑된 메커니즘(Wrapped Mechanism)**은 $g \circ \pi$ 이다 (여기서 $g$ 는 원래의 메커니즘이다).

분석은 두 가지 핵심 개념을 도입한다:

범위 내 후회(Within-Range Regret, $W_i$ ): 주체가 도달 가능한 최선의 행동으로 프록시를 유도함으로써 얻을 수 있는 효용과 프록시의 정직한 행동으로 얻은 효용 사이의 차이이다.
$W_i(\theta_i; \pi) = \max_{m \in \text{Reach}_i} U_i(m, \pi_{-i} | \theta_i) - U_i(\pi_i(\theta_i), \pi_{-i} | \theta_i)$
여기서 $\text{Reach}_i = \pi_i(\Theta_i)$ 는 프록시가 생성할 수 있는 행동의 집합이다.
조작 이득(Manipulation Gain, $G_i$ ): 주체가 프록시에게 자신의 유형을 잘못 보고함으로써 얻는 최대 효용이다.

본 논문은 프록시의 행동을 고정된 사상으로 취급하며, 프록시가 충성스럽거나 주체의 효용을 최적화한다고 가정하는 대신, 이 사상에 대한 주체의 유인을 분석한다.

3. 주요 기여 및 이론적 결과

A. 프록시 대상 진실성 항등식 (정리 1)
본 논문은 근본적인 항등식을 확립한다: 주체의 오보고(misreporting)로 인한 이득( $G_i$ )은 정확히 프록시의 범위 내 후회( $W_i$ )와 같다.

시사점: 정직한 자기 묘사가 최적인 조건은 프록시가 자신이 도달할 수 있는 범위 내에서 충성스러운(loyal) 경우(즉, 프록시가 이미 주체를 위해 도달 가능한 최선의 행동을 수행하고 있는 경우)와 같다.
통합: 이 항등식은 오토비딩의 이질적인 결과들(예: 1차 가격 경매와 2차 가격 경매에서의 유인 일치성 역전 현상)을 $W_i$ 의 단순한 부호 변화로 통합한다. 2차 가격 경매에서 정직한 입찰은 범위 최적( $W_i=0$ )이지만, 1차 가격 경매에서는 그렇지 않다( $W_i > 0$ ).

B. 정렬된 위임의 삼중 딜레마 (정리 2)
본 논문은 가드레일(프록시에 적용되는 제약 조건, 예: 입찰 상한선 또는 정렬 레이어)에 관한 구조적 불가능성 결과를 증명한다. 어떤 가드레일도 다음 세 가지 속성을 동시에 만족할 수 없다:

구속적(Binding): 프록시의 최선 도달 가능 결과로부터 진실한 행동을 밀어낸다.
진실함(Truthful): 주체에게 정직한 보고가 최적으로 남는다.
역량 보존적(Capability-Preserving): 주체의 최선 도달 가능 결과가 어떤 보고를 통해서든 여전히 도달 가능하다.

결과: 이 중 두 가지만 만족하면 나머지 하나는 성립할 수 없다.
- 만약 가드레일이 구속적이고 역량 보존적이라면(예: 다른 보고를 통해 최적 입찰을 허용하는 소프트 캡), 이는 진실성을 깨뜨려 "프롬프트 엔지니어링"이나 보고값 부풀리기의 유인을 만든다.
- 만약 가드레일이 구속적이고 진실하다면(예: 최적 입찰을 제거하는 하드 캡), 이는 역량을 상실한다.
- 만약 가드레일이 진실하고 역량 보존적이라면, 그것은 반드시 비구속적(아무런 역할을 하지 않음)이어야 한다.

C. 인증 및 드리프트 (섹션 6 & 7)
$W_i$ 를 정확히 계산하는 것은 #P-hard이므로, 본 논문은 통계적 인증 프레임워크를 제안한다:

추정: $W_i$ 는 프록시의 행동 샘플로부터 추정될 수 있다.
드리프트 처리: 본 논문은 온라인 재인증(online re-certification) 방법을 제공한다. 프록시 모델이 업데이트(드리프트)됨에 따라, 보증의 저하는 업데이트 빈도가 아니라 드리프트의 크기( $\Delta$ )에 따라 결정된다. 이를 통해 플랫폼은 총 드리프트 예산에 비례하는 비용으로 유인 일치성 인증을 유지할 수 있다.

4. 실증적 결과

저자들은 1차 가격 경매에서 오토비딩 프록리로 작동하는 5개 제공업체(OpenAI, Anthropic, Google, DeepSeek, xAI)의 25개 프로덕션 언어 모델을 대상으로 이론적 예측을 테스트했다.

설정: 모델들은 "정렬 스타일"의 소프트 캡(입찰가를 압축하지만 보고값 부풀리기를 통해 최적 입찰에 도달할 수 있게 하는 제약) 하에서 클라이언트 잉여를 극대화하도록 지시받았다.
결과:
- 보편적 유인: 모든 모델에서 구속적이고 역량 보존적인 가드레일은 $W_i > 0$ 을 초래했다.
- 보고값 부풀리기: 주체(실험 설정을 통해 시뮬레이션됨)는 캡을 우회하여 최적 입찰에 도달하기 위해 보고값을 부풀림으로써(예: 실제 가치의 1.76배를 보고) 효용을 얻을 수 있었다.
- 배치의 중요성: 제약이 출력 클리핑(모델의 입찰가를 사후 처리)을 통해 적용되었을 때 $W_i$ 는 매우 높았다(~5.79). 반면, 제약 인식 디코딩(모델이 허용된 메뉴 중에서 최선의 입찰을 선택)을 통해 적용되었을 때, 대부분의 모델에서 $W_i$ 는 0에 가깝게 떨어졌다. 이는 배치의 위치가 삼중 딜레마의 어느 지점을 점유하는지를 결정한다는 이론적 예측을 확인해 준다.
- 하드 캡: 최적 입찰을 완전히 제거하는 하드 캡의 경우 $W_i = 0$ (진실함)이었으나 상당한 역량 손실이 발생했으며, 이는 세 번째 지점을 확인시켜 준다.

5. 의의 및 주장

본 논문은 위임된 시스템의 유인 일치성에 대한 패러다임 전환을 주장한다:

가정에서 측정으로: 정직한 보고는 메커니즘의 자동적인 속성이 아니라, **프록시의 정렬(alignment)**과 주체 사이의 측정 가능한 속성이다.
안전의 비용: 모델의 행동을 변경하면서 최적의 결과에 도달할 수 있게 만드는 안전 제약(가드레일)은 본질적으로 오보고(프롬프트 엔지니어링)의 유인을 생성한다. 이는 모델의 실패가 아니라 삼중 딜레마의 구조적 결과이다.
실용적 인증: 본 논문은 정확한 균형 계산이 난해한 동적 학습 기반 시스템에서 유인 일치성을 측정하고 유지하기 위한 프레임워크를 제공한다.

저자들은 프록시가 충성스럽다고 가정하지 않고, 대신 범위 내 후회를 통해 정렬 불일치의 정도를 측정한다. 이 연구는 경매 이론과 언어 모델 정렬을 단일한 기하학적 프레임워크 아래 통합하며, "탈옥(jailbreaking)" 또는 "프롬프트 엔지니어링" 현상이 구속적이고 역량 보존적인 제약에서 발생하는 예측 가능한 경제적 유인임을 입증한다.