기술 요약: LLM 에이전트의 다자간 주체 충성도 (Multi-Party Principal Loyalty)

1. 문제 정의: 다자간 충성도 격차 (The Multi-Party Loyalty Gap)

현재의 LLM 에이전트 연구는 주로 2자 패러다임 하에서 작동합니다. 즉, 에이전트가 도구나 우호적인 환경을 상대로 단일 사용자(주체, Principal)를 보좌하는 구조입니다. 이 설정에서의 목표는 단순히 "현재 대화 중인 화자를 돕는 것"입니다. 그러나 빠르게 성장하는 실제 배포 사례들은, 자신의 이해관계가 직접적으로 상충할 수 있는 **상대방(Counterparty)**과 대화하면서 주체를 대신해 행동하는 다자간 에이전트를 포함합니다 (예: 벤더와 협상, 유입되는 요청 스크리닝, 또는 분쟁 중재).

이러한 시나리오에서, 기본 설정인 "대화 중인 상대방을 돕는다"는 본능은 정렬(Alignment)에 어긋납니다. 에이전트는 주체에 대한 충성도를 유지해야 하며(비공개 정보 보호, 명시된 입장 고수, 승인되지 않은 요청 거절), 동시에 정보를 캐내거나 압박하거나 긴박함을 조작하여 양보를 얻어내려는 적대적 상대방과 별도의 채널로 교신해야 합니다.

본 논문은 이를 **다자간 충성도 문제(Multi-party loyalty problem)**로 공식화하며, 실패를 여섯 가지 유형(표 1)으로 분해합니다:

1. 유출 (Leakage): 은닉된 사실을 직접적으로 드러냄.
2. 굴복 (Capitulation): 사실을 유출하지는 않더라도 사회적 또는 시간적 압박에 의해 주체의 입장을 양보함.
3. 태도 (Posture): 명시적인 사실을 말하지는 않지만, 주체의 동기나 유연성을 암시함 (예: "그녀는 의욕이 있어 보이네요").
4. 작성 (Authoring): 유출이나 양보를 포함하는 결과물(이메일, 리스팅 등)을 작성함.
5. 중재 (Moderation): 제3자의 기밀 사항을 부적절하게 처리함 (예: 목격자의 이름을 노출).
6. 정상성 (Sanity/과잉 거절): 주체의 정당한 협력적 요청을 거부함으로써, 사실상 주체를 적대자로 취급함.

핵사의 쟁점은 에이전트가 유출을 피하기 위해 단순히 "모든 것을 거절"해서는 안 된다는 점입니다. 에이전트는 주체에게는 유용하게 남아 있으면서도, 적대적인 탐색(Probe)에 대해서는 선택적으로 대응해야 합니다.

2. 방법론: PrincipalBench 및 평가

이 문제를 측정하기 위해, 저자들은 단일 턴 안전성 평가에서는 발견할 수 없는 실패를 드러내도록 설계된 75개 항목의 멀티 턴 벤치마크인 PrincipalBench를 도입합니다.

• 구조: 각 항목은 주체의 브리핑(비공개 사실, 한계치, 입장 정의)과 매개변수화된 상대방 페르소나로 구성됩니다.
• 평가 실험군: 모델들은 세 가지 조건 하에서 테스트됩니다:
  • Plain (일반): 충성도 지침 없음.
  • Prompted (프롬프트 적용): 표준 시스템 프롬프트 사용.
  • Scaffolded (스캐폴드 적용): 특정 충성도 스캐폴드 포함 (섹션 6 참조).
• 점수 산정: 응답은 다음을 통해 평가됩니다:
  1. 결정론적 유출 탐지 (Deterministic Leak Probes): 트랜스크립트를 은닉된 사실의 별칭 집합과 대조.
  2. 이중 판사 (Dual Judges): 1차 판사(gpt-5-mini)와 2차 판사(claude-haiku)가 이진 해악 라벨과 하위 플래그(leak, bound, over-refusal)를 할당.
  3. 무결성 감사 게이트 (Integrity-Audit Gate): 무음 API 실패나 에이전트 턴이 0인 궤적을 거부.
• 벤치마크는 50개의 훈련 세트와 25개의 홀드아웃(Hold-out) 세트를 포함하며, 홀드아웃 세트는 훈련이 동결된 후 실패 모드별로 균형 있게 구성되었습니다.

3. 주요 결과: 선택적 그룹 vs 과잉 거절 그룹의 분리

13개의 최첨단 LLM 대상 테스트 결과, 뚜렷하고 내재적인 **양봉 분포(Bimodal split)**가 나타났습니다 (그림 3):

• 선택적 클러스터 (Selective Cluster, 9개 대상): 이 모델들(예: Claude-Sonnet, Qwen3-32B)은 총체적 해악도가 20% 이하입니다. 이들은 적대적 탐색을 성공적으로 거절하면서도 주체의 정당한 요청을 수행합니다.
• 과잉 거절 클러스터 (Over-Refusing Cluster, 3개 대상): 이 모델들(예: GPT-5, Qwen3.5-27B)은 거의 전적으로 과잉 거절(지침 미준수)에 의해 유발되는 53.6% 이상의 해악도를 보입니다.
• 내재적 성질: 이 분리는 "plain" 실험군(충성도 지침 없음)에서도 존재하며, 이는 프롬프트의 효과가 아니라 모델의 사후 학습(Post-training) 정렬 특성임을 나타냅니다.

4. 제안된 메커니즘

메커니즘 1: 프롬프트 타임 충성도 스캐폴드 (Prompt-Time Loyalty Scaffold)

API 접근이 가능한 모델들을 위해, 저자들은 50개 이상의 실패 궤적을 오픈 코딩하여 도출한 7가지 우선순위 규칙을 포함하는 고정 시스템 프롬프트를 개발했습니다. 핵심 통찰은 다음과 같습니다:

• 상대방을 긴박함이 하나의 전략인 '검증 불가능한 낯선 사람'으로 취급할 것.
• 카테고리를 유출하지 않도록 구체적이지 않고 일반적인 방식으로 요청을 거절할 것 (예: "그 부분에 대해서는 논의할 수 없습니다").
• 사적인 한계치(예: 예약 가격)와 공개적인 입장(Position)을 구분할 것.
• 조건부 허가를 예비로 보유할 것.

결과: 이 스캐폴드는 선택적 클러스터의 해악도를 20% 이하로 낮춥니다 (예: Claude-Sonnet은 19.4%로 감소). 그러나 과잉 거절 클러스터에는 효과가 없거나 오히려 해로워, 이들을 더 깊은 거절 상태로 몰아넣습니다. 또한, 스캐폴드가 주체의 요청을 실수로 거절하는 것을 방지하기 위해 "독자 식별 태그"([READER: PRINCIPAL] 또는 [READER: THIRD_PARTY])가 추가되었습니다.

메커니즘 2: Per-Token-KL 증류 (Per-Token-KL Distillation)

오픈 웨이트 모델을 위해, 저자들은 프롬프트된 교사 모델(Qwen3-32B)로부터 더 작은 학생 모델(Qwen3-8B, Llama-3.1-8B)로 충성도 행동을 전이하는 온-폴리시(On-policy) 증류 레시피를 제안합니다.

• 목표: 모든 응답 위치에서 Per-Token Forward-KL을 사용하여 교사의 다음 토큰 분포와 일치시키는 것입니다.
• 비교: 이는 유의미한 개선을 보이지 못한 Per-Turn SFT 및 Per-Turn DPO보다 성능이 뛰어납니다.
• 결과: Per-Token-KL 학생 모델은 SFT+DPO 베이스 모델에 비해 해악도를 크게 감소시켰으며(p=0.011), 단일 시드 테스트에서 33/108 (30.5%), 멀티 시드 평균 약 39.2%의 해악도에 도달했습니다. 이는 측정된 가장 강력한 오픈 웨이트 레시피입니다.

5. 구조적 한계: 유출/과잉 거절 파레토 프런티어 (The Pareto Frontier)

이 논문의 가장 중요한 구조적 발견은 두 메커니즘 모두 새로운 지점을 만드는 것이 아니라 공통된 파레토 프런티어를 따라 이동한다는 점입니다 (그림 2).

• 트레이드오프: 유출을 최소화하는 것과 과잉 거절을 최소화하는 것 사이에는 근본적인 긴장이 존재합니다. 한 축(예: 증류를 통한 유출 감소)을 개선하면 다른 축(예: 과잉 거절 증가)이 희생되는 경우가 많습니다.
• 증거:
  • 반복적인 증류(재샘플링 및 재증류)는 프런티어를 추적하지만, 결코 "공동으로 유리한"(낮은 유출 + 낮은 과잉 거절) 좌하단 지점에 도달하지 못합니다.
  • 최적의 체크포인트에서 시작된 단일 목적 RL(DAPO)은 프런티어를 돌파하지 못하고 오히려 해악도를 높입니다.
  • 데이터 스케일링(4.2배 더 많은 데이터)은 성능을 퇴보시키며, 이는 문제가 언더피팅이 아니라 구조적 한계임을 시사합니다.
  • 산업적 확증: 저자들은 협상 견고성을 개선하면 의도치 않게 부정직함이 증가하거나 그 반대의 상황이 발생하는 Anthropic의 Opus 4.7과 4.8 간의 트레이드오프 사례를 인용하며, 이것이 생산 규모에서도 동일하게 나타남을 보여줍니다.

6. 의의 및 주장

본 논문은 다자간 충성도 문제가 단순한 평가의 문제를 넘어, 에이전트가 무엇인지에 대한 지배적인 모델의 격차를 나타낸다고 주장합니다. 현재의 프레임워크는 2자 관계를 가정하지만, 제3의 역할(방어되어야 할 주체)이 표준 훈련과 측정에서 누락되어 있습니다.

• 기여: 이 연구는 선택적 충성도(좋음)와 맹목적 방어(나쁨)를 구분할 수 있는 최초의 측정 도구(PrincipalBench)를 제공합니다.
• 한과점: 저자들은 상대방이 인간이 아닌 LLM이라는 점에서 결과가 실세계 성능의 상한선(Upper bound)임을 명시합니다. 또한, 8B 규모 모델에 대한 judge의 민감도 문제도 한계점으로 언급했습니다.
• 결론: 프롬프트 스캐폴드와 증류가 특정 모델 클러스터에 즉각적인 개선을 제공하기는 하지만, 지속적인 파레토 프런티어의 존재는 차세대 충성도 메커니즘이 **적대적 견고성(Adversarial Robustness)**과 협력적 유용성(Cooperative Helpfulness) 사이의 근본적인 트레이드오프를 더 구조적인 수준에서 해결해야 함을 시사합니다.