Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

기술 요약: 완전 정보 확장형 게임의 게임 플레이 에이전트 워터마킹

문제 제기
인공지능의 급속한 발전으로 체스, 바둑, 포커와 같은 게임에서 인간을 초월하는 에이전트가 등장했습니다. 이러한 에이전트들은 뛰어난 성능을 보여주지만, 경쟁 환경에서의 무단 사용 (예: 온라인 치팅) 과 지적 재산권 (IP) 도용 (예: 코드 표절 또는 모델 증류) 의 가능성은 상당한 도전 과제를 제기합니다. 출력 소스를 검증하기 위해 숨겨진 신호를 인코딩하는 대규모 언어 모델 (LLM) 을 위한 기존 워터마킹 기술은 잠재적인 해결책을 제공합니다. 그러나 게임 플레이 에이전트에 LLM 워터마킹을 직접 적용하는 것은 구조적 차이로 인해 단순하지 않습니다. 게임 플레이는 여러 플레이어의 순차적 행동을 포함하며, 전략적 품질 (기대 효용) 의 보존이 필요하고, 종종 행동 추천과 함께 추정된 효용의 공개가 요구되기 때문입니다. furthermore, 오프라인 사후 처리 공격이 가능한 텍스트 생성과 달리, 게임 플레이의 제약 조건 (예: 수를 되돌릴 수 없음, 관찰자의 존재) 은 공격자를 온라인 단일 단계 조작으로 제한합니다.

방법론
저자들은 저명한 LLM 워터마킹 기술인 Kirchenbauer-Green-Keen (KGW) 워터마킹을 완전 정보 확장형 게임 (EFG) 에 적용합니다. 핵심 방법론은 게임 해결 에이전트의 전략 프로필 $\sigma$를 수정하는 것을 포함합니다.

1. 전략 프로필에 대한 KGW 적용:

   • 녹색/적색 목록 분할: 주어진 히스토리 $h$에 대해, 사용 가능한 행동 $A(h)$는 현재 관찰의 해시로 시드된 의사 난수 생성기에 기반하여 "녹색 목록" $G$(크기 $\gamma|A(h)|$) 와 "적색 목록" $R$로 무작위 분할됩니다.
   • 효용 왜곡: LLM 에서의 로짓 수정 대신, 워터마킹은 행동과 관련된 (추정된) 기대 효용 $\vec{u}$를 수정합니다. 녹색 목록의 행동 효용에는 난이도 매개변수 $\delta$가 추가되고, 적색 목록의 행동에서는 $-\gamma\delta/(1-\gamma)$의 보상 값이 차감됩니다. 이는 효용에 대한 기대 조정치를 0 으로 유지하여 전체 분포를 기대값 내에서 보존합니다.
   • 행동 선택: 에이전트는 조정된 효용이 최대인 행동을 선택합니다. $\delta \to \infty$로 갈수록 에이전트는 녹색 목록 행동만 선택하도록 강제되며, $\delta \to 0$으로 갈수록 워터마킹은 동점자 처리 역할만 수행합니다.

2. 기대 효용 워터마킹:

   • 사용자가 행동뿐만 아니라 추정된 효용을 확인해야 한다는 요구를 해결하기 위해, 효용 값 자체에도 병렬 워터마킹 메커니즘이 적용됩니다. 이는 공격자가 수정되지 않은 최대 효용을 가진 행동을 단순히 선택함으로써 워터마킹을 우회하는 것을 방지합니다.
   • 개인정보 제약: 논문은 기대 효용이 사용자에게 반환되는 경우, 워터마킹은 비밀 키와 함께 비공개로 배포되어야 한다고 지적합니다. 난이도 매개변수 $\delta$가 공개되면, 공격자는 수학적 역산을 통해 효용 조정을 되돌려 원래 모델의 값을 복구할 수 있습니다.

3. 탐지 메커니즘:

   • 탐지는 플레이어가 워터마킹을 인지하지 못한다는 귀무 가정 하에 관찰된 녹색 목록 행동 빈도 ($n_G$) 와 기대 빈도 ($\gamma n$) 를 비교하는 통계적 검정 (z-점수) 에 의존합니다.
   • 높은 z-점수는 워터마킹의 존재를 나타냅니다. 저자들은 $z=4$ (약 $3 \times 10^{-5}$의 거짓 양성률) 를 임계값으로 제안합니다.

주요 기여

• 게임 플레이 워터마킹의 시작: 이 논문은 게임 이론 영역에 LLM 기술을 적용하여 완전 정보 EFG 의 전략 워터마킹을 위한 최초의 프레임워크를 확립합니다.
• 이론적 경계: 저자들은 전략 품질 저하에 대한 이론적 분석을 제공하여 경계를 설정합니다. 워터마킹으로 인한 기대 효용의 총 손실 ($L$) 은 $L \le n\delta(1 + \gamma/(1-\gamma))$로 제한됨을 증명합니다. 여기서 $n$은 행동 수입니다. 이는 탐지 가능성 (높은 $\delta$) 과 전략 품질 간의 트레이드오프를 보여줍니다.
• 효용 공개 처리: 이 논문은 사용자가 추정된 기대 효용을 필요로 하는 게임 플레이 에이전트의 고유한 과제를 다루며, 워터마킹이 비공개로 유지되는 한 탐지 능력을 훼손하지 않고 이러한 값을 워터마킹하는 방법을 제안합니다.
• 강건성 분석: 저자들은 게임 플레이의 특성 (순차적, 관찰 가능, 되돌릴 수 없는 수) 이 텍스트 생성에서 일반적인 오프라인 공격 벡터를 본질적으로 완화하여 공격자를 덜 효과적인 온라인 단일 단계 조작으로 제한한다고 주장합니다.

실험 결과
저자들은 6 개의 인기 있는 범용 체스 인터페이스 (UCI) 엔진 (asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0, 및 Stockfish 17.1) 에 워터마킹을 부트스트랩하여 프레임워크를 평가했습니다.

• 성능 영향: 워터마킹된 엔진과 원본 엔진 간의 100 라운드 매치에서 엘로 차이는 미미하며 오차 범위 내에 있었습니다. 예를 들어, Stockfish 17.1은 +24.4 의 엘로 차이 (통계적으로 유의미하지 않음) 를 보였으며, asmFish 9는 -10.4 를 보였습니다. 워터마킹된 엔진이 열등할 가능성 (LOI) 은 일반적으로 90% 신뢰도에 도달하지 못하여 워터마킹이 플레이 강도를 크게 저하시키지 않음을 나타냅니다.
• 탐지 가능성: 워터마킹은 소수의 게임 후 높은 신뢰도로 탐지 가능했습니다. 대부분의 워터마킹된 엔진은 처음 2 라운드에서 9 라운드 이내에 $z=4$ 임계값을 넘었습니다.
• 매개변수 제거 실험: 녹색 목록 크기 ($\gamma$) 와 난이도 ($\delta$) 를 변화시킨 실험은 $\gamma=0.25$와 $\delta=0.5$ 센트폰이 최적의 균형을 제공함을 보여주었습니다. $\delta$를 증가시키면 탐지 지표 (더 높은 z-점수와 곡선 아래 면적) 가 향상되지만 엔진 강도가 크게 감소합니다 (더 높은 LOI).

의의 및 주장
이 논문은 게임 플레이 전략 워터마킹 연구를 시작하며, 견고하고 고유한 서명을 에이전트의 성능을 크게 훼손하지 않고 게임 플레이 에이전트에 임베딩할 수 있음을 입증합니다. 저자들은 통계적 검정을 통해 게임 플레이 데이터를 사용하여 무단 AI 사용 (예: 치팅) 또는 IP 도용 (예: 증류) 을 탐지할 수 있는 방법을 제시한다고 주장합니다. 그들은 탐지 가능성과 품질 간의 트레이드오프가 존재하지만, 품질 저하는 제한될 수 있으며 특히 기본 모델이 이미 휴리스틱 추정에 의존하는 경우 실제로는 종종 미미하다고 강조합니다. 이 연구는 게임 플레이가 텍스트 생성과 구별되는 환경을 제시하며, 효용 공개와 적대적 공격의 성격에 관한 구체적인 조정이 필요함을 부각시킵니다.