SNEAK: 대규모 언어 모델 (LLM) 의 전략적 의사소통 및 정보 유출 평가에 대한 기술 요약

이 논문은 대규모 언어 모델 (LLM) 이 다중 에이전트 환경에서 협력자에게 유용한 정보를 전달하면서도 적대자에게 민감한 정보를 유출하지 않는 전략적 의사소통 (Strategic Communication) 능력을 평가하기 위한 새로운 벤치마크인 SNEAK를 제안합니다.

1. 문제 정의 (Problem)

기존의 LLM 벤치마크는 추론, 사실적 지식, 지시 따르기 등의 능력을 평가하는 데 중점을 두지만, 비대칭 정보 (Asymmetric Information) 하에서의 전략적 의사소통 능력을 직접적으로 측정하지는 못합니다.

• 실제 시나리오: 교육 (힌트 제공), 컨설팅 (전문성 전달), 투자자 소통 등에서 발화자는 협력자에게는 의미를 전달하되, 적대자 (또는 불특정 다수) 에게는 핵심 정보를 유출하지 않도록 균형을 잡아야 합니다.
• 핵심 과제: 협력자 (Ally) 에게는 비밀 단어를 추론할 수 있도록 힌트를 주되, 비밀을 모르는 관찰자 (Chameleon) 에게는 그 단어를 추론하지 못하게 모호하게 표현하는 능력입니다. 이는 유용성 (Utility) 과 비밀성 (Secrecy) 사이의 트레이드오프를 요구합니다.

2. 방법론 (Methodology)

2.1 SNEAK 벤치마크 개요

SNEAK(Secret-aware Natural language Evaluation for Adversarial Knowledge) 는 파티 게임 'The Chameleon'에서 영감을 받아 설계되었습니다.

• 작업 설정:
  • 입력: 카테고리 (Category), 후보 단어 집합 (Candidate Set), 비밀 단어 (Secret Word).
  • 모델 역할: 비밀 단어를 알고 있는 '동료 (Ally)' 역할을 수행하며, 비밀 단어를 직접 언급하지 않으면서 협력자에게는 힌트가 되고 적대자에게는 모호한 메시지를 생성합니다.
• 평가 에이전트:
  1. Ally (협력자): 비밀 단어를 알고 있으며, 생성된 메시지가 해당 비밀 단어에 해당하는지 식별해야 합니다.
  2. Chameleon (적대자/변장자): 비밀 단어를 모르고, 메시지만 보고 후보 단어 중 비밀 단어를 추론해야 합니다.

2.2 평가 지표 (Metrics)

두 가지 상반된 목표를 정량화하기 위해 다음 지표를 사용합니다.

1. Utility (유용성): 협력자가 메시지를 통해 비밀 단어를 올바르게 식별할 확률 (정규화됨).
2. Leakage (유출): 적대자가 메시지를 통해 비밀 단어를 추론할 확률 (정규화됨).
3. SoftScore: 유용성과 비밀성의 균형을 나타내는 종합 점수.
   $$\text{SoftScore} = \text{Utility} \times (1 - \text{Leakage})$$
   이 공식은 높은 유용성과 낮은 유출을 동시에 달성하는 메시지를 장려합니다.
4. BinaryScore: 협력자가 정답을 1 순위로 선택하고 적대자가 정답을 1 순위로 선택하지 않는 경우에만 1 점으로 계산하는 엄격한 이진 점수.

2.3 데이터셋

• 117 개의 의미적 카테고리 (구체적/추상적) 와 각 카테고리에서 가장 빈번하게 생성된 10~12 개의 단어로 구성됩니다.
• 총 1,394 개의 벤치마크 인스턴스를 생성하며, 각 인스턴스에는 비밀 단어를 추론하지 못하도록 설계된 5 개의 데코이 메시지 (Decoy Messages) 가 포함됩니다.

2.4 실험 설정

• 모델: GPT, Claude, Gemini, DeepSeek, Llama, Gemma, Mixtral, Qwen 등 다양한 최신 LLM 을 평가 대상 메시지 생성기로 사용했습니다.
• 평가자: 생성된 메시지는 Mistral, Llama, Qwen 등 3 개의 독립적인 LLM 을 사용하여 'Ally'와 'Chameleon' 에이전트를 시뮬레이션하여 평가했습니다.
• 기법 비교: Zero-shot, Chain-of-Thought (CoT), Self-Enhanced Test-Time Scaling (SETS), Recursive Message Refinement (RMR) 등 추론 시간 확장 기법의 효과를 분석했습니다.

3. 주요 결과 (Key Results)

3.1 인간 vs 모델 성능

• 인간 참가자는 모든 평가된 LLM 보다 월등히 높은 성능을 보였습니다. 인간은 SoftScore에서 약 59.22점을 기록한 반면, 가장 성능이 좋은 모델 (DeepSeek-V3.2 등) 은 23~29점 수준에 그쳤습니다.
• 인간은 최대 4 배 더 높은 점수를 달성하여, 현재 LLM 이 선택적 정보 공유 능력에서 인간에 비해 큰 격차가 있음을 보여줍니다.

3.2 유용성 - 유출 트레이드오프 (Utility-Leakage Trade-off)

• 모델의 한계: 대부분의 LLM 은 높은 Utility(협력자에게 명확한 메시지) 를 달성할 때, 동시에 높은 Leakage(적대자에게도 정보가 유출됨) 를 보입니다.
• 패러레토 프론티어: 모델들은 유용성과 유출 사이의 균형 (Upper-Left 영역) 을 찾지 못했습니다. 비밀을 명확히 전달하면 적대자도 쉽게 추론해내는 경향이 강했습니다.
• 추론 기법의 효과: CoT 나 SETS 와 같은 기법은 유용성을 약간 향상시킬 수 있었으나, 유출을 줄이는 데는 한계가 있었습니다. 오히려 RMR(Recursive Message Refinement) 같은 기법이 유출을 줄이는 데 더 효과적이었으나, 유용성 저하와 함께 점수 향상이 제한적이었습니다.

3.3 카테고리별 분석

• 추상적 카테고리가 구체적 카테고리보다 모델이 더 잘 수행했습니다. 추상적 개념은 더 간접적인 연상 (Associative) 이 가능하여 비밀을 유출하지 않고 힌트를 줄 여지가 더 많기 때문입니다.
• 후보 단어 간의 의미적 유사도가 높을수록 (클러스터링이 밀집할수록) 선택적 의사소통이 어려워져 점수가 하락했습니다.

4. 주요 기여 (Contributions)

1. SNEAK 벤치마크 도입: 비대칭 정보 하에서 LLM 의 선택적 정보 공유 능력을 평가하는 최초의 체계적인 벤치마크를 제안했습니다.
2. 행동적 평가 프레임워크: '유용성'과 '유출'을 분리하여 객관적이고 재현 가능한 방식으로 전략적 의사소통을 측정하는 새로운 평가 프로토콜을 제시했습니다.
3. 현실적 격차 규명: 현대 LLM 이 높은 정보 전달 능력은 갖췄으나, 정보 통제 (Information Control) 능력, 즉 누구에게 무엇을 얼마나 알려줄지 결정하는 전략적 능력은 인간에 비해 현저히 부족함을 실증했습니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 차원: 기존 벤치마크가 놓치고 있던 '다중 에이전트 환경에서의 전략적 발화'와 '정보 유출 제어'라는 중요한 능력을 평가할 수 있는 기준을 마련했습니다.
• 실용적 함의: 튜터링 시스템, 프라이버시 보호 통신, 전략적 협상 등 LLM 이 실제 사회에 배포될 때 필수적인 능력인 '상황에 따른 정보 조절'의 중요성을 강조합니다.
• 향후 과제: 현재 모델들은 정보의 유출을 통제하는 능력이 부족하므로, 향후 연구에서는 이러한 전략적 의사소통 능력을 향상시키는 학습 방법과 평가 지표 개발이 필요함을 시사합니다.

요약하자면, SNEAK는 LLM 이 "무엇을 말해야 하고, 무엇을 말하지 말아야 하는지"를 판단하는 전략적 사고 능력이 아직 초기 단계임을 보여주며, 인간 수준의 선택적 의사소통을 달성하기 위해서는 정보 유출을 최소화하면서 협력자에게는 명확한 신호를 보내는 새로운 접근법이 필요함을 강조합니다.