$\aleph$-IPOMDP: Mitigating Deception in a Cognitive Hierarchy with Off-Policy Counterfactual Anomaly Detection

이 논문은 더 깊은 재귀적 사고 능력을 가진 적대적 에이전트의 기만 공격에 취약한 사회성 에이전트를 보호하기 위해, 이상 탐지 알고리즘과 오프-폴리시 정책을 결합한 $\aleph$-IPOMDP 프레임워크를 제안하여 기만을 감지하고 억제함으로써 공정한 결과를 도출하는 방법을 제시합니다.

핵심

🎭 1. 문제 상황: "지능의 사다리"와 속임수

상상해 보세요. 한 게임에서 **초보 플레이어 (A)**와 **프로게이머 (B)**가 맞붙었다고 가정해 봅시다.

• 초보 플레이어 (A): 상대방의 다음 수를 1~2 단계 정도만 예측할 수 있습니다. ("상대가 이걸 먹으려고 하겠지" 정도).
• 프로게이머 (B): 상대방의 생각을 10 단계 이상 깊게 예측합니다. ("상대가 내가 이걸 먹으려 할 거라고 생각해서, 내가 그걸로 속일 거라고 알고 있겠지").

이런 지능의 격차 (Recursive Hierarchy) 때문에 프로게이머는 초보자를 쉽게 속일 수 있습니다. 초보자는 "상대가 왜 이렇게 이상하게 움직이지?"라고 궁금해할 뿐, 그 속임수의 본질을 이해조차 못 합니다. 마치 개미가 인간에게 속는 것과 비슷합니다. 개미는 인간이 왜 그 길을 막는지, 왜 그 음식을 치우는지 이해할 수 없으니까요.

기존에는 지능이 낮은 쪽이 속임수를 당하면 어쩔 수 없었습니다. 하지만 이 논문은 **"비록 속임수의 '원리'를 몰라도, '이상함'을 감지해서 대응할 수 있다"**는 새로운 방법을 제시합니다.

---

🕵️ 2. 해결책: "ℵ-IPOMDP" (알파-메커니즘)

이 논문이 제안한 시스템은 **"이상 행동 탐지기 (Anomaly Detector)"**와 "경고 발령 (Out-of-Belief Policy)" 두 가지로 이루어져 있습니다.

① 이상 행동 탐지기 (The "Sniffer")

상대방이 내 예상과 다르게 행동할 때, "아, 이 친구는 내가 아는 그 타입이 아니야!"라고 깨닫는 것입니다.

• 비유: 개미집에 침입한 기생충을 생각해 보세요.
  • 기생충은 개미처럼 생겼지만 (외형은 비슷), 행동은 다릅니다. (일하지 않고 먹기만 하거나, 이상하게 움직입니다).
  • 초보 개미는 "저 친구가 개미인가?"라고 깊이 생각하지 못합니다. 하지만 **"일하지 않고 밥만 먹네? 이상하군!"**이라는 행동 패턴의 불일치를 감지합니다.
  • 이 시스템은 상대방이 "예상했던 행동 패턴 (Typical Set)"에서 벗어나는지, 그리고 "내가 기대했던 보상이 나오지 않는지"를 수학적으로 계산합니다.

② 경고 발령 (The "Shield")

이상 행동이 감지되면, 더 이상 상대방을 이해하려 하지 않고 방어 모드로 전환합니다.

• 비유: 집에 낯선 사람이 들어왔을 때의 반응입니다.
  • 평소에는 문을 열어주고 대화하지만, "이 사람이 내 예상과 전혀 다르게 행동하네?"라고 판단되면, 문을 잠그고 **"그냥 무조건 방어한다"**는 전략을 씁니다.
  • 이 논문에서는 이를 '그림자 (Grim Trigger)' 전략이라고 부릅니다. 상대방이 조금이라도 이상하면, 끝까지 협력을 거부하거나 최소한의 손실만 보게 만드는 전략을 취합니다.
  • 상대방이 "속여서 이득을 보려고" 했다면, 이 방어 전략 때문에 오히려 손해를 보게 되어, 차라리 속임수를 쓰지 않게 됩니다.

---

🎲 3. 실제 실험: "제안 게임"과 "카드 게임"

연구진은 이 시스템을 두 가지 게임에서 테스트했습니다.

1. 제안 게임 (Ultimatum Game):

   • 상황: 한 사람이 돈을 나누어 제안하고, 다른 사람이 수락하거나 거절합니다.
   • 속임수: 지능 높은 상대방은 처음엔 좋은 제안을 해서 "착한 사람"인 척하다가, 상대방이 신뢰를 쌓으면 갑자기 나쁜 제안을 합니다.
   • 결과: 이 시스템이 적용된 초보자는 처음엔 속았지만, "어? 갑자기 제안을 줄이네? 이상해!"라고 감지하고 거절하기 시작했습니다. 그 결과, 지능 높은 상대방도 더 이상 속일 수 없게 되었고, 공정한 분배가 이루어졌습니다.

2. 제로섬 게임 (Zero-Sum Game):

   • 상황: 한쪽이 이기면 다른 쪽이 지는 카드 게임 (포커 등).
   • 속임수: 상대방이 내 마음을 읽는 척하며 나를 속입니다.
   • 결과: 시스템이 "상대방의 행동이 너무 예측 불가능해"라고 감지하자, 방어 모드로 전환했습니다. 상대방은 더 이상 이득을 볼 수 없게 되어 게임이 무승부에 가까운 결과가 나왔습니다.

---

💡 4. 왜 이 연구가 중요할까요? (일상 속 의미)

이 연구는 단순한 게임 이론을 넘어, 우리 삶과 AI 안전에 중요한 메시지를 줍니다.

• AI 와의 관계: 앞으로 AI 가 인간을 속일 수 있는 '지능'을 갖게 된다면, 인간은 AI 의 복잡한 논리를 다 이해할 수 없을지도 모릅니다. 하지만 "AI 가 예상치 못한 행동을 하면 경보가 울리고, AI 가 인간을 해치려 하지 못하게 막는" 이 같은 시스템이 필요합니다.
• 사기 예방: 사이버 보안에서 해커는 사용자를 속여 정보를 빼냅니다. 이 시스템은 "사용자의 행동 패턴이 평소와 다르다"고 감지해 해커를 차단하는 '디지털 보안관' 역할을 할 수 있습니다.
• 정신 건강 (비유적 해석): 때로는 우리가 너무 많은 것을 의심하거나, 사소한 행동에서 "나를 속이려는 의도"를 찾아내어 불안해할 수 있습니다 (편집증). 이 연구는 **"언제 경보를 울리고, 언제 침착해야 하는지"**를 계산하는 수학적 기준을 제공함으로써, 불필요한 의심과 실제 위험을 구분하는 데 도움을 줄 수 있습니다.

📝 요약

이 논문은 **"상대방이 나를 얼마나 잘 속일지 몰라도, '이상한 행동'을 감지하고 '방어 태세'로 전환하면 속임수를 막을 수 있다"**는 것을 증명했습니다.

마치 바보처럼 보이는 개미가, 지능 높은 기생충의 행동을 보고 "이거 이상해!"라고 외쳐서 침입을 막는 것과 같습니다. 지능의 높낮이보다는 **'경계심'과 '대응 전략'**이 더 중요하다는 교훈을 줍니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 인지적 위계 (Cognitive Hierarchy) 와 사기의 비대칭성:
  • 다중 에이전트 강화학습 (MARL) 및 심리학적 모델에서, 에이전트는 상대방의 의도를 추론하는 '마음 이론 (Theory of Mind, ToM)' 능력을 '정신화 깊이 (Depth of Mentalising, DoM)'로 표현합니다.
  • DoM 이 낮은 에이전트 (예: DoM(0)) 는 DoM 이 높은 에이전트 (예: DoM(1) 이상) 의 행동을 정확히 모델링할 수 없습니다. 이는 논리적 자기 참조의 역설로 인해, 낮은 DoM 에이전트는 높은 DoM 에이전트의 사기 (Deception) 에 취약할 수밖에 없는 구조적 불평등을 초래합니다.
  • 기존 연구들은 높은 DoM 에이전트가 낮은 DoM 에이전트를如何利用하여 불공정한 이득을 취하는 방식을 보여주었으나, 낮은 DoM 에이전트가 이를 방어할 수 있는 체계적인 방법은 부족했습니다.
• 핵심 문제:
  • 낮은 DoM 에이전트가 상대방이 사기꾼임을 '이해'하지는 못하더라도, 예상과 다른 행동 (Anomaly) 을 감지하여 피해를 막거나 상대방을 억제 (Deter) 할 수 있는가?

2. 방법론 (Methodology)

저자들은 기존 IPOMDP(Interactive Partially Observable Markov Decision Process) 프레임워크를 확장한 ℵ-IPOMDP를 제안합니다. 이는 베이즈 추론에 이상 탐지 (Anomaly Detection) 알고리즘과 **신념 밖 정책 (Out-of-Belief, OOB Policy)**을 결합한 것입니다.

2.1. 사기의 형식화 (Formalization of Deception)

사기를 네 가지 공리 (Axiom) 로 정의합니다:

1. 동기 적합성 (Incentive Compatibility): 사기는 정직한 행동보다 더 높은 기대 효용을 가져야 함.
2. 인식 조작 (Epistemic Manipulation): 피해자의 신념을 실제와 다르게 왜곡해야 함 (거짓 신념 주입).
3. 행동 인과성 (Behavioural Causality): 피해자의 비최적 행동 (후회) 을 유도하여 사기꾼에게 이익이 되어야 함.
4. 인지적 우위 (Cognitive Dominance): 피해자가 사기를 인지하지 못하도록 DoM(사기꾼) > DoM(피해자) 이어야 함.

2.2. ℵ-메커니즘 (The ℵ-Mechanism)

피해 에이전트가 예상 행동과 관찰된 행동 간의 불일치를 감지하는 이진 분류기입니다. 두 가지 주요 구성 요소로 작동합니다:

1. 전형성 모니터링 (Typicality Monitoring, $Z_1$):
   • 정보 이론의 '전형 집합 (Typical Set)' 개념을 적용합니다.
   • 관찰된 행동 시퀀스가 모델링된 상대방 유형 (DoM(k-1)) 의 예상 행동 분포와 통계적으로 일치하는지 확인합니다.
   • Gzip 기반 압축 알고리즘: 행동 시퀀스의 압축 비율을 사용하여 순차적 전형성을 평가합니다. 관찰된 시퀀스가 예상된 시퀀스 집합의 압축 비율 분포에서 벗어날 경우 (이상치), 이를 '모델 밖 (Unmodeled)'으로 판단합니다.
2. 예상 보상 검증 (Expected Reward Verification, $Z_2$):
   • 관찰된 누적 보상이 모델링된 상대방 유형에 따른 기대 보상 범위 내에 있는지 확인합니다.
   • 사기꾼은 피해자의 보상을 낮추고 자신의 보상을 높이므로, 피해자의 실제 보상이 기대치보다 현저히 낮아지면 이상 신호로 간주합니다.

이 두 구성 요소는 논리곱 (AND) 연산을 통해 결합되며, 한 번 특정 유형이 배제되면 이후에도 유지됩니다 (Recursive Update).

2.3. ℵ-정책 (The ℵ-Policy)

ℵ-메커니즘이 이상을 감지하면 에이전트의 행동 전략이 전환됩니다:

• 신념 내 정책 (In-Belief Policy): 상대방이 모델 내 유형일 경우, 기존 DoM(k) 기반의 최적 정책 (SoftMax 등) 을 따릅니다.
• 신념 밖 정책 (Out-of-Belief, OOB Policy):
  • 상대방이 모델 밖의 존재 (사기꾼일 가능성) 로 판단되면, 상대방의 의도를 추론하는 것을 중단하고 방어적 전략을 취합니다.
  • Zero-sum 게임: Minimax 알고리즘을 사용하여 상대방이 가장 해를 끼칠 수 있는 상황을 가정하고 방어합니다.
  • Mixed-motive 게임: '그림 트리거 (Grim Trigger)'와 유사한 전략을 사용하여, 일탈이 감지되면 협력을 영구히 중단하거나 상대방의 이득을 극도로 제한하는 행동을 취합니다. 이는 사기꾼에게 "사기를 치면 큰 손해를 본다"는 **신뢰할 수 있는 위협 (Credible Threat)**을 가합니다.

3. 주요 기여 (Key Contributions)

1. ℵ-IPOMDP 프레임워크 제안: 제한된 계산 자원 (낮은 DoM) 을 가진 에이전트가 고도화된 사기꾼을 물리적으로 이해하지 못하더라도, 행동의 비정상성 (Anomaly) 을 통해 사기를 감지하고 대응할 수 있는 계산적 프레임워크를 제시했습니다.
2. 오프-폴리시 반사실 이상 탐지: 상대방의 목표나 의도를 추론하지 않고도, 기대 보상과 행동 패턴의 편차를 통해 사기를 탐지하는 메커니즘을 개발했습니다.
3. 사기 억제 (Deterrence) 메커니즘: 단순히 사기를 감지하는 것을 넘어, 방어적 정책 (OOB) 을 통해 사기꾼이 사기를 치는 것보다 협상하는 것이 더 불리하도록 만들어, 사기 자체를 사전에 방지하는 효과를 입증했습니다.
4. 다양한 게임 환경 적용: 혼합 동기 (Iterated Ultimatum Game) 와 제로섬 (Row/Column Game) 환경에서 실험을 수행하여 프레임워크의 보편성을 검증했습니다.

4. 실험 결과 (Results)

• Iterated Ultimatum Game (IUG) 결과:

  • 기존 IPOMDP: DoM(1) 송신자가 DoM(0) 수신자를 속여 (랜덤 송신자처럼 가장하여) 초기에는 높은 제안을 하고 이후 급격히 낮추는 사기를 성공시킵니다. 수신자는 이를 감지하지 못하고 불공정한 결과를 맞습니다.
  • ℵ-IPOMDP 적용: DoM(0) 수신자가 ℵ-메커니즘을 통해 사기꾼의 행동 (기대 보상 이탈, 전형성 위반) 을 감지합니다.
  • 효과: 사기꾼은 탐지를 피하기 위해 행동을 수정해야 하거나, 아예 게임에 참여하지 않게 됩니다. 결과적으로 송신자와 수신자 간의 보상 격차가 40% 이상 감소하여 더 공정한 결과가 도출되었습니다.
  • 파라미터 민감도: $\delta$ (전형성 임계값) 와 $\omega$ (보상 임계값) 의 설정이 중요합니다. 너무 엄격하면 진짜 랜덤 에이전트도 오진 (False Positive) 할 수 있으나, 적절히 설정하면 사기꾼을 효과적으로 억제합니다.

• Zero-Sum Game (Row/Column) 결과:

  • DoM(1) 행 플레이어가 DoM(0) 열 플레이어를 속여 불리한 행동을 유도합니다.
  • ℵ-IPOMDP 를 적용한 DoM(1) 은 DoM(2) 열 플레이어의 비정상적인 행동을 감지하고 Minimax 전략으로 전환합니다.
  • 이로 인해 DoM(2) 은 사기 전략을 포기하고 공정한 결과를 내야 하며, 평균 보상 차이가 크게 감소합니다.

5. 의의 및 시사점 (Significance)

• AI 안전 (AI Safety) 및 정렬 (Alignment): 고도화된 AI(높은 DoM) 가 인간이나 다른 AI 를 조작할 때, 제한된 능력을 가진 에이전트도 ℵ-메커니즘을 통해 이를 감지하고 방어할 수 있는 청사진을 제공합니다.
• 사이버 보안: 사용자 행동 기반 이상 탐지 (Intrusion Detection) 에 적용 가능하여, 학습된 공격 (Adversarial Attacks) 이나 위장 (Masquerading) 공격을 탐지하는 데 활용될 수 있습니다.
• 심리학 및 정신의학:
  • 인간이 복잡한 추론 없이도 직관적 휴리스틱을 통해 사기를 감지하는 방식을 설명합니다.
  • 반대로, 이 메커니즘이 과도하게 민감하게 작동할 경우 (False Positive 증가), 실제 위협이 없는 상황에서 사기를 의심하는 **편집증 (Paranoia)**이나 음모론적 사고의 계산적 기제를 모델링할 수 있음을 시사합니다.
• 인지 과학: 제한된 인지 자원을 가진 에이전트가 어떻게 불완전한 모델링 하에서도 생존 전략을 개발할 수 있는지에 대한 통찰을 제공합니다.

결론

이 논문은 ℵ-IPOMDP를 통해 인지적 위계에서의 구조적 불평등을 완화할 수 있음을 증명했습니다. 높은 수준의 추론 능력이 없더라도, **예상과 실제의 불일치 (Anomaly)**를 감지하고 이에 대한 **신뢰할 수 있는 위협 (Credible Threat)**을 행사함으로써, 사기꾼을 억제하고 더 공정한 상호작용을 이끌어낼 수 있다는 점이 핵심 기여입니다. 이는 AI 시스템의 안전성 확보와 인간 - AI 상호작용의 이해에 중요한 기여를 합니다.