What Do You Think I Think? Accounting for Human Beliefs Using Second-Order Theory of Mind

기술 요약: 제 2 차 이론적 마음 (Second-Order Theory of Mind) 을 활용한 인간의 신념 모델링

문제 제기
성공적인 인간 - 에이전트 상호작용은 인간이 에이전트의 능력과 신념에 대한 정확한 모델을 보유하고 있는 것에 달려 있습니다. 그러나 인간은 종종 대표성 휴리스틱 (Representativeness Heuristic) 과 확증 편향 (Confirmation Bias) 과 같은 인지 편향 및 휴리스틱 (CBH) 을 사용하여, 에이전트가 무엇을 알고 있거나 어떻게 추론하는지에 대한 오류가 있는 신념을 형성합니다. 에이전트의 실제 지식과 인간이 그 지식을 어떻게 지각하는지 사이의 이러한 불일치는 상호작용 효율성을 저해할 수 있습니다. 이전 연구에서는 에이전트에 제 1 차 이론적 마음 (ToM) 이나 제 2 차 이론적 마음 (ToM-2) 을 부여하는 방안을 탐구해 왔으나, 본 연구는 구체적으로 CBH 가 인간의 에이전트 신념 추론에 미치는 영향을 모델링하는 과제를 다루며, 이를 통해 에이전트가 이러한 오류를 감지하고 그에 맞춰 피드백을 적응적으로 조정할 수 있도록 합니다.

방법론
저자들은 제 2 차 이론적 마음 (ToM-2) 을 구현하기 위해 상호작용적 부분 관측 마르코프 결정 과정 (I-POMDP) 을 활용하는 프레임워크를 제안합니다. 이 아키텍처에서 에이전트는 인간을 1 차 추론자 (ToM-1 에이전트) 로 모델링하는 중첩된 인간 모델을 유지합니다.

• 도메인: 시스템은 턴제 카드 분류 작업에서 평가됩니다. "규칙"은 색상, 채움, 개수, 모양 등 다양한 특징을 가진 카드가 두 개의 상자에 어떻게 분류되어야 하는지를 규정합니다. 인간 교사는 카드를 분류하여 규칙을 시연하고, 에이전트는 규칙 특징에 대한 현재 신념에 대해 피드백을 제공합니다.
• CBH 모델링: I-POMDP 프레임워크를 통해 에이전트는 특정 CBH 메커니즘을 인코딩하는 여러 인간 모델 ($m_{H,1}$) 에 대한 신념을 유지할 수 있습니다.
  • 대표성 휴리스틱 (RH): "국소적 사고 (Local Thinking, LT)"를 통해 구현됩니다. 여기서 에이전트는 인간이 반례를 배제하는 데 필요한 다른 규칙을 제거하는 데 필수적인 반례 예시를 무시하면서 의미상 유사한 특징에 집중한다고 근사적으로 가정합니다. 이는 관측 함수 ($\Omega$) 에 가중치 코사인 유사도를 추가하여 모델링됩니다.
  • 확증 편향 (CB): 인간이 규칙에 대한 기존 신념과 일치하는 에이전트의 피드백을 기대하는 경향으로 모델링되며, 이는 대안을 논리적으로 배제하는 피드백보다는 기존 신념과 부합하는 피드백을 선호하는 경향을 의미합니다.
• 적응형 피드백 생성: 에이전트는 ToM-2 신념을 활용하여 자신의 실제 지식과 인간이 그 지식을 어떻게 근사화하는지 사이의 불일치를 감지합니다. 이 감지에 기반하여 에이전트는 두 가지 유형의 피드백을 생성합니다.
  1. 신념 진술 (Confidence Statements, CS): 규칙 특징에 대한 불확실성이나 확신을 전달하는 표준 피드백 (예: "제 생각에는 클래스가 모양인 것 같습니다").
  2. 이해 진술 (Understanding Statements, US): 인간이 가르치려 하는 특징에 대해 에이전트가 무엇을 알고 있는지 명시적으로 밝히면서 잠재적 불일치를 강조하여, CB 로 인한 추론에서 인간을 "밀어내거나" 유도하는 피드백 (예: "클래스가 모양이라고 당신이 알고 싶어 하는 것 같지만, 클래스가 채움일 가능성도 여전히 있습니다").
     에이전트는 정보 획득을 위해 기본적으로 CS 를 사용하지만, CBH 로 인한 오류 신념을 감지하면 (US+CS) 병행 방식으로 전환합니다.

주요 기여

1. 새로운 프레임워크: 인간의 행동 자체를 모델링하는 것을 넘어, CBH 가 인간의 에이전트 신념에 미치는 영향을 명시적으로 모델링하는 I-POMDP 기반의 ToM-2 아키텍처.
2. 감지 및 적응: 인간이 특정 휴리스틱 (RH 및 CB) 에 의존할 때 이를 감지하고, 인간의 추론 과정을 교정하기 위해 적응적으로 피드백 (US) 을 생성하는 메커니즘.
3. 실증적 검증: 이 접근법이 인간 교사의 행동 정보성을 향상시키고 참가자들에게 더 유용하게 인식된다는 것을 입증하는 대면 사용자 연구.

결과
이 연구는 30 명의 참가자가 세 가지 조건 (ToM-0: ToM 없음, ToM-0 Random: 무작위 추가 피드백 제공, ToM-2: CBH 감지 기반 적응형 피드백) 하에서 가상 에이전트를 가르치는 실험을 수행했습니다.

• 객관적 지표:
  • 정보 획득: ToM-2 학습자는 1 문장 피드백과 2 문장 피드백 모두에서 두 가지 기준선 대비 유의하게 더 많은 정보성을 가진 교습 행동을 이끌어냈습니다 (상대적 정보 획득량 증가).
  • 효율성: ToM-2 학습자는 표준 ToM-0 기준선에 비해 세션을 성공적으로 종료하는 데 필요한 교사의 행동 횟수가 약간이지만 유의하게 감소했습니다.
  • 감지: 정성적 시뮬레이션 결과, ToM-2 학습자는 올바른 규칙과 교사의 근본적인 모델 (CBH 포함) 을 식별할 수 있었으나, ToM-0 학습자는 그렇지 못했습니다.
• 주관적 지표:
  • 참가자들은 ToM-2 학습자의 피드백을 기준선보다 유의하게 더 유용하다고 평가했습니다.
  • 그러나 참가자들의 에이전트 이해도에 대한 자기 보고된 자신감, 교습 자신감, 또는 경험의 즐거움 측면에서는 통계적으로 유의미한 차이가 없었습니다.
  • 참가자들은 종종 학습자들을 구별할 수 없거나 가르치는 데 동등하게 쉽다고 보고하여, ToM-2 모델의 이점이 무의식적일 수 있음을 시사했습니다.

의의 및 한계
본 논문은 에이전트가 인간 신념 오류의 원인(특히 CBH) 을 모델링할 수 있게 함으로써, 인간의 추론을 돕는 표적 피드백을 생성하여 보다 효과적인 상호작용이 가능해진다고 주장합니다. 결과는 인간이 에이전트의 고급 모델링을 의식하지는 않더라도, 에이전트가 CBH 를 고려할 수 있는 능력이 객관적으로 더 효율적이고 정보성이 풍부한 상호작용으로 이어짐을 시사합니다.

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 개념 증명 도메인 (카드 분류) 은 실제 세계의 인간 - 에이전트 상호작용보다 단순합니다.
• 연구는 인간 행동에 영향을 미치는 수많은 편향 중 오직 두 가지 (RH 및 CB) 만 탐구했습니다.
• I-POMDP 의 계산적 복잡성은 이 접근법을 더 복잡한 작업과 인간 모델로 확장하는 데 여전히 장벽으로 남아 있습니다. 저자들은 전체 중첩 공간에서 최적 정책을 해결하기보다는 신념 추적을 위해 프레임워크를 엄격하게 활용했습니다.