기술 요약: Reflecti-Mate

문제 제기

고위험 개인 의사결정은 인지적, 정서적, 직관적 과정의 복잡한 상호작용을 수반합니다. 이러한 다양한 판단 원천을 통합하면 더 효과적인 의사결정으로 이어지지만, 개인들은 제한된 메타인지적 인식으로 인해 이를 수행하는 데 어려움을 겪습니다. 현재의 의사결정 지원 시스템은 주로 인지적 추론 (시스템 2) 에 초점을 맞추며, 정서적 및 직관적 입력 (시스템 1) 을 최소화하거나 무시해야 할 휴리스틱 편향으로 취급하는 경향이 있습니다. 그 결과, 기존 적응형 시스템은 모든 사용자를 인지적 심화로 이끄는 동질화된 상호작용을 생성하여 개인의 사고 프로필을 존중하거나 비인지적 관점의 통합을 지원하지 못합니다. 반성적 대화 과정에서 사용자의 사고 패턴을 모델링하여 단일한 "이상적인" 추론 스타일을 강요하지 않으면서 통합적 추론을 적응적으로 지원하는 시스템은 부재합니다.

방법론

시스템 아키텍처: Reflecti-Mate

저자들은 의사결정 전 반성적 성찰을 지원하도록 설계된 대화형 에이전트 Reflecti-Mate를 제안합니다. 이 시스템은 이중 과정 프레임워크를 기반으로 운영되며, 모든 사고 유형 (내부/정서적, 외부/인지적, 경험적/직관적) 에 시스템 2 수준의 심화를 적용하되 어느 하나를 다른 것보다 우대하지 않도록 합니다.

1. 사용자 모델링 및 성찰 프로필:
시스템은 사용자의 성찰에 대한 계산적 표현 $R = (T, G)$을 구성합니다. 여기서 $T$는 주요 사고들의 집합이고, $G$는 사고와 그 심화 간의 부모 - 자식 관계를 나타냅니다.

• 사고 범주: 사고는 "머리 - 마음 - 내장 (head-heart-gut)" 프레임워크에 따라 네 가지 범주로 분류됩니다: 내부적 (감정, 가치), 외부적 (사실적 제약, 이해관계자), 경험적 (과거 경험), 그리고 기타.
• 지표: 에이전트는 각 범주 $k$에 대해 두 가지 주요 차원을 계산합니다:
  • 폭 ($B_k$): 해당 범주 내의 서로 다른 주요 사고의 수.
  • 깊이 ($D_i$): 사고의 심화 풍부함으로, $1 + |E_i|$로 정의됩니다 (여기서 $E_i$는 심화 집합입니다).
  • 고착 지표 ($S_k$): 폭과 깊이를 결합한 범주에 대한 주의의 누적 측정치.
  • 평균 깊이 ($\bar{D}_k$): 사고 수와 무관하게 범주 내 평균 심화 수준.

2. 적응 알고리즘:
에이전트는 매 턴마다 업데이트되는 내부 상태 $s_t$에 의해 안내되는 탐색 - 활용 트레이드오프 전략을 사용합니다.

• 고착 교란 (탐색): 사용자가 특정 범주에 고착된 경우 (높은 $S_k$), 에이전트는 과소 대표된 범주를 대상으로 하는 질문을 통해 탐색을 우선시합니다 (불확실성 기반 샘플링과 유사).
• 얕은 추론 교란 (활용): 사고가 표면적인 경우 (낮은 $\bar{D}_k$), 에이전트는 덜 발달된 특정 사고를 심화시키기 위해 소크라테스식 후속 질문을 생성하여 활용을 우선시합니다.
• 의사결정 정책: 에이전트는 탐색 (확률 $\epsilon$) 과 활용 (확률 $1-\epsilon$) 사이를 선택하기 위해 $\epsilon$-greedy 정책을 사용합니다.
• 구현: 시스템은 소크라테스식 후속 질문 생성과 사용자 입력 분류를 위해 로컬 호스팅된 Phi-4 14B 모델 (Q4_K_M 양자화) 을 사용합니다. 탐색 질문은 문구 변수를 통제하기 위해 큐레이션된 동료 검토 세트에서 추출됩니다.

사용자 연구 설계

실험 에이전트 (Reflecti-Mate) 와 기준선 에이전트를 비교하기 위해 피험자 간 연구 ($N=128$) 가 수행되었습니다.

• 절차: 참가자들은 두 단계에 참여했습니다: (1) 보조 없는 성찰, 여기서 자유롭게 사고를 표현하고; (2) 보조된 성찰, 여기서 할당된 에이전트와 상호작용했습니다.
• 조건:
  • 실험군: 에이전트는 위에서 설명한 적응형 프로필과 알고리즘을 사용했습니다.
  • 기준선: 에이전트는 동일한 고수준 목표 (성찰의 폭과 깊이 확장) 와 기본 LLM 을 공유했으나 명시적 사용자 프로필과 적응 논리가 부족하여 대화 기록과 고정된 지침에만 의존했습니다.
• 측정 항목:
  • 반성적 언어: 인지적, 정서적, 직관적 언어 마커를 정량화하기 위해 LIWC-22 를 사용하여 분석했습니다.
  • 지각된 지원: 전체적 통합과 심화 깊이에 관한 리커트 척도를 통해 평가했습니다.
  • 이질성: 사후 클러스터링을 통해 초기 반성 프로필 (보수적, 직관 우세, 정서 우세) 에 따라 효과가 달라지는지 분석했습니다.

주요 결과

1. 반성적 언어 및 통합 (RQ1)

실험군 에이전트는 기준선에 비해 더 통합적인 반성적 언어 프로필을 성공적으로 조성했습니다.

• 기준선: 인지적 언어 마커가 지배적인 동질화된 프로필을 생성하여 기준선 보조 없는 단계에 비해 정서적 및 직관적 표현을 억제했습니다.
• 실험군: 다중 모드 참여를 촉진했습니다. 사용자는 기준선에 비해 인지적 지배성이 현저히 낮고 정서적 및 직관적 마커의 표현이 더 높았습니다. 중요한 점은 인지적 마커가 견고하게 유지되었다는 것입니다. 에이전트는 인지를 억제하지 않고 정서적 및 직관적 마커가 동등한 수준으로 공존할 수 있도록 했습니다.

2. 지각된 지원 (RQ2)

참가자들은 실험군 에이전트가 전체적 통합을 지원하는 데 기준선 (72% 동의 대 44%) 보다 훨씬 효과적이라고 인식했습니다. 그러나 두 에이전트 모두 심화 깊이에 대해 높은 평가를 받았습니다 (72% 대 79%). 이는 기준선이 사고를 심화시킬 수는 있었지만 다양한 사고 유형을 통합하지는 못했음을 시사합니다.

3. 추론 스타일의 보존 (RQ3)

이 연구는 에이전트가 사용자의 지배적 추론 스타일을 보존하는지 조사했습니다.

• 기준선 효과: 기준선 에이전트는 "동질화기" 역할을 했습니다. 사용자가 보수적, 직관 우세, 정서 우세 중 어떤 것으로 시작했든 상관없이, 기준선 상호작용은 모든 그룹을 유사한, 인지 중심 프로필로 이동시켰습니다.
• 실험군 효과: 적응형 에이전트는 이질적 효과를 생성했습니다. 사용자의 초기 지배적 모드의 중요성을 유지하면서 과소 대표된 모드를 선택적으로 확장했습니다. 예를 들어, 직관 우세 사용자는 직관 우세로 남았지만 정서적 지지대를 얻었고, 정서 우세 사용자는 정서 우세로 남았지만 직관적 지지대를 얻었습니다. 이는 에이전트가 단일 추론 스타일로 수렴하도록 강요하지 않고 개인화된 경로를 지원했음을 보여줍니다.

중요성 및 기여

이 논문은 Reflecti-Mate가 "일률적" 인지적 넛징을 넘어선 새로운 의사결정 지원 접근법을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 적응적 통합: 대화형 에이전트가 실시간 사용자 모델링을 기반으로 탐색과 활용을 동적으로 균형 있게 조절함으로써 인지적, 정서적, 직관적 과정의 통합을 지원할 수 있음을 입증합니다.
2. 개별성 존중: 이전 시스템이 종종 성찰 지원을 합리화와 동일시했던 것과 달리, 이 접근법은 다양한 추론 선호도를 존중합니다. 단일 "이상적인" 프로필을 강요하지 않으면서 사용자의 지배적 추론 스타일을 유지하고 관점을 확장할 수 있게 합니다.
3. 계산적 인식: 이 연구는 효과적인 성찰 지원은 프롬프트 엔지니어링이나 대화 기록에만 의존하는 것이 아니라 구조화된 사용자 모델링에 기반한 원칙적 적응이 필요함을 강조합니다. 지침만으로는 기준선 에이전트가 사용자 응답을 동질화하는 것을 방지하기에 부족했습니다.
4. 윤리적 설계: 지시적 조언을 피하고 촉진적 질문 탐구에 초점을 맞춤으로써, 시스템은 고위험 의사결정에서 사용자의 주체성과 자율성을 보존하고 LLM 이 사용자 의사결정에 과도하게 영향을 미치거나 편향을 초래할 위험을 해결하려 합니다.

저자들은 시스템이 성공적으로 통합적 언어를 이끌어냈고 지원적이라고 인식되었지만, 향후 연구에서는 개인화된 탐색 질문을 탐구하고 언어적 대리 지표 이상의 종단 연구 및 행동 측정치를 통해 이러한 발견을 검증할 필요가 있다고 결론지었습니다.