Not all uncertainty is alike: volatility, stochasticity, and exploration

기술적 요약: 모든 불확실성이 동일한 것은 아님: 변동성, 확률성, 그리고 탐색

문제 제기
생물학적 및 인공지능 모두의 적응적 의사결정은 알려진 결과의 활용과 불확실한 대안의 탐색 사이에서 균형을 맞추는 것을 요구합니다. 이전 연구들은 일반적으로 증가된 불확실성이 증가된 탐색을 유도한다고 가정해 왔습니다 (예: 상한 신뢰 구간 또는 톰슨 샘플링을 통한). 그러나 이러한 관점은 불확실성의 모든 원인을 동등하게 취급합니다. 본 논문은 불확실성이 두 가지 구별되는 원천에서 발생하는 환경들을 다룹니다: 변동성(시간에 따라 변화하는 잠재적 보상 상태) 과 확률성(그 상태들의 노이즈가 있는 관측). 두 원천 모두 사후 불확실성을 증가시키지만, 표준 알고리즘들은 이를 구별하지 못하여 두 경우 모두에서 더 많은 탐색을 처방합니다. 핵심 문제는 이러한 균일한 처방이 최적화되지 못한다는 점입니다: 변동성은 정보 획득의 기회를 창출하는 반면, 확률성은 정보의 질을 저하시킵니다.

방법론
저자들은 이 문제에 접근하기 위해 두 가지 주요 이론적 렌즈를 사용합니다:

1. 기트킨스 지수 프레임워크의 확장:
   저자들은 전통적으로 독립 동일 분포 (iid) 가우시안 밴딧에 적용되어 온 고전적인 기트킨스 지수 프레임워크를 잠재적 역학을 가진 가우시안 상태 공간 밴딧으로 확장합니다. 이 설정에서 각 암 (arm) 은 혁신 분산 $v$(변동성) 을 가진 가우시안 랜덤 워크로 진화하는 잠재적 보상 상태 $x_t$를 가지며, 분산 $s$(확률성) 를 가진 노이즈를 통해 관측됩니다.

   • 그들은 "은퇴 문제"(한 암을 당기거나 고정 급여를 위해 은퇴하는 것 사이에서 선택하는 에이전트) 에서 도출된 정보의 가치로서 탐색 보너스를 공식화합니다.
   • 그들은 최적의 탐색 보너스가 변동성 ($v$) 에 대해 단조 증가하고 확률성 ($s$) 에 대해 단조 감소함을 증명합니다. 이는 커플링 논증에 의해 확립됩니다: 더 노이즈가 많은 관측 채널은 사용 가능한 정지 규칙의 집합을 제한하여 가치를 감소시키는 반면, 더 높은 변동성은 미래 사후 평균의 확산을 증가시켜 당기는 것의 옵션 가치를 높여 가치를 증가시킵니다.

2. CAUSE(통제로서의 추론) 유도:
   기트킨스 지수가 "휴식" 밴딧 (선택되지 않은 암이 진화하지 않는 경우) 에 대해서만 최적이며 "휴식 없는" 설정에서는 계산이 불가능하다는 점을 인식하여, 저자들은 통제로서의 추론 프레임워크를 사용하여 실용적인 폐형식 정책을 유도합니다.

   • 그들은 미래 최적성에 조건부인 확률적 그래픽 모델에서의 사후 추론으로 행동 선택을 형식화합니다.
   • 후방 메시지에 대한 시그모이드 안사츠를 사용하고 가우시안 - 시그모이드 합성곱에 대한 프로빗 근사를 적용함으로써 CAUSE(Cause-Aware Uncertainty-Sensitive Exploration, 원인 인식 불확실성 민감 탐색) 를 유도합니다.
   • CAUSE 는 활용 항 (현재 평균) 과 $v$와 $s$ 모두에 명시적으로 의존하는 탐색 보너스로 분해되며, 기트킨스 분석을 통해 확립된 반대되는 단조성을 계승합니다.

주요 기여

1. 이론적 비대칭성: 본 논문은 최적의 탐색 보너스가 변동성과 함께 증가하지만 확률성과 함께 감소함을 공식적으로 증명합니다. 이는 "더 많은 불확실성은 더 많은 탐색을 의미한다"는 표준 가정을 도전합니다.
2. CAUSE 지수: 연속 상태 가우시안 역학을 가진 휴식 없는 밴딧에 대한 첫 번째 알려진 폐형식 지수 정책인 CAUSE 의 유도입니다. 이는 통제로서의 추론을 통해 유도되며, belief-state MDP 에 대한 휠 지수나 동적 프로그래밍의 전형적인 근사에 의존하지 않습니다.
3. 학습과 탐색의 통합적 관점: 저자들은 변동성과 확률성이 탐색에 미치는 반대되는 효과가 학습률에 대한 알려진 효과와 병렬임을 보여줍니다. 두 현상 모두 생성 모델의 동일한 규범적 속성에서 비롯됩니다: 변동성은 새로운 관측을 관련 있게 만들고, 확률성은 이를 신뢰할 수 없게 만듭니다.
4. 병변 분석 및 병리적 추론: 본 논문은 하나의 노이즈 원천을 올바르게 추론하지 못하는 "병변" 에이전트들을 모델링합니다. 이는 그러한 실패가 단순히 손상된 것이 아니라 반대된 행동 패턴을 생성할 것이라고 예측합니다. 예를 들어, 확률성에 둔감한 에이전트는 노이즈를 변화로 오인하여 고노이즈 환경에서 과도하게 탐색하는 반면, 변동성에 둔감한 에이전트는 변화하는 환경에서 탐색 부족을 보입니다.

실험 결과
저자들은 다양한 영역에서 CAUSE 를 톰슨 샘플링, UCB, 예측 샘플링, 그리고 수치적 기트킨스 - 암당 기준선과 비교 평가했습니다:

• 이질적 휴식 없는 밴딧: 혼합, 확률성 우세, 그리고 변동성 우세 영역에서 CAUSE 는 가장 낮은 누적 후회도를 달성합니다. 특히, 확률성 우세 영역에서 CAUSE 와 기트킨스 - 암당 기준선은 고노이즈 암에 대한 탐색을 올바르게 하향 조정하는 반면, UCB 와 톰슨 샘플링은 사후 분산을 단일 양으로 취급함으로써 훨씬 더 높은 후회도를 겪습니다.
• 보너스 구조: CAUSE 의 폐형식 보너스는 확률성의 여러 차수에 걸쳐 최적 기트킨스 보너스의 형태를 밀접하게 추적하는 반면, UCB 는 확률성에 둔감하게 유지됩니다.
• 휴식 한계 검증: 변동성이 0 인 한계 ($v=0$) 에서 CAUSE 의 성능은 수치적으로 계산된 최적 기트킨스 지수와 통계적으로 구별할 수 없으며, 이는 통제로서의 추론 근사의 정확성을 검증합니다.
• 병변 분석: 시뮬레이션은 오보정된 노이즈 사전을 가진 에이전트들이 예측된 반대된 탐색 행동 (예: 확률성 맹목 에이전트가 실제 확률성이 증가함에 따라 과도하게 탐색함) 을 보임을 확인합니다.

의의와 주장
본 논문은 불확실성의 서로 다른 원천들이 어떻게 탐색을 유도해야 하는지에 대한 통합된 규범적 설명을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 근본적 결함의 교정: 표준 탐색 전략들이 변동성과 확률성을 혼동하기 때문에 이질적 노이즈 구조를 가진 환경에서 구조적으로 최적화되지 못함을 보여줍니다.
• 계산 정신의학: 이 프레임워크는 정신 질환 (예: 불안, 정신증, 우울증) 을 조사하기 위한 구체적인 행동 목표를 제공합니다. 이는 병리적 행동이 단순히 "손상된" 탐색이 아니라 "반대된" 탐색일 수 있음을 시사하며, 오류의 방향은 어떤 노이즈 추론 채널 (변동성 대 확률성) 이 오보정되었는지에 달려 있습니다.
• 방법론적 진전: 최적 정책이 일반적으로 계산 불가능한 휴식 없는 밴딧 문제에 대한 계산 가능한 폐형식 지수를 유도하는 유효한 경로로서 통제로서의 추론을 확립합니다.

저자들은 범위에 대해 겸손하게 언급하며, 폐형식 CAUSE 지수가 가우시안 켤레성과 특정 근사 (프로빗/시그모이드) 에 의존한다고 지적합니다. 방향성 예측은 일반화될 수 있지만, 정확한 형태는 비가우시안 또는 변화점 역학으로 기계적으로 이전되지 않습니다.