State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference

기술 요약: 상태 의존적 관측 노이즈를 통한 선형 가우시안 능동 추론 내 인식적 가치의 재도입

문제 정의
최근 문헌(특히 Koudahl, Kouw, de Vries [1])은 능동 추론 하의 선형 가우시안 상태 공간 모델에서 인식적 동기(epistemic drive, 정보를 얻기 위해 행동하려는 유인)가 "어떠한 상황에서도" 부재함을 확립했다. 이러한 표준 모델에서는 기대 자유 에너지(Expected Free Energy, EFE)의 인식적 항이 선택된 정책과 관계없이 일정하게 유지된다. 결과적으로 에이전트는 칼만 필터와 KL 제어기가 결합된 형태와 구별할 수 없는 방식으로 행동한다. 즉, 선호하는 결과를 추구하기는 하지만 불확실성을 줄이려는 내재적 동기는 갖지 못한다. 이러한 동기를 복구하는 알려진 경로들은 곱셈적 제어(multiplicative control, 행동이 전이 역학을 변화시키는 경우)나 제약된 팩터 그래프를 통해 목적 함수를 재표현하는 방식이다. 그러나 이 경계의 "관측 측면(observation side)"—구체적으로 관측 모델만을 수정함으로써 인식적 가치를 복구할 수 있는지 여부—은 탐구되지 않은 채 남아 있었다.

방법론 및 모델
본 논문은 표준 선형 가우시안 체계로부터의 최소한의 이탈인 **상태 의존적 관측 노이즈(state-dependent observation noise)**를 조사한다. 저자들은 다음과 같은 생성 모델을 제안한다:

1. 역학(Dynamics): 상태는 가산적 제어와 함께 선형적으로 진화한다($x_{k+1} = Ax_k + Bu_k + w_k$).
2. 관측(Observations): 관측 맵은 선형($o_k = Cx_k + v_k$)이지만, 관측 노이즈 공분산 $R$은 상태의 함수이다($R(x_k)$).
3. 추론 규칙(Inference Rule): 에이전트는 노이즈 공분산을 예측 평균에서 평가하는 1차 가우시안 필터를 사용한다($R_k = R(\mu_k^-)$).

핵심 메커니즘은 가산적 제어가 상태 평균을 이동시키지만, 표준 모델에서는 상태 공분산을 변화시키지 못한다는 사실에 기초한다. 그러나 $R$이 상태에 의존한다면, 제어 $u_k$는 예측 평균 $\mu_k^-$를 이동시키고, 이는 다시 사용되는 $R$의 값을 변화시킨다. 이러한 결합은 사후 공분산(및 칼만 이득)을 취해진 행동에 의존하게 만든다.

저자들은 두 가지 "평탄화(flattening, 고정된 선형 가우시안 필터로 환원되는 것)" 개념을 정의한다:

• 고정 선형 가우시안 환원(Fixed Linear-Gaussian Reduction): 모든 관측 시퀀스에 대해 에이전트의 신념을 재현하는 정책 독립적인 노이즈 공분산 시퀀스.
• 계획 환원(Planning Reduction): 모든 오픈 루프 계획 공분사를 재현하는 정책 독립적인 시퀀스.

주요 기여

1. 환원 불가능성 정리(Non-Reducibility Theorem): 본 논문은 상태 의존적 노이즈 $R(x)$를 제어 가능한 잠재 평균에 결합하는 것이 에이전트로 하여금 어떠한 고정된 선형 가우시안 환원도 허용하지 않음을 증명한다. 어떤 사전 지정된 노이즈 공분산 시퀀스도 에이전트의 신념을 재현할 수 없는데, 이는 매 단계에서 요구되는 노이즈 값이 정책에 의존하는 예측 평균에 의해 고유하게 "고정(pinned)"되기 때문이다.
2. 인식적 가치의 복구: 완만한 계수(rank) 및 비퇴화 조건(구체적으로 $R$이 도달 가능한 예측 평균 집합 위에서 상수가 아니며, 이러한 변화가 인식적 범함수에 의해 가시적인 경우) 하에서, 에이 l전트는 정보 획득을 약속하는 정책에 따라 인식적 가치가 더 이상 일정하지 않다. 즉, 에이전트는 제공할 정보량에 따라 정책을 구분할 수 있다.
3. 이중 제어(Dual Control)로의 연결: 이 결과는 **Bar-Shalom–Tse 이중 효과(dual effect)**의 최소한의 구성적 사례로 프레임화된다. 본 논문은 상태 의존적 관측 노이즈가 비선형 관측 맵이나 곱셈적 역학과 관련된 것과는 별개로, 제어가 조건부 오차 공분산에 영향을 미치는 독자적인 이중 효과의 원천임을 입증한다. 이는 다음과 같은 등가성을 확립한다: 선형 가우시안 설정에서 인식적 가치를 재도입하는 것은 수학적으로 2차 이중 효과를 도입하는 것과 동일하다.
4. 실행 가능한 증거($cpomdp$): 저자들은 해당 모델 클래스를 구현하는 오픈 소스 라이브러리인 cpomdp를 제공한다. 이 라이브러리에는 상태 의존적 노이즈와 평균 이동 결합을 가진 모델을 "평탄화"하려고 시도할 때 IncompatibleLinearizationError를 발생시키는 구조적 검사 기능이 포함되어 있다. 이는 정리에 대한 런타임 증거로서, 잘못된 고정 칼만 필터를 생성하는 것을 거부한다.

결과

• 이론적 결과: 정리 1은 양의 정치성(positive definiteness), 완전한 관측 계수(full observation rank), 그리고 도달 가능한 $R(x)$의 비상수성(non-constancy) 가정을 바탕으로, 사후 공분산과 칼만 이득이 정책에 의존하게 됨을 입증한다. 결과적으로, EFE의 인식적 항은 정책에 따라 변하며, 이를 통해 호기심이 재출현할 수 있게 된다.
• 스칼라 케이스: 스칼라 관측의 경우, 비상수적 인식적 가치를 위한 조건은 무조건적이다. 즉, 제어에 의해 도달 가능한 $R(x)$의 어떠한 상태 의존성도 충분하다.
• 반례 (예제 1): 저자들은 고차원에서 사후 공분산은 정책에 따라 변하지만(이중 효과 존재), 인식적 가치(스칼라 행렬식)는 일정하게 유지되는 "칼날 위(knife-edge)" 케이스를 식별했다. 이는 정책이 행렬식의 등고선을 따라 움직이는 경우이다. 이는 공분산의 움직임이 필요조건이지만 충분조건은 아님을 보여준다. 즉, 움직임이 인식적 범함수에 의해 "가시적"이어야 한다.
• 경험적/시뮬레이션: 연속적인 T-미로 과업을 사용하여, 상태 의존적 노이즈를 가진 에이전트(Agent B)가 고정 노이즈를 가진 붕괴된 에이전트(Agent A)와 다른 행동을 보임을 입증한다. Agent B는 불확실성을 해소하기 위해 센서가 가장 신뢰할 수 있는 위치(큐)로 능동적으로 이동하는 반면, Agent A는 정보를 찾지 않고 사전 신념에 안주한다. Agent B의 경우 인식적 가치가 행동에 따라 변하지만, Agent A의 경우 평탄하게 유지된다.

의의 및 주장
본 논문은 가우시안 에이전트의 호기심에 대한 정밀한 관측 측면의 특성을 제공한다고 주장한다. 주요 의의는 가우시안 세계에서의 호기심은 목적 함수나 역학의 수정이 아니라, 도달 가능한 헤테로스케다스틱(heteroscedasticity, 이분산성)의 속성임을 밝힌 데 있다.

• "행동하는 것이 주의를 기울이는 것이다(Acting is Attending)": 센서의 신뢰도를 높이기 위해 행동하는 것(예: 표지판을 읽기 위해 가까이 다가가는 것)이 인식적 동기를 복구하는 메커니즘임을 공식화한다.
• 최소한의 이탈: "붕괴"가 일어나는 지점은 매우 취약하며, 곱셈적 제어나 복잡한 목적 함수 제약 없이도 상태 의존적 노이즈라는 최소한의 추가만으로 무너짐을 보여준다.
• 겸손한 태도: 저자들은 한계점을 명확히 밝힌다. 정리는 유한 차원 단일 체인 모델에 적용된다(비록 시연에는 결합된 트리 구조를 사용했으나). 또한, 인식적 가치에 관한 주장은 노이즈 변화가 행렬식에 가시적이어야 한다는 더 강력한 조건(H3')을 요구한다. 이는 스칼라 관측에서는 자동적으로 충족되지만, 모든 고차원 케이스에서 보장되는 것은 아니다. 마지막으로, 추론 규칙은 1차 근사(평균에서 $R$을 평가)이며, 본 논문은 정확한 비가우시안 사후 분포와의 거리를 정량화하지 않는다.

요약하자면, 본 논문은 능동 추론의 "인식적 항"이 선형 가우시안 모델에서 본질적으로 망가진 것이 아니라, 상수 관측 노이즈 가정에 의해 무력화된 것이라고 주장한다. 상태에 따라 노이즈 공분산이 의존하도록 허용함으로써, 에이전트는 미래 추정의 질에 영향을 미칠 수 있는 능력을 회복하고, 이를 통해 이중 효과와 호기심의 동기를 재도입한다.