Exposure Bias as Epistemic Underidentification in Recursive Forecasting

기술 요약: 재귀적 예측에서의 인식론적 과소식별로서의 노출 편향(Exposure Bias)

문제 정의
재귀적 다단계 예측(Recursive multi-step forecasting)은 전통적으로 분포 변화(공변량 변화, covariate shift) 문제로 프레임링된다. 즉, 모델이 관측된 이력(교사 강요/teacher forcing을 통해)으로 학습된 후, 스스로 생성한 예측값 위에서 배포될 때 발생하는 누적 오차인 노출 편향 문제로 다루어진다. 본 논문은 이러한 프레임링이 불완전하다고 주장한다. 저자들은 부분 관측성(partial observability), 노이로스, 또는 상태 절단(state truncation) 조건 하에서 재귀적 예측은 단순히 훈련과 테스트 분포 사이의 불일치가 아니라, 근본적으로 인식론적 과소식별(epistemic underidentification) 문제라고 상정한다.

구체적으로, 본 논문은 관측된 컨텍스트를 바탕으로 학습된 1단계 베이즈 최적 예측기(one-step Bayes-optimal predictor)가 재귀적 롤아웃(rollout) 과정을 위한 올바른 행동을 유일하게 식별하는 데 실패할 수 있다고 주장한다. 모델이 자신의 미래 상태(유도된 상태, induced states)를 생성할 때, 이러한 상태의 수치적 값만으로는 올바른 다음 단계를 결정하기에 불충분할 수 있다. "올바른" 다음 단계는 상태의 기원(provenance)(예: 관측된 것인지 아니면 스스로 생성된 것인지)에 따라 달라질 수 있는데, 상태가 수치적 표현으로 절단될 때 이 정보는 손실된다. 결과적으로, 배포된 재귀적 예측기는 상태 표현만으로는 로컬 타겟(local target)이 과소식별되는 영역에서 작동하게 된다.

방법론 및 이론적 프레임워크
저자들은 **유도된 상태(induced states, $Z_h$)**와 **기원 변수(provenance variables, $P_h$)**를 사용하여 이 문제를 정형화한다.

• 유도된 상태 ($Z_h$): 예측기의 자체 출력으로부터 도출된 특정 롤아웃 깊이 $h$에서의 수치적 상태.
• 기원 (Provenance, $P_h$): 상태가 어떻게 형성되었는지(예: 관측됨 vs 모델에 의해 생성됨)를 설명하는 정보.

본 논문은 세 가지 이론적 구성 요소를 확립한다:

1. 과소식별 정리 (Underidentification Theorem): 저자들은 두 재귀적 예측기가 관측된 지지 집합(observed support)에서 동일하더라도(동일한 1단계 베이즈 리스크를 달성하더라도), 스스로 생성한 상태를 쿼리할 때 서로 다른 다단계 예측을 유도할 수 있음을 증명한다. 1단계 목적 함수는 이러한 유도된 상태에서의 행동을 제약하지 않는다.
2. 오차 분해 (Error Decomposition): 재귀적 예측의 오차는 세 가지 비음수 항으로 분해된다:
   • 교사 강요/롤아웃 불일치 (Teacher-forcing/Rollout Mismatch): 관측된 데이터로 학습된 예측기가 유도된 상태 작업으로 일반화하지 못하는 문제.
   • 표현-클래스 간극 (Representation–Class Gap): 선택된 함수 클래스가 유도된 표현 위에서 가지는 근사 오차.
   • 기원 간극 (Provenance Gap): 상태 입력에서 기원 데이터를 생략함으로써 발생하는 회복 가능한 정보 손실.
3. 기원의 효용성 (Provenance Utility): 이론적으로, 상태가 어떻게 생성되었는지에 따라 기대 타겟이 달라지는 경우($E[Y|Z, P] \neq E[Y|Z]$), 기원에 조건화하는 것은 유도된 상태에서의 베이즈 리스크를 엄격히 감소시킬 수 있다.

실증적 평가
저자들은 ETTh1, MG, Weather라는 세 가지 수치 예측 데이터셋에 대해 MLP와 GRU를 사용하여 이론적 주장을 테스트한다. 실험은 네 가지 특정 예측을 검증하도록 설계되었다:

1. 구별된 레짐 (Distinct Regime): 롤아웃이 관측된 데이터와 구별되는 상태 레짐으로 진입하는가?
   • 결과: 관측된 컨텍스트와 교사 강요된 유도 상태를 구별하도록 학습된 선형 프로브(linear probe)의 정확도가 롤아웃 깊이에 따라 증가함을 보였으며, 이는 재귀적 배포가 모델을 별개의 상태 레질로 이동시킨다는 것을 확인시켜 준다.
2. 구별된 로컬 태스크 (Distinct Local Task): 고정된 유도 상태에서의 예측 작업이 원래의 1단계 작업과 다른가?
   • 결과: 유도된 상태를 고정하고 재학습했을 때, 성능은 데이터셋마다 크게 달랐다. MG, Weather와 같은 일부 데이터셋에서는 고정된 유도 상태에서 다시 학습할 때 성능이 향상되었으나, ETTh1 등에서는 저하되었다. 이는 유도된 상태의 작업이 단순히 원래 작업의 변형된 버전이 아니라 구조적으로 다른 문제임을 시사한다.
3. 기원의 효용성 (Provenance Utility): 기원 정보를 추가하는 것이 도움이 되는가?
   • 결과: 이진 기원 태그(관측됨 vs 생성됨)는 조건부 이득을 제공한다. "고정 상태(frozen-state)" 설정에서는 이득이 제한적이었는데, 이는 단순한 이진 인코딩이 이론적 잠재력의 일부만을 포착함을 시사한다. 그러나 폐쇄 루프(closed-loop) 설정에서 기원 인지 방식은 유망한 결과를 보였다.
4. 폐쇄 루프 역학 (Closed-Loop Dynamics): 수정(correction)이 단순히 로컬 예측을 개선하는 것이 아니라, 방문하는 상태를 바꿈으로써 도움이 되는가?
   • 결ta: (기원 정보를 포함한 스케줄드 샘플링을 사용한) 폐쇄 루프 수정은 전반적인 롤아웃 성능을 개선한다. 결정적으로, 저자들은 수정 과정을 거쳐 학습된 모델이 다른 예측기가 다루기 더 "쉬운" 유도 상태를 생성한다는 것을 보여주었으며, 이는 수정이 로컬 예측기뿐만 아니라 유도된 상태 레짐 자체를 개선함을 나타낸다.

주요 기여

• 노출 편향의 재구성: 본 논문은 노출 편향을 단순한 훈련-테스트 분포 불일치에서, 부분 관측 시스템에서 발생하는 인식론적 과소식별 문제로 재정의한다.
• 공식적 분해: 재귀적 예측 오차를 불일치, 근사, 그리고 기원 정보 간극으로 엄밀하게 분해한다.
• 구별된 레짐에 대한 실증적 증거: 재귀적 롤아웃이 별도의 유도 상태 레짐으로 진입하며, 유도된 상태에 대한 로컬 교정 작업이 이질적이고 데이터셋에 따라 다르다는 것을 입증한다.
• 수정 메커니즘: 재귀적 수정의 이점이 단순히 로컬 적합도를 높이는 것뿐만 아니라, 배포 중 방문하는 유도 상태의 궤적을 변경하는 데서 온다는 것을 보여준다.

의의 및 주장
본 논문은 노출 편향을 이해하기 위해서는 재귀적 배포가 수치적 상태만으로는 로컬 타겟이 결정되지 않는 예측 문제를 생성한다는 점을 인정해야 한다고 주장한다. 이 연구의 의의는 노출 편향을 단순한 공변량 변화로 보는 서사에서, 자기 유도된 인식론적 불확실성(self-induced epistemic uncertainty) 하에서의 추론 문제로 전환하는 데 있다.

저자들은 자신들의 이진 기원 인코딩이 최소한의 신호임을 겸허히 언급하며, 그 이득이 균일하기보다는 조건적이라고 명시한다. 이들은 보편적인 해결책을 제시하는 것이 아니라, 미래의 방법론 설계가 (롤아웃 깊이, 불확실성 추정치 또는 구조적 흔적과 같은) 상태가 어떻게 형성되었는지에 대한 정보를 활용하여 관측된 상태와 유도된 상태 사이의 에일리어싱(aliasing)을 해결하는 데 집중해야 한다고 주장한다. 이 연구는 순차적 학습에서의 인식론적 불확실성에 대한 테스트베드 역할을 하며, 재귀적 예측을 개선하기 위해서는 배포된 재귀적 맵의 과소식별 문제를 해결해야 함을 시사한다.