One of the Above, None of the Above: Why the Same Model Should Not Predict Both

기술 요약: "둘 중 하나 혹은 둘 다 아님: 왜 동일한 모델이 두 가지를 모두 예측해서는 안 되는가"

문제 제기
신규성 탐지(Novelty detection)는 흔히 이진 분할-확장 문제(binary partition-extension problem)로 모델링된다. 즉, 새로운 관측치가 기존 범주에 속하는지("둘 중 하나"), 아니면 새로운 범주를 필요로 하는지("둘 다 아님")를 결정하는 문제이다. 특히 중국인 식당 프로세스(Chinese Restaurant Process, CRP)나 피트먼-요어(Pitman–Yor, PY) 프로세스와 같은 베이지안 종 샘플링(species-sampling) 모델들은 새로운 범주를 "여는(opening)" 행위를 기존의 것을 "흡수(absorbing)"하는 것의 확률적 잔차(probabilistic residual)로 취급한다.

본 논문은 이러한 정식화가 근본적인 인식론적 비대칭성을 가린다고 주장한다. 흡수는 항목이 이미 생성된 분할 내에서 해결될 수 있는지에 대한 판단인 반면, 여는 것은 활성화된 맥락이 새로운 응답 정체성을 허용하는지에 대한 판단이다. 이들을 단일 생성 과정의 양면으로 취급하는 것은 서로 다른 의존성을 하나의 확률로 붕괴시킬 위험이 있다. 더욱이, 표준 모델들은 신규성 판단을 의미 있게 만드는 특정 "맥락"(로컬 스트림 단위, 동치 관계, 태스크 프로토콜 인벤토리 크기)을 고려하지 못하는 경우가 많다.

방법론
본 연구는 예측 행(prediction row)이 "의존성 원자(dependency atom)" $a_t = (C_u, H_{<t}, r_t, z_t)$로 정의되는 의존성 논리 기반 프레임워크를 사용하여 신규성 예측을 구체화한다.

• 맥락 ($C_u$): 로컬 스트림 단위($u$), 응답 정체성을 정의하는 동치 관계($R_u$), 그리고 태스크 프로토콜 인벤토리 크기($\kappa_{task}$)를 포함한다.
• 이력 ($H_{<t}$): 동일한 로컬 단위 내에서의 이전 에피소드들의 접두사(prefix).
• 대상 ($z_t$): $z_t=1$은 "여는 것"(새로운 정체성)을, $z_t=0$은 "흡수"(기존 정체성의 재사용)를 나타내는 이진 라벨.

본 논문은 다섯 가지 자연어 데이터셋(GUM 상호 참조, GUM 어휘 재발, SWDA 어휘 재발, SWDA 대화 액트, Kinetics-GEBD)과 Navarro 및 Kemp(2017)의 범주 학습 실험에 대한 재분석을 통해 두 가지 주요 예측 모델을 홀드아웃 데이터에서 비교한다:

1. 조합적 영(Combinatorial Null, $x_{comb}$): 로그 스털링 수($\log S(N_t, K_t-1) - \log S(N_t, K_t) - \log K_t$)로부터 유도된 블록 크기에 무관한 점수이다. 이는 기존 클래스의 점유 분포를 무시하고(즉, "부익부 빈익빈" 효과를 고려하지 않고) 오직 허용 가능한 분할 수의 변화만을 바탕으로 신규성을 예측한다.
2. 피트먼-요어 프로세스 (Pitman–Yor, PY): 기존 블록에 합류할 확률이 현재 점유율에 비례하는 "부익부 빈익빈" 역학을 포함하는 표준 종 샘플링 모델이다.

분석은 성능을 흡수($z_t=0$)와 여는($z_t=1$) 영역으로 분해하며, "승자"가 태스크 프로토콜 인벤토리 크기($\kappa_{task}$)에 따라 달라지는지 테스트한다.

핵심 기여 및 결과

1. 맥락의 필수성: 로컬 이력을 글로벌 코퍼스 이력으로 대체하면 $x_{comb}$와 PY 모델 모두 성능이 크게 저하된다. 이는 신규성 예측이 분할 자체에 의해 정의되는 것이 아니라, 그 분할이 확장되는 로컬 맥락에 의해 정의됨을 확인시켜 준다.
2. 교차 영역 패턴 (The Crossed Regime Pattern): 단일 모델이 흡수와 여는 과정 모두에서 보편적으로 우세할 수 없음을 입증한다. 대신 최적의 예측 모델은 태스크 프로토콜 인벤토리 크기에 따라 역전된다:
   • 개방형 인벤토리 ($\kappa_{task} = \infty$): 개방형 어휘를 가진 데이터셋(예: GUM 어휘/상호 참조)의 경우, **조합적 영($x_{comb}$)**이 흡수에서 PY보다 우수하지만, **피트먼-요어(PY)**가 여는 것에서 $x_{comb}$보다 우수하다.
   • 폐쇄형 인벤토리 ($\kappa_{task} < \infty$): 고정된 유한 인벤토리를 가진 데이터셋에서는 흡수에 대한 패턴이 역전되어, **피트먼-요어(PY)**가 $x_{comb}$보다 우수하다. 여는 것의 경우, 결과는 혼재되어 나타난다. Kinetics-GEBD(가장 작은 유한 인벤토리 사례)에서는 $x_{comb}$가 PY보다 우수하지만, 42개의 태그를 가진 더 큰 유한 인벤토리인 SWDA 대화 액트의 경우 결과가 미결정(unresolved) 상태로 나타난다(부트스트랩 신뢰 구간이 0을 포함함). 이는 SWDA 대화 액트가 명확한 역전 패턴이라기보다는 경계 사례임을 시사한다.
3. 함수 형태의 미묘함: 정확한 스털링 기반 조합 점수는 단순한 밀도 대용치(예: $\log(N/K)$)와 교체될 수 있는 것이 아니다. 낮은 빈도의 스트림(특히 Kinetics)에서, 정확한 유한 개수 보정은 단순 밀도 근사치보다 실질적이고 측정 가능한 이점을 제공하며, 이는 정확한 형태가 단순 밀도를 넘어 스트림의 구조적 특성을 포착함을 시사한다.
4. 통제된 실험의 재분석: Navarro와 Kemp(2017)의 실험 4에 대한 재분석에서, "태스크 게이트"(none of the above가 허용되는지 여부)와 분할 밀도를 포함하되 "부익부 빈익빈" 항은 포함하지 않은 구조적 모델이 HG-CRP 벤치마크보다 우수한 성능을 보였다. 또한, 분해 결과 HG-CRP는 "둘 중 하나"(흡수)에서 더 잘 수행된 반면, 게이트 모델은 "둘 다 아님"(여는 것)에서 더 잘 수행되었으며, 이는 자연어 코퍼스에서 발견된 교차 패턴과 일치한다.

의의 및 주장
본 논문은 범주를 여는 것이 단일 흡수 과정의 잔차라는 견해에 반대한다. 대신, 흡수와 여는 것이 서로 다른 의존 구조에 의해 지배되는 별개의 영역이라고 상정한다:

• 개방형 시스템에서의 흡수는 분할 확장의 조합론에 의해 가장 잘 예측된다(특정 점유율을 무시함).
• 개방형 시스템에서의 여는 것은 "부익부 빈익빈" 정보(점유율/지속성)를 필요로 한다.
• 폐쇄형 시스템에서는 흡수 과정에서 패턴이 역전되어 점유 정보가 흡수를 돕는다. 여는 과정에서 조합적 모델의 이점은 Kinetics와 같은 작은 인벤토리에서 가장 명확하게 나타나며, SWDA 대화 액트와 같은 더 큰 유한 인벤토리는 미결정된 패턴을 보여 경계 사례임을 시사한다.

저자는 향로의 신규성 모델이 이러한 영역을 명시적으로 분리해야 한다고 결론짓는다. 조합적 분할 점수는 "고정 맥락 영 모델(fixed-context null model)"로 취급되어야 한다. 이 모델의 실패는 단순한 오류가 아니라, 정체성 특유의 지속성("부익부 빈익빈" 효과)이 언제 필요한지를 나타내는 정보로서 의미를 갖는다. 결과는 "둘 중 하나"와 "둘 다 아님"의 구분이 단일 확률이나 단일 생성 과정이 아니라, 서로 다른 표상 및 제어 프로세스를 모집할 수 있는 두 개의 별개 연산으로 취급되어야 함을 시사한다.