기술 요약: Right Reset: 접두사 제거를 통한 청킹(Chunking)

문제 정의

전통적인 텍스트 청킹 및 세그멘테이션 방법은 주로 표면적인 구조적 단서(단락, 문장, 레이아웃)나 국소적인 의미 변화에 의존한다. 이러한 접근 방식은 텍스트가 "평탄화(flattened)"된 시나리오—예를 들어, 검색 증강 생성(RAG)이나 데이터 큐레이션을 위해 주제가 유사한 레코드를 연결하여 구분자, 레이아웃, 뚜렷한 주제 전환이 사라진 경우—에서는 효과적으로 작동하지 못하는 경우가 많다. 이러한 평탄화된 맥락에서는 표준적인 단서들이 사라지지만, 뚜렷한 맥락적 단위는 여전히 남아 있을 수 있다. 본 논문은 표면 구조는 약해질 수 있지만, 인과적 언어 모델(CLM)의 접두사(prefix)에 대한 맥락 의존성이 경계(boundary)를 식별하기 위한 강력한 신호를 제공할 수 있다고 상정한다.

방법론: Right Reset (RR)

제안된 방법의 핵심은 **Right Reset (RR)**으로, 이는 왼쪽 맥락이 제거되었을 때 모델의 오른쪽 토큰 시퀀스 처리 방식이 얼마나 변하는지를 측정하는 접두사 제거 프로빙(prefix-removal probing) 기법이다.

개입(Intervention) 과정

토큰화된 시퀀스 $x_{1:n}$ 내의 후보 엣지(edge) $b$에 대하여:

1. 전체 맥락(Full Context): 모델은 시퀀스 $x_{1:n}$을 처리하며, 오른쪽 윈도우 $W$($b+1$에서 시작)에 대해 은닉 상태(hidden states) $h^{(\ell)}_j$를 생성한다.
2. 리셋 맥락(Reset Context): 접두사 $x_{1:b}$가 제거된다. 모델은 동일한 오른쪽 토큰들($x_{b+1:b+W}$)을 새로운 시퀀스의 시작인 것처럼 재처리하여, 리셋된 은닉 상태 $\tilde{h}^{(\ell,b)}_q$를 생성한다.
3. 정렬(Alignment): 공정한 비교를 위해 위치 ID(position IDs)를 보존하거나(또는 동등하게 재인덱싱하여) 토큰의 정체성과 정렬을 고정한다.

스코어링 메커즘

본 논문은 이 개입에 대한 세 가지 판독(readout) 방식을 제안한다.

1. RR 점수 (주요 지표): 초기화 효과를 피하기 위해 처음 $s$개의 위치를 건너뛴 후, 윈도우 전체에 걸친 전체 맥락 은닉 상태와 리셋된 은닉 상태 간의 평균 코사인 유사도이다.
   $$R^{(\ell)}(b) = \frac{1}{m_b - s} \sum_{q=s}^{m_b-1} \frac{h^{(\ell)}_{b+1+q} \cdot \tilde{h}^{(\ell,b)}_q}{\|h^{(\ell)}_{b+1+q}\|_2 \|\tilde{h}^{(\ell,b)}_q\|_2}$$
   점수가 높다는 것은 왼쪽 맥락의 제거에도 불구하고 오른쪽 궤적이 유지됨을 의미하며, 이는 자연스러운 경계가 존재함을 시사한다.
2. 관측된 토큰 가능도 비(Observed-Token Likelihood Ratio): 리셋된 맥락에서의 실제 관측된 토큰들에 할당된 확률이 전체 맥락에서의 확률과 비교하여 어떻게 변했는지를 측정한다.
3. KL 발산(KL Divergence): 다음 토큰 예측의 전체 분포 변화($D_{KL}(p_{full} \| p_{reset})$)를 측정하며, 주로 메커니즘 참조용으로 사용된다.

세그멘테이션(Segmentation)

RR은 엣지 점수를 독립적으로 생성한다. 이 점수들은 문서 내 백분위 순위로 변환된 후, 전역적으로 실행 가능한 컷(cut) 집합을 선택하기 위한 동적 계획법(dynamic programming) 알고리즘에 입력된다. 이 알고리즘은 고정된 수의 청크를 최적화하거나, 가변적인 컷 개수를 추론하기 위해 보정된 컷 페널티를 사용할 수 있다.

주요 기여

1. 접두사 제거 프로빙: 왼쪽 맥락 제거 후 은닉 상태 보존 정도를 측정함으로써, 맥락 의존성을 청킹 신호로 변환하는 RR을 도입하였다.
2. 평탄화된 레코드 복구: RR은 구분자가 삭제되고 레코드가 연결된 평탄화된 텍스트(flattened text)에서 원래의 소스 레코드를 47.7% 복구해냈으며, 이는 가장 강력한 테스트된 기존 베이스라인인 BGE 임베딩 경계(25.9%)와 동일 규모의 프롬프트 기반 지시 모델(3.1%)을 크게 상회하는 성능이다.
3. 메커니즘 검증: 개입 자체가 신호를 제공한다는 증거를 제시하였다. 동일한 모델 레이어에서의 수동적 점수(passive scores)나 직접적인 프롬프팅은 성능이 현저히 낮았다. 또한, RR이 선택한 컷은 여섯 가지 서로 다른 언어 모델 아키텍처(Qwen, Gemma, GPT-2, Pythia)에서 선택되지 않은 엣지보다 일관되게 낮은 국소 출력 교란(KL 발산을 통해 측정)을 보였다.

실험 결과

• 벤치마크: BEIR 데이터셋의 276개 고유 레코드(Fiqa, NFCorpus, SciFact)로부터 구성된 60개의 홀드아웃 스트림을 단일 공백과 함께 연결하여 구축하였다.
• 강건성: 텍스트를 렌더링한 후 로컬 Apple Vision OCR(180-DPI)로 처리한 후에도 성능 향상이 지속되었으며, 이는 해당 방법이 레이아웃 손실에 강건함을 나타낸다.
• 비교 분석:
  • RR vs. BGE: RR은 47.7%의 클린 유닛(clean-unit) 복구율을 달성하였으며, 이는 BGE의 25.9%와 대비된다 (95% CI: [0.125, 0.311] 우위).
  • RR vs. 프롬프팅: 지시 미세 조정된 Qwen3-4B 모델에 직접 프롬프트를 준 결과 복구율은 3.1%에 불과했으며, 이는 특정 개입 없이는 신호에 접근할 수 없음을 보여준다.
  • 수동 제어군(Passive Controls): 동일한 모델 레이어의 수동적 은닉 상태 점프 및 어텐션 격리(attention isolation)는 약 19%의 클린 유닛만을 복구하였다.
  • 범위 제어(Scope Control): 문장 및 주제 단서가 온전한 Wiki-50 데이터셋에서는 RR과 BGE가 통계적으로 구별되지 않았으며 둘 다 지도 학습 기반 베이스라인보다 뒤처졌다. 이는 RR이 특히 기존의 단서들이 약할 때 유리함을 확인시켜 준다.

의의 및 주장

본 논문은 표면 구조가 약할 때 맥락 의존성 자체가 경계 신호를 제공할 수 있다고 주장한다. 핵심 발견은 인과적 언어 모델이 이전 맥락이 제거될 때 오른쪽 처리가 어떻게 변하는지에 경계 정보가 포함되어 있다는 것이다.

저자는 다음과 같은 점을 강조한다:

• 개입이 핵심이다: 이득은 단순히 표현(representation)에 접근하는 것이 아니라, 접두사를 능동적으로 제거하는 데서 온다.
• 아키텍처 독립성: 이 현상은 다양한 모델 제품군과 크기에 걸쳐 나타나지만, 최적의 판독 방식(은닉 상태 코사인 유사도 vs. 가능도 비)은 아키텍처마다 다를 수 있다.
• 한계점: RR은 단일 패스(one-pass) 청커보다 계산 비용이 더 많이 들며(후보마다 리셋 윈도우 평가 필요), 현재 테스트된 도메인에서는 영어 레코드로 제한된다. 또한, RR은 국소적이고 체크포인트별로 종속적인 의존성을 측정하며, 표현 재매개변수화(representation reparameterization)에 대해 불변하지 않다.

결론적으로, Right Reset은 전통적인 휴리스틱이 실패하는 "평탄한" 데이터 시나리오에서 텍스트 세그멘테이션을 위한 원칙적이고 모델 기반적인 접근 방식을 제공하며, 인과적 언어 모델의 내재된 맥락 민감성을 활용하여 구조적 경계를 복구한다.