기술 요약: LLM 토큰 생성의 동역학적 시스템 구별 가능성에 대한 보장

문제 정의

최근의 경험적 연구는 LLM의 응답, 특히 사실적 텍eller와 환각(hallucination) 텍스트를 구별하는 작업이 토큰 임베딩을 블랙박스 동역학계(dynamical system, DS)의 궤적으로 모델링함으로써 분류될 수 있음을 보여주었다. 이러한 접근 방식은 유망한 가능성을 보여주지만, 이론적 토대는 여전히 탐구되지 않은 상태이다. 구체적으로, 세 가지 근본적인 질문에 대해 엄밀한 답이 부족하다:

1. 동역학의 필요성: 만약 응답 범주 간에 토큰 임베딩의 주변 분포(marginal distributions)가 다르다면, 왜 동역학 모델이 필요한가?
2. 확장성 및 성능: 분류 오차는 시퀀스 길이에 따라 어떻게 스케일링되는가? 또한 어떤 구체적인 동역학적 양(quantities)이 성능을 지배하는가?
3. 일반화 가능성: 코프만 연산자(Koopman operator) 근사는 일반적으로 사용된 관측량(observables)에 민감하게 반응한다는 점을 고려할 때, 토큰 임베딩과 그와 관련된 동역학은 서로 다른 임베딩 모델 간에 어느 정도까지 전이(transfer)될 수 있는가?

방법론

저자들은 분류 작업을 두 개의 확률적 선형 동역학계 사이의 이진 가설 검정으로 정식화한다.

1. 시스템 정식화

저자들은 확장 동적 모드 분해(EDMD)를 통해 얻은 리프팅된(lifted) 토큰 임베딩 $z_k$의 진화를 두 가지 가설 하에서 모델링한다:

• $H_c$ (정답/사실): $z_{k+1} = A_c z_k + \xi^{(c)}_k$
• $H_h$ (환각): $z_{k+1} = A_h z_k + \xi^{(h)}_k$

여기서 $A_c$와 $A_h$는 각각의 체제(regime)에 대한 코프만 연산자의 유한 차원 근사치이다. 노이즈 항 $\xi$는 근사 오차와 실제 확률성을 모두 포착하며, 서로 다른 평균과 공분산을 가진 i.i.d. 가우시안 분포를 따른다고 가정한다.

2. 분류 메커니즘

분류는 예측 잔차(prediction residuals)를 비교함으로써 수행된다. 주어진 궤적에 대해 두 모델 하에서의 누적 제곱 오차($S_c$ 및 $S_h$)가 계산된다. 결정 규칙은 미분 잔차 점수 $\Delta E = \sqrt{S_h} - \sqrt{S_c}$에 의존한다. $\Delta E$가 임계값 $\eta$보다 낮으면 해당 궤적은 환각으로 분류된다.

3. 이론적 프레임워크

저자들은 다음을 기반으로 경계(bounds)를 도출한다:

• 정상 분포(Stationary Distributions): 관측량의 주변 분포 분석.
• 동역학적 구별 가능성($\delta^2$): 시간 단계당 기대되는 제곱 모델 불일치 신호를 정량화하는 지표로, $\delta^2 = E[\|P\Delta z_k\|^2]$ (단, $\Delta = A_c - A_h$)로 정의된다.
• 인터트와이닝 조건(Intertwining Condition): 서로 다른 두 임베딩 공간을 연결하는 선형 사상 $T$를 사용하여, 교차 임베딩 전이를 분석한다.

주요 기여 및 결과

결과 1: 주변 밀도 분석의 한계

저자들은 두 개의 안정적인 동역학계가 완전히 다른 동역학($A_c \neq A_h$)을 가질 수 있음에도 불구하고, 정상적인 주변 분포가 거의 구별 불가능할 수 있음(전체 변동 거리(Total Variation distance) $\approx 0$)을 증명한다.

• 시사점: 정적 특징(예: SVD 모드 또는 주변 통계량)에만 의존하는 분류기는 근본적인 정확도 하한선에 직면한다. 만약 주변 분포가 크게 겹친다면, 그러한 분류기는 기저의 동역학적 차이와 상관없이 무작위 추측보다 나은 성능을 낼 수 없다. 이는 사실적 임베딩과 환각 임베딩의 정적 특징이 흔히 겹치는 현상을 설명한다.

결과 2: 동역학을 통한 지수적 분리 가능성

논문은 예측 잔차에 기반한 분류기가 시퀀스 길이 $L$에 따라 지수적으로 감소하는 오분류 확률을 달성함을 증명한다.

• 지배 양: 감소율은 동역학적 구별 가능성 $\delta^2$과 노이즈 수준에 의해 결정된다.
• 샘플 복잡도: 목표 오차 확률 $\epsilon$을 달성하기 위해 필요한 시퀀스 길이는 $L^* = O(\log(1/\epsilon))$로 스케일링된다.
• 의의: 이 결과는 주변 분석이 부과하는 정확도 천장을 돌파한다. 이는 더 풍부한 임베딩 모델(높은 $\delta^2$을 가질 가능성이 높은)이 더 짧은 시퀀스로도 높은 정확도를 달성할 수 있는 반면, 더 단순한 모델은 더 긴 문맥을 필요로 하는 이유를 설명한다.

결과 3: 교차 임베딩 전이 경계

저자들은 하나의 임베딩 공간에서 적합된 동역학 모델이 재학습 없이 다른 공간으로 전이될 수 있는 조건을 확립한다.

• 근사적 인터트와이닝: 두 임베딩 공간이 $G^{(\theta_2)}_2(q) \approx T G^{(\theta_1)}_2(q) + r$로 기술되는 기하학적 구조를 공유한다면 전이가 가능하다.
• 하한선: 전이 가능한 구별 가능성 $\delta^2_{\theta_1 \to \theta_2}$는 변환 행렬 $T$의 최소 특이값과 원래의 구별 가능성에 의해 하한이 결정되며, "인터트와이닝 결함"(재구성 오차 $\chi^2$)에 의해 페널티를 받는다.
• 시사점: 이는 왜 재학습 없이도 교차 임베딩 분류가 우연 이상의 성능을 낼 수 있는지에 대한 이론적 근거를 제공하며, 임베딩 백엔드의 급격한 변화 속에서도 구별 정보가 생존한다는 놀라운 경험적 발견을 뒷받침한다.

의의 및 결론

이 논문은 동역학계 이론의 관점에서 LLM 응답 분류를 이해하기 위한 엄밀한 수학적 프레임워크를 제공한다. 주요 의의는 분석의 초점을 정적 토큰 표현에서 토큰 궤적을 통해 나타나는 동역학적 패턴으로 전환했다는 데 있다.

본 연구는 다음을 입증한다:

1. 동역학은 필수적이다: 정적 주변 분석은 유사한 정상 분포를 가지면서도 서로 다른 진화를 보이는 체제를 구별하기에 불충분하다.
2. 시간적 축적은 강력하다: 시간적 의존성을 활용하면 시퀀스 길이가 증가함에 따라 오차가 지수적으로 감소할 수 있다.
3. 전이 가능성은 구조적이다: 교차 임베딩 일반화는 우연이 아니라 임베딩 공간의 기하학적 호환성(intertwining)에 의해 지배된다.

이러한 보장을 정식화함으로써, 본 논문은 AI를 사용하여 동역학계를 모델링하는 일반적인 패러다임과 대조적으로, 동역학계 이론을 사용하여 AI 시스템을 분석하는 것에 대한 추가적인 연구를 독려한다. 저자들은 선형 코프만 근사와 가우시안 노이즈 가정에 대한 의존성을 한계로 언급하며, 향후 연구에서 이를 비선형 모델 및 헤비 테일(heavy-tailed) 분포로 확장할 수 있음을 시사하였다.