기술 요약: 인-컨텍스트 결정론을 위한 유한 인증서와 창발의 임계값 이론

문제 정의

본 논문은 대규모 언어 모델(LLM)을 평가하는 데 있어 근본적인 검증 격차를 다룬다. 경험적 평가는 분포, 정확도, 그리고 임계값 기반 점수에 의존하며, 이는 종종 다음의 세 가지 서로 다른 현상을 혼동한다:

1. 모델이 정답에 높은 확률을 할당하지만, 문맥이 이를 의미론적으로 함축(entail)하지는 않는 경우.
2. 프롬프트가 단조 공리(monotone axiom)를 추가하지 않고 기본 설정을 덮어쓰는 경우.
3. 기저의 의미론적 확신(semantic confidence)은 점진적으로 변화함에도 불구하고, 불연속적인 관측 맵(observation map)으로 인해 벤치마크 점수가 급등하는 경우.

저자들은 기존 이론들(예: 잠재 베이지안 추론, 메커니즘 회로 연구)이 공통된 의미론적 대상—즉, 행동은 공식이고, 문맥은 업데이트이며, 규모에 따른 추세는 한계적 약속(limiting commitments)에 대해 테스트되는 논리—을 제공하지 못한다고 주장한다. 본 논문은 벤치마크 레이블을 **유한 의미론적 인증서(finite semantic certificates)**로 대체하여, 언제 문맥이 답을 강제하는지(결정론, determinacy), 그리고 언제 벤치마크의 도약이 진정한 의미론적 전이인지 아니면 메트릭의 인위적 현상인지(창발, emergence)를 엄밀하게 정의하고자 한다.

방법론

저자들은 사전 학습된 LLM을 물리적 트랜스포머가 아니라, 규모 $\lambda$에서의 **의미론적 제시(semantic presentations)**인 튜플 $G_\lambda = (L, K_\lambda, \mu_\lambda, C_\lambda, U_\lambda, D_\lambda)$로 모델링한다.

• $K_\lambda$: 잠재적 과업 또는 가설을 나타내는 1차 구조(first-order structures)의 클래스.
• $\mu_\lambda$: 정의 가능한 사건들에 대한 확률 측도(probability measure, 의미론적 확신).
• $U_\lambda$: 문맥 업데이트 규칙 (선호적 또는 사후 제한).
• $D_\lambda$: 구조를 출력으로 매핑하는 디코딩 커널.

분석은 두 개의 병렬 트랙으로 진행된다:

1. 논리적/모델 이론적 트랙: 컴팩트성(compactness), 스톤 공간(Stone spaces), 그리고 케이스러 측도(Keisler measures)를 사용하여, 정의 가능한 사건들에 대한 유한 가법적 확률로서 의미론적 확신을 정의한다.
2. 대수적/조합론적 트랙: 유한체 선형 과업 패밀리(finite-field linear task families)를 분석하여 결정론과 인증서 복잡성에 대한 정확한 기준을 도출한다.

주요 기여

1. 유한 결정론 및 식별 곡선 (Finite Determinacy and Identification Curves)

유한체 선형 과업 패밀리에 대하여, 본 논문은 쿼리가 문맥에 의해 강제되는 정확한 조건을 확립한다:

• 행 공간 기준 (Row-Space Criterion): 쿼리 $q$는 $q$가 예시 설계 행렬 $A_n$의 행 공간에 속할 때만 강제된다.
• 잔여 가설 수 (Residual Hypothesis Count): 남은 잠재 파라미터의 수는 $|F|^{d - \text{rank}(A_n)}$이다.
• 식별 곡선 (Identification Curves): $n$개의 무작위 예시 이후의 완전한 의미론적 식별 확률은 $Id(n) = \prod_{i=0}^{d-1} (1 - Q^{i-n})$으로 주어진다.
• 복잡도: 가장 작은 강제 하위 문맥(forcing subcontext)을 추출하는 것은 이진 출력을 포함하더라도 **NP-완전(NP-complete)**임이 증명되었으며, 이는 쌍-분리 히팅 문제(pair-separator hitting problem)로 귀착된다.

2. 창발의 임계값 이론 (Threshold Theory of Emergence)

본 논문은 "창발"(벤치마크 점수의 도약)과 "의미론적 불연속성"을 분리한다:

• 안티-미라지 정리 (Anti-Mirage Theorem): 임계값 기반 메트릭(예: 일치 여부)의 도약은 기저의 의미론적 확신의 불연속성을 의미하지 않는다. 이는 순수하게 스코어링 맵의 불연속성에서 발생할 수 있다.
• 교차 규모 경계 (Crossing-Scale Bound): 잠재적 약속의 수렴 속도가 $1 - s_\lambda \le a\lambda^{-\alpha}$일 때, 속성 $\tau$ 이상의 임계값을 넘어서는 규모 $\lambda_\tau$는 $\lambda_\tau = (a/(1-\tau))^{1/\alpha}$로 제한된다.
• 결합 효과 (Conjunction Effect): 다중 필드 일치 메트릭(k개의 필드가 모두 맞아야 하는 경우)의 경우, 외견상의 도약은 더욱 날카로워지며, 교차 규모는 $k^{1/\alpha}$ 배만큼 팽창한다.

3. 케이스러 측도로서의 의미론적 확신 (Semantic Confidence as a Keisler Measure)

저자들은 타입 공간(type space) 상의 **케이스러 측도(Keisler measure)**로서 의미론적 확신 $s_{\lambda,c}(\phi)$를 정형화한다:

• 측도-1(measure-one) 공식들은 적절한 필터(decisive 상태일 경우 울트라필터)를 형성한다.
• 이 표현은 정의적 확장(definitional expansion)에 대해 불변하며, 이는 의미론적 약속이 표기법적 선택에 의존하지 않음을 보장한다.
• 프롬프트 확장은 **선호적 업데이트(preferential update)**로 모델링되며, 이는 비단조성(non-monotonicity)을 설명한다: 프롬프트를 추가하는 것은 선호되는 모델의 집합을 변경하여 이전에 보유했던 결과들을 삭제할 수 있다.

4. 검증 및 반증 프로토콜 (Verification and Falsification Protocols)

본 논문은 **건전하고 오라클이 필요 없는 체커(sound, oracle-free checkers)**를 사용하는 폐쇄 루프 검증 시스템을 제안한다:

• 체커는 참조 정답 없이 인증서(예: 행 공간 조합, 교차 규모 계산)를 검증한다.
• "회피적 정제 스케줄(aversive refinement schedule)"을 통해 생성기는 체커의 방향성 피드백에 따라 개선될 수 있으며, 이는 메트릭 아티팩트 임계값은 제거하면서 진정한 산술적 간극은 보존하도록 설계되었다.

결과

이론적 결과

• 컴팩트성: 무한한 문맥 스트림에 의해 함축되는 모든 속성은 유한한 인증서를 갖는다 (정리 4.7, 7.1).
• 정확한 선형 식별: 유한체 내에서 결정론은 엄격하게 행렬 계수(matrix rank)에 의해 지배된다. 본 논문은 완전한 식별 및 쿼리 국소 결정의 확률에 대한 폐쇄형 식을 제공한다.
• 아티팩트로서의 창발: 이론적 경계는 "창발적" 벤치마크 도약이 부드러운 확신 수렴과 불연속적인 스코어링 함수의 상호작용에 의해 완전히 설명될 수 있음을 증명한다 (정리 6.8, 명제 6.10).

경험적 검증 (학습된 모델)

저자들은 9개의 현대적 언어 모델(약한 모델부터 중간 능력 모델까지)을 대상으로 세 가지 패밀리에 걸쳐 결정론적 인증서 방출 벤치마크를 실행했다:

1. DET (행 공간 결정론): 모델은 쿼리가 강제되는지 식별하고 증거(witness)를 제공해야 한다.
2. THR (임계값 교차): 모델은 부드러운 함수가 임계값을 통과하는 정확한 규모를 계산해야 한다.
3. PRS (프롬프트 보존): 모델은 새로운 프롬프트가 이전의 결과들을 보존하는지 판단해야 한다.

연구 결과:

• 등급 vs 정확: 등급이 매겨진 확신(정확한 필드의 비율)은 모델 패널 전체에 걸쳐 부드럽게 상승했다. 반면, 정확한 점수(모든 필드가 맞는 경우)는 단 하나의 강력한 모델(Qwen3 14B)이 임계값을 넘기 전까지는 0에 가깝게 유지되다가 급격히 상승했다.
• 안티-미라지 확인: 이러한 동작은 명제 6.10의 이론적 예측, 즉 THR 능력의 "창발"이 능력의 불연속성이 아니라 결합($k=2$)에 의한 메트릭 아티팩트라는 점과 완벽하게 일치했다.
• 인증서 생성: 가장 강력한 모델은 요구된 유한 증거(예: 행 공간 조합, 포함 관계 체크)를 성공적으로 생성하였으며, 이는 이론적 인증서가 훈련된 시스템의 도달 범위 내에 있음을 입증한다.

의의 및 주장

본 논문은 메커니즘 회로 분석이나 순수 통계적 스케일링 법칙과는 구별되는, LLM의 행동에 대한 모델 이론적 언어를 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 의미론과 메트릭의 분리: 벤치마크의 도약이 반드시 새로운 의미론적 능력의 증거는 아니며, 관측 맵의 아티팩트일 수 있음을 증명한다.
2. 인증서의 정의: 단순히 "정확도"를 넘어, 문맥이 답을 강제한다는 것이 무엇인지를 정의하며, 이를 위한 정확한 조합론적 및 대수적 기준을 제공한다.
3. 반증 가능성: 모델의 행동이 제안된 의미론적 표현과 일치하는지 테스트하기 위한 구체적이고 검사 가능한 프로토콜(예: 예측 1: 행 공간 결정론; 예측 2: 연속적 대리물의 부드러움)을 제공한다.

저자들은 자신의 구성이 **조건부적이며 외부적(conditional and external)**이라고 명시한다. 즉, 트랜스포머가 실제로 1차 모델을 포함하고 있다고 주장하는 것이 아니라, 만약 행동이 측정된 모델 클래스에 의해 표현된다면, 결정론, 프롬프트 안정성, 창발에 관한 유도된 정리들이 반드시 성립해야 한다는 것이다. 훈련된 모델과 불일치가 발생할 경우, 이는 기초적인 논리나 대수가 아니라 그 *표현(representation)*이 틀렸음을 반증하는 것이다.