기술 요약: 신뢰할 수 있는 LLM의 제로 에러 지평 (Zero-Error Horizons)

1. 문제 정의

대규모 언어 모델(LLM)은 의료, 금융, 원자력 시스템과 같은 안전이 필수적인 영역에 점점 더 많이 배치되고 있습니다. 이러한 모델들은 외견상 뛰어난 추론 능력을 보여줌에도 불구하고, 단순한 작업(예: $127 \times 82$ 계산, 짧은 이진 문자열의 패리티 결정, 또는 괄호의 균형 확인 등)에서 설명 불가능한 오류를 범하는 "역량의 구멍(holes)"을 드러냅니다.

현재의 주요 평가 지표인 **정확도(accuracy)**는 다음과 같은 이유로 안전이 중요한 애플리케이션에 부적합합니다:

• 규모의 임의성(Scale Arbitrariness): 정확도는 평가자가 선택한 문제 범위(예: $50 \times 50$까지의 곱셈 테스트 vs. $99 \times 99$까지의 테스트)에 따라 달라집니다. 모델은 제한된 범위 내에서는 매우 높은 정확도를 보일 수 있지만, 입력값이 약간만 커져도 처참하게 실패할 수 있습니다.
• 안전 보장의 결여: 높은 평균 정확도가 "구멍"의 존재를 배제하지는 않습니다. 안전이 중요한 맥ante에서 단 한 번의 오류는 치명적일 수 있습니다.
• 포화 상태(Saturation): 고정된 크기의 벤치마크는 모델이 발전함에 따라 결국 포화되어, 최첨단 성능을 차별화하는 능력을 상실합니다.

본 논문은 평균 성능 점수가 아닌, **보장된 안전 경계(guaranteed safe boundary)**를 정의하는 지표가 필요하다고 주장합니다.

2. 방법론: 제로 에러 지평 (Zero-Error Horizon, ZEH)

저자들은 결정론적 그리디 디코딩(deterministic greedy decoding) 하에서 모델이 오류 없이 모든 인스턴스를 해결할 수 있는 최대 문제 크기 $n$을 나타내는 지표인 **제로 에러 지평(ZEH)**을 제안합니다.

정의

고정된 모델, 문제 유형, 프롬프트가 주어졌을 때:

• $B_n$을 크기가 $n$인 문제들의 집합이라 하자.
• $T_n = \bigcup_{i=1}^n B_i$를 크기가 최대 $n$인 모든 문제의 집합이라 하자.
• $C$를 모델이 정답을 맞힌 문제들의 집합이라 하자.
• ZEH는 다음과 같이 정의된다:
  $$\text{ZEH} = \max \{ n \mid T_n \subseteq C \}$$

본질적으로, $\text{ZEH} = k$인 모델은 크기 $1$부터$k$까지의 모든 인스턴스를 오류 없이 해결하지만, 크기가$k+1$인 인스턴스 중 적어도 하나에서 오류를 범합니다. 모델이 처음으로 실패하는 크기$k+1$의 특정 인스턴스를 **ZEH 리미터(ZEH Limiter)**라고 부릅니다.

평가 작업

저자들은 네 가지 작업에 대해 ZEH를 평가합니다:

1. 곱셈: 정수 곱셈 ($a \times b$), 여기서 크기는 $\max(a, b)$로 정의됩니다.
2. 패리티(Parity): 이진 문자열의 패리티(1의 개수가 짝수인지 홀수인지)를 결정하며, 크기는 문자열 길이입니다.
3. 균형 잡힌 괄호: 괄호 문자열이 균형을 이루는지 결정하며, 크기는 문자열 길이입니다.
4. 그래프 채색(Graph Coloring): 단순 무방향 그래프의 색칠 수를 찾는 작업이며, 크기는 노드의 수입니다.

효율성을 위한 최적화

ZEH를 평가하는 것은 전수 검증이 필요하므로 계산 비용이 많이 듭니다. 논문은 네 가지 가속 기술을 제안합니다:

1. 티처 포싱(Teacher Forcing): 자기회귀적 디코딩 대신, 전체 시퀀스(예: $28 \times 43 = 1204$)를 인과적 마스크(causal mask)와 함께 모델에 입력하여 병렬로 토큰 단위의 정답 여부를 검증합니다.
2. 룩-어헤드(Look-Ahead, 배칭): 서로 다른 크기의 인스턴스들을 함께 배치 처리하여, 크기별로 순차 처리할 때보다 GPU 활용도를 극대화합니다.
3. 프롬프트 프리필링(Prompt Prefilling): 공통된 프롬프트 접두사를 한 번만 처리하고, 그 Key-Value(KV) 캐시를 모든 인스턴스 간에 공유합니다.
4. 플래시 트리(FlashTree): 인스턴스 간의 공유 접두사(예: $1 \times 1, 1 \times 2, 1 \times 3$)에 대해 Trie 구조를 사용하여 KV 캐시를 공유하는 트리 구조 방식입니다. 이는 $O(N^2)$ 어텐션 마스크 병목 현상을 피하기 위해 (FlashAttention에서 영감을 받은) 온라인 소프트맥스 구현을 활용하며, 나이브한 자기회귀 방식보다 최대 10배의 속도 향상을 달성합니다.

3. 주요 결과

3.1 최첨단 모델의 놀라운 실패 사례

GPT-5.2(논문의 맥락상 2026년 1월 기준의 가상 모델)의 평가 결과, 상당한 역량 격차가 드러났습니다:

• 패리티: ZEH = 4. 모델은 5글자 문자열 11000에서 실패합니다.
• 균형 잡힌 괄호: ZEH = 10. 모델은 11글자 문자열 ((((())))))에서 실패합니다.
• 곱셈: ZEH = 126. 모델은 $127 \times 82$에서 실패합니다.
  이러한 결과는 복잡한 코드 생성(예: 유체 역학)이 가능한 모델조차 기초적인 산술 및 논리 작업에서 실패할 수 있음을 보여줍니다.

3.2 Qwen2.5 제품군 분석

저자들은 Qwen2.5 시리즈(0.5B ~ 72B)를 대상으로 곱셈 작업을 분석했습니다:

• 정확도와의 상관관계: ZEH와 정확도는 모델 크기에 따라 일반적으로 증가하지만, 일대일로 상관되지는 않습니다. 예를 들어, 72B 모델의 $99 \times 99$에 대한 정확도는 98.6%이지만, ZEH는 42에 불과합니다.
• 암기와 알고리즘적 추론:
  • 소형 모델 (0.5B - 3B): 훈련 데이터 빈도(C4 코퍼스)와 정확도 사이의 높은 상관관계를 보이며, 이는 **암기(memorization)**에 의존함을 시사합니다. 이들의 ZEH는 낮고 정체되어 있는데, 이는 암기가 확률적이기 때문에 훈련 데이터 내의 무작위적인 "구멍"이 연속적인 에러 프리 지평을 방해하기 때문입니다.
  • 대형 모델 (14B - 72B): 훈련 빈도와의 상관관계가 감소하며, 이는 **알고리즘적 추론(algorithmic reasoning)**으로의 전환을 나타냅니다.
• 구조적 오류: 모델이 커질수록 오류는 더 "구조적"이 됩니다. 대형 모델의 경우, 예측값과 정답의 차이는 종종 10의 배수입니다(예: 986 대신 1006을 예측). 이는 모델이 곱셈 알고리즘(예: 일의 자릿수 맞추기)은 이해하고 있지만, 실행 과정에서의 오류(예: 올림 계산 실수)를 범하고 있음을 시사합니다.
• 올림(Carry) 민감도: 로지스틱 회귀 분석 결과, 큰 모델은 작은 모델보다 "올림" 연산(자릿수 곱이 10 이상인 경우)에 더 민감합니다. 이 역설적인 결과는 대형 모델이 암기된 답을 인출하는 것이 아니라 산술 규칙을 수행하려고 시도하고 있다는 가설을 뒷받침합니다. 즉, 실행하려는 규칙의 계산적 난이도에 취약해지는 것입니다.

3.3 프롬프트 안정성

ZEH는 프롬프트 변형에 비교적 견고합니다. Qwen2.5 모델의 경우, 다양한 프롬프트 구문에 따른 ZEH의 표준 편차는 약 3이었습니다. 그러나 안전이 중요한 애플리 applications를 위해, 저자들은 여러 프롬프트에서 관찰된 가장 낮은 ZEH를 사용할 것을 권장합니다.

4. 의의 및 주장

본 논문은 ZEH가 신뢰할 수 있는 LLM을 위해 전통적인 정확도 지표보다 뚜렷한 장점을 제공한다고 주장합니다.

1. 안전 보장 및 경고 신호: ZEH는 명확한 경계를 제공합니다. 지평 내의 문제는 "안전"(정답 보장)하며, 지평 너머의 문제는 "위험"합니다. 이는 평균 성능만으로는 불충분한 안전 필수 분야에서 매우 중요합니다.
2. 구체적 증거 (ZEH 리미터): 추상적인 정확도 점수와 달리, ZEH는 모델이 실패하는 구체적이고 재현 가능한 예시(리미터)를 제공합니다. 이는 디버깅을 용이하게 하고 역량 격차에 대한 명백한 증거를 제시합니다.
3. 객관적 지표: ZEH는 정확도의 "규모의 임의성"을 제거합니다. 지평은 평가자의 테스트 범위 선택이 아닌, 모델의 내재적 역량에 의해 결정됩니다.
4. 발현(Emergence)에 대한 통찰: ZEH는 암기에서 알고리즘적 추론으로의 전환을 보여주는 민감한 지표입니다. ZEH의 성장은 전체적인 정확도가 정체되더라도 모델이 규칙을 안정적으로 실행하는 능력과 상관관계를 가집니다.
5. 미래 대응성(Future-Proofing): 고정된 벤치마크와 달리, ZEH는 개방형이며 모델이 발전함에 따라 지속적으로 지표로서 기능할 수 있습니다.

저자들은 ZEH가 계산 비용을 발생시키지만, 제안된 최적화 기술(FlashTree 등)을 통해 실현 가능하다는 결론을 내립니다. 또한, 특히 높은 이해관계가 걸린 애플리케이션에서 신뢰성을 검증하기 위해 ZEH를 정확도의 보완적 지표로 사용해야 한다고 강조합니다.