1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 이 외부 클라우드 환경에서 실행될 때, 사용자는 모델이 정직하게 추론 (Inference) 을 수행했는지, 혹은 하드웨어 오류나 악의적인 조작 (Tampering) 으로 인해 결과가 변조되지 않았는지 검증해야 합니다.
기존의 해결책들은 다음과 같은 한계를 가집니다:

• 암호학적 접근 (ZK-SNARKs 등): 완전한 무결성을 보장하지만, LLM 규모의 연산을 처리하기 위해 모든 텐서 연산을 제약 시스템으로 변환해야 하므로 증명 생성 (Prover) 과 검증 (Verifier) 에 막대한 계산 비용이 소요됩니다.
• 비암호학적 접근 (학습 기반 등): 통계적 보장만 제공하며, 모델 변경 시 재학습이 필요하거나 내부 상태를 노출해야 합니다.
• 기존 검증 방식의 비효율성: LLM 의 활성화 값 (Activations) 을 1 차원 벡터로 평탄화 (Flattening) 하여 처리하는 방식은 텐서의 자연스러운 구조 (레이어, 헤드 등) 를 무시하여 증명 크기를 불필요하게 키우고, 검증 비용을 증가시킵니다.

따라서, 재실행 없이도 경량화된 클라이언트가 LLM 추론의 정합성을 검증할 수 있는 효율적인 메커니즘이 필요합니다.

2. 방법론 (Methodology)

저자들은 TensorCommitments (TCs) 라는 새로운 텐서 네이티브 (Tensor-native) 증명 방식을 제안합니다. 핵심 아이디어는 LLM 의 활성화 텐서를 1 차원 벡터가 아닌 **다변수 다항식 (Multivariate Polynomial)**으로 간주하여 커밋하는 것입니다.

2.1. TensorCommitments (TC)

• 다변수 커밋: LLM 의 활성화 텐서 $T \in \mathbb{F}^{d_1 \times \dots \times d_m}$ 를 $m$ 개의 변수를 가진 다항식 $f_T$ 로 보간합니다.
• 효율성: 1 차원 보간 (Univariate interpolation) 은 데이터가 증가함에 따라 비용이 급증하지만, 다변수 보간은 차원 $m$ 이 증가할수록 계산 복잡도가 급격히 감소합니다 (그림 1 참조). 이는 텐서의 자연스러운 축 (레이어, 헤드 등) 을 유지함으로써 가능합니다.
• 작동 원리:
  1. Setup: 신뢰할 수 있는 설정 단계에서 구조화된 참조 문자열 (SRS) 을 생성합니다.
  2. Commit: Prover 는 활성화 텐서를 다변수 다항식으로 변환하고, 이를 그룹 요소 (Group Element) 로 커밋합니다.
  3. Open: Verifier 가 특정 지점 (Challenge) 을 요청하면, Prover 는 다항식 나눗셈을 통해 해당 값과 증명 (Opening Proof) 을 제공합니다.
  4. Verify: Verifier 는 쌍대성 (Pairing) 을 이용해 커밋과 증명의 일관성을 $O(1)$ 또는 $O(m)$ 시간에 검증합니다.

2.2. Terkle Trees (Terkle Tree)

• 단일 추론이 아닌 전체 대화 (Dialogue) 또는 긴 시퀀스를 검증하기 위해 TC 를 계층 구조로 조직화합니다.
• 구조: 기존 Merkle Tree (해시 기반) 나 Verkle Tree (1 차원 벡터 커밋 기반) 와 달리, Terkle Tree 는 각 노드가 텐서 모양의 데이터를 커밋합니다.
• 장점:
  • 국소적 쿼리: 전체 상태를 재계산하지 않고도 특정 레이어나 시공간적 패치 (Spatial patch) 만을 효율적으로 검증할 수 있습니다.
  • 확장성: 분기 인자 (Branching factor) 가 커질수록 Merkle Tree 는 해시 계산 비용이 증가하지만, Terkle Tree 는 다변수 커밋의 효율성을 유지하며 증명 크기를 줄입니다.

2.3. 레이어 선택 알고리즘 (Layer Selection Algorithm)

• 모든 레이어를 검증하는 것은 비용이 너무 높으므로, 모델 출력에 가장 민감한 (취약한) 레이어를 선별하여 검증합니다.
• 헤비 테일 (Heavy-tail) 스펙트럼 점수: 각 레이어의 가중치 행렬의 고유값 분포를 분석하여, 꼬리가 두꺼운 (Heavy-tailed) 레이어를 식별합니다. 이러한 레이어는 작은 노이즈에도 출력에 큰 영향을 미칩니다.
• 최적화: 제한된 검증 예산 (Budget) 내에서 가장 중요한 레이어 구간을 선택하는 정수 선형 계획법 (ILP) 문제를 동적 계획법 (DP) 으로 해결하여 검증 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 다변수 커밋 스키마 설계: LLM 추론과 긴 시퀀스에 최적화된 텐서 네이티브 커밋 방식을 제안했습니다.
2. Terkle Tree 도입: 진화하는 숨겨진 상태 (Hidden States) 를 추적하고, 단일 루트에서 다변수 증명을 통해 전체 대화를 인증하는 새로운 인증 구조를 개발했습니다.
3. 강건한 레이어 선택: 모델 출력에 가장 치명적인 레이어를 식별하여 검증 오버헤드를 줄이면서도 표적 공격에 대한 강건성을 유지하는 알고리즘을 설계했습니다.
4. 실제 구현 및 평가: 여러 LLM 과 맞춤형 공격 시나리오에 대해 체계적으로 평가하고, 오픈소스 코드를 공개하여 실제 파이프라인 통합을 가능하게 했습니다.

4. 실험 결과 (Results)

LLaMA2-13B 모델을 A100 GPU 에서 실행한 벤치마크 결과는 다음과 같습니다:

• 성능 오버헤드:
  • Prover (검증자) 시간: 추론 시간 대비 0.97% 추가 (기존 최선인 TOPLOC 대비 30% 감소).
  • Verifier (검증자) 시간: 추론 시간 대비 0.12% 추가 (TOPLOC 대비 85% 감소).
  • GPU 메모리: Verifier 는 0 GB의 GPU 메모리를 사용하며, 모델 재실행이 필요 없습니다.
• 보안성 (Robustness):
  • 맞춤형 공격 (Prompt Tampering, Noise Injection 등) 에 대한 탐지 정확도가 기존 최선 (TOPLOC) 대비 최대 48% 향상되었습니다.
  • 특히 "Slow-burn" 공격 (최종 레이어의 지문은 유지하지만 중간 레이어를 조작하는 공격) 을 효과적으로 탐지합니다.
• 확장성:
  • Terkle Tree 는 Merkle Tree 대비 증명 생성 속도가 최대 67 배 빠르고, Verkle Tree 대비 29 배 빠른 구축 시간을 보입니다.
  • 검증 시간은 Merkle Tree 대비 1,416 배, Verkle Tree 대비 14 배 빠릅니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 신뢰할 수 있는 외부 추론을 위한 실용적인 솔루션을 제시합니다.

• 가벼운 검증: 고사양 GPU 가 없는 클라이언트도 LLM 의 추론 정합성을 암호학적으로 검증할 수 있게 되었습니다.
• 구조적 효율성: LLM 의 텐서 구조를 보존하는 다변수 접근법은 기존 1 차원 벡터 기반 방식의 비효율성을 근본적으로 해결했습니다.
• 실용성: 모델 재실행이나 대규모 GPU 자원 없이도, 소량의 계산 자원으로 강력한 보안을 제공합니다.

결론적으로, TensorCommitments 는 LLM 이 의사결정자나 자동화 시스템으로 확장되는 미래에, 신뢰성 있고 검증 가능한 AI 인프라를 구축하는 데 핵심적인 기술적 토대를 마련했습니다.