기술 요약: VeriLLM

문제 정의

탈중앙화 추론은 파편화된 글로벌 자원을 활용하여 대규모 언어 모델(LLM)을 서비스하는 확장 가능한 패러다임을 제공함으로써, 중앙 집중형 제공자에 대한 의존도를 줄여줍니다. 그러나 신뢰할 수 있는 노드가 없는 허가 없는(permissionless) 환경에서는 모델 출력의 정확성을 보장하는 것이 핵심적인 과제입니다. 제공자들은 계산을 건너뛰거나, 양자화된 모델을 사용하거나, 출력 충실도를 저하시키는 숨겨진 최적화를 적용함으로써 경제적으로 "무임승차(free-riding)"하려는 유인을 가집니다.

기존의 검증 방식들은 내재적인 트레이드오프에 직면해 있습니다:

• 정확한 복제(Exact Replication): 과도한 계산 비용이 발생하며, 합리적인 검증자가 계산을 건너뛰게 되는 "검증자의 딜레마(Verifier's Dilemma)"를 겪습니다.
• 영지식 증명(Zero-Knowledge Proofs, ZK): 정확성을 공식적으로 입증하지만, 네이티브 추론보다 몇 배나 높은 오버헤드를 발생시켜 트랜스포머 규모의 모델에는 비실용적입니다.
• 합의 기반 접근 방식(Consensus-Based Approaches): 이질적인 하드웨어 간의 부동 소수점 비결정성, 확장성 문제, 그리고 보안 유지를 위해 비현식적으로 많은 정직한 노드 집합이 필요하다는 단점이 있습니다.

핵심 과제는 신뢰할 수 있는 다수에 의존하지 않으면서도 최소한의 오버헤드로 공공 검증 가능한 정확성을 달이고, 부동 소수점 비결정성에 대한 강건성, 그리고 게으르거나 공모하는 참여자에 대한 저항성을 확보하는 것입니다.

방법론

VeriLLM은 트랜스포머 실행의 구조적 비대칭성과 게임 이론적 인센티브 프레임워크를 활용하는 경량화된 공공 검증 가능 프로토콜을 통해 이러한 과제를 해결합니다.

1. 구조적 비대칭성 및 병렬 검증

VeriLLM은 LLM 추론의 프리필(Prefill) 단계와 자기회귀 디코딩(Autoregressive Decode) 단계 사이의 분리를 활용합니다.

• 추론(Inference): 순차적인 디코딩을 필요로 하며, 이는 메모리 대역폭에 제한을 받는 직렬 작업입니다.
• 검증(Verification): 검증자는 전체 입력-출력 시퀀스를 이미 보유하고 있으므로, 순차적인 디코딩 루프를 우회할 수 있습니다. 대신, 프롬프트와 생성된 출력 토큰을 결합하여 전체 시퀀스를 하나의 완전하게 병렬화 가능한 프리필(Prefill) 작업으로 처리합니다.
• 결과: 이를 통해 워크로드를 계산 집약적인 병렬 작업으로 전환하여 GPU 텐서 코어(Tensor Cores)를 포화시킵니다. 경험적으로, 이는 검증 오버헤드를 전체 추론 비용의 약 **1%**로 줄입니다.

2. 동형 추론-검증 아키텍처 (Isomorphic Inference-Verification Architecture)

노드가 검증을 위해 특화된 최적화를 수행하는 것을 방지하기 위해, VeriLLM은 동형 네트워크 아키텍처를 채택합니다.

• 작업 불투명성(Task Indistinguishability): 추론기와 검증기는 동일한 메시지 형식과 API 호출을 받습니다. 따라서 노드는 자신이 실제 추론을 수행 중인지 아니면 검증 프로브를 수행 중인지 구분할 수 없습니다.
• 다중화된 역할(Multiplexed Roles): 동일한 GPU 워커가 두 역할을 모두 수행하여 활용도를 높이고 효과적인 검증자 집합을 확대합니다.
• 동적 역할 할당: 검리적 무작위 함수(VRF)를 사용하여 역할과 샘플링 인덱스를 선택함으로써 예측 불가능성을 확보하고 표적 공격을 방지합니다.

3. 커밋 후 샘플링 프로토콜 (Commit-Then-Sample Protocol)

검증자의 딜레마를 해결하고 게으른 검증을 방지하기 위해, VeriLLM은 2단계 검증 메커니즘을 구현합니다.

• 커밋(Commitment): 검증자는 결과물을 공개하기 전에 자신의 계산된 은닉 상태(hidden states)를 (머클 루트를 통해) 커밋합니다.
• 샘플링(Sampling): 스마트 컨트랙트가 VRF를 사용하여 무작위 챌린지 인덱스를 생성합니다. 검증자는 샘플링된 특정 은닉 상태를 공개하고 포함 증명(inclusion proofs)을 제공해야 합니다.
• 판정(Adjudication): 컨트랙트는 부동 소수점 비결정성에 맞춰 조정된 노이즈 허용 비교 알고리즘을 사용하여 샘플링된 상태를 추론기의 커밋된 상태와 비교합니다. 편차가 발생하면 슬래싱(slashing)이 트리거되며, 일치할 경우 보상이 주어집니다.
• 분쟁 해결(Dispute Resolution): 로컬 위원회가 점유(capture)된 것으로 의정될 경우, 새로운 더 큰 검증자 집합을 통한 단일 라운드의 재검증이 트리거됩니다. 게임 이론적 분석에 따르면, 이 단일 에스컬레이션은 결정을 글로벌 정직한 다수에 고착시키기에 충분하며, 이를 통해 정직한 투표가 유일한 내쉬 균형(Nash Equilibrium)이 되도록 만듭니다.

4. 암호화 프리미티브 (Cryptographic Primitives)

• VRF: 편향되지 않은 노드 선택과 샘플링을 보장합니다.
• **머클 증명(Merkle Proofs): 간결한 온체인 검증을 위해 오프체인 데이터를 고정합니다.
• 커밋-리빌 스킴(Commit-Reveal Schemes): 프런트 러닝과 사후 결과 수정을 방지합니다.

주요 기여

1. 최소한의 검증 비용: 프리필과 디코더 단계의 구조적 분리를 활용함으로써, VeriLLM은 검증 오버헤드를 전체 추론 비용의 ~1%로 낮춥니다.
2. 글로벌 정직한 다수 요구 조건: 프로토콜은 모든 로컬 위원회에서 정직한 다수를 요구하는 대신, 완화된 글로벌 정직한 다수 가정을 바탕으로 보안을 보장하여 강건성을 높입니다.
3. 공공 및 공모 저항적 검증: 블록체인 기반의 2단계 메커니즘은 경량화된 온체인 작업을 유지하면서도 정직한 계산을 보장합니다. 이는 피어 일관성(peer-consistency) 프레임워크를 통해 검증자의 딜레마를 우회합니다.
4. 동형 네트워크 설계: 추론과 검증 역할을 동일한 GPU 워커에 다중화하여 작업별 적대적 행동을 방지하고 처리량을 개선합니다.
5. 노이즈 저항 설계: 프로토콜은 부동 소수점 오류와 악의적인 편차를 구분할 수 있도록 조정된 비교 알고리즘을 포함합니다.
6. 포괄적인 평가: 본 논문은 이론적 보안 분석과 다양한 공격 벡터에 대한 높은 탐지율 및 확장성, 낮은 오버헤드를 입증하는 경험적 결과를 제공합니다.

실험 결과

저자들은 VeriLLM을 구현하고 이질적인 장치(예: NVIDIA RTX 5090 및 Apple M4)에서 7B 파라미터 모델(Qwen2.5-7B-Instruct)을 사용하여 평가했습니다.

• 지연 시간 및 오버헤드: 128개 토큰 출력에 대해 총 지연 시간은 1.37초였습니다. 검증 오버헤드는 평균적으로 전체 추론 시간의 **0.78%**였습니다.
• 탐지 능력: 시스템은 양자화, 조기 종료, 위조된 출력 및 게으른 검증를 99.8% 이상의 확률로 성공적으로 탐지했습니다.
• 탐지 지연 시간: 공격은 1.2초에서 2.8초 내에 탐지되고 확정되었습니다.
• 부동 소수점 허용 오차: 실험을 통해 양자화로 인한 은닉 상태 편차가 일반적인 하드웨어 유도 노이즈와 통계적으로 유의미하게 구별 가능하다는 것을 확인하였으며, 이를 통해 오탐 없이 정확한 검증이 가능함을 입증했습니다.
• 온체인 비용: 검증 비용은 Ethereum L2에서 체크당 약 $0.004이며, 가스 비용은 머클 증명과 VRF 검증에 의해 결정됩니다.

의의

본 논문은 VeriLLM이 신뢰할 수 있고 확장 가능한 탈중앙화 LLM 추론을 위한 실질적인 토대를 제공한다고 주장합니다. 프리필과 디코더 단계를 분리하고 추론 트레이스에 투명성을 내재화함으로써 다음과 같은 기능을 가능하게 합니다:

• 공공 검증 가능성: 모든 참여자는 신뢰할 수 있는 제3자 없이도 추론의 정확성을 감사할 수 있습니다.
• 경제적 생존 가능성: 1%라는 미미한 오버헤드는 탈중앙화 추론을 중앙 집중형 대안이나 무거운 암호학적 증명과 비교했을 때 경제적으로 실현 가능하게 만듭니다.
• 강건성: 시스템은 부동 소수점 비결정성과 계산 비용을 최소화하려는 합리적 적대자의 존재 하에서도 보안을 유지합니다.

이 연구는 영지식 머신러닝(ZKML)의 과도한 비용이나 전통적인 합의 메커니즘의 확장성 한계 없이도 고도의 신뢰성을 갖춘 탈중앙화 추론이 가능하다는 것을 보여줍니다.