TRUST: A Framework for Decentralized AI Service v.0.1

유차오 황 (Yu-Chao Huang) 외의 논문 "Trust: A Framework for Decentralized AI Service v.0.1"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 대규모 추론 모델 (LRMs) 과 다중 에이전트 시스템 (MAS) 시대에 중앙집중식 AI 검증의 치명적인 한계를 다룹니다. 현재 중앙집중식 접근법은 네 가지 근본적인 결함을 안고 있습니다:

• 견고성 (Robustness): 중앙집중식 감사인은 프롬프트 인젝션과 같은 공격과 체계적 편향에 취약한 단일 실패 지점을 생성합니다.
• 확장성 (Scalability): 추론 흔적의 결합적 복잡성으로 인해 수동 또는 중앙집중식 자동 검증은 경제적으로나 계산적으로 실행 불가능합니다.
• 불투명성 (Opacity): "블랙박스" 감시는 사용자가 안전성 주장이나 모델 능력을 독립적으로 검증할 수 없게 하여 신뢰를 훼손합니다.
• 개인정보 보호 (Privacy): 공개 감사를 위한 전체 추론 흔적 노출은 지식재산권 도용 (모델 증류) 과 데이터 유출의 위험을 초래합니다.

또한, 기존 평가 패러다임 (예: "LLM-as-a-Judge") 은 출력만 감사하는 (output-only auditing) 데 중점을 둡니다. 이 논문은 임상 사례 연구 (CHA2DS2-VASc 점수 산정) 를 통해 모델이 결함 있는 추론을 통해 올바른 출력을 생성할 수 있음 ("우연히 정확") 을 입증했습니다. 출력만 감사하는 방식은 이러한 "할루시네이션"을 탐지하지 못해 분포 변화 하에서 치명적인 실패를 초래합니다. 또한, MAS 에서 선형 감사는 최신성 편향 (recency bias) 으로 인해 실제 오류의 근본 원인이 아닌 최종 에이전트를 비난하는 문제가 있습니다.

2. 방법론: TRUST 프레임워크

저자들은 TRUST(신뢰할 수 있는 AI 를 위한 투명하고, 견고하며, 통합된 서비스) 를 제안합니다. 이는 선형 감사를 구조적 분해와 합의 기반 검증으로 전환하는 탈중앙화 프레임워크입니다.

A. 구조적 분해

이 프레임워크는 선형 추론 흔적을 그래프 구조로 변환하여 병렬적이고 개인정보가 보호되는 감사를 가능하게 합니다:

1. 계층형 유방향 비순환 그래프 (HDAGs): 단일 모델의 사고의 사슬 (CoT) 추론용.
   • 흔적을 5 가지 추상화 수준(목표, 전략, 전술, 단계, 연산) 으로 분해합니다.
   • 간선은 decomposes_to(분해됨), depends_on(의존함), validates(검증함) 와 같은 의미론적 관계를 인코딩합니다.
   • 서로 다른 추론 구성 요소를 적합한 세분성 수준에서 매칭된 감사 유형이 감사할 수 있게 합니다.
2. 인과적 상호작용 그래프 (CIGs): 다중 에이전트 시스템 (MAS) 용.
   • 상호작용 로그를 그래프로 투영하여 노드는 에이전트 상태 (역할, 입력, 출력, 상태) 를, 간선은 메시지 전송을 나타냅니다.
   • 이중 계층 감사: 노드 유효성(추론 정확성) 과 간선 무결성(프로토콜 준수 및 전송 충실도) 을 분리합니다.
   • 결정론적 근본 원인 귀속을 가능하게 하여 "블랙박스 속의 블랙박스" 문제를 해결하고, 주요 실패 (Invalid_Root) 와 연쇄 실패 (Invalid_Cascade) 를 구분합니다.

B. 3 계층 감사인 아키텍처

네트워크는 작업 복잡성에 따라 라우팅되는 이질적인 감사인 세트를 활용합니다:

• 1 계층 (계산적): 구문, 수학, 코드용 결정론적 체커 (인터프리터, 정리 증명기). 오류율 $\epsilon \approx 0$.
• 2 계층 (LLM 평가자): 의미론적 일관성과 논리적 흐름을 위한 전문 모델. 오류율 $\epsilon \approx 0.05$.
• 3 계층 (인간 전문가): 고위험, 모호하거나 안전에 치명적인 의사결정을 위한 도메인 전문가. 오류율 $\epsilon \approx 0.30$.

C. 합의 및 개인정보 보호 메커니즘

• 지분 가중 합의: 감사인은 동조 (herding) 를 방지하기 위해 Commit-Reveal 프로토콜을 사용하여 세그먼트에 투표합니다. 세그먼트 유효성을 위해서는 3 분의 2 이상의 과반수 ($\tau=0.66$) 가 필요합니다.
• 설계 단계 개인정보 보호 (Privacy-by-Design):
  • 분할 배포: 감사인은 독점 논리를 재구성할 수 없도록 암호화된 원자적 (atomic) 흔적 세그먼트만 받습니다.
  • 오프체인 저장: 전체 흔적은 IPFS 에 저장되며, 메타데이터와 암호화 해시만 온체인에 기록됩니다.
• 능동적 정제 (DAAN 프로토콜): 근본 원인을 식별한 후, 시스템은 Prune-Freeze-Repair(가지치기 - 동결 - 수리) 사이클을 수행합니다. 결함이 있는 서브그래프를 가지치기하고, 유효한 상류 작업을 동결하며, 필요한 부분만 재생성하여 글로벌 재시도 대비 최대 99% 비용 절감을 달성합니다.

D. 경제적 인센티브

이 프레임워크는 안전 - 수익성 정리 (Safety-Profitability Theorem) 를 구현합니다:

• 평판 가중 할인 (Slashing): 평판이 낮은 감사인은 잘못된 투표 시 더 높은 페널티를 받습니다.
• 보상 구조: 정직한 감사인은 양의 기대 수익이 보장되는 반면, 악의적 행위자는 기대 손실을 입어 조율된 공격이 경제적으로 비합리적이게 됩니다.

3. 주요 기여

1. 최초의 탈중앙화 감사 시스템: 중앙 신뢰 기관 없이 작동하며, 비잔틴 장애 조건 하에서 증명 가능한 보장을 제공하는 추론 흔적용 개인정보 보호 검증 시스템.
2. 새로운 그래프 분해: 단일 모델 및 다중 에이전트 컨텍스트 모두에서 모듈식 검증과 결정론적 결함 국소화를 가능하게 하는 HDAG 와 CIG 도입.
3. 이론적 보장: 정직한 감사인은 수익을 얻고 악의적 행위자는 돈을 잃으며, 실패 확률이 호에프딩 (Hoeffding) 과 체르노프 (Chernoff) 부등식으로 제한됨을 입증한 안전 - 수익성 정리 증명.
4. 능동적 정제: 결함이 있는 서브그래프만 재생성하는 외과적 수리 메커니즘으로, 토큰 비용과 지연 시간을 크게 감소시킴.
5. 포괄적인 응용: 탈중앙화 감사, 변조 방지 리더보드, 신뢰 없는 데이터 주석, 통치된 자율 에이전트 등 4 가지 사용 사례 지원.

4. 실험 결과

이 프레임워크는 여러 벤치마크 (MMLU-Pro, GSM8K, MATH, HumanEval) 와 모델 (GPT-OSS, DeepSeek-R1, Qwen) 을 통해 평가되었습니다:

• 정확도: TRUST 는 72.4% 정확도를 달성하여 베이스라인보다 4~18% 더 높은 성능을 보였습니다.
• 견고성: 시스템은 20% 의 손상(악의적 참여자) 에 대해 견고하게 유지되었습니다.
• 근본 원인 귀속: DAAN 프로토콜은 표준 방법 (54~63%) 에 비해 70% 정확도로 근본 원인을 식별했습니다.
• 효율성: 능동적 정제는 글로벌 재시도 전략 대비 60% 토큰 절감 효과를 거두었습니다.
• 인간 검증: 인간 - 루프 연구는 F1 점수 0.89와 브라이어 점수 (Brier score) 0.074 로 설계를 확인했습니다.
• 지연 시간: 1 계층/2 계층만 사용할 경우 총 지연 시간은 10 초 미만으로 중앙집중식 평가와 유사합니다.

5. 의의

이 연구는 AI 안전성과 책임성에 있어 패러다임 전환을 의미합니다:

• 출력에서 프로세스로: 의학 및 법률과 같은 고위험 분야에서 중요한 추론 과정의 의미론적 감사로 "블랙박스" 출력 평가를 넘어섭니다.
• 탈중앙화 신뢰: 중앙 집중식 게이트키퍼에 의존하는 대신 경제적 인센티브와 암호학을 통해 AI 신뢰를 강제할 수 있음을 입증합니다.
• 확장 가능한 개인정보 보호: 독점 모델 논리를 노출하지 않고도 엄격한 검증을 가능하게 하여 투명성과 개인정보 보호 간의 긴장을 해소합니다.
• 자율 에이전트 인프라: 결정론적 결함 귀속과 자기 치유 기능을 제공함으로써 안전한 자율 다중 에이전트 시스템 배포의 기반을 마련합니다.

요약하자면, TRUST 는 차세대 AI 시스템의 안전성과 정확성을 검증하기 위한 탈중앙화, 경제적 지속 가능성, 개인정보 보호가 보장된 인프라의 이론적 및 기술적 기반을 제공합니다.