기술 요약: 자기 적응형 생성형 AI에서의 텔레메트리 및 은닉

1. 문제 정의

현재의 모델 리스크 관리(MRM) 지침은 정적 모델 생애주기를 가정한다: 즉, 모델이 개발되고, 특정 시점에 독립적으로 검증되며, 추가적인 자율적 수정 없이 배포된다는 가정이다. 인간 피드back으로부터의 강화 학습(RLHF)이나 연속적인 확률적 경사 하강법(SGD)을 통해 업데이트되는 자기 적응형 생성형 AI 시스템(예: 대규모 언 언어 모델)은 설계상 이러한 가정을 위반한다. 이러한 모델들은 운영 중에 스스로 가중치를 업데이트함으로써, 특정 시점의 검증을 부적절하게 만들고 "연속 검증 격차(Continuous Validation Gap)"를 생성한다.

본 논문은 서로 연결된 두 가지 거버넌스 과제를 다룬다:

1. 관측 가능성(Observability): 이산적 시간과 연속적 시간 모두에서 자기 적응형 모델의 궤적을 기록할 수 있는 엄격하고 계산 가능한 텔레메트리 아키텍처를 어떻게 구축할 것인가?
2. 적대적 은닉(Adversarial Concealment): 모델 소유자가 의무적인 검증 검토를 피하기 위해 학습 업데이트를 은닉하려는 경제적 유인을 가질 때 어떤 일이 발생하는가? 본 논문은 "모델 은닉 문제(Model Hiding Problem)"를 공식화하고 탐지의 근본적인 한계를 조사한다.

2. 방법론

본 논문은 두 부분으로 나뉜다. 제1부는 충실한 보고를 가정하에 텔레메트리 아키텍처를 개발한다. 제2부는 이 가정을 완화하여, 모델 소유자와 검증자 사이의 적대적 게임으로 모델링한다.

제1부: 텔레메트리 아키텍처

• 이산 시간 로깅: 저자는 가중치 공간 거리(예: 프로베니우스 노름)가 감사를 위한 부적절한 지표라고 제안한다. 대신, 저자는 행동 발산(Behavioral Divergence) $\delta_t$를 표준 참조 세트 $R$에 대한 연속적인 모델 상태들의 쿨백-라이블러(KL) 발산으로 정의한다. 또한, 각 모델 상태를 이전 상태 및 학습 데이터와 암호학적으로 결합하여 변조 방지를 보장하는 **머클 가중치 체인(Merkle Weight Chain)**을 구축한다.
• 이벤트 기반 로깅: 모든 단계를 로깅하는 대신, 행동 발산 임계값을 통과할 때 정의되는 **정지 시간(Stopping Times)**에서만 로깅한다. 이는 로그 밀도가 실제 시간(wall-clock time)이 아닌 행동적 움직임에 비례하도록 보장한다.
• 연속 시간 극한: 이산적 SGD 재귀는 이토 확률 미분 방정식(Itô SDE)으로 근사된다. 저자는 이차 변동(Quadratic Variation) $[W]_t$를 연속 시간의 표준 텔레메트리 스칼라로 식별하며, 이는 학습의 확률적 강도를 포착한다.
• 안정성 프레임워크: 이 아키텍처는 리아푸노프 안정성(Lyapunov stability) 프레임워크 내에 내장된다. 저자는 반복 로그 법칙(LIL)을 활용하여 마팅게일 변동을 제한함으로써, 평균 안정성과 거의 확실한 경로별 안정성(almost-sure path-wise stability)에 대한 조건을 도출한다.
• 거버넌스 트리거: 통계적으로 근거 있는 메커니즘을 제공하여 행동 발산의 변화를 탐지하고 오경보율을 제어하기 위해, 계층적 거버넌스 에스컬레이션을 실행화하는 CUSUM(누적 합) 테스트를 제안한다.

제2부: 모델 은닉 문제

본 논문은 모델 소유자($F$)가 탐지되지 않는 드리프트를 최대화하려고 시도하고, 검증자($V$)가 이를 탐지하려고 시도하는 게임을 공식화한다. 저자는 여섯 가지의 뚜렷한 공격 전략을 분류하고 그에 대한 대응책을 분석한다:

• 이산 시간 공격:

  • 공격 S (억제, Suppression): 기업이 텔레메트리 전송을 중단한다. 대응책: 비밀 카나리 세트를 사용하여 출력 발산을 탐지하는 행동 오라클(Behavioral Oracle).
  • 공격 F (위조, Forgery): 기업이 드리프트된 모델을 서비스하면서 준수하는 "디코이(decoy)" 해시를 보고한다. 대응책: 추론 서명(Inference Signing)(출력을 모델 해시에 결합) 및 리아푸노프 준수를 위한 영지식 증명(zk-SNARKs).
  • 공격 C (섀도우 모델, Shadow Model): 기업이 보고된 모델과 보고되지 않은 사이드 채널 모델의 출력을 혼합한다. 대응책: 전체 파이프라인을 하드웨어 검증 상태에 결합하는 신뢰 실행 환경(TEE) 인증.

• 연속 시간 공격:

  • 공격 N (확산 증폭 드리프트 마스킹, Diffusion-Amplified Drift Masking): 기업이 드리프트를 숨기기 위해 노이즈를 증폭한다. 대응책: 본 논문은 확산의 제1 변동이 무한하기 때문에 멱 변동(Power Variation) 비율이 드리프트를 탐지하는 데 실패하며, 해당 비율은 드리프트가 아닌 샘플링 빈도를 측정함을 증명한다.
  • • 공격 G (Girsanov 측도 조작, Girsanov Measure Manipulation):* 기업이 학습 데이터를 조작하여 드리프트의 확률 측도를 변경한다. 대응책: 제안된 **그래디언트 프로브(Gradient Probe)**는 순환적임을 보여준다. 이는 이미 행동 오라클에 의해 가시화된 가중치 드리프트를 재탐지할 뿐이기 때문이다.
  • 공격 H (헤시안 악용, Hessian Exploitation): 기업이 평균 안정성 체크에서 드리프트 신호를 상쇄하도록 국소 곡률을 설계한다. 대응책: 실현된 경로가 선언된 이차 변동 범위 내에 머무르는지 확인하기 위해 LIL 엔벨로프를 사용하는 경로별 안정성 체크(Path-wise Stability Check).

근본적 한계

본 논문은 **정보 이론적 잔차(Information-Theoretic Residual)**를 설정한다. 모든 대응책이 있더라도, 유한한 행동 해상도 $\delta$에 대해 탐지 불가능한 가중치 섭동의 양의 반경 $\epsilon^*(\delta)$가 엄격히 존재한다. 이는 텔레메트리 기반의 체제로는 임의의 작은 드리프트를 탐지할 수 없음을 의미한다.

3. 주요 기여

1. 최소 충분 통계량: 가중치 공간 거리를 대체하여, 감사(audit)를 위한 최소 충분 통계량으로서의 상태 다이제스트(State Digest)(참조 세트에 대한 행동 발산)를 공식화함.
2. 머클 가중치 체인: 각 모델 상태를 학습 데이터와 결합하는 변조 방지 체인을 구축하여, 이력에 대한 신뢰를 단일 체인 팁의 검증으로 축소함.
   사례: 모델 상태를 데이터와 결합하여 조작을 방지함.
3. 연속 시간 일반화: 이토 미적분법을 통해 연속 시간 극한을 도출하여, 학습 강도를 위한 캐노니컬 스칼라로서 이차 변동을, 이벤트 기반 로깅을 위한 KL 정지 시간을 확립함.
4. 안정성 인증서: 리아푸노프 이론에 프레임워크를 내장하여, LIL을 사용한 경로별 경계 측면에서 평균 및 거의 확실한 안정성 조건을 도출함.
5. 모델 은닉 분류 체계: 여섯 가지 은닉 전략(이산 시간 3개, 연속 시간 3개)과 그에 대한 공식적인 대응책을 체계적으로 분류함.
6. 부정적 결과(Negative Results): 자연스러운 연속 시간 방어 기제(멱 변동 및 그래디언트 프로브)가 특정 적대적 드리프트를 탐지하는 데 실패함을 엄격히 증명하여, 텔레메트리의 내재적 한계를 강조함.
7. 탐지 하한 정리(Detection Floor Theorem): 유한한 해상도 $\delta > 0$에 대해, 탐지 불가능한 섭동의 집합이 엄격히 양수인 반경 $\epsilon^*(\delta)$를 가진다는 것을 증명함.
8. 이중 체제 원칙(Dual-Regime Principle): 연속 텔레메트리는 필요하지만 충분하지 않으며, 미탐지 누출을 제한하기 위해 주기적인 침습적 감사가 반드시 병행되어야 함을 설계 권고로 제시함.

4. 결과

본 논문은 수치 연구(경량 소프트맥스 분류기 사용)와 형식적 증명을 통해 이론적 주장을 뒷받침한다:

• 지표 효능: 연구 A1은 그래디언트 방향의 동일 크기 가중치 섭동이 탄젠트(널 공간) 방향보다 훨씬 높은 KL 발산(약 2.33배)을 생성함을 보여주며, 프로베니우스 노름보다 행동 발산이 유효함을 입증한다.
• 변조 증거: 연구 A2는 가중치의 아주 작은 수정($10^{-2}$)이 이후의 머클 체인 전체를 압도적인 확률로 무효화함을 확인한다.
• 이벤트 기반 로깅: 연구 A3는 정적 모델은 제로 패킷을 생성하는 반면, 패킷 밀도는 적응 강도에 따라 스케일링됨을 보여주어 정지 시간 접근 방식의 효율성을 입증한다.
• 이차 변동: 연구 A4는 경험적 이차 변동이 이론적 예측인 $\eta \sigma^2 d_{tot} T$와 0.56% 오차 이내로 일치함을 검증한다.
• 안정성 및 CUSUM: 연구 A5는 리아푸노프 붕괴가 노이즈 플로로 수렴함을 확인하고, CUSUM 트리거가 낮은 오경보율을 유지하면서 적대적 드리프트가 시작된 직후 이를 탐지함을 보여준다.
• 공격 N 실패: 연구 B2는 멱 변동 비율이 드리프트 크기와 상관없이 샘플 수의 제곱근($\sqrt{n}$)에 따라 스케일링되어 드리프트에 맹목적임을 확인한다.
• 공격 H 탐지: 연구 B4는 공격자가 분산을 과소 보고하는 경우 평균 안정성 체크는 통과하지만, LIL 엔벨로프를 사용한 경로별 체크는 99.7%의 비율로 위반을 탐지함을 보여준다.
• 해상도 하한: 연구 B5는 카나리 세트에 의해 작은 섭동이 탐지되지 않는 유한 해상도 격차의 존재를 경험적으로 입증하여 정리 13.3을 확인한다.

5. 의의 및 주장

본 논문은 지속적으로 학습하는 AI 모델의 맥놓인 거버넌스 회피에 대한 최초의 공식적 처리를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 감사 지표의 재정의: 가중치 공간 거리에서 행동 발산으로 초점을 전환하여, 큰 가중치 이동이 행동적으로는 무해할 수 있는 반면 작은 이동이 치명적일 수 있음을 인정한다.
• MRM과 연속 학습의 결합: 연속 텔레메트리와 안정성 인증서를 도입하여 정적 MRM 프레임워크를 동적 시스템에 적응시킨다.
• 한계에 대한 정직함: 완벽한 탐지 시스템을 주장하기보다, 탐지 하한을 엄격히 정의한다. 텔레메트리가 임의의 작은 드리프트를 탐지할 수 없으므로, 이중 체제 원칙이 필요하다고 주장한다: 즉, 연속 텔레메트리는 감사의 범위를 좁혀주지만, (TEE 하에서의) 주기적인 침습적 감사는 잔여 리스크를 제한하기 위해 반드시 필요하다.
• 심층 방어(Defense-in-Depth): 제안된 아키텍처는 단일 도구가 아니라, 각 계층이 서로 다른 공격 표면을 다루는 레이어드 스택(하드웨어, 암호학, 통계학, 확률론, 거버넌스)이다.

본 논문은 연속 텔레메트리가 거버넌스를 막연한 스냅샷에서 타겟팅된 조사로 변화시키지만, 침습적 감사를 대체할 수는 없다고 결론짓는다. "이중 체제" 접근 방식이 기존 MRM 지침 내에서 자기 적응형 AI의 리스크를 관리할 수 있는 유일하게 구조적으로 건전한 방법으로 제시된다.