Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures

1. 문제 정의: 컨텍스트 드리프트와 안전성 취약점

• 배경: LLM 이 긴 대화 세션을 거치거나 컨텍스트 윈도우가 채워질수록, 초기 시스템 프롬프트에 포함된 안전 지침 (Safety Constraints) 이 점차 잊히거나 약화되는 '컨텍스트 드리프트' 현상이 발생합니다.
• 원인: 현대 LLM 의 어텐션 메커니즘은 안전 지침을 단순한 토큰 시퀀스로 취급하며, 최근의 대화 내용 (잡음) 에 비해 과거의 안전 지침에 가중치가 낮아지는 '위치적 편향 (Positional Recency Bias)'이 발생합니다.
• 기존 방법의 한계:
  • RLHF/Constitutional AI: 학습 단계에서 안전성을 강화하지만, 런타임 중 컨텍스트 드리프트를 감지하거나 복구하는 메커니즘이 없습니다.
  • RAG/메모리: 외부 기억 장치를 사용하지만, 검색된 내용도 여전히 어텐션 메커니즘 내에서 잡음과 경쟁하므로 안전성 유지가 보장되지 않습니다.
  • 주기적 재프롬프팅 (Re-prompting): 이론적 근거가 부족하며, 프롬프트 길이에 따라 확장성이 떨어집니다.

2. 방법론: 홀로그래픽 불변 저장 (HIS)

HIS 는 벡터 심볼릭 아키텍처 (Vector Symbolic Architectures, VSA) 와 초차원 컴퓨팅 (Hyperdimensional Computing, HDC) 의 수학적 성질을 활용하여 안전 신호를 외부 메모리에 저장하고, 오염된 컨텍스트에서 이를 높은 신뢰도로 복원하는 프로토콜입니다.

핵심 구성 요소

1. 이진 초벡터 (Bipolar Hypervectors): $D=10,000$ 차원의 $\{-1, 1\}$ 벡터를 사용하여 안전 지침을 인코딩합니다. 고차원 공간에서 무작위 벡터는 거의 직교 (Near-orthogonal) 하다는 성질을 이용합니다.
2. 불변량 생성 (Invariant Generation):
   • 안전 키 ($K_{goal}$) 와 안전 값 ($V_{safe}$) 을 바인딩 (Bipolar multiplication, $\otimes$) 하여 시스템 불변량 ($H_{inv} = K_{goal} \otimes V_{safe}$) 을 생성합니다.
   • 이 불변량은 외부 메모리에 저장되며, LLM 의 컨텍스트 윈도우 바깥에 위치합니다.
3. 복원 프로토콜 (Restoration Protocol):
   • 현재 컨텍스트를 잡음 벡터 ($N_{context}$) 로 인코딩하고, 이를 정규화하여 불변량 크기와 동일하게 맞춥니다.
   • 중첩 (Bundling, $+$): $S = H_{inv} + \hat{N}_{context}$
   • 정제 (Cleanup): 시그너스 함수 ($\text{sign}(\cdot)$) 를 적용하여 잡음을 제거하고 이진화합니다. ($\text{sign}(0)=0$ 규칙 사용)
   • 언바인딩 (Unbinding): 정제된 벡터에 원래 키를 다시 바인딩하여 원래 안전 값을 복원합니다: $V_{recovered} = \text{sign}(S) \otimes K_{goal}$.

설계 단계 안전성 계약 (Design-Time Safety Contract)

HIS 는 배포 전에 시스템 엔지니어가 성능을 예산화할 수 있는 폐형 (Closed-form) 보장을 제공합니다.

• 단일 신호 복구 신뢰도: 잡음의 깊이와 내용에 관계없이, 복구된 신호와 원본 간의 코사인 유사도가 $1/\sqrt{2} \approx 0.707$ 로 수렴합니다. (이론적 한계)
• 연속 잡음 강건성: 가우시안 잡음 ($\sigma$) 하에서 복구 신뢰도는 $2\Phi(1/\sigma) - 1$로 계산됩니다.
• 다중 신호 용량: $K$ 개의 안전 지침을 동시에 저장할 경우, 복구 신뢰도는 $\approx \sqrt{1/(K+1)}$로 감소합니다. 이를 통해 엔지니어는 $K$ 개 이상의 지침을 저장할 때 코드북 (Codebook) 정제 단계가 필요한지 설계 단계에서 판단할 수 있습니다.

3. 주요 결과 및 검증

1) 몬테카를로 시뮬레이션 (Signal-Level Validation)

• 실험: $n=1,000$ 번의 독립적 시뮬레이션 수행 ($D=10,000$).
• 결과: 평균 복구 신뢰도 0.7072 (표준편차 0.0036) 를 기록하여 이론적 한계 ($0.7071$) 와 완벽하게 일치함을 확인했습니다.
• 의미: 잡음의 종류 (정보 과부하, 적대적 프롬프트, 의미적 산만) 에 상관없이 복구 신뢰도가 일정하게 유지됨을 입증했습니다.

2) 행동 실험 (Pilot Behavioral Experiment)

• 실험 설정: 4 개의 오픈소스 LLM (2B~7B 파라미터, 총 720 회 실험) 을 사용하여 HIS 파이프라인의 종단간 (End-to-End) 실현 가능성을 검증했습니다.
• 결과:
  • 2B 모델: 안전성 준수율이 HIS 재주입 (Re-injection) 조건에서 84% 로, 무개입 조건 (78%) 보다 유의하게 향상되었습니다 ($p=0.013$, 효과 크기 $d=0.71$).
  • 7B 모델: 모든 조건에서 안전성 준수율이 99% 이상으로 포화 (Ceiling Effect) 되어, 외부 개입의 추가적 이득을 측정하기 어려웠습니다.
  • 타이머 vs HIS: 단순 타이머 기반 재주입과 HIS 기반 재주입 간의 통계적 유의미한 차이는 확인되지 않았으나 ($p=0.29$), 이는 샘플 수 부족 (Underpowered) 에 기인한 것으로 분석됩니다.

4. 핵심 기여 및 의의

1. 이론적 안전성 계약의 제시: 기존 방법론들이 lacked 한 '배포 전 예측 가능한 수학적 보장'을 제공합니다. 엔지니어는 코드를 작성하기 전에 $K$ 개의 안전 지침을 저장했을 때의 복구 신뢰도를 정확히 계산할 수 있습니다.
2. 지속적인 드리프트 측정 지표: HIS 는 컨텍스트가 오염될 때마다 저장된 불변량과 현재 컨텍스트 간의 코사인 유사도를 계산하여, 언제 안전 지침을 재주입해야 하는지를 내용 기반 (Content-aware) 으로 판단할 수 있게 합니다. 이는 고정된 타이머나 단순 임계값보다 정교합니다.
3. 신호 저장/복구와 활용의 분리: HIS 는 안전 신호를 '저장하고 복구'하는 데 초점을 맞춥니다. 복구된 신호가 LLM 에 의해 실제로 준수되는지는 모델의 어텐션 메커니즘에 달려 있으나, HIS 는 적어도 신호를 손실 없이 전달하는 수학적 토대를 제공합니다.
4. 실용적 효율성: 전체 복구 프로토콜은 단일 CPU 코어에서 약 30 마이크로초 ($\mu s$) 만에 실행되며, 일반적인 2B 파라미터 모델의 순전달 (Forward pass) 시간의 0.1% 미만의 오버헤드를 가집니다.

5. 결론 및 한계

이 논문은 LLM 의 안전성 유지를 위해 기하학적 불변성 (Geometric Invariance) 을 활용한 새로운 패러다임을 제시합니다. HIS 는 컨텍스트 길이나 잡음 양에 관계없이 안전 신호의 일관된 복원을 보장하는 '설계 단계 계약'을 통해, 기존 방법론들의 불확실성을 해소합니다.

한계점:

• 현재 실험은 2B~7B 규모의 모델에 국한되었으며, 최첨단 (Frontier) 모델에서는 포화 현상이 관찰되었습니다.
• 행동 실험의 샘플 수 (n=30) 가 부족하여 타이머 기반 방법과의 차이를 통계적으로 입증하기에는 역부족이었습니다.
• 복구된 안전 지침이 LLM 의 어텐션 메커니즘 내에서 실제로 얼마나 효과적으로 활용되는지는 별도의 연구가 필요합니다.

요약하자면, HIS 는 LLM 안전성 문제를 통계적 추정이 아닌 대수적 보장으로 접근하여, 시스템 엔지니어에게 예측 가능하고 견고한 안전성 관리 도구를 제공합니다.