기술 요약: LLM을 위한 기하학적 정보 흐름 (Geometric Information Flow, GIF)

1. 문제 정의

대규모 언어 모델(LLM)은 에이전트 시스템의 중심 계산 엔진으로서, 신뢰할 수 없는 입력, 개인적인 컨텍스트, 그리고 권한이 부여된 작업 사이의 상호작용을 중재하는 역할을 수행하며 그 중요성이 커지고 있습니다. 이러한 아키텍처는 두 가지 주요 보안 위험을 생성합니다:

1. 무결성 위반 (Integrity Violations): 공격자가 제어하는 콘텐츠(예: 프롬프트 인젝션)가 다운스트림 도구 사용, 코드 생성 또는 메모리 업데이트를 조작하여, 에이전트가 신뢰할 수 있는 지침에 반하는 행동을 수행하게 만들 수 있습니다.
2. 기밀성 위반 (Confidentiality Violations): 개인적인 컨텍스트가 생성된 출력, 도구 인자 또는 요약본으로 유출되어 데이터 프라이버시 정책을 위반할 수 있습니다.

기존의 정보 흐름 제어(Information Flow Control, IFC) 방식은 이 영역에서 어려움을 겪습니다. 전통적인 IFC는 명시적인 프로그램 의미론을 통해 전파되는 거친 보안 레이블(예: 신뢰/신뢰할 수 없음)에 의존합니다. 그러나 LLM은 자기회귀적(autoregressive)이며 불투명합니다. 즉, 어떤 입력 토큰이라도 모든 출력 토큰에 약하게 영향을 미칠 수 있습니다. 거친 레이블을 적용하면 **심각한 오염(overtainting)**이 발생하여, 거의 모든 다운스트림 컨텍스트가 '신뢰할 수 없음'으로 분류되어 정상적인 기능까지 차단될 수 있습니다. 반대로, 휴리스틱 방어 기법(예: 프롬프트 필터, 어텐션 기반 모니터링)은 실행 트레이스 전반에 걸쳐 축적되는 미묘한 모델 매개 정보 흐름을 놓칠 수 있어 원칙적인 의미론적 기초가 부족합니다.

따라서 특정 입력 스팬(span)으로부터 발생하는 정보가 다운스트림 출력에 정확히 얼마나 영향을 미치는지 측정하여, 유익한 영향과 정책 위반 유출을 구분할 수 있는 **정량적 정보 흐름 의미론(quantitative information-flow semantics)**이 필요합니다.

2. 방법론: 기하학적 정보 흐름 (Geometric Information Flow, GIF)

저자들은 LLM의 입력-출력 매핑의 국소적 기하학(local geometry)을 분석함으로써 정보 흐름을 추적하는 기하학적 정보 흐름(GIF) 프레임워크를 제안합니다.

핵심 개념

GIF는 입력 스팬(연속된 토큰 그룹)의 임베딩을 섭동(perturbation)시키고 모델 출력 분포의 변화를 관찰함으로써, 해당 스팬이 출력에 미치는 영향력을 측정합니다.

• 낮은 흐름 (Low Flow): 스팬의 임베딩을 섭동시켜도 출력 분포가 거의 변하지 않는다면, 해당 스팬은 정보 흐름을 거의 운반하지 않는 것입니다.
• 높은 흐름 (High Flow): 작은 섭동이 출력 분포의 유의미한 변화를 일으킨다면, 해당 스팬은 높은 흐름을 운반하는 것입니다.

이론적 정식화

GIF는 이러한 직관을 입력 스팬의 무작위 섭동과 관찰된 다음 토큰 출력 사이의 **샤논 상호 정보량(Shannon mutual information)**으로 정식화합니다.

1. 국소적 정규성 (Local Regularity): 이 프레임워크는 기본 프롬프트 주변의 작은 섭동에 대해 LLM의 동작이 1차 테일러 전개(Jacobian)로 근사될 수 있다고 가정합니다.
2. 가우시안 대리 채널 (Gaussian Surrogate): 고차원 자기회귀 모델에 대한 정확한 상호 정보량을 계산하는 것은 불가능하므로, GIF는 국소 가우시안 대리 채널을 구축합니다. 이 채널은 실제 LLM 채널의 국소 KL 기하학(Kullback-Leibler geometry)과 일치하도록 설계되었습니다.
3. 용량으로서의 척도 (Capacity as Measure): GIF의 운용 척도는 다음과 같이 정의되는 대리 채널의 **용량(capacity)**입니다:
   $$\text{Cap}_T(\tau; x) = \frac{1}{2} \log \det(I + \tau M_T(x))$$
   여기서 $M_T(x)$는 "피셔 풀백(Fisher pullback)" 행렬로, 모델의 Jacobian과 소프트맥스 피셔 정보 행렬을 통해 입력 스팬으로 전달된 출력 기하학을 나타냅니다.
4. 영향력 프록시 (Influence Proxy): 계산 효율성을 위해 저자들은 용량의 선형 상한선이자 더 저렴한 프록시로서 $M_T(x)$의 트레이스(trace)(이하 $\text{Inf}_T(x)$로 표기)를 활용합니다.

구현 및 확장성

전체 Jacobian을 계산하는 것은 비용이 너무 많이 듭니다. GIF는 **무작위 트레이스 추정(Hutch++)**을 사용하여 영향력 점수를 추정합니다.

• 전체 Jacobian을 직접 생성하는 대신, 시스템은 벡터-자코비안 곱(VJP)을 통해 피셔 풀백 행렬의 트레이스를 추정하기 위해 소수의 무작위 프로브 벡터를 사용합니다.
• 이를 통해 계산 비용을 소수의 백워드 패스(backward pass) 수준으로 줄여, 대규모 오픈 웨이트 모델에서도 확장 가능하게 만듭니다.

건전성 (Soundness)

저자들은 GIF가 **국소적으로 건전함(locally sound)**을 입증하는 완전 자동화된 Lean 4 증명을 제공합니다. 완만한 정규성 가정 하에서, GIF 점수(용량)는 프롬프트에 의해 유도된 실제 정보 흐름을 점근적으로 상한하는 값을 가집니다. 이는 GIF가 유출을 과소 산정하지 않음을 보장하며, 보안 인증에 적합한 보수적인 보증을 제공합니다.

3. 주요 기여

1. 기하학적 정보 흐름 프레임워크: 모델 출력에 대한 스팬 임베딩 섭동으로부터 유도된 국소 상호 정보량 척도로서의 GIF 정의 및 모델의 Jacobian 기하학에 기반한 체계 구축.
2. 자동화된 건전성 증명: GIF가 진정한 대리 상호 정보량임을 입증하고 국소적 건전성(정보 흐름을 과소 산정하지 않음)을 만족함을 보여주는 Lean 4를 이용한 형식 검증.
3. 확장 가능한 추정기: 대규모 모델에서 전체 Jacobian을 형성하지 않고도 Hutch++ 트레이스 추정과 저계수 근사(low-rank approximation)를 사용하여 GIF를 계산할 수 있는 실용적인 구현.
4. 실험적 평가: 세 가지 벤치마크(AgentDojo, MSB, AgentDAM)와 6개의 모델에 대한 포괄적인 평가를 통해 무결성 및 기밀성 위반을 탐지하는 GIF의 효과 입증.

4. 실험 결과

저자들은 RTBAS(어텐션 기반 속성), GIF-(그래디언트 기반 속성), 그리고 LLM-as-a-judge(GPT-5.5 xhigh)를 포함한 베이스라인들과 GIF를 비교 평가했습니다.

• 탐지 성능: GIF는 다운스트림 디클래시파이어(declassifier)를 필요로 하지 않고도 정책 위반에 대해 거의 완벽한 재현율(recall rate)을 달래냈습니다. 또한 모든 데이터셋에서 어텐션 기반 휴리스틱(RTBAS) 및 그래디언트 기반 베이스라인(GIF-)보다 일관되게 우수한 성능을 보였습니다.
• LLM 판사 대비 비용 효율성: 경량 LLM 디클래시파이어를 가이드하는 데 사용되었을 때, GIF는 직접적인 "LLM-as-judge" 베이스라인(예: GPT-5.5 xhigh)의 F1/F2 점수와 대등하거나 이를 능가하면서도 토큰 추론 비용을 최대 81배까지 절감했습니다.
• 전이 가능성 (Transferability): 작은 대리 모델(예: 0.6B 모델)을 사용하여 추정한 흐름이 훨씬 더 큰 타겟 모델(예: 200배 더 큰 120B 모델) 및 다른 모델 제품군으로 효과적으로 전이되었습니다. 이는 그래디언트 접근이 제한된 블랙박스 배포 환경에서도 적용 가능함을 시사합니다.
• 정밀도 (Precision): 사례 연구에서 GIF는 부분 성공 공격(에이전트가 인젝션을 부분적으로 수행한 경우)에서 악의적인 흐름을 성공적으로 식별했으며, 출력에 영향을 주지 않은 개인 데이터에 대해서는 '제로 흐름(zero flow)'을 정확히 인증하여 어텐션 기반 방식에서 흔히 발생하는 오염 문제를 피했습니다.

5. 의의 및 주장

본 논문은 GIF가 현대적인 에이전트 시스템을 위한 확장 가능한 IFC의 실질적인 토대를 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 원칙적인 의미론: 휴리스틱 방법과 달리, GIF는 형식적인 의미론(국소 상호 정보량)에 기반하며 건전성 보증을 갖추고 있습니다.
• 세밀한 입도 (Granularity): 단순한 "신뢰/신뢰할 수 없음" 레이블을 넘어, 특정 다운스트립 작업에 큰 영향을 미치는 구체적인 입력 영역을 식별함으로써 정밀한 정책 집행을 가능하게 합니다.
• 확장성: 기하학적 근사와 트레이스 추정을 활용함으로써, 대규모 LLM에 대한 엄격한 정보 흐름 분석을 현실적인 규모로 구현합니다.
• 블랙박스 잠재력: 작은 대리 모델을 사용하여 더 큰 모델의 흐름을 추정하는 능력은 타겟 모델의 내부 구조를 완전히 알 수 없는 상황에서도 이러한 방어 기법을 배포할 수 있는 길을 열어줍니다.

저자들은 결론적으로 GIF가 자기회귀 모델의 불투명한 계산 과정 내에서 신뢰할 수 없는 입력, 개인적인 컨텍스트, 그리고 권한이 부여된 작업을 격리하기 위한 "누락된 추상화(missing abstraction)"를 제공하며, 이를 통해 보안과 유용성을 모두 보존하는 에이전트 시스템을 가능하게 한다고 밝히고 있습니다.