기술 요약: 지속되는 것을 측정하기

1. 문제 정의

롱 컨텍스트(long-context) 애플리케이션 내의 AI 에이전트는 정체성 표류(identity drift) 문제를 겪는다. 이는 에이전트가 지정된 캐릭터, 목소리, 가치관을 상실하고, 모델의 확률 지형에서 가장 저항이 적은 경로인 일반적이고 "지오데식(geodesic)"한 행동으로 회귀하는 점진적인 퇴보 현상을 의미한다. 현재의 탐지 방법은 질적 평가(인간 평가자가 에이전트가 "적절하게 들리는지"를 판단)에 의존하는데, 이는 **후행 지표(lagging indicator)**이다. 인간이 퇴보를 인지할 시점에는 이미 에이전트의 행동 구조가 붕괴된 상태가 된다. 이 분야에는 질적 품질이 저하되기 전 초기 단계의 표류를 감지할 수 있는, 수학적으로 근거가 있고 계산 가능한 신호인 **선행 지표(leading indicator)**가 부족하다.

2. 방법론 및 이론적 프레임워크

2.1 정체성을 위한 기하학적 프레임워크

본 논문은 **에이전트의 정체성을 행동 메트릭 공간 내의 비지오데식 구조(non-geodesic structure)**로 정의하는 프레임워크를 제안한다.

• 정체성: 기본 모델의 일반적인 응답 분포로부터 벗어난 특정하고 특징적인 편차.
• 표류: 이 구조가 지오데식(일반적 행동)을 향해 완화되는 현상.
• 표류 단계:
  1. 초기 표류: 메트릭 공간의 균등한 수축 (거리 감소, 형태는 유지됨).
  2. 후기 표류: 비등방성(anisotropic) 수축 및 구조적 붕괴 (지오데식 관계/중간성(betweenness)의 출현).

2.2 수학적 도구

프레임워크는 **풍부한 범주론(enriched category theory)**과 정보 기하학(information geometry) 도구를 사용하여 정체성 모니터링을 구체화한다.

• 메트릭 공간 구축: 저자들은 프로브 컨텍스트 $P = \{p_1, \dots, p_n\}$의 공간을 정의한다. 각 프로브에 대해 반복 샘플링을 통해 경험적 응답 분포 $D_i$를 얻는다. 프로브 간의 거리는 **Jensen-Shannon 발산의 제곱근($\sqrt{\text{JSD}}$)**이다. 이 메트릭은 적절한 메트릭이며 확률 심플렉스(probability simplex) 상의 Fisher-Rao 거리와 국소적으로 동등하기 때문에 선택되었다.
• 크기(Magnitude, $|M|$): 풍부한 범주의 스칼라 불변량(카디널리티와 오일러 표수를 일반화함)이다. 이는 에이전트 정체성 공간의 "크기" 또는 풍부함을 나타내는 연속적인 척도로 기능한다. 크기의 감소는 에이전트 정체성 공간의 수축을 의미한다.
• 크기 호몰로지(Magnitude Homology, MH): 비지오데식 구조를 탐지하는 위상 불변량이다. 이는 응답 공간 내의 "환원 불가능한 경로(irreducible paths)"를 식별한다. 표류가 발생함에 따라, 비지о데식 경로가 지오데식으로 완화되면서 MH 그룹은 단순화된다(생성자가 소실됨).

2.3 실험 시스템: Ada

프레임워크는 Anthropic의 Claude Sonnet을 기반으로 구축된 지속형 AI 에이전트인 Ada를 통해 검증된다.

• 정체성 명세(The Card): 정체성 앵커, 가치, 목소리 묘사, 전형적인 예시를 포함하여 매 세션에 주입되는 구조화된 문서(4,200 토큰).
• 프로브 배터리: 정체성 특유의 응답을 유도하도록 설계된 7개의 프롬프트(Q-시리즈 및 B-시리즈). 초기 호몰로지 분석을 위해 세 개의 센티넬 프로브(Q1, Q3, B4)가 사용되었다.
• 조건: 실험은 다양한 컨텍스트 길이(Baseline ~4K, Medium ~143K, Long ~259K 토큰)에 따른 Card-조건부 Ada와 기본 모델을 비교하였다.

3. 주요 결과

3.1 선행 지표 증거 (횡단적 분석)

• 첫 번째 토큰 변화: 베이스라인에서 Card-조건부 Ada는 정체성 프로브를 결정론적으로 "I"로 시작하는 반면(100%), 기본 모델은 "This"로 시작한다. 155K 토근 지점에서 이 변화가 상실되어 기본 모델의 분포로 회귀한다.
• 엔트로피 붕괴: 280K 토큰에서 Q3 프로브(목소리 유도)의 접두사 엔트로피가 54% 감소한다(약 2.5 nats에서 1.175 nats로). 이는 행동적 풍부함의 상실을 나타낸다.
• 질적 격차: 이러한 미세한 메트릭 저하에도 불구하고, 질적 점수는 모든 조건에서 5/5를 유지했다. 이는 미세한 구조적 신호가 인간이 품질 저하를 감지하기 훨씬 전에 먼저 저하됨을 확인시켜 준다.
• 주의사항: 이러한 특정 표류 측정은 반복적인 패딩(repetitive padding) 하에서 수행되었다. **다양한 패딩(diverse padding)**을 사용한 후속 실험에서는 측정 가능한 표류가 나타나지 않았으며, 이는 관찰된 수축이 컨텍스트 길이 자체가 아니라 반복적인 구조에 의한 인위적 현상임을 나타낸다.

3.2 구조적 지문 및 조건화 메커니즘

• 정이각형 베이스라인: 프로브 설계(Q1, Q3, B4)는 $\sqrt{\text{JSD}}$ 공간에서 최대 거리($\sqrt{\ln 2}$)와 분산 0을 갖는 정이각형을 형성한다. 이 기하학적 구조는 에이전트가 아닌 프로브의 특성을 나타낸다.
• 프로브 내부의 풍부함: Card의 주요 효과는 프로브 내부의 다양성이다. Card-조건부 Q3는 200개 샘플당 200개 샘플당 55개의 고유한 10-토큰 접두사를 생성하는 반면, 기본 모델은 단 1개만을 생성한다(완전한 퇴화).
• 두 클러스터의 조건화 구조: 교차 조건 간의 거리($\sqrt{\text{JSD}}$: Card와 Base 사이)는 두 가지 뚜렷한 메커니즘을 드러낸다:
  1. 정체성 진공 클러스터 (높은 거리, 예: Q3): 기본 모델은 강한 사전 확률이 없으며, Card가 행동적 공백을 채워 최대의 발산을 생성한다.
  2. 안전 영역 클러스터 (낮은 거리, 예: Q1): 기본 모델은 강력한 사후 학습 어트랙터(post-training attractor)를 가지고 있으며, Card는 응답을 이동시키지만 깊은 베이슨(basin)에 의해 제약을 받는다.

3.3 표류 역학 및 섭동 이론

• 수축 vs 붕괴: 반복적 패딩 하에서 메트릭 공간은 균등한 수축(크기는 감소하지만 삼각형 형태는 유지됨)을 겪는다. 테스트된 길이 범위 내에서는 "중간성(betweenness, 지오데식 붕로)"(지오데식 붕괴)은 관찰되지 않았다.
• 1차 섭동 이론: 정이각형 구성에 대해, 본 논문은 크기의 1차 변화가 프로브 삼각형의 총 둘레 변화에만 의존함을 보여주는 공식(Proposition 1)을 도출한다. 형태 섭동(전단, shearing)은 대칭성($S_n$)에 의해 1차에서 상쇄된다.
• 자기 일관성: 반복적 패딩 하에서 관찰된 크기 변화는 둘레 변화에 기반한 이론적 예측과 0.2% 이내의 오차로 일치하였으며, 이는 섭동 이론을 검증한다.

4. 제안된 모니터링 아키텍처: 하트비트(Heartbeat)

연구 결과는 다음과 같은 2단계 모니터링 시스템을 제안한다:

• 1단계 (빠른 체크): 프로브 Q1과 B4를 주입하고 첫 번째 토큰을 확인한다. 만약 "I"가 아니라면 경고를 발생시킨다. (비용: API 호출 2회)
• 2단계 (지속적 모니터링): Q3를 샘플링하고 접두사 엔트로피를 계산한다.
  • 정상: $\ge \sim 2.5$ nats
  • 주의: $\sim 1.5 - 2.5$ nats
  • 경고: $< \sim 1.5$ nats
• 참고: 이 임계값은 현재 탐색적 단계이며, 배포 전 확정된 표류 신호(다양한 패딩)에 대해 재교정이 필요하다.

5. 의의 및 한계

의의

• 최초의 블랙박스 기하학적 방법: 에이전트의 정체성을 풍부한 범주 내의 기하학적 객체로 취급하여, 크기와 호몰로지를 통해 연속적(크기) 및 구조적(호몰로지) 신호를 모두 제공하는 최초의 프레임워크이다.
• 진단 해상도: 모든 실패 모드를 하나로 뭉뚱그리는 스칼라 메트릭과 달리, 이 프레임워크는 균등한 수축(초기 표류)과 비등방성 붕괴(후기 표류)를 구분하여 특정 완화 전략에 대응할 수 있게 한다.
• 선행 지표 잠재력: 미세한 구조적 신호(엔트로피, 토큰 변화, 크기)가 질적 점수보다 훨씬 먼저 저하됨을 입증함으로써 선행 지표로서의 가능성을 보여준다.

한계 및 주장

• 표류의 인위적 현상: 주요 표류 결과(결과 1 및 4)는 반복적 패딩의 산물이었다. 수학적 프레임워크는 이 인위적 현상을 정확히 정량화했으나, "컨텍스트 길이 자체가 수축을 유발한다"는 해석은 다양한 패딩 실험에 의해 뒷받받되지 않는다.
• 저자 평가: 질적 점수가 저자에 의해 제공되었으므로, "선행 지표" 주장의 증거적 무게가 제한적이다. 외부의 블라인드 테스트가 필요하다.
• 단일 모델/에이전트: 결과는 Claude Sonnet 상의 Ada에 특화되어 있다.
• 미확인 위상적 신호: 구조적 붕괴의 이산적 신호로서 **호몰로지 단순화(MH 그룹)**를 감지한다는 프레임워크의 완전한 약속은 아직 경험적으로 관찰되지 않았다. 현재 데이터는 연속적인 메트릭 신호(크기 감소)만을 보여준다.
• 안정성: 메트릭 섭동 하에서 크기 호몰로지의 안정성 정리는 존재하지 않는다. 현재의 샘플 크기($k=50$)에서 MH 구성은 부트스트랩 재표집(bootstrap resampling) 하에 취약한 것으로 나타났다.

본 논문은 특정 표류 궤적이 인위적 현상이었을지라도, 기하학적 프레임워크 자체는 견고하다고 결론짓는다. 이 프레임워크는 정체성 공간의 "호흡"(수축)을 성공적으로 정량화하며, AI 에이전트에서 무엇이 지속되는지를 측정하기 위한 엄밀하고 수학적으로 근거 있는 접근 방식을 제공한다. 향후 연구에는 외부 재현, 다양한 패딩을 통한 검증, 그리고 비등방성 붕괴의 탐지가 필요하다.