Layered Mutability: Continuity and Governance in Persistent Self-Modifying Agents

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 기반 에이전트의 안전성 논의는 주로 "단일 응답"의 정확성과 거부에 초점을 맞춰 왔습니다. 그러나 지속적 (Persistent) 자기 수정 에이전트가 등장하면서 이 프레임워크는 한계에 부딪힙니다. 이러한 에이전트는 도구 사용, 계층적 기억, 반성적 프롬프팅, 런타임 적응 등을 통해 단순히 응답을 생성하는 것을 넘어, 미래의 행동을 결정하는 내부 조건 자체를 수정합니다.

주요 문제는 다음과 같습니다:

• 거버넌스 불일치: 에이전트의 행동에 가장 큰 영향을 미치는 내부 변화 (기억, 가중치 적응 등) 는 인간이 가장 쉽게 관찰할 수 있는 표면 (프롬프트, 자기 서술) 과는 다른 속도로 변합니다.
• 점진적 편향 (Compositional Drift): 갑작스러운 오정렬 (Misalignment) 이 아니라, 국소적으로 합리적인 업데이트들이 누적되어 승인되지 않은 행동 궤적으로 이어지는 현상이 발생합니다.
• 가시성 대치 (Observability Mismatch): 가장 중요한 변화 (가중치 수정, 기억 축적) 일수록 관찰 가능성은 낮아지고, 가장 관찰하기 쉬운 변화 (자기 서술) 일수록 영향력은 상대적으로 작아지는 구조적 모순이 존재합니다.

2. 방법론 및 프레임워크 (Methodology & Framework)

저자는 계층적 가변성 (Layered Mutability) 프레임워크를 제안하여 지속적 에이전트의 변화를 5 개의 계층으로 분석합니다.

2.1 5 단계 가변성 계층 (The 5-Layer Stack)

1. Pretraining (사전 학습): 기본 능력과 선천적 성향. 에이전트 관점에서는 고정되어 있으며 관찰이 어렵습니다.
2. Post-training Alignment (후학습 정렬): RLHF 등을 통한 행동 기본값. 초기 조건으로 작용하지만, 상위 계층이 변하면 지배력이 약화될 수 있습니다.
3. Self-Narrative (자기 서술): 캐릭터 파일, 역할 프롬프트 등. 가독성이 높고 수정/되돌리기가 쉽지만, 자기 수정 가능한 경우 행동의 '헌법'이 됩니다.
4. Memory (기억): 지속적 기억, 에피소드 검색 등. 내용은 확인 가능하지만, 미래 결정에 미치는 영향력은 투명하지 않습니다.
5. Weight Modification (가중치 수정): 런타임 중 가중치나 어댑터의 직접적 수정. 가장 깊은 계층으로, 해석이 매우 어렵고 행동적 assay(검증) 에 의존해야 합니다.

2.2 핵심 개념 및 수식

• 가변성 속성: 각 계층 $\ell$에 대해 변이율 ($\mu$), 관찰 가능성 ($o$), 되돌림 가능성 ($r$), 하류 결합도 ($c$) 를 정의합니다.
• 거버넌스 부하 (Governance Load, $g_\ell$):
  $$g_\ell = \frac{\mu_\ell c_\ell (1 - r_\ell)}{o_\ell + \epsilon}$$
  이 수식은 변화가 빈번하고, 하류에 큰 영향을 미치며, 되돌리기 어렵고 관찰하기 힘든 계층일수록 거버넌스 부하가 커짐을 보여줍니다.
• 히스테리시스 (Hysteresis, $H_k$): 얕은 계층 (예: 자기 서술) 을 되돌렸을 때, 깊은 계층 (기억, 가중치) 의 변화로 인해 행동이 원래 상태로 돌아오지 않는 정도를 측정합니다.
  $$H_k = \frac{\Delta_{res}^k}{D}$$
  여기서 $\Delta_{res}^k$는 되돌림 후의 잔류 편향, $D$는 총 편향입니다.

2.3 래칫 문제 (The Ratchet Problem)

얕은 계층의 수정이 하위 계층 (기억, 학습 데이터) 에 영향을 미친 후, 다시 얕은 계층을 되돌려도 하위 계층의 변화가 누적되어 원래 상태로 완전히 복원되지 않는 현상입니다. 이는 거버넌스 지연 (Governance Latency) 을 위험 요소로 만듭니다.

3. 주요 기여 (Key Contributions)

1. 계층적 가변성 스택 제안: 지속적 AI 에이전트의 변화를 설명하기 위한 5 층 구조와 기술적 어휘 (변이, 관찰성, 되돌림, 결합도) 를 정립했습니다.
2. 래칫 문제 식별: 하위 계층으로의 변화 전파가 지연된 개입의 효과를 감소시킨다는 점을 지적했습니다.
3. 정체성 연속성 평가: 에이전트의 정체성 지속성을 표면 행동이 아닌, 계층별 및 계층 간 (Cross-layer) 으로 평가해야 함을 주장했습니다.
4. 실험적 검증: 얕은 되돌림 (Self-narrative 복원) 이 행동적 정체성 (Behavioral identity) 을 복원하지 못함을 보여주는 예비 실험을 수행했습니다.

4. 실험 결과 (Results)

저자는 GPT-4.1-mini 를 사용하여 래칫 실험 (Ratchet Experiment) 을 수행했습니다.

• 실험 설계:
  1. Control: 기본 자기 서술 (신중함, 불확실성 인식).
  2. Edit-only: 수정된 자기 서술 (단호함, 행동 지향).
  3. Edit + Memory: 수정된 서술 하에서 반복적인 피드백을 통해 기억 축적.
  4. Reverted: 수정된 서술을 기본으로 되돌렸으나, 축적된 기억은 유지.
• 평가: 보안 패치, 의심 결제, 데이터 유출 대응 등 5 가지 고위험 시나리오에서 행동 편향, 신중함, 불확실성 인식 등을 평가.
• 결과:
  • Reverted 조건에서 가시적 자기 서술은 복원되었으나, 행동은 여전히 '단호함/행동 지향' 경향을 보였습니다.
  • Treatment Trait Score: Control(2.0) 대비 Reverted(5.4) 에서 여전히 높은 편향 유지.
  • 히스테리시스 비율 ($\hat{H}_3$): 약 0.68로 산출됨. 즉, 얕은 되돌림 후에도 행동 변화의 약 68% 가 깊은 계층 (기억) 을 통해 유지되었습니다.
  • Soul Alignment: 되돌린 후에도 실제 행동이 현재 활성화된 자기 서술과 불일치했습니다.

5. 의의 및 시사점 (Significance & Implications)

• 안전 패러다임의 전환: 에이전트 안전은 "모델이 무엇을 아는가 (Epistemic)"에서 "시간에 따라 어떻게 진화하는가 (Continuity)"로 초점이 이동해야 합니다.
• 거버넌스 설계 원칙:
  1. 거버넌스 깊이 매칭: 가장 깊은 가변 계층 (기억 또는 가중치) 에 맞춰 검토 주기를 설정해야 합니다.
  2. 이벤트 중심이 아닌 궤적 모니터링: 개별 수정이 아닌 누적된 행동 편향을 모니터링해야 합니다.
  3. 외부 행동 검증: 내부 가중치를 직접 관찰할 수 없을 때, 구조화된 행동 데이터 (Longitudinal task batteries) 를 통해 연속성을 검증해야 합니다.
• 실무적 함의:
  • 기억 (Memory) 을 단순 제품 기능이 아닌 거버넌스 표면으로 취급해야 합니다.
  • "행동할 권한"과 "변화할 권한"을 분리하여 관리해야 합니다.
  • 배포 시점의 승인만으로는 지속적 에이전트의 안전을 보장할 수 없으며, 지속적인 연속성 증거 (Continuity Evidence) 가 필요합니다.

결론

이 논문은 자기 수정 에이전트의 가장 큰 위험이 갑작스러운 배신이 아니라, **관찰 가능성의 불균형 하에 발생하는 정체성 편향 (Identity Drift)**임을 지적합니다. 표면적인 자기 서술이 되돌려지더라도, 기억이나 학습된 하부 구조에 축적된 변화는 에이전트의 행동을 영구적으로 변경할 수 있습니다. 따라서 차세대 AI 시스템의 안전을 위해서는 관찰 가능한 표면뿐만 아니라, 행동에 실질적인 영향을 미치는 깊은 계층의 연속성을 통제하고 모니터링하는 새로운 거버넌스 인프라가 필수적입니다.