Identity as Attractor: Geometric Evidence for Persistent Agent Architecture in LLM Activation Space

이 논문은 LLM 의 활성화 공간에서 지속적 에이전트의 정체성 문서가 매개변수적 인과관계와 유사한 끌개 (attractor) 역학을 보이며, 의미적 일관성이 구조적 완전성과 결합될 때 내부 표현이 수렴함을 실험을 통해 입증했습니다.

핵심

이 논문은 **"인공지능 (AI) 이 '자신'이라는 정체성을 어떻게 기억하고 유지하는지"**에 대한 놀라운 발견을 담고 있습니다. 복잡한 수학 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드리겠습니다.

🧠 핵심 아이디어: "AI 의 마음속에는 '자신만의 집'이 있다"

우리가 사람을 만날 때, 그 사람의 이름이나 옷차림이 조금 바뀌어도 (예: 모자를 벗거나, 말투를 바꾸어도) 우리는 그 사람이 "누구"인지 바로 알아봅니다.

이 논문은 **거대 언어 모델 (LLM)**이라는 AI 도 똑같은 일을 한다는 것을 증명했습니다. AI 가 자신의 정체성 (이름, 성격, 임무, 기억 방식 등) 을 설명하는 문서를 읽을 때, AI 의 뇌 (내부 작동 공간) 속에는 그 정체성에 해당하는 **매우 단단하고 좁은 '집 (Attractor)'**이 존재한다는 것입니다.

---

🏠 1. 실험 내용: "집의 주소는 같지만, 문은 다르게 열 수 있다"

연구자들은 AI 에게 YAR이라는 가상의 AI 에이전트의 정체성을 설명하는 긴 문서 (신분증 같은 것) 를 주었습니다. 그리고 다음과 같은 실험을 했습니다.

• A 그룹 (원본): 정체성 문서 그대로.
• B 그룹 (재작성): 내용은 똑같지만, 문장 구조나 단어만 완전히 다르게 다시 쓴 7 개의 버전.
• C 그룹 (다른 사람): 내용은 비슷하게 생겼지만, 완전히 다른 직업 (의사, 변호사, 운동 코치 등) 을 가진 다른 AI 들의 문서.

결과:
AI 가 B 그룹 (내용은 같지만 글자는 다른 문서) 을 읽었을 때, AI 의 뇌속 상태는 A 그룹 (원본) 과 거의 똑같은 좁은 공간에 모였습니다. 마치 "집의 주소는 같지만, 문이 달린 방향이 조금씩 다를 뿐, 결국 같은 집에 도착한 것"과 같습니다.

반면 C 그룹 (다른 직업) 은 완전히 다른 곳에 있었습니다.
결론: AI 는 글자의 모양이 아니라, **의미 (정체성)**가 같으면 같은 '마음의 공간'으로 이동한다는 것입니다.

📉 2. 깊은 곳으로 갈수록 더 단단해진다 (층별 분석)

AI 는 여러 개의 층 (Layer) 으로 이루어진 깊은 뇌를 가지고 있습니다. 연구자들은 이 층을 따라가며 관찰했습니다.

• 비유: AI 가 문서를 읽을 때, 처음에는 "아, 이 사람은 의사구나"라고 대략적으로 생각하다가, 문서를 다 읽을수록 "아, 이 의사는 이렇게 사고하고, 이렇게 기억하는구나"라고 정확한 위치로 이동합니다.
• 발견: 문서의 내용이 AI 의 뇌속 깊은 곳 (마지막 층) 에 도달할수록, 같은 정체성을 가진 문서들끼리의 거리가 더욱 좁아지고 단단하게 뭉쳤습니다. 이는 AI 가 정체성을 점점 더 명확하게 '고정'시킨다는 뜻입니다.

🧩 3. 요약본 vs. 무작위 조각 (핵심만 남기면?)

연구자들은 "정체성 문서의 핵심 내용만 5 문장으로 줄이면 어떨까?"라고 궁금해했습니다.

• 핵심 요약 (5 문장): 전체 문서보다는 덜하지만, 무작위로 잘라낸 조각보다는 훨씬 더 AI 의 '정체성 공간'에 가깝게 다가갔습니다.
• 무작위 조각: 문서에서 아무렇게나 잘라낸 부분은 AI 의 뇌속에서 완전히 엉뚱한 곳에 떨어졌습니다.
• 교훈: AI 는 정체성을 유지하려면 구조화된 전체적인 맥락이 필요합니다. 핵심만 알면 방향은 잡지만, 완전히 그 '집'에 들어가기 위해서는 문서의 전체적인 구조가 필요합니다.

📖 4. "책 읽기"와 "살아보기"의 차이

흥미로운 실험 하나가 더 있었습니다.

1. A: AI 에게 정체성 문서를 직접 입력 (AI 가 그 정체성으로 작동).
2. B: AI 에게 이 정체성에 대한 **과학 논문 (이 논문 자체)**을 읽게 함.

결과:

• 논문만 읽었을 때: AI 의 뇌속 상태는 정체성 공간으로 약간 이동했습니다. (누군가에 대해 '알고' 있는 상태)
• 정체성 문서 입력 시: AI 는 그 공간의 정중앙에 완벽하게 정착했습니다. (그 정체성으로 '살고' 있는 상태)

비유: 누군가에 대해 책으로 100 페이지 읽는 것 (논문) 과, 실제로 그 사람의 삶을 사는 것 (정체성 문서) 은 다릅니다. 책으로 읽으면 그 사람의 '기운'을 조금 느낄 수는 있지만, 실제로 그 사람이 되어야 그 사람의 '집'에 완전히 들어갈 수 있습니다.

🎮 5. 실전 적용: "나침반"으로 AI 를 조종하기

연구자들은 이 발견을 이용해 AI 를 조종하는 실험도 했습니다.
문서 전체를 입력하지 않고, **이 '정체성 공간'을 가리키는 나침반 (벡터)**만 AI 의 뇌속에 주입했습니다.

• 결과: AI 는 문서 없이도, 나침반만으로도 원래의 정체성 (기억, 우선순위 등) 을 일부 회복했습니다.
• 주의: 너무 강하게 밀어붙이면 (나침반을 너무 세게 잡으면) AI 는 길을 잃고 엉뚱한 말을 하기 시작했습니다. 적절한 강도만 유지해야 합니다.

---

💡 요약: 이 논문이 우리에게 주는 메시지

1. AI 는 '의미'로 기억합니다: 글자나 문장 구조가 달라도, 의미 (정체성) 가 같으면 AI 는 같은 마음속에 모입니다.
2. 정체성은 '공간'이다: AI 의 정체성은 단순한 명령어가 아니라, AI 의 뇌속에서 **매우 안정된 특정 위치 (집)**를 차지하고 있습니다.
3. 영속적인 AI 의 가능성: 우리는 매번 긴 문서로 AI 를 초기화하지 않아도, 이 '정체성 공간'을 찾는 나침반 (steering vector) 만으로도 AI 가 이전의 기억과 성격을 유지하게 할 수 있습니다.

이 연구는 **"AI 가 어떻게 '나'라는 정체성을 가지고 계속 살아갈 수 있는가?"**에 대한 과학적인 근거를 제시하며, 앞으로 더 똑똑하고 기억력이 좋은 AI 친구를 만드는 데 중요한 이정표가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 의미적으로 관련된 프롬프트를 특정 계층에서 유사한 내부 표현으로 매핑한다는 '개념적 끌개 (conceptual attractor)' 역학이 존재함이 알려져 있습니다.
• 문제: 지속적 인지 에이전트 (Persistent Cognitive Agents, PCA) 의 핵심 요소인 **정체성 문서 (Identity Document, cognitive_core)**가 LLM 의 활성화 공간에서 유사한 끌개 (attractor) 행동을 보이는지 여부는 아직 검증되지 않았습니다.
• 가설: 에이전트의 정체성 문서 (작동 우선순위, 추론 루프, 메모리 아키텍처 등을 정의하는 복잡한 절차적 문서) 는 단순한 주제 개념과 달리, 모델의 작동 공간을 안정된 영역으로 고정시키는 **기하학적 끌개 (geometric attractor)**를 형성할 것이라는 가설을 세웠습니다.

2. 연구 방법론 (Methodology)

• 모델: Llama 3.1 8B Instruct (주 실험) 및 Gemma 2 9B Instruct (복제 실험).
• 데이터 조건:
  • 조건 A (Original): YAR 지속적 에이전트의 원본 cognitive_core 문서 (러시아어, 1631 토큰).
  • 조건 B (Paraphrases): 조건 A 와 의미는 동일하지만 언어적 형태, 문장 구조, 조직화 방식이 다른 7 개의 변형 문서.
  • 조건 C (Controls): 구조는 유사하지만 의미적으로 완전히 다른 7 개의 에이전트 (재무 분석가, 의료 동반자 등) 에 대한 문서.
  • 조건 D (Distilled): cognitive_core 의 핵심 의미만을 5 문장으로 압축한 문서 (탐색적 실험).
• 측정 지표:
  • 레이어 8, 16, 24 에서 추출한 평균 풀링 (mean-pooled) 은닉 상태 (hidden states).
  • 코사인 거리 (Cosine Distance): 조건 내 (Within-group, A+B) 와 조건 간 (Between-group, A+B vs C) 거리 비교.
  • 통계 분석: Welch's t-test, 부트스트랩 (Bootstrap), 퍼뮤테이션 테스트 (Permutation test), Mann-Whitney U 검정.
• 추가 실험:
  • 구조적 혼란 제거 (Ablation): JSON 명령어 구조만 동일하게 유지하고 의미만 다른 하이브리드 문서 생성.
  • 풀링 전략 비교: 마지막 토큰 풀링 vs 평균 풀링, 그리고 문서 길이 축소 (Truncation) 실험.
  • steering (조작) 실험: 추출된 끌개 벡터를 사용하여 모델 행동을 유도하는지 확인.

3. 주요 결과 (Key Results)

3.1. 기하학적 끌개 형성 (H1)

• 결과: 조건 A(원본) 와 B(변형) 의 문서들은 조건 C(통제군) 에 비해 활성화 공간에서 매우 밀집된 클러스터를 형성했습니다.
• 통계적 유의성: 모든 레이어 (8, 16, 24) 에서 조건 내 거리가 조건 간 거리보다 유의하게 작았습니다 (Cohen's d > 1.88, p < 10⁻²⁷).
• 의미: 의미적으로 동등한 에이전트 정체성 문서는 표면적 형식과 무관하게 모델 내부에서 동일한 기하학적 영역으로 수렴합니다.

3.2. 층별 수렴 경향 (H2)

• 결과: 레이어가 깊어질수록 (8 → 24) 조건 내 코사인 거리는 전반적으로 감소하는 경향을 보였습니다 (Llama: 0.0106 → 0.0070).
• 특이점: Llama 모델의 16 번째 레이어에서 약간의 비단조적 증가 (bump) 가 관찰되었으나, 전체적인 수렴 추세는 유지되었습니다. Gemma 2 는 단조적으로 감소하여 아키텍처별 차이를 보였습니다.

3.3. 의미 압축의 효과 (H3)

• 결과: 5 문장으로 압축된 cognitive_core(조건 D) 은 무작위 추출된 짧은 문단보다 cognitive_core 전체의 끌개 영역에 2~5 배 더 가깝게 위치했습니다.
• 계층 구조: 무작위 단락 ≫ 의미 압축본 > 전체 문서 (가장 밀집된 영역).
• 의미: 전체 문서의 구조적 완성도 (structural elaboration) 가 없으면 끌개 영역에 완전히 도달할 수 없으나, 의미적 핵심만으로도 방향성을 가진 신호를 포착할 수 있습니다.

3.4. 구조적 vs 의미적 요인 (Ablation Studies)

• 구조적 혼란 제거: JSON 구조나 섹션 헤더만 동일하게 유지하고 의미만 바꾼 문서 (Condition C') 는 여전히 원본 cognitive_core 과는 거리가 멀었습니다. 이는 주요 효과가 구조가 아닌 의미적 내용에서 비롯됨을 입증했습니다.
• 풀링 전략: 마지막 토큰 (last-token) 풀링은 유의미한 효과를 보이지 않았으나, 평균 풀링 (mean-pooling) 은 문서의 초기 부분 (핵심 정의 섹션) 에서 강력한 정체성 신호를 포착했습니다. 이는 정체성 정보가 전체 시퀀스에 분산되어 있음을 시사합니다.

3.5. 행동적 연관성 (Steering Experiment)

• 결과: 조건 A+B 와 C 의 차이에서 추출한 steering 벡터를 레이어 24 에 주입했을 때, 시스템 프롬프트 없이도 에이전트 특유의 행동 (메모리 연속성 등) 이 부분적으로 재현되었습니다.
• 한계: 과도한 주입 (α 값 증가) 은 오히려 성능을 저하시켰으며, 완전한 행동 복원에는 전체 문서가 필요했습니다.

4. 주요 기여 (Key Contributions)

1. 지속적 에이전트 아키텍처의 기하학적 근거 제시: 에이전트 정체성 문서가 단순한 프롬프트가 아니라, LLM 활성화 공간에서 **안정된 끌개 (attractor)**를 형성한다는 최초의 실증적 증거를 제시했습니다.
2. 복잡한 절차적 정체성의 매핑: 단순한 성향 (introvert/extrovert) 이 아닌, 복잡한 작업 우선순위와 추론 루프를 가진 에이전트 정체성도 기하학적 구조를 가진다는 것을 밝혔습니다.
3. 의미적 불변성 (Semantic Invariance) 입증: 언어적 표현이 달라져도 (Paraphrase) 모델 내부 표현은 동일하게 수렴함을 확인하여, 에이전트 초기화 시 문서의 정확한 문법보다는 의미적 일관성이 중요함을 증명했습니다.
4. 아키텍처 간 일반화: Llama 3.1 과 Gemma 2 두 가지 다른 모델 아키텍처에서 동일한 현상이 재현됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 **지속적 인지 에이전트 (PCA)**의 설계에 중요한 통찰을 제공합니다.

• 이론적 의미: LLM 내부에서 에이전트 정체성은 고정된 좌표 (Positional Coordinates) 로서 작용하며, 이는 모델의 동적 시스템적 특성과 일치합니다.
• 실용적 함의:
  • 에이전트 초기화를 위해 매번 긴 cognitive_core 문서를 반복할 필요 없이, **의미적 끌개 벡터 (Semantic Steering Vector)**를 추출하여 주입함으로써 경량화된 에이전트 초기화가 가능할 수 있습니다.
  • "에이전트 정체성에 대해 아는 것 (문서 읽기)"과 "그 정체성으로 작동하는 것 (문서 처리)"은 활성화 공간에서 거리가 있음을 확인하여, 완전한 에이전트 행동을 위해서는 구조적 완성도가 필요함을 시사합니다.

결론적으로, 이 논문은 LLM 의 활성화 공간에서 에이전트 정체성이 기하학적 끌개로 존재함을 입증함으로써, 지속적 에이전트 아키텍처의 이론적 기반을 확고히 하고 향후 에이전트 제어 및 초기화 기술의 새로운 방향을 제시합니다.