Governed Collaborative Memory as Artificial Selection in LLM-Based Multi-Agent Systems

본 논문은 LLM 기반 다중 에이전트 시스템에서 영구 기억을 선택하는 과제를"규제된 협력적 기억"으로 규정하고, 검색 정확도에만 의존하는 것이 아니라 인식적 품질, 출처 무결성, 그리고 추적 가능한 제도적 상태를 보장하기 위해 기억 거버넌스를 인공 선택 체제로 취급하는 설계 의제를 제안한다.

핵심

AI 어시스턴트 팀이 장기 프로젝트를 함께 수행한다고 상상해 보세요. 과거에는 이러한 AI 들이 한 번의 커피 대화만을 위해 만난 낯선 사람들처럼 행동했습니다. 그들은 대화를 나누고 조언을 제공한 후, 회의가 끝나면 모든 것을 잊어버렸습니다. 그들은 자신이 누구였는지 또는 무엇을 배웠는지에 대한 '기억'이 없었습니다.

하지만 이제 이러한 AI 들은 지속적인 기억을 갖게 되었습니다. 그들은 어제의 교훈을 기억하고, 내일의 규칙을 저장하며, 동료들에게 지식을 전달할 수 있습니다. 이는 훌륭하지만 새로운 문제를 야기합니다: 팀의 영구적인 역사의 일부가 될 내용을 누가 결정할 수 있는가?

만약 AI 가 실수를 하거나, 재미있지만 잘못된 이야기를 쓰거나, 나쁜 습관을 배운다면, 그것이 전체 팀을 위한 영구적인 규칙이 되어야 할까요? 아니면 비공개로 남아야 할까요?

이 논문은 '거버넌스가 적용된 협력적 기억 (Governed Collaborative Memory)' 시스템이 필요하다고 주장합니다. 이를 단순한 서류함으로 생각하지 말고, 어떤 유물을 전시할지 어떤 유물을 지하실에 보관할지 결정하는 박물관 큐레이터의 선별 과정처럼 생각하세요.

다음은 간단한 비유를 사용한 아이디어의 요약입니다:

1. 문제: 기억의 '서부 개척지'

규칙이 없으면 AI 는 자신이 흥미롭다고 생각하는 모든 것을 저장할 수 있습니다.

• 비유: 오타, 공상, 그리고 잘못된 사실까지 일기에 모든 생각을 적어내는 학생을 상상해 보세요. 나중에 그 일기를 읽어서 무엇을 할지 결정한다면, 실수로 적어낸 거짓말에 따라 행동할 수 있습니다.
• 위험: AI 용어로 이는 '거버넌스가 없는 지속성'입니다. 잘못된 기억이 저장되고, 다시 불러와지며 반복되어 전체 시스템에 대한 변경 불가능한 영구적인 '사실'이 됩니다.

2. 해결책: 네 가지 다른 '기억 층'

저자들은 모든 기억을 동일하게 취급해서는 안 된다고 제안합니다. 대신, 서로 다른 규칙을 가진 집의 네 가지 별도의 '방'으로 조직해야 합니다:

• 방 1: 개인 로커 (에이전트 로컬 메모리)

  • 정의: 한 AI 의 역할에 특화된 개인적인 메모입니다.
  • 비유: 요리사의 개인 레시피 책이나 정비공의 특정 도구 선호도입니다.
  • 이유: 만약 요리사와 정비공이 정확히 같은 메모를 공유하도록 강요한다면, 요리사는 차를 수리하기 시작하고 정비공은 요리를 시작할 수 있습니다. 우리는 그들이 특정 업무에 능숙하도록 유지하기 위해 그들의 고유한 '정체성'을 분리하여 보관해야 합니다.

• 방 2: 시청 (공유 제도적 기억)

  • 정의: 전체 팀을 위한 공식적이고 영구적인 규칙과 교훈입니다.
  • 비유: 도시의 공식 법률이나 회사의 핸드북입니다.
  • 규칙: 엄격한 '거버넌스' 검토를 통과하지 않는 한 아무것도 여기에 들어갈 수 없습니다. AI 가 단순히 그것이 좋은 아이디어라고 생각하는 것만으로는 부족하며, 증명과 승인이 필요합니다.

• 방 3: 보관소 (아카이브 메모리)

  • 정의: 오래된 역사, 연구, 배경 정보입니다.
  • 비유: 도서관의 지하실이나 박물관의 저장 금고입니다.
  • 규칙: 이러한 항목들을 볼 수는 있지만,它们是 활성 규칙은 아닙니다. 누군가가 읽기 전에 모든 오래된 신문 오려붙임을 투표로 결정할 필요는 없지만, 그것이 어디에서 왔는지 알아야 합니다.

• 방 4: 화이트보드 (프로젝트 연속성 메모리)

  • 정의: 현재 작업을 위한 임시 메모입니다.
  • 비유: 오늘의 회의를 위한 책상 위의 스티커 메모입니다.
  • 규칙: 프로젝트가 완료되면 지워지거나 이동됩니다. 이것이 시청의 영구적인 법률과 실수로 섞여서는 안 됩니다.

3. '선별'이 작동하는 방식

이 논문은 '시청 (공유 기억)'에 무엇을 넣을지 결정하는 다양한 방법을 비교합니다:

• '모두 허용' 접근법 (거버넌스 없음): 빠르지만 위험합니다. 거짓말이 영구적인 사실이 됩니다.
• '시험 점수' 접근법 (자동화): AI 가 기억이 수학 점수나 속도를 향상시키는지 확인합니다. 숫자에는 좋지만, '정직함'이나 '공정성' 같은 것에는 부적합합니다.
• '규칙집' 접근법 (헌법적): AI 가 인간이 작성한 규칙 세트 (예: "거짓말하지 마라") 를 따릅니다. 확장 가능하지만 미묘한 뉘앙스를 놓칠 수 있습니다.
• '인간 심판' 접근법 (인간 비준 인공 선택): 인간 (또는 인간 주도 프로세스) 이 후보 기억을 검토하고 "예, 이것은 진실이고 중요합니다. 이를 공식화합시다"라고 말합니다.
  • 중요성: 인간은 점수로 측정할 수 없는 것들을 판단하는 데 더 뛰어납니다. 예를 들어, "이 AI 가 신뢰할 수 있게 들렸는가?" 또는 "이것이 우리 팀의 가치와 부합하는가?"와 같은 질문들입니다.

4. 증거가 보여주는 것

저자들은 이 아이디어를 하나의 실제 AI 시스템에서 테스트했습니다. 그들은 다음과 같은 사실을 발견했습니다:

• 실수가 발생합니다: 규칙이 있더라도 AI 는 여전히 가짜 이야기를 만들 수 있습니다.
• 시스템이 학습합니다: 시스템은 실수를 단순히 삭제하는 대신, 그것이 왜 실수였는지 기록하고 다음 번에 이를 방지하기 위한 새로운 규칙을 만들었습니다.
• 정체성이 안전합니다: 새로운 AI 팀원들이 팀의 규칙을 배우면서도 자신의 고유한 개성을 잃지 않고 합류할 수 있었습니다.
• 투명성: 시스템은 어떤 기억이 거부되었는지, 어떤 것이 수정되었는지, 어떤 것이 승인되었는지를 보여주는 '종이 흔적 (paper trail)'을 유지했습니다. 최종 결과뿐만 아니라 결정의 역사를 볼 수 있었습니다.

핵심 교훈

이 논문은 "인간이 모든 기억을 하나하나 확인해야 한다"고 말하는 것이 아닙니다. 대신 다음과 같이 말합니다: 우리는 기억을 선택하는 방식에 대해 의도적이어야 합니다.

우리는 다음을 질문해야 합니다:

1. 무엇을 저장하는가? (사실? 감정? 규칙?)
2. 누가 그것이 영구적으로 될 만큼 충분하다고 결정하는가? (시험? 규칙집? 인간?)
3. 어떻게 AI 의 고유한 개성을 팀의 공유 지식과 분리하여 유지하는가?

이러한 질문에 답하지 않으면, 효율적이지만 자신의 거짓말을 반복하고, 고유한 기술을 잃거나, 혼란스럽고 동일한 데이터 덩어리가 되는 AI 팀을 구축할 위험이 있습니다. 목표는 기억을 검토 가능하고, 수정 가능하며, 정직한 것으로 만드는 것입니다.

기술 요약

기술 요약: LLM 기반 다중 에이전트 시스템에서의 인공 선택으로서의 통치된 협업 기억

문제 제기
대형 언어 모델 (LLM) 기반 다중 에이전트 시스템이 고립된 상호작용에서의 상태 비저장 참여자에서 지속적 기억을 가진 상태 보유 구성 요소로 진화함에 따라, 치명적인 설계 격차가 발생했습니다. 기존 연구는 검색 정확도, 접근 제어, 기억 일관성을 다루지만, 선택의 근본적인 질문, 즉 어떤 후보 기억이 사적이고 일시적인 데이터에서 공유되고 영구적이며 행동을 형성하는 제도적 상태로 전환되어야 하는지를 종종 간과합니다.

명시적인 통치가 없으면, 지속적 기억은 "유전 가능한" 오류의 매개체가 될 위험이 있습니다. 여기서 그럴듯하지만 거짓인 요약들이 세션, 에이전트, 시스템 버전 간에 다시 로드되고 전파될 수 있습니다. 핵심 문제는 기억을 읽을 수 있는 '누가'가 아니라, 어떤 후보 기억이 시스템의 공유된 온톨로지의 일부가 되어야 하는지를 결정하는 '누가 또는 무엇'입니다. 본 논문은 이 과제를 통치된 협업 기억으로 규정하며, 기억 통치가 어떤 기억 변이가 지속되거나, 사적으로 남거나, 거부되거나, 대체될지를 결정하는 선택 체제로서 기능한다고 주장합니다.

방법론 및 프레임워크
본 논문은 통제된 실험적 비교가 아닌 개념적 프레임워크와 계층적 아키텍처 설계를 제안합니다. 방법론은 다음과 같습니다:

1. 선택 체제 정의: 저자들은 기억 통치를 네 가지 뚜렷한 체제로 분류하며, 이는 우월성의 위계가 아닌 목표 속성에 기반한 설계 선택임을 강조합니다:

   • 통치되지 않은 지속: 기억들이 의도적인 평가 없이 영구 저장소에 진입합니다. 이는 낮은 마찰을 제공하지만, 오류와 환각의 지속을 위험하게 합니다.
   • 헌법적/하이브리드 선택: 인간이 작성한 원칙이나 제약이 자동화된 프로세스 (예: RLHF, 헌법적 AI) 에 의해 강제됩니다. 이는 확장성이 뛰어나지만 원칙에 누락된 특성을 놓치거나 보상 해킹에 취약할 수 있습니다.
   • 자동 메트릭 기반 선택: 지속성은 벤치마크, 테스트, 또는 측정 가능한 보상에 의해 결정됩니다. 이는 측정 가능한 성능에는 효과적이지만, 판단의 질, 인식적 정직성, 또는 제도적 일관성을 포착하지 못합니다.
   • 인간 비준 인공 선택: 운영자나 통치 프로세스가 명시적으로 지속 여부를 결정합니다. 이는 더 느리고 확장성이 낮지만, 역할 보존과 제도적 일관성과 같이 명확한 메트릭이 부재한 특성을 선택하는 데 필수적입니다.

2. 제안된 계층적 아키텍처: 이질적인 에이전트 정체성을 붕괴시키지 않고 이러한 체제를 구현하기 위해, 저자들은 기억을 서로 다른 통치 부담을 가진 네 가지 뚜렷한 계층으로 분리할 것을 제안합니다:

   • 에이전트 로컬 기억: 기본적으로 사적임; 정체성 붕괴를 방지하기 위해 역할별 휴리스틱, 제약, 실패 모드를 보존합니다.
   • 공유 제도적 기억: 에이전트 간 사건, 원칙, 교훈을 위한 영구 저장소입니다. 이 계층은 증거와 명시적 비준을 요구하는 가장 무거운 통치 부담을 지닙니다.
   • 아카이브 기억: 장기적인 역사적 유물과 배경 지식입니다. 통치 과부하를 방지하기 위해 이러한 것들은 검색 가능하지만 활성 제도적 기억과 구별됩니다.
   • 프로젝트 연속성 기억: 활성 작업 상태와 인수인계 컨텍스트로, 일시적 작업과 영구 지식 간의 범위 오염을 피하기 위해 분리되어 유지됩니다.

3. 통치 메커니즘: 이 프레임워크는 출처 및 버전 계보에 의존합니다. 선택은 최종 승인된 기록에 관한 것뿐만 아니라 과정을 검사 가능하게 만드는 것입니다. 여기에는 누가 기억을 초안했는지, 어떤 증거가 이를 뒷받침했는지, 누가 이를 비준했는지, 그리고 어떤 버전이 거부되거나 대체되었는지를 추적하는 것이 포함됩니다. 아키텍처는 "삭제 대신 대체"의 의미를 채택하여, 수정 사항이 제도적 지식으로서 추적 가능하도록 보장합니다.

증거 및 결과
본 논문은 2026 년 4 월 기준 단일 실행 중인 LLM 기반 다중 에이전트 생태계에서 기록된 흔적으로 설계 주장을 뒷받침합니다. 저자들은 이러한 흔적이 관찰적이며 다른 체제에 대한 인과적 우월성을 입증하지 않는다고 명시합니다. 증거는 다섯 가지 주요 패턴을 보여줍니다:

• 통치되지 않은 지속 실패: 관리되지 않은 자동 기억 파일에는 세 개의 그럴듯한 거짓 항목이 포함되어 있어, 이후 감사 때까지 지속되었습니다. 이는 선택 없이 오류가 재로드 가능한 상태로 어떻게 되는지 보여줍니다.
• 비준된 제도적 기억: 절차적 교훈이 성공적으로 비준된 원칙으로 전환되어 선택 과정의 결과를 보여주었습니다.
• 버전 등록 선택 루프: 시스템은 후보 버전을 기록하고, 결함을 식별하여 실패로 표시한 후, 이를 수정하고 업데이트된 상태를 고쳤습니다. 이는 거부와 수정이 숨겨진 것이 아니라 가시적임을 보여줍니다.
• 정체성 보존 확장: 새로운 에이전트가 생태계에 합류하여 공유 제도적 기억에 접근하면서도 별도의 사적 정체성 좌표를 유지함으로써, 공유 및 로컬 기억의 아키텍처적 분리를 검증했습니다.
• 학습으로서의 통치: 사후 통치 조작 오류가 발생했습니다. 오류를 방지하는 대신 시스템은 실패를 문서화하고 이를 비준된 "허구보다 자제" 원칙으로 전환하여, 통치를 완벽한 방화벽이 아닌 학습 메커니즘으로 보여주었습니다.

주요 기여 및 설계 주장
주요 기여는 지속적 LLM 기반 다중 에이전트 시스템을 위한 설계 의제입니다. 본 논문은 기억 통치가 시스템의 미래 행동을 결정하는 선택 계층으로 간주되어야 한다고 주장합니다. 주요 설계 주장은 다음과 같습니다:

• 지속적 시스템은 공유 기억을 위한 명시적 선택 체제가 필요합니다.
• 통치된 협업 기억은 에이전트 로컬, 공유 제도적, 아카이브, 프로젝트 연속성 기억을 분리해야 합니다.
• 목표 속성에 판단의 질, 출처 충실도, 역할 보존이 포함될 경우 인간 비준 인공 선택이 필수적입니다.
• 거부, 자제, 대체된 기억은 관리적 노이즈가 아닌 검사 가능한 선택 결과로 남아야 합니다.
• 기억 시스템의 평가는 회상 및 성능을 넘어 출처 충실도, 선택 추적성, 인식적 질, 수정 경로, 역할 보존을 포함하도록 확장되어야 합니다.

의의 및 한계
본 논문의 의의는 기억 통치를 저장 또는 접근 제어 문제에서 선택 체제 문제로 재정의하는 데 있습니다. 이는 지속적 다중 에이전트 시스템에서 무엇이 공유 상태가 될 것인지에 대한 결정이 시스템이 집단적으로 학습할지 오류를 전파할지를 결정하는 가장 중요한 설계 선택이라고 제시합니다.

저자들은 다음과 같이 겸손하게 주장을 펼칩니다:

• 증거는 하나의 생태계로 제한되어 있으며, 자동 체제보다 인간 비준 체제의 우월성을 입증하지는 못합니다.
• 인간 비준은 병목 현상과 잠재적 운영자 편향을 초래합니다.
• 여러 비준자나 분산된 권위로 통치를 확장하는 것은 여전히 해결되지 않은 과제입니다.
• 레거시 기억 시스템은 통치 이전 기록이 이미 행동에 영향을 미칠 수 있는 부트스트래핑 문제에 직면합니다.

궁극적으로 본 논문은 설계자와 평가자가 에이전트 기억에 접근하는 방식을 변경할 것을 요구합니다. 검색 효율성 최적화에서 이질적인 에이전트 정체성 보존과 정렬된 선택 과정 자체가 명시적이고, 검사 가능하며, 일관되도록 보장하는 방향으로 전환해야 합니다.