기술 요약: 에이전트 기반 비즈니스 프로세스 실행을 위한 조직적 기억(Organizational Memory)

문제 정의

LLM(대규모 언어 모델) 기반 에이전트는 규칙 기반 시스템(예: RPA)의 한계를 넘어 복잡하고 다단계적인 비즈니스 프로세스를 자동화할 수 있는 새로운 역량을 제공하지만, 기업 환경에서는 핵심적인 확장성 장벽에 직면해 있습니다. 바로 조직 특화된 지식의 부재입니다. 범용 LLM은 본질적으로 회사의 정책, 프로세스 관례, 역할 구조 또는 예외 처리 관행을 인지하지 못합니다.

현재의 접근 방식들은 개별 에이전트의 프롬프트나 검색 설정에 특정 지식을 인코딩하여 이 간극을 메우려 시도합니다. 그러나 저자들은 이것이 대규모 조직에서는 확장이 불가능하다고 주장합니다. 개별 에이전트 단위로 지식을 생성하는 것은 다음과 같은 문제를 야기합니다:

• 지식 사일로(Knowledge Silos): 수천 개의 에이전트에 걸쳐 규칙이 중복되어 저장됩니다.
• 불일치(Inconsistency): 업데이트가 불균등하게 적용되어 상충하는 해석을 초래합니다.
• 유지보수 부담(Maintenance Burden): 학습 및 정책 업데이트를 효율적으로 전파할 수 없습니다.
• 파편화(Fragmentation): 관련 지식이 에이전트가 소비하기에 적합한 구조로 되어 있지 않은 이질적인 인간 중심의 산출물(BPMN 모델, SOP, 정책, ERP 문서 등)에 존재합니다.

핵심 과제는 지식의 가용성 문제가 아니라, 파편화되고 인간 중심적인 지식을 모든 에이전트에게 일관되게 제공될 수 있고 조직의 변화와 함께 진화할 수 있는 통합된 '에이전트 소비 가능 형태'로 변환하는 것입니다.

방법론 및 아키텍처

본 논문은 조직적 기억(Organizational Memory), 즉 인간이 관리하고 에이전트가 소비할 수 있는 절차적 지식의 공유 참조 레이어를 제안합니다. 이 아키텍처는 **기억 큐레이션(Memory Curation)**과 **기억 소비(Memory Consumption)**라는 두 가지 상호 보완적인 단계로 나뉩로 구성됩니다.

1. 핵심 설계: 프로세스 원자(Process Atoms)

원시 문서나 커다란 텍스트 덩어리를 저장하는 대신, 이 아키텍처는 지식을 **프로세스 원자(Process Atoms)**로 분해합니다. 각 원자는 단 하나의 규칙, 제약 조건 또는 책임을 정확하게 포착하는 독립적인 단위입니다. 원자는 다음으로 구성됩니다:

• 이름(Name): 동작에 대한 짧은 식별자.
• 출처(Source): 원래의 산출물(예: 정책의 특정 섹션)에 대한 참조.
• 내용(Content): 세 부분으로 이루어진 구조화된 설명:
  • 적용 가능성(Applicability): 맥락 (프로세스, 역할, 객체, 전제 조건).
  • 동작(Action): 특정 규칙 또는 요구되는 행동.
  • 목적(Purpose): 규칙의 근거/이유.
• 태그(Tags): 문맥 인식 검색을 가능하게 하기 위해 엔터프라이즈 도메인 모델(예: "구매", "구매 요청")에 원자를 결합함.

2. 기억 큐레이션 (생성 및 유지 관리)

이 단계는 이질적인 소스를 통합된 기억으로 변환합니다:

• 입력: 정책, SOP, 프로세스 모델, 시스템 문서 및 실행 트레이스(execution traces).
• 추출: 소스별 서비스를 통해 후보 원자를 추출하고 도메인 태그를 부여합니다.
• 글로벌 큐레이터(Global Curator): 다음을 수행하는 능동적 엔티티:
  • 품질 검사: 원자가 명확한 범위와 단일 규칙을 갖는지 확인합니다.
  • 충돌 탐지: 기존 기억과의 중복, 중복성 또는 모순을 식별합니다.
• 인간 거버넌스(Human Governance): 인간 전문가가 제안된 변경 사항(추가, 삭제, 수정)을 검토하고 충돌을 해결합니다. 이는 책임성을 보장하고 기억이 조직의 의도를 반영하도록 합니다.

3. 기억 소비 (런타임)

이 단계는 프로세스 실행 중에 에이전트에게 서비스를 제공합니다:

• 컨텍스트 요청: 에이전트는 현재 작업 맥락(프로세스, 활동, 역할, 입력 데이터)을 설명하는 요청을 보냅니다.
• 검색(Retrieval): 리트리버(Retriever) 컴포넌트가 기억을 쿼리합니다. 이는 하이브리드 방식을 사용합니다:
  • 필터링(Filtering): 도메인 태그를 사용하여 범위를 좁힙 fact (예: 특정 자회사 또는 역할).
  • 선택(Selection): 필터링된 집합 내에서 의미론적 또는 LLM 기반 선택을 통해 가장 관련성이 높은 원자를 찾습니다.
• 실행: 에이전트는 의사결정을 가이드하기 위해 압축된 관련 원자 세트를 전달받습니다 (전체 문서가 아닌).

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 개념 정의: 개별 에이전트의 프롬프트나 로컬 메모리와 구별되는, 조직 프로세스 지식의 통합된 표현으로서의 "조직적 기억"을 도입했습니다.
2. 요구사항 도출: 통합 소스 통합, 원자적 분해, 충돌 탐지, 추적 가능성, 맥락 특화 검색, 저지연 액세스, 적응형 진화, 인간 거버넌스, 확장성을 포함한 9가지 특정 요구사항을 정의했습니다.
3. 아키텍처 제안: 프로세스 원자 추상화를 중심으로 큐레이션(추출, 충돌 해결, 인간 검토) 및 소비(맥락적 검색) 단계를 포괄하는 상세한 아키텍처를 제시합니다.
4. 개념 증명(Proof-of-Concept): 구매 조수 역할을 하는 LLM 기반 에이전트가 포함된 구매 시나리오를 통해 아키텍처의 효과를 입증했습니다.

실험 결과

저자들은 구매 조수 역할을 하는 LLM 기반 에이전트가 포함된 합성 "구매-지불(Purchase-to-Pay)" 시나리오를 사용하여 개념 증명을 수행했습니다.

• 설정: 세 가지 구성을 테스트했습니다:
  • Base (기본): 조직적 지식 없음.
  • RAG: 문서 청크의 벡터 임베딩을 사용하는 표준 검색 증강 생성.
  • Memory (기억): 제안된 조직적 기억(프로세스 원자)에 접근.
• 모델: GPT-4.1 및 Claude Sonnet 4.5에서 테스트되었습니다.
• 지표: 정책 준수율(Policy Compliance Rate, PCR) – 에이전트가 정책에 따라 구매 요청을 올바르게 생성하거나 거부한 비율.
• 결과:
  • Base: 30% 준수율 (파라미터 지식에 없는 규칙을 적용하는 데 실패).
  • RAG: 70–80% 준수율. Base보다 개선되었으나, 특정 요청과 의미적으로 가깝지 않은 "교차적(cross-cutting)" 규칙(예: 보편적인 코스트 센터 요구사항) 적용에는 실패함.
  • Memory: 88–95% 준수율. 가장 높은 성능을 보였습니다. 단순히 의미적으로 유사한 텍스트 청크를 검색하는 대신 작업 관련 원자를 검색함으로써, 에이전트는 특정 제약 조건과 일반 제약 조건을 모두 성공적으로 적용했습니다.
• 관찰된 한계: Memory 설정에서의 오류는 주로 부정확하게 추출된 원자(예: 적용 범위가 너무 넓음)로 인한 "과잉 제한(over-restrictions)"이었으며, 이는 큐레이션 품질이 매우 중요하다는 점을 강조합니다.

의의 및 주장

본 논문은 신뢰할 수 있고 확장 가능한 에이전트 프로세스 실행을 위해서는 개별 에이전트의 프롬프트를 넘어 공유된 조직적 기억으로 이동해야 한다고 주장합니다.

• 확장성: 이 아키텍처는 수천 개의 에이전트와 이질적인 프로세스 전반에 걸쳐 일관된 지식을 유지해야 하는 기업의 과제를 해결합니다.
• 거버넌스: 인간의 감독을 명시적으로 통합하여 절차적 지식의 변경이 승인되고 추적 가능하도록 함으로써, 완전히 자동화된 드리프트(drift) 현상을 방지합니다.
• 효과성: 개념 증명은 구조화된 원자 기반 메모리가 파라미터 지식이나 표준 문서 검색보다 정책 준수 행동을 개선한다는 초기 증거를 제공합니다.

저자들은 개념 증명이 단일 합성 프로세스와 PDF 기반 소스로 제한되어 있다는 점을 인정하며 겸허한 태도를 유지합니다. 그들은 복잡하고 실제적인 기업 환경에서 발생하는 상충하는 레거시 시스템 및 다수의 중첩된 정책에 대한 일반화는 아직 입증되지 않았으며, 향후 연구 과제라고 밝히고 있습니다.