Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering

논문 개요: LLM 에이전트에서의 외부화 (Externalization)

이 논문은 대규모 언어 모델 (LLM) 에이전트의 발전이 단순히 모델 가중치 (weights) 의 개선에 의존하는 것을 넘어, 모델 주변의 런타임 환경을 재구성하는 외부화 (Externalization) 전략으로 전환되고 있음을 주장합니다. 저자들은 인지적 도구 (Cognitive Artifacts) 이론을 바탕으로, 에이전트 인프라가 단순한 부가 장치가 아니라 모델이 해결하기 어려운 인지적 부담을 모델이 더 신뢰할 수 있는 형태로 변환하는 핵심 메커니즘이라고 정의합니다.

1. 문제 제기 (Problem)

기존의 LLM 에이전트 설계는 모델 자체의 능력 (가중치) 에만 의존하거나, 프롬프트와 컨텍스트 윈도우에 모든 정보를 주입하는 방식에 머물러 있었습니다. 이는 다음과 같은 근본적인 한계를 초래합니다.

• 상태의 불연속성 (Continuity Problem): 컨텍스트 윈도우가 유한하고 세션이 종료되면 기억이 소실되어 장기적인 작업 연속성을 유지하기 어렵습니다.
• 절차적 변이 (Variance Problem): 복잡한 다단계 작업을 매번 모델이 내부적으로 재구성하려 하므로, 실행의 일관성이 떨어지고 오류가 발생합니다.
• 협조적 취약성 (Coordination Problem): 외부 도구, 서비스, 다른 에이전트와의 상호작용이 자유로운 프롬프트에 의존할 경우, 구조가 불명확하고 신뢰성이 낮아집니다.
• 모델의 한계: 모델은 유연한 추론에는 강하지만, 장기 기억, 절차적 반복성, 외부 시스템과의 통제된 상호작용에는 약합니다.

2. 방법론 및 프레임워크 (Methodology & Framework)

저자들은 에이전트 설계를 외부화 (Externalization) 라는 관점에서 재정의하며, 이를 네 가지 핵심 축으로 분석합니다.

A. 외부화의 세 가지 차원 (Three Dimensions of Externalization)

모델의 내부 계산에서 외부 구조로 인지적 부담을 이전하는 세 가지 주요 영역입니다.

1. 외부화된 상태 (Externalized State - Memory):
   • 기능: 시간 축을 넘어 에이전트의 상태 (작업 컨텍스트, 경험, 지식, 사용자 선호도) 를 지속성 있게 저장하고 검색합니다.
   • 변환: '기억 (Recall)'에서 '인식 및 검색 (Recognition & Retrieval)'으로의 전환.
   • 아키텍처: 단일 컨텍스트 → 검색 기반 저장소 → 계층적 메모리 (Hot/Cold 분리) → 적응형 메모리 시스템으로 진화.
2. 외부화된 전문성 (Externalized Expertise - Skills):
   • 기능: 반복적인 작업 절차, 의사결정 휴리스틱, 규범적 제약을 명시적인 아티팩트 (Skill files) 로 패키징합니다.
   • 변환: '임의의 생성 (Improvised Generation)'에서 '구조화된 구성 (Structured Composition)'으로의 전환.
   • 프로세스: 명세 (Specification) → 발견 (Discovery) → 점진적 공개 (Progressive Disclosure) → 실행 바인딩 (Execution Binding) → 구성 (Composition).
3. 외부화된 상호작용 (Externalized Interaction - Protocols):
   • 기능: 에이전트 - 도구, 에이전트 - 에이전트, 에이전트 - 사용자 간의 상호작용을 표준화된 계약 (Machine-readable contracts) 으로 정의합니다.
   • 변환: '임의의 조정 (Ad-hoc Coordination)'에서 '통제된 교환 (Governed Exchange)'으로의 전환.
   • 주요 요소: 호출 문법, 생명주기 의미론, 권한 및 신뢰 경계, 발견 메타데이터.

B. 하네스 엔지니어링 (Harness Engineering)

위 세 가지 요소 (메모리, 스킬, 프로토콜) 를 통합하여 실행 가능한 런타임을 만드는 하네스 (Harness) 가 핵심입니다. 하네스는 모델이 작동하는 '인지적 환경 (Cognitive Environment)'을 구성하며, 다음 기능을 수행합니다.

• 통제 및 오케스트레이션: 에이전트 루프, 재귀 제한, 리소스 관리.
• 샌드박싱 및 격리: 실행 격리, 파일 시스템 제한, 네트워크 접근 제어.
• 인간 감독: 승인 게이트 (Approval gates), 휴먼 인 더 루프 (Human-in-the-loop).
• 관측 가능성 (Observability): 구조화된 로깅, 실행 추적, 피드백 루프.
• 정책 및 권한: 설정, 권한 관리, 정책 인코딩.
• 컨텍스트 예산 관리: 메모리, 스킬, 프로토콜 간 토큰 할당 최적화.

3. 주요 기여 (Key Contributions)

1. 통합된 이론적 프레임워크 제시: 메모리, 스킬, 프로토콜, 하네스 엔지니어링을 분리된 기술이 아닌, '인지적 외부화'라는 하나의 통일된 논리로 설명하는 체계적인 리뷰를 제공합니다.
2. 인지적 도구 (Cognitive Artifacts) 이론의 적용: 도널드 노먼 (Donald Norman) 의 이론을 차용하여, 에이전트 인프라가 모델의 능력을 단순히 증폭시키는 것이 아니라 작업의 본질 (Task itself) 을 재구성하여 모델이 더 신뢰할 수 있게 해결할 수 있도록 만든다고 설명합니다.
   • 예: 기억력 부족을 해결하기 위해 정보를 더 많이 외우게 하는 것이 아니라, 정보를 검색 가능한 형태로 외부화하여 '기억'이라는 과제를 '검색'이라는 과제로 변환.
3. 하네스 엔지니어링의 정의 및 분석 차원 정립: 단순한 구현 도구가 아닌, 에이전트의 인지적 경계를 설정하고 행동을 규제하는 '인지적 환경'으로서의 하네스를 정의하고, 6 가지 분석 차원 (루프 제어, 샌드박싱, 인간 감독, 관측 가능성, 정책, 컨텍스트 관리) 을 제시했습니다.
4. 모듈 간 상호작용 및 트레이드오프 분석: 메모리, 스킬, 프로토콜이 하네스 내에서 어떻게 상호작용하며 (예: 실행 기록이 메모리가 되고, 메모리가 스킬 선택에 영향을 줌), 파라미터 (모델 내부) 와 외부화 (인프라) 간에 능력을 어떻게 분배해야 하는지에 대한 트레이드오프 공간을 분석했습니다.

4. 결과 및 통찰 (Results & Insights)

• 신뢰성 향상의 원천: 실제 에이전트 시스템의 신뢰성 향상은 모델 크기를 키우는 것보다 외부 인프라 (메모리, 스킬, 프로토콜, 하네스) 를 개선하는 데서 더 크게 발생합니다.
• 진화 경로: 에이전트 설계는 가중치 (Weights) → 컨텍스트 (Context) → 하네스 (Harness) 순으로 진화하고 있으며, 이는 인간 지능의 외부화 역사 (구어 → 문자 → 인쇄 → 디지털) 와 평행합니다.
• 실패 모드 분석: 외부화 시스템의 실패는 단순한 버그가 아니라 '표현적 설계 (Representational Design)'의 실패로 해석됩니다 (예: 낡은 메모리, 과도하게 추상화된 스킬, 잘못된 프로토콜 계약).
• 미래 방향성:
  • 자기 진화 하네스 (Self-Evolving Harnesses): 하네스 자체의 정책과 구조가 에이전트의 실행 피드백을 통해 자동 조정됨.
  • 구체적 외부화 (Embodied Externalization): 로봇 (Embodied AI) 에서도 고수준 계획 (대뇌) 과 저수준 실행 (소뇌) 을 분리하는 동일한 외부화 로직이 적용됨.
  • 공유 인프라: 개인적인 스캐폴딩을 넘어 에이전트 생태계 전체가 공유하는 메모리, 스킬, 프로토콜 인프라로 발전.

5. 의의 및 중요성 (Significance)

이 논문은 LLM 에이전트 연구의 패러다임 전환을 요구합니다.

• 모델 중심에서 시스템 중심으로: "더 큰 모델을 만드는 것"이 아닌 "모델을 어떻게 외부 인프라와 결합하여 신뢰할 수 있는 에이전트를 구성할 것인가"에 초점을 맞춰야 함을 강조합니다.
• 설계 원칙의 명확화: 외부화는 단순한 엔지니어링 편의가 아니라, 모델이 해결해야 할 과제의 형태를 바꾸는 인지적 재구성 도구임을 이론적으로 입증했습니다.
• 평가 및 거버넌스: 기존 벤치마크는 모델 능력만 측정하므로, 외부화 인프라의 기여도를 평가할 수 있는 새로운 지표 (이전성, 유지보수성, 회복 탄력성, 컨텍스트 효율성 등) 와 거버넌스 체계가 필요함을 지적합니다.
• 실용적 적용: 실제 산업 환경 (코드 작성, 데이터 분석, 로봇 제어 등) 에서 에이전트가 안정적으로 작동하기 위해서는 하네스 엔지니어링이 필수적임을 보여줍니다.

결론적으로, 이 논문은 LLM 에이전트의 미래가 모델 자체의 지능 향상뿐만 아니라, 모델과 외부 인지 인프라의 공진화 (Co-evolution) 에 달려 있음을 주장하며, 이를 위한 체계적인 설계 프레임워크를 제공합니다.