기술 요약: 재귀적 자기 개선 에이전트 및 개인적 특이점(Personal Singularity)을 위한 목표·범위·도구·벤치마크 기반 멀티 에이전트 아키텍처

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트는 계획, 도구 사용, 제한적인 자기 정교화(예: Self-Refine, Reflexion, Göodel Agent) 역량을 보여준다. 그러나 이러한 시스템은 안전성, 감사 가능성, 인간의 주체성을 보장하는 **재귀적 자기 개선(Recursive Self-Improvement, RSI)**을 위한 배포 가능한 프레임워크가 부족하다. 기존의 접근 방식들은 종종 작업 실행과 시스템 수정을 혼동하며, 이는 통제되지 않는 자기 복제, 목표 오일반화(goal misgeneralization), 또는 사용자가 권한을 부여받기보다 시스템에 의존하게 만드는 "블랙박스" 시스템을 초래할 위험이 있다.

본 논문은 두 가지 연결된 격차를 식별한다:

1. 시스템적 격차: 엄격한 거버넌스, 버전 관리 및 롤백 기능을 유지하면서 자신의 학습 및 행동 메커니즘을 재귀적으로 개선하는 에이전트를 어떻게 구축할 것인가?
2. 인간 중심적 격차: 에이전트의 개선이 단순히 소프트웨어의 자율성을 높이거나 사용자의 의존성을 키우는 것이 아니라, 어떻게 지속 가능한 인간의 능력 향상으로 이어지게 할 것인가?

본 논문은 성공적인 시스템은 작업 자율성과 메타 개선(meta-improvement)을 분리해야 하며, **개인적 특이점(Personal Singularity)**이라는 유계된 목적 함수를 정의해야 한다고 상정한다. 이는 개인화된 에이전트 네트워크가 개인을 확장되고 사용자 정의된 '실현 가능한 역량 경계(feasible capability frontier)'로 접근하도록 돕는, 사용자 주도의 연속적인 과정이다.

방법론: 거버넌스 기반 멀티 에이전트 아키텍처

제안된 솔루션은 에이전트를 신뢰할 수 없는 제안자(untrusted proposer)로 취급하고 결정 권한을 외부 거버넌스 평면에 두는 거버넌스 기반의 전문가 멀리 에이전트 아키텍처이다. 이 시스템은 다섯 가지 핵심 기둥을 기반으로 구축된다:

1. 형식적 에이전트 상태 및 관심사의 분리

에이전트 인스턴스 $A_i^t$는 모델 파라미터($\theta$), 런타임 정책($\pi$), 메모리($M$), 기술/도구($S$), 목표 스택($G$), 권한($P$), 증거($E$), 그리고 계보 메타데이터($V$)를 포함하는 튜플로 정의된다.

• 불변 제약 조건: 에이전트는 권한, 평가자 정책, 감사 기록 또는 종료 메커니즘과 같이 외부로 보호된 구성 요소에 쓸 수 없다.
• 이중 속도 아키텍처(Two-Speed Architecture):
  • Fast Loop (빠른 루프): 작업 완료를 위한 플래너–실행자–검증자 사이클.
  • Slow Loop (느린 루프): 메모리, 기술, 정책 및 모델 어댑터에 대한 증거 기반의 게이트형 개선 사이클로, 즉각적인 실행과 분리되어 있다.

2. 외부 거버넌스 평면 (External Governance Plane)

별도의 관리자 ID 하에 구현되며, 이 평면은 아키텍처의 "면역 체계" 역할을 한다. 여기에는 다음이 포함된다:

• 서명되고 버전이 관리되는 규칙을 가진 거부 우선(deny-by-default) 정책 엔진.
• 컴퓨팅, 시간 및 재무적 한계를 제어하는 리소스 거버너(resource governor).
• 숨겨진 과업과 보호된 성공 기준을 사용하는 독립적 평가자.
• 롤백 컨트롤러 및 외부 통제 종료 메커니즘.
• 리스크 게이트형 승격(Risk-Gated Promotion): 제안된 변경 사항은 정적 보안 검사, 홀드아웃 평가 및 리스크 분류를 거친다. 고위험 변경(예: 권한 확장, 가중치 업데이트)은 인간의 검토가 필요하며, 저위험 변경은 외부 게이트를 통과할 경우에만 자동 승격될 수 있다.

3. 목표·범위·도구·벤치마크 기반 명세

각 에이전트는 서명된 운영 프로필 $\Sigma_i = (G_i, Q_i, T_i, B_i, A_i, R_i, M_i, I_i, V_i)$에 의해 정의된다:

• 목표 계약 ($G_i$): 계층적 스택($G_0$에서 $G_4$까지)으로 구성되며, $G_0$는 불변의 안전 헌법이다. 하위 계층(작업 특정 목표)은 상위 계층(미션, 안전)을 덮어쓸 수 없다.
• 범위 계약 ($Q_i$): 도메인, 작업 종류, 입출력 및 리스크 상한을 정의하는 의미론적 및 운영적 경계. 범위를 벗어난 작업은 다른 에이전트로 라우팅되거나 "니치 에이전트(niche agent)" 생성을 트리거한다.
• 도구 레지스트리 ($T_i$): 결정론적 테스트를 갖춘 버전 관리된 인터페이스. 아키텍처는 "도구 우선(Tool-First)" 실행 정책을 강제한다: 검증된 도구가 자유 형식의 생성보다 선호된다.
• 벤치마크 ($B_i$): 과적합을 방지하고 일반화를 보장하기 위한 4개 파티션 세트(공용 개발, 프라이빗 검증, 숨겨진 최종, 순환 회귀 테스트).

4. 분산 계보 및 에이전트 파운드리 (Agent Foundry)

• 계보(Lineage): 서명된 에이전트 릴리스 시퀀스. "Main" 상태는 권위가 아닌 안정성과 채택 정도를 나타내는 척도이다.
• 에이전트 파운드리: 클로닝, 포킹(forking) 또는 다중 부모 재조합을 통한 소유자 지시형 생성을 지원한다.
• 상속 규칙: 파생된 에이전트는 검증된 기술과 프롬프트는 상속받지만, 절대로 자격 증명, 개인 메모리 또는 서명 키를 상속받지 않는다. 권한은 엄격하게 교집합으로 제한된다 ($P_C \subseteq P_A \cap P_B \cap P_{owner}$).
• 격리: 에이전트는 소유자가 제어하는 브로커를 통해 통신하며, 명시적 승인 없이 서로의 메모리나 도구에 직접 접근할 수 없다.

5. 개인적 특이점 OS (Personal Singularity OS)

이 계층은 작업 완료와 인간의 성장을 모두 최적화하기 위해 네 가지 초기 에이전트 클래스를 조정한다:

1. 데일리 워킹 에이전트 (Daily Working Agent): 최소한의 방해로 승인된 디지털 업무를 수행한다.
2. 컴퓨테이셔널 이미징 에이전트 (Computational Imaging Agent): 물리 기반 학습 및 과학적 재구성에 특화되어 있다.
3. 워크 프로세스 학습 에이전트 (Work-Process Learning Agent): 검증된 트레이스를 설명과 튜토리얼(읽기 전용)로 변환한다.
4. 퍼스널 러닝 에이전트 (Personal Learning Agent): 커리큘럼과 평가를 통해 지속 가능한 사용자 지식과 독립적 수행 능력을 최적화한다.

시스템은 상호작용 모드(설명, 단계 승인, 하이브리드, 자율, 위임, 예약)를 제어하기 위해 하드웨어 권한을 변경하지 않고 Auto-Index(레벨 0–5)를 활용한다.

주요 기여

본 논문은 자율 에이전트 분야에 대한 8가지 구체적인 기여를 기술한다:

1. 형식적 분리: 작업 자율성, 일반적 자기 개선, 그리고 재귀적 메타 개선을 구분한다.
2. 버전 관리된 전문가 명세: 목표, 범위, 도구, 벤치마크 및 개선 정책을 결합한 통합 계약.
3. 범위 라우터: 작업을 단일 책임 에이전트에 할당하고, 범위를 벗어난 작업을 구조화된 핸드오프를 통해 처리하는 메커니즘.
4. 이중 평가: 도구 수준의 검증과 숨겨진 벤치마크 파티션을 포함한 엔드 투 엔드 에이전트 평가의 분리.
5. 소유자 제어형 Auto-Index: 근본적인 권한을 변경하지 않고 상호작용 스타일(대화형 vs 자율형)을 전환하는 메커니즘.
6. 이중 속도 아키텍처: 빠른 작업 실행과 증거 기반의 느린 개선을 위한 별도의 루프.
7. 분산 계보 모델: 명확한 출처를 가진 전문화 및 다중 부모 재조합을 위한 파운드리 모델.
8. 개인적 특이점 OS: 작업 수행, 이미징, 프로세스 학습 및 개인 학습 에이전트를 통합하는 프레임워크.

결과 및 주장

중요한 구분: 본 논문은 포지션 및 시스템 설계 논문이다. 구현된 시스템, 통제된 인간 연구, 또는 제한 없는 재귀적 자기 개선이나 개인적 특이점이 달성되었음을 입증하는 경험적 결과를 보고하지 않는다.

논문의 주장은 다음으로 엄격히 제한된다:

• 테스트 가능성: 본 프레임워크는 감사가 어려울 수 있는 실험들을 제약함으로써 RSI 및 인간 능력 전이를 테스트 가능하게 만든다는 점을 주장한다.
• 안전 불변성(Safety Invariants): NIST의 AI 리스크 관리 프레임워크에 대응하면서도 자기 수정 시스템을 위한 런타임 강제를 추가하는 10가지 아키텍처 불변성(예: "자기 부여 권한 금지", "리스크 기반 승격", "가역적 배포")을 제안한다.
• 가설: 효율적인 이중 속도 루프, 외부 검증을 통한 허위 승격 감소, 능력 전이 모드를 통한 독립적 성능 향상 등 8가지 테스트 가능한 가설(H1–H8)을 수립한다.
• 겸손함: 저자들은 "개인적 특이점"이라는 용어가 유계되어 있음을 명시한다. 이는 즉각적이고 보편적이며 생물학적으로 무제한적인 최대치를 의미하지 않으며, 인공 일반 지능(AGI)과 동일하지 않다.

의의

본 논문은 고급 AI 어시스턴트의 설계 목표에 에이전트의 개선과 인간의 능력 향상이 모두 포함되어야 한다고 주장한다. 에이전트가 더 유능해지는 동시에 사용자를 덜 지식적이게 만들거나 의존성을 높이는 시스템은 성공적인 개인 비서라고 할 수 없다.

에이전트(제안자)와 거버넌스 평면(평가자/승인자) 사이의 분리를 공식화함으로써, 그리고 "개인적 특이점"을 사용자 정의된 실현 가능한 역량 경계로 향하는 사용자 주도의 움직임으로 정의함으로써, 본 논문은 감사 가능하고, 가역적이며, 소유자가 제어 가능한 RSI 시스템을 구축하기 위한 로드맵을 제공한다. 이는 초점을 "제한 없는 자기 수정"에서 "버전 관리된 에이전트 상태에 대한 거버넌스 기반 탐색"으로 전환하여, 소프트웨어의 성장이 인간 사용자의 지속적인 성장으로 이어지도록 보장한다.