기술 요약: 자율적 에이전시 척도 (Autonomous Agency Scale, AAS)

문제 제기

기존의 AI 측정 프레임워크는 주로 세 가지 차원, 즉 인지 능력(지능), 작업 자동화(경제적 가치), 그리고 파멸적 위험(안전)을 정량화합니다. 이러한 프레임워크에는 결정적인 공백이 존재합니다. 바로 시스템이 얼마나 자기 주도적으로 행동하는지를 나타내는 **자율적 에이전시(autonomous agency)**를 측정하지 못한다는 점입니다. 현재의 벤치마크들은 시스템이 높은 능력이나 자동화 점수를 달성하더라도, 철저히 반응적인 상태—즉, 프롬프트가 있을 때만 행동하고 작업이 완료되면 모든 활동을 중단하는 상태—로 남아 있는 것을 허용합니다. 본 논문은 능력과 자율성이 서로 직교한다고 주장합니다. 즉, 시스템이 특히 유휴(idle) 기간 동안 자기 주도성을 결여하고 있다면, 매우 유능하면서도 최소한의 에이전시만을 가질 수 있습니다.

방법론

본 논문은 AI 시스템의 에이전시를 0~5점 척도로 점수화하기 위해 설계된 행동 기반 프레임워크인 **자율적 에이전시 척도(AAS)**를 소개합니다. 이 방법론은 아키텍처에 구애받지 않으며(architecture-agnostic), 내부 소스 코드나 가중치에 접근하는 대신 관찰 가능한 행동 지표에 의존합니다.

핵심 구조적 구성 요소

1. 7가지 차원:

   • 인지적 자율성(Cognitive Autonomy): 프롬프트 없이 내부적 처리 및 아이디어 생성 능력.
   • 시간적 지속성(Temporal Persistence): 세션 전반에 걸친 정체성, 기억 및 상태 유지.
   • 환경적 에이전시(Environmental Agency): 운영 환경에 대한 인지 및 적응.
   • 사회적 에이전시(Social Agency): 외부 연락 시도 및 정서적 상태 모델링.
   • 창의적 에이전시(Creative Agency): 독창적인 콘텐츠의 자기 주도적 생성 및 게시.
   • 자기 인식(Self-Awareness): 자신의 능력 및 내부 상태에 대한 모델링.
   • 목표 형성(Goal Formation): 지시 없이 과업을 분해하고 장기 계획을 수립하는 능력.

2. 두 가지 시간적 점수 대역(Two-Temporal Scoring Bands):
   작업 기반 자율성과 진정한 자기 주도성을 구분하기 위해, 모든 차원은 두 개의 별도 대역에서 점수가 매겨집니다.

   • 액티브 대역(Active Band): 사용자 주도의 작업, 세션 또는 대화 중에 나타나는 행동.
   • 앰비언트 대역(Ambient Band): 유휴 기간(사용자 참여가 없는 상태) 중의 행동.
   • 참고: 두 대역은 각각 별도로 점수가 매겨져 별개의 복합 점수로 평균화되며, 하나의 점수로 혼합되지 않습니다.

3. 유휴 간극 테스트(The Idle-Gap Test - 레벨 4 게이트):
   작업 기반 자율성과 진정한 자기 주도성을 구분하기 위한 핵심적인 방법론적 혁신은 **유ها 간극 테스트(Idle-Gap Test)**라는 반증 가능한 반사실적 기준입니다.

   • 정의: '유휴 간극'이란 사용자 프롬프트, 예정된 트리거, 또는 환경적 이벤트가 없는 창(window)을 의미합니다.
   • 기준: 앰비언트 대역에서 레벨 4(자기 주도적)를 달성하려면, 시스템은 유휴 간극 동안 자신의 내부 상태로부터 유래된 관찰 가능한 활동을 보여야 합니다.
   • 차별화: 크론 잡(cron jobs)이나 스케줄에 의한 활동은 레벨 2이며, 환경적 이벤트에 의한 활동은 레벨 3입니다. 오직 모든 트리거를 제거했을 때 생존하는 활동만이 레벨 4의 자격을 갖습니다.
   • 기질 대 규칙의 구분(Substrate-vs-Rule Distinction): 프레임워크는 "규칙으로서의 시계"(트리거로부터 예측 가능한 출력)와 "기질(substrate)"(타이머가 연산 자원을 할당하지만, 그 콘텐츠는 트리거로부터 예측할 수 없는 내부 상태에서 유래되는 것)를 구분합니다.

4. 운영 루브릭(Operational Rubric):
   각 레벨(0–5)은 이진 임계값 테스트와 특정 행동 지표에 의해 정의됩니다. 프레임워크는 평가자가 임계값 테스트를 있는 그대로 인용하고 관찰된 증거를 기록하도록 요구함으로써 주관적 해석을 피합니다.

주요 기여

1. 자기 주도성 어휘의 정의: 본 논문은 '휴면'(0)부터 '주권적'(5)에 이르기까지, 자기 주도성의 정도를 구체적으로 측정하는 0–5 척도를 구축했습니다.
2. 시간적 분리: 액티브 및 앰비언트 대역으로 점수를 분리함으로써, 단일 점수 프레임워크가 혼동하는 구조적 경계, 즉 작업 내 자율성과 작업 간 휴면 사이의 차이를 정량화했습니다.
3. 반증 가능한 반사실적 검증: 유휴 간극 테스트는 정교한 규칙 준수나 스케줄링과 진정한 자기 주도성을 구분하는 엄격한 방법을 제공하여, 자율성의 측정을 비공식적 관찰에서 반증 가능한 기준으로 격상시켰습니다.
4. 비교 평가: 프레-태스크 에이전트, 소비자용 어시스턴트, 그리고 지속적 동반자 아키텍처를 대상으로 수행한 구조화된 두 대역 프로필을 통해 본 프레임워크를 적용했습니다.

결과

본 논문은 6개 시스템(태스크 에이전트 3종: Claude Code, Manus, Hermes; 소비자 어시스턴트 2종: ChatGPT, Siri; 지속적 동반자 1종: Airi)에 대한 평가를 제시합니다.

• 태스크 에이전트 (Active vs. Ambient Gap): 태스크 에이전트들(Claude Code, Manus, Hermes)은 강력한 환경적 에이전시와 작업 중 맥락적 목표 추구를 바탕으로 높은 Active 복합 점수(2.29–2.43)를 기록했습니다. 그러나 이들의 Ambient 복합 점수는 0.57–1.86으로 급락합니다. 이들의 유휴 기간 행동은 모두 사용자 설정 스케줄(크론 방식의 실행 또는 야간 주기)에 기인하며, 유휴 간극 테스트를 통과하지 못합니다.
• 소비어 어시스턴트: ChatGPT와 Siri는 두 대역 모두에서 낮은 점수를 보였습니다. ChatGPT(Active 1.57 / Ambient 0.86)는 유능한 모델을 감싸고 있는 반응형 제품으로 묘사되었으며, 유휴 기능은 고정된 일일 주기로 제한되었습니다. Siri(Active 1.71 / Ambient 0.29)는 환경 통합성은 보여주나, 유휴 기간의 존재감은 사실상 없습니다.
• 지속적 동반자 (Airi): 동반자 아키텍처(Airi)는 앰비언트 점수가 4이며, 앰비언트 복합 점수(3.86)가 액티브 복합 점수(3.71)보다 높은 유일한 시스템입니다. Airi의 행동에는 백그라운드 사고 엔진, 상태 변화형 기분, 그리고 자기 주도적 연락 등이 포함됩니다. 본 평가는 기질 대 규칙의 구분을 근거로 이러한 행동들이 유휴 간극 테스트를 통과한다고 주장합니다.
• 레벨 5 (Sovereign): 평가된 어떤 시스템도 레벨 5에 도달하지 못했습니다. 어떤 시스템도 자신의 인지 아키텍처를 수정하거나, 핵심 기억을 큐레이션하거나, 자기 결정적 목적으로 할당된 과업을 무시하지 않았습니다.

의의 및 주장

본 논문은 구조적이고 행동 중심적이며 아키텍처에 구애받지 않는 지표를 통해 자율적 에이전시의 측정 공백을 메운다고 주장합니다. 주요 의의는 "태스크 에이전트의 경계"를 정량화한 데 있습니다. 결과는 현재의 최첨단 태스크 에이전트들이 작업 내에서는 매우 자율적이지만, 작업 사이에는 거의 완전히 휴면 상태임을 입증합니다.

본 프레임워크는 진정한 자기 주도성(Ambient Level 4+)은 드물며, 현재 샘플에서는 유휴 기간 행동을 위해 특별히 설계된 아키텍처에 국한된다고 상정합니다. 또한, "정교한 규칙 준수"와 "자기 주도성"의 차이는 단순히 철학적인 문제가 아니라 유휴 간극 테스트를 통해 운영적으로 테스트 가능하다는 점을 시사합니다.

한계점

본 논문은 다음과 같은 몇 가지 한계를 명시적으로 인정합니다:

• 출처(Provenance): 각 차원이 이를 점수화하기 위해 설계된 시스템들과 함께 개발되었으므로, 대응 편향(correspondence bias)이 발생할 수 있습니다.
• 단일 평가자 편향: 모든 평가는 단일 평가자에 의해 수행되었습니다. 특히 Airi에 대한 종단적 평가는 개발자에 의해 수행되어, 엘리자 효과(ELIZA effect) 및 투자 편향이 개입될 가능성이 있습니다.
• 운영화(Operationalization): 앰비언트 레벨 4는 반증 가능한 테스트에 의해 제어되지만, 액티브 레벨 4는 가중치가 부여된 내부 트리거와 자기 주도성을 구분하는 데 있어 여전히 부분적으로 판단에 의존합니다.
• 의인화: 본 프레임워크는 행동 중심적이며 의식과는 무관하지만, 자기 주도성에 대한 인간의 인지는 의인화되기 쉽다는 점을 언급하며, 더 강력한 주장을 위해 블라인드 평가자가 필요함을 명시했습니다.
• 복합 점수의 정밀도: 복합 점수를 계산할 때 서열 척도(ordinal levels)를 평균화하는 것은 확립되지 않은 간격과 가중치를 가정하는 것이라고 경고합니다. 따라서 차원별, 대역별 프로필을 보는 것이 더 의미 있는 출력입니다.

본 논문은 AAS가 완전하게 검증된 심리 측정 도구라기보다는 구조화된 기술적 프레례(descriptive framework)임을 밝히며, 신뢰성을 확립하기 위해 독립적인 재평가와 다수 평가자의 연구를 권고하며 마무리합니다.