기술 요약: 채택 텔레메트리 (Adoption Telemetry)

1. 문제 제기

기업의 생성형 AI 도입은 하나의 역설을 특징으로 한다: 보편적인 배포가 이루어지는 동시에 보편적인 실망이 공존한다는 점이다. 문헌에 따르면 파일럿 프로젝트의 95%가 측정 가능한 P&L(손익) 영향을 미치지 못하며, 이니셔티브의 포기율이 급증하고 에이전트 시스템의 취소 위험도 높아지고 있다. 이러한 실패의 원인은 기술적 모델의 역량이 아니라 조직적 요인(워크플로우 통합, 스폰서십, 행동 변화)에 있다는 것이 지배적인 진단이다.

그러나 현재의 측정 도구들은 이러한 조직적 실패를 감지하는 데 실패하고 있다. 기존 도구들은 네 가지의 서로 분리된 전통에 고립되어 있다:

1. 에이전트 평가/관측성 (Agent Evaluation/Observability): 시스템 품질(지연 시간, 비용, 출력)을 측정하지만, 인간을 변화를 겪는 인구가 아닌 단순한 신호 발생원으로 취급한다.
2. 엔터프라이즈 사용 대시보드 (Enterprise Usage Dashboards): 활동 횟수(활성 사용자, 라이선스 활용도)와 습관 형성 단계를 측정하지만, 피상적인 사용과 심층적인 워크플로우 통합을 구분하지 못한다.
3. 제품 분석 (Product Analytics): 자발적인 사용자 유지 및 활성화를 최적화하며, 조직 변화를 겪는 고정된 피고용 인구를 관리하기 위한 모델이 결여되어 있다.
4. 변화 관리 (Change Management): 설문 조사와 전문가 평가에 의존하며, 이는 에피소드 중심적이고 거칠어서 연속적인 행동 기록으로부터 채택 단계를 추론해내지 못한다.

이는 **측정 격차(measurement gap)**를 발생시킨다. 즉, 조직은 단순히 AI 도구를 샘플링하는 직원과 업무 방식이 근본적으로 재구조화된 직원을 구분할 수 없다. 결과적으로, 조직은 인구 집단의 채택 과정 중 어느 지점에서 정체가 발생했는지, 혹은 어떤 종류의 실패가 일어나고 있는지 식별할 수 없다.

2. 방법론: 채택 텔레메트리 (Adoption Telemetry)

본 논문은 채택 텔레메트리를 제안하며, 이를 "명시적인 변화 모델을 통해 해석되는, 프로덕션 시스템 신호로부터의 지속적인 행동 변화 측정"으로 정의한다.

핵심 원칙

• 대상 (Object): 시스템 품질이나 원시 활동이 아니라, 조직 변화를 통과하는 노동 인구의 진행 과정이다.
• 기질 (Substrate): 이미 배포된 시스템에서 발생하는 텔레메트리(호출, 세션, 턴, 결과)를 활용하며, 추가적인 설문이나 별도의 계측을 필요로 하지 않는다.
• 해석 (Interpretation): 텔레메트리에 대한 계산 가능한 술어(predicate)로 마일스톤이 표현되는 명시적 단계별 변화 모델이다.
• 속성:
  • 계산 가능성 (Computable): 단계 분류는 전문가의 판단 없이 로그로부터 기계적으로 도출된다.
  • 모델 명시성 (Model-Explicit): 단계와 임계값은 공개적이며 반증 가능하다.
  • 인구 수준 (Population-Level): 감시 및 프라이버시 문제를 피하기 위해 개인이 아닌 코호트(팀, 기능 단위)를 분류한다.
  • 개입 매핑 (Intervention-Mapped): 진단 가능한 각 정체 지점은 특정 클래스의 대응책과 연결된다.

NANTE 모델

저자는 이 개념을 5단계 모델인 NANTE로 구체화한다:

1. 인지 (Notice): 사용자가 프로비저닝되었으나 자격이 있는 활동이 없음.
2. 시도 (Attempt): 사용자가 첫 번째 호출을 수행함.
3. 탐색 (Navigate): 사용자가 반복적인 주간 활동에 참여함 (제안된 임계값: $\ge$ 3개의 서로 다른 주간 동안 활동).
4. 변형 (Transform): 사용자가 지속적인 다단계 통합과 과업 성공을 달성함 (제안된 임계값: $\ge$ 6주간의 활성 주간, $\ge$ 60%의 다단계 세션, $\ge$ 55%의 과업 성공률).
5. 내재화 (Embed): 사용자가 첫 사용 이후 $\ge$ 90%의 주간 동안 지속적인 주간 존재감을 유지함.

정체 감지 (Stall Detection): 프레임워크는 로스터의 비율이 정의된 하한선 아래로 떨어지는 첫 번째 단계 경계(stage boundary)를 정체 지점으로 식별한다.

• 확장성 경계 (Notice $\to$ Attempt $\to$ Navigate): 90% 이상 진행 시 건강함; 80% 미만 시 실패함.
• 심도 경계 (Navigate $\to$ Transform $\to$ Embed): "정직한 천장(honest ceilings)"과 함께 설정됨. 업계 데이터에 따르면 약 2%만이 깊은 통합에 도달하므로, "건강한" 하한선은 100%보다 높게 설정되고, "위험"은 1%로 설정된다. 코호트는 업계 기준치보다 현저히 낮아질 때만 "실패"로 표시된다.

실패 시그니처 (Failure Signatures): 시스템은 특유의 실패 모드를 위한 플래그를 계산한다:

• 얕은 정체 (Shallow Plateau): 높은 확장성, 낮은 심도 (발산 지수 > 0.3).
• 챔피언 의존 (Champion Dependency): 활동이 소수의 사용자에게 집중됨 (지니 계수 > 0.5).
• 사용 퇴행 (Usage Regression): 후기 윈도우 호출률이 초기 윈도우 호출률의 40% 미만.
• 낮은 과업 성공 (Low Task Success): 다단계 시도는 많으나 성공률이 낮음 (접근성 문제가 아닌 기술 격차를 나타냄).

3. 주요 기여

1. 통합 프레임워크: 배포 전 게이트, 프로덕션 텔레메트리, 그리고 변화 관리 스테이징을 하나의 계측된 아키텍처로 통합하는 시스템.
2. NANTE 구체화: 정의된 텔레메트리 임계값을 가진 구체적인 5단계 모델을 제시하며, 이를 테스트하고 반증될 수 있도록 공개적으로 발표함.
3. 오픈 소스 구현: 6가지 행동 프로필(하나의 정상 프로필과 5개의 병리적 프로필)에 대한 이벤트 스트림을 생성하는 합성 인구 시뮬레이터를 포함한 agent-adoption-kit (Apache 2.0).
   • NANTE 분류, 정체 감지 및 플래그 기능을 구현한 분석 엔진.
   • 코호트 비교를 위한 보고서 생성기.

4. 결과

저자는 기저 사실(ground truth)을 알고 있는 합성 인구를 사용하여 프레임워크를 평가했다. 엔진은 정상 코호트를 5가지 특유의 실패 모드와 성공적으로 구분해냈다:

• 심도의 차별화: 시스템은 "얕은 정체" 코호트(Navigate 단계에서 99.4%, 심도 0%)를 정체된 것으로 정확히 식별했다. 반면, 표준 사용 대시보드는 이를 정상 코호트(Navigate 단계 73.7%, Transform/Embed 단계 25.1%)와 유사하게 평가했다.
• 정체 지점 국지화 (Stall Localization):
  • 인식 격차 (Awareness Gap): Notice 단계에서 정체 (프로비저닝되었으나 도달하지 못함).
  • 역량 격차 (Ability Gap): Navigate 단계에서 Low Task Success 플래그와 함께 정체 (사용자가 심층 작업을 시도했으나 실패함).
  • 강화 저하 (Reinforcement Decay): Attempt 단계에서 Usage Regression 플래그와 함께 정체.
  • 챔피언 의존 (Champion Dependency): Champion Dependency (높은 지니 계수)를 정확히 식별.
• 복합 점수의 한계: 본 논문은 스칼라 형태의 채택 점수(0–100)가 진단에 불충분함을 입증한다. 동일한 점수를 가진 코호트라도 서로 반대되는 병리 현상을 보일 수 있으므로(예: 하나는 얕지만 성공적이고, 하나는 깊지만 실패함), 단일 숫자보다는 분포, 정체 지점, 그리고 플래그가 필요함을 강조한다.

5. 의의 및 주장

본 논문은 자신의 주장을 **계산 가능성(computability)**에 한정하며, **타당성(validity)**에 대해서는 제한을 둔다.

• 확립된 것: 프레임워크는 변화 모델의 단계 진행과 실패 시그니처가 기존 엔터프라이즈 텔레메트리로부터 계산 가능하다는 것을 증명한다. 또한, 합성 데이터를 통해 이러한 계산이 문헌에 근거한 서로 다른 실패 모드들을 구별할 수 있음을 보여준다.
• 확립되지 않은 것: 특정 임계값(예: Navigate를 위한 3주간의 활동)은 제안된 구성 요소이지 교정된 값이 아니다. 합성된 병리 현상들이 해당 임계값들과 함께 공동 개발되었으므로, 본 평가는 이 도구가 설계된 대로 실패를 분리할 수 있음을 보여주는 것이지, 이 임계값들이 실제 세계의 행동적 이정표와 일치함을 증명하는 것은 아니다.
• 의의: 본 논문은 AI 가치의 구속 요인이 기술(우리가 만들 수 있는가?)에서 조직(업무가 변하는가?)으로 이동했다고 주장한다. 기존의 측정 전통은 상업적 인센티브와 전문 분야에 의해 고립되어 있어 이러한 변화를 관찰할 구조적 능력이 없다. 채택 텔레메트리는 조직이 어디서, 왜 변화를 멈추는지 식별할 수 있는 최초의 개방형, 감사 가능한 도구를 제공하여, 데이터를 단순한 보고를 넘어 실행 가능한 진단으로 전환한다.

저자는 현재의 작업이 "보는 것을 위한 첫 번째 도구"로서, 확정적인 표준이 되기 위해서는 경험적 교정이 필요함을 인정하며, 조직들이 임계값을 실제 결과와 검증할 수 있는 디자인 파트너로서 참여하기를 권고한다.