기술 요약: 비즈니스 프로세스 관리를 위한 작업 수준 AI 준비도 평가

1. 문제 진술

현재의 비즈니스 프로세스 관리 (BPM) 프레임워크 (예: BPMN 2.0) 는 활동을 원자적 리프 노드로 간주하여 활동 수준에서 작동합니다. 그러나 Brynjolfsson 과 Mitchell[1] 이 지적했듯이, 직업은 이질적인 작업의 묶음입니다. 최근 연구 (예: Dell'Acqua 등 [5]) 는 대규모 언어 모델 (LLM) 에이전트가 활동 내 특정 하위 작업에서는 탁월한 성능을 발휘하지만 인접한 작업에서는 실패할 수 있는 "불규칙한 기술적 프론티어 (jagged technological frontier)"를 식별했습니다.

기존 평가 방법들은 LLM 에이전트 배포 맥락에서 세 가지 주요 한계를 겪고 있습니다:

1. 세분화 (Granularity): 활동 수준의 평가는 활동 내 이질성을 가려, 자동화 가능성이 매우 높은 하위 작업과 인간이 필수적으로 수행해야 하는 하위 작업을 구분하지 못하게 하는 오해의 소지가 있는 중간 점수를 초래합니다.
2. 거버넌스 통합: 규제 산업 (예: 금융 서비스) 에서 규정 준수 제약은 절대적인 한계입니다. 현재 모델들은 이러한 제약을 외부 주석이 아닌 작업 정의의 필수 부분으로 인코딩할 수 있는 구조적 표현력이 부족합니다.
3. 배포 지침: 기존 프레임워크 (예: Frey 와 Osborne[6]; Autor 등 [7]) 는 종종 구체적인 작업에 대한 실행 가능한 단계별 배포 전략으로 전환되지 않는 이진법적 또는 직업 수준의 분류를 제공합니다.

본 논문은 거버넌스 제약을 통합하고 에이전트 프롬프트 엔지니어링에 직접 매핑되는 작업 수준의 형식화 및 정량적 평가 프레임워크의 필요성을 다룹니다.

2. 방법론 및 프레임워크

본 연구는 디자인 사이언스 연구 (DSR) 패러다임을 따르며, PARTIS(Process–Activity–Role–Task–Institution–Standard) 방법론 내에서 두 가지 핵심 아티팩트를 개발하고 평가합니다. PARTIS 는 Bunge–Wand–Weber(BWW) 온톨로지에 기반하며 두 가지 보완적 사이클을 중심으로 구조화되어 있습니다:

• 실행 흐름 (P→A→R→T): 프로세스를 활동으로 분해하고, 이를 역할에 할당하여 구체적인 작업을 실행합니다.
• 거버넌스 흐름 (T→I→S→P): 작업은 기관 (규제 법률) 에 의해 제약받으며, 운영 규범인 표준 (Standards) 으로 코딩되어 상위 프로세스를 규제합니다.

2.1 아티팩트 1: T-IPO(작업 원자화 모델)

T-IPO 는 활동을 8 요소 튜플로 정의된 작업으로 분해함으로써 세분화 격차를 해소합니다:
$$\tau = (Id, Name, Role, Input, Logic, Output, Constraint, Dependency)$$

• Logic: 단계, 도구, 블룸의 분류학 수준(1–6), 그리고 결정성 속성 (결정론적, 확률적, 휴리스틱) 을 포함합니다.
• Constraint: 기관 및 표준 차원에서 파생된 유형별 제약 (시간, 인증, 품질, 감사).
• Boundary Rules: 이 모델은 단일 역할 실행, 블룸 수준의 동질성, 완료 정의 (DoD) 를 가진 관찰 가능한 출력, 그리고 최소한의 방향성 비순환 그래프 (DAG) 종속성을 강제합니다.
• Mapping: 8-튜플은 4 섹션 에이전트 프롬프트 아키텍처 (시스템 프롬프트, 컨텍스트, 지시사항, 형식/가드레일) 에 직접 매핑되어 프롬프트 엔지니어링을 "창작 글쓰기"에서 "구조화된 채우기"로 전환합니다.

2.2 아티팩트 2: LARA(LLM 에이전트 준비도 평가)

LARA 는 에이전트 대체에 대한 작업의 준비도를 평가하도록 설계된 5 차원 점수 평가 척도입니다. 차원은 다음과 같습니다:

1. D1: 인지적 복잡성 (블룸의 분류학에 근거).
2. D2: 데이터 의존성 (구조화 대 비구조화/실시간).
3. D3: 상호작용 다양성 (독립적 대 조직 간 협상).
4. D4: 규정 준수 민감도 (법적 책임 위험; 1.5 배 가중치).
5. D5: 혁신 요구 사항 (템플릿 대 획기적 독창성).

가중치 및 보정:
가중치는 12 명의 전문가와 3 회 델파이 연구를 통해 도출되었으며, 계층적 분석 과정 (AHP) 을 사용하여 교차 검증되었습니다. **규정 준수 민감도 (D4)**는 금융 서비스 도메인의 강력한 규제 특성으로 인해 1.5 배 가중치(다른 항목의 0.200 대비 0.300) 를 받았습니다.

점수 매기기 및 분류:
작업은 가중 평균 척도 [1.0, 5.0] 으로 점수가 매겨지며 네 가지 수준으로 분류됩니다:

• L1 (1.0–2.0): 높은 대체 가능성 (전체 에이전트 +spot check).
• L2 (2.1–3.0): 보조적 증강 (에이전트 초안 작성 + 인간 승인).
• L3 (3.1–4.0): 선택적 지원 (인간 주도 + 에이전트 코파일럿).
• L4 (4.1–5.0): 인간 우세 (완전한 인간 실행).

중요한 제약:

• D4 바닥 규칙: 작업의 D4 점수가 4 이상 (최대 규정 준수 민감도) 인 경우, 가중 평균과 관계없이 자동으로 최소 L3로 분류됩니다. 이는 낮은 인지적 복잡성으로 인해 높은 규정 준수 위험이 가려지는 것을 방지합니다.
• LARA-TCA: LLM 능력의 진화나 규제 변경에 따라 점수와 임계값을 업데이트하기 위한 재보정 절차가 정의되어 있습니다.

3. 실증적 검증

본 연구는 주로 5 개 IT 운영 도메인 (프로젝트 관리, 요구사항, 아키텍처, 테스트, 구성) 에 걸쳐 127 개 작업을 포함하는 중견 중국 증권사 (Firm-A) 에서 수행되었습니다.

3.1 신뢰성 및 견고성

• 평가자 간 신뢰도: Fleiss' $\kappa$는 3 명의 시니어 아키텍트 간 0.80(부트스트랩 95% CI [0.72, 0.87]) 에 달했습니다.
• 조직 간 복제: 3 개 추가 기관 (은행, 보험, 핀테크) 에서의 복제는 가중 평균 $\kappa$가 0.73을 나타냈습니다.
• 분해 안정성: 동일한 도메인을 분해한 두 개의 독립 팀은 85% 의 의미론적 중첩을 달성했으며, LARA 수준에서 $\kappa = 0.82$를 기록했습니다.

3.2 예측 유용성 및 파일럿 배포

• 비교 실험: 활동 수준 평가 (그룹 A) 와 T-IPO/LARA 작업 수준 평가 (그룹 B) 간의 통제된 비교는 향상된 예측 정확도를 보여주었습니다. 그룹 B 는 파일럿 도메인에서 L1 작업에 대해 **100%**의 예측 정확도를 달성한 반면, 그룹 A 는 67–73% 였습니다. 연구는 훈련 비대칭성을 지적하지만 잔여 개선이 실질적으로 유의미하다고 주장합니다.
• 파일럿 배포: 120 개 작업 인스턴스 (6 개 L1 작업) 가 샌드박스에 배포되었습니다.
  • L1 자동 완료: 95% (114/120).
  • L2 초안 품질: 약 70%.
  • L3 유용한 제안: 약 40%.
  • L1 에서 L3 로 갈수록 성능이 단조롭게 감소하는 경향이 관찰되었습니다 ($p < 0.001$).
• 실패 분석: 실패는 레거시 데이터 이상 (인코딩 문제) 과 엣지 케이스 DoD 위반으로 귀결되었으며, L1 이 파일럿 검증이 필요한 "배포 후보"일 뿐 보장이 아님을 확인했습니다.

3.2 구조적 타당성

127 개 작업에 대한 탐색적 요인 분석 (EFA) 은 분산의 64% 를 설명하는 2 요인 구조를 드러냈습니다:

1. 인지 - 작업 복잡성 (D1, D5, D3, D2 로 하중).
2. 규제 준수 제약 (D4 로 하중).
   이는 작업 수준 AI 준비도가 실행 복잡성과 거버넌스 강도에 의해 공동으로 결정된다는 가설을 지지합니다.

4. 주요 기여

1. 작업 수준 세분화: OCL 제약을 가진 원자적 작업으로 활동을 분해하는 형식적 방법인 T-IPO 를 도입하여 활동 수준 이하로 BPM 모델링을 확장합니다.
2. 거버넌스 통합 평가: LARA 는 규정 준수 민감도를 가중치 부여된 비보상적 차원으로 통합하여, 이진법적 "규정 준수/불이행" 검사를 넘어 단계적 준비도 평가로 이동합니다.
3. 프롬프트 엔지니어링 연결고리: T-IPO 에서 프롬프트로의 매핑은 프로세스 모델에서 직접 에이전트 프롬프트를 생성하는 구조화된 메커니즘을 제공합니다.
4. 동적 거버넌스: LARA-TCA 절차는 기술과 규제가 진화함에 따라 평가 척도를 주기적으로 재보정하는 메커니즘을 확립합니다.
5. 신희 설계 이론: AI 준비도가 인지 - 실행 복잡성과 거버넌스 - 규정 준수 강도의 함수라는 "이중 결정 (Dual-Determination)" 이론 (명제 1) 을 제안합니다.

5. 중요성 및 주장

본 논문은 BPM 및 AI 문헌에 수준 2(신희 설계 이론) 기여를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• "불규칙한 프론티어"의 운영화: 전체 활동에 대한 포괄적 진술 대신 활동 내 어떤 구체적인 하위 작업이 자동화 가능한지 식별할 수 있는 구체적인 도구를 제공합니다.
• 규제 안전: D4 바닥 규칙은 규제 산업에서 거버넌스가 효율성과 교환될 수 없는 절대적 제약이라는 원칙을 운영화합니다.
• 실행 가능한 배포: 4 단계 분류 (L1–L4) 는 전체 에이전트 대 인간 주도 등 구체적인 배포 모드에 직접 매핑되어 단계적 채택을 위한 경로를 제공합니다.

저자들은 일반화 가능성에 대해 겸손한 입장을 유지하며, 실증적 검증이 금융 서비스 IT 운영에 국한되어 있음을 명시합니다. LARA 를 다른 산업 (예: 크리에이티브 에이전시) 에 적용하려면 가중치 벡터 (W) 와 블룸 앵커를 재보정해야 하며, 비교 실험의 100% 정확도는 작은 표본 크기의 한계 효과 (ceiling effect) 를 반영한다고 명시적으로 밝힙니다. 향후 연구는 산업 간 샘플을 통한 확인적 요인 분석 (CFA) 과 다도메인 재현성 연구로 진행될 예정입니다.