When Should AI Follow? Task Structure and Joint Adaptation by Human and AI Agents

기술 요약: "언제 AI가 뒤따라야 하는가? 인간과 AI 에이전트의 과업 구조와 공동 적응"

문제 제lement (Problem Statement)
인공지능(AI)이 조직적 의사결정에서 중대한 역할을 맡게 됨에 따라, 의사결정 과업을 인간과 인공적 에이전트 사이에 어떻게 분할하고 순서를 정할 것인가라는 핵심적인 설계 문제가 해결되지 않은 채 남아 있다. 현재 실무에서는 AI가 광범위한 옵션을 생성하고 인간이 이를 선택하는 방식의 'AI 우선(AI-first)' 템플릿이 기본값으로 수렴하고 있으나, 이러한 구조가 대안들(예: 인간 우선 또는 병렬 탐색)과 비교하여 성능 측면에서 어떤 차이를 보이는지는 과업의 결합(coupling) 및 에이전트 적응의 구조적 실체와 관련하여 거의 검토되지 않았다. 조직 과학의 기존 문헌은 의사결정 아키텍처가 개별 역량만큼이나 중요하다는 점을 강조하며, 경제학의 AI 문헌은 대체 대 보완의 문제를 과업 수준에서 다룬다. 그러나 인간과 AI 에이전트가 시간이 흐름에 따라 서로 다르게 적응할 때, 순서(sequencing)와 결합(coupling)이 공동 성과를 어떻게 형성하는지를 연구하기 위한 투명한 형식적 체계는 부재한 상태이다.

방법론 (Methodology)
저자들은 NK/NKC 모델의 계보에 위치하면서도 별도의 순차적 적응 프레임워크로 개발된, 공동 순차 적응의 계산 모델을 개발한다. 이 모델은 인간-AI의 대비를 단 하나의 정밀하게 규정된 차이, 즉 과거의 결정이 후속 결정에 영향을 미치는 방식을 지배하는 **기억 체제(memory regime)**로 축소한다.

• 에이전트 원형 (Agent Archetypes):

  • 인간 원형 (최근성 가중치 적용 - Recency-Weighted): 행동적 증거(예: Levinthal and March 1981; Gigerenzer and Gaissmaier 2011)에 근거하여, 이 에이전트는 최근의 결과에 불균형적으로 높은 가중치를 부여한다. 다음 결정은 최근 $K$개의 상태에 대한 가중 평균에 의해 결정되며, 가중치는 최근성에 따라 선형적으로 증가한다. 이는 빠르고 규모 의존적인 적응을 나타낸다.
  • AI 원형 (균등 기억 - Uniform-Memory): 알고리즘 업데이트의 규모 불변적 일관성(예: Nishant et al. 2024)에 근거하여, 이 에이전트는 기억 창 내의 모든 결정에 동일한 가중치를 적용한다. 이는 느리고 역사를 보존하는 적응을 나타낸다.
  • 기억 없는 확률적 적응 (Memoryless Stochastic Adaptation): 에이전트가 이력 없이 조건화되는(무작위 추출) 세 번째 체제로, 기계의 통제되지 않은 탐색(환각과는 구별됨)을 모델링하는 데 사용된다.

• 과업 구조 (Task Structure):

  • 범위 ($N$): 과업 시퀀스 내의 이진 하위 결정의 수. 모델은 기계의 긴 시퀀스 처리 능력을 반영하기 위해 $N_{AI} > N_H$를 설정한다.
  • 결합 깊이 ($K$): 다음 결정의 조건이 되는 이전의 실현된 결정 수 (과업 내 순차적 경로 의존성).
  • 교차 에이전트 결합 ($C$): 하류(downstream) 에이전트가 상류(upstream)로부터 물려받는 실현된 상태의 수.
  • 구성 (Configurations): 모델은 모듈형(Modular) 구조($C=0$, 독립적 적응)와 순차적(Sequenced) 구조($C>0$)를 테스트하며, 특히 AI→H(AI가 주도하고 인간이 따름)와 H→AI(인간이 주도하고 AI가 따름)를 다룬다.

• 메커니즘 (Mechanism):
  핵심 엔진은 **임계값 역학(threshold dynamic)**이다. 에이전트는 과거 상태들의 가중 평균을 임계값(0.5)과 비교한다. 평균이 임계값보다 높으면 다음 결정은 1(성공)이 되는 경향이 있고, 낮으면 0(실패)이 된다. 이는 **흡수 체제(absorbing regimes)**를 생성한다: 일단 궤적이 고수익 또는 저수익 상태에 진입하면, 기억 체제가 그 상태를 증폭할지 아니면 탈출할지를 결정한다.

주요 결과 (Key Results)
결과는 임계값 역학에서 도출된 세 가지 메커로니즘에 따라 정리된다:

1. 모듈형 구조 (병렬 탐색):

   • 공동 페이오프는 범위 비율($N_{AI}/N_H$)에 대해 곡선형(역 U자형)을 보이며, 중간 정도의 비대칭($N_{AI}/N_H \approx 5$)에서 정점에 도달한다.
   • 성과는 인간 원형 에이전트(최근성 가중치 적용)에게 얕은 결합($K_H$)이 있는 과업을 할당했을 때 극대화된다. 깊은 결합은 최근성 가중치를 최근성 편향(recency bias)으로 퇴화시킨다.
   • 혼합 체제 구성은 각 체제의 약점이 구속되는 곳에 상대의 강점을 배치함으로써 순수 체제 쌍보다 더 나은 성과를 낼 수 있다(상보성).

2. 순차적 구조 (AI→H):

   • 교차 에이전트 결합($C$)이 깊어질수록 이득이 감쇄한다. $C$가 클 때, 인간 에이전트의 최근성 가중치 적용 방식은 상류로부터 물려받은 역사의 대부분을 구조적으로 폐기하며, 이는 인간의 반응성을 편향으로 변질시킨다.
   • 이 구조는 '탐색 낭비(search wastage)' 문제를 겪는다. 즉, 기계가 광범위한 중간 솔루션을 생성하더라도, 하류의 인간 체제가 자신의 최근성 편향 때문에 이를 활용하지 못하게 된다.

3. 순차적 구조 (H→AI):

   • 고성능 상류: 고성능의 인간이 앞설 때, 하류의 균등 기억 적응은 관찰된 가장 높은 공동 페이오프를 생성한다. AI 에이전트는 고품질의 상속분을 충실히 증폭하며 성공을 복리로 쌓아 올린다. 이 이점은 깊은 결합 하에서 가장 강력하지만, 하류의 범위가 커짐에 따라 감쇄한다(기억 희석).
   • 저성능 상류: 상류의 인간 궤적이 좋지 않을 때(저수익 체제에 흡수되었을 때), 기억 없는 확률적 적응이 균등 기억 적응보다 우수한 성과를 낸다. 기억 없는 체제는 경로 의존성을 끊어냄으로써 시스템이 상속된 저수익 함정에서 탈출할 수 있게 하는 반면, 균등 기억은 실패를 충실히 고착화한다.

비교 서열 (Comparative Ordering)
모델은 명확한 성과 계층을 확립한다:

1. H→AI (고성능 인간 상류): 전역적으로 지배적인 아키텍처. 기계의 정교화가 인간의 품질을 복리로 증폭한다.
2. AI→H: 하류 인간의 최근성 편향과 탐색 낭비로 인해 H→AI 아키텍처에 밀린다.
3. H→AI (저성능 인간 상류): H→AI(고성능) 케이스보다는 성과가 낮지만, 메모리리스(memoryless) 탐색에 의해 구제될 수 있다. 이는 특정 맥락에서 균등 정교화보다 우수한 선택지이다.

실험적 검증 (Experimental Validation)
저자들은 M&A 발표 수익 예측 영역에서 개념 증명 실험을 수행했다.

• 전문가 우선 (Case 2): 인간이 변수를 선별(상류)하고, 기계가 함수 형태를 미세 조정(하류)한다.
• 브루트 포스 기계 우선 (Case 1): 기계가 모든 변수/상호작용을 탐색하고, 인간이 사후에 필터링(하류)한다.
• 초보자 (Case 3): 정보에 입각한 판단 없이 기계가 모든 것을 탐색한다.
• 결과: 전문가 우선 아키텍처가 표본 외(out-of-sample) 데이터에 가장 잘 전이되었다. 브루트 포스 방식은 과적합(과거의 노이즈에 적합) 문제를 겪었으며, 초보자 구성은 최악의 성과를 보였다. 이는 모델의 서열을 실증한다. 즉, 기계 탐색은 정보에 입각한 인간의 판단을 따른 후에 더 많은 가치를 창출한다.

의의 및 기여 (Significance and Contributions)
본 논문은 세 가지 주요 기여를 주장한다:

1. 이론적 토대: 인간-AI 협업의 좁지만 방어 가능한 기초로서 기억 체제의 적응과 규모에 따른 안정성을 제안한다. 이는 실체가 불분명한 '휴리스틱 대 규칙 기반'의 이분법을 넘어 '빠른 학습 대 느린 학습'의 연속체로 나아간다.
2. 설계 레버: **순서(sequencing)**와 **교차 에이전트 결합(cross-agent coupling)**을 제1순위 설계 레버로 확립한다. 이는 "AI 우선"이라는 지배적인 전제에 도전하며, "AI가 따르는(AI-follows)" 아키텍처(특히 고성능 인간을 따르는 경우)가 더 우월함을 보여준다. 왜냐하면 균등 기억은 상속된 고품질을 증폭하는 반면, 최근성 가중치는 광범위한 기계 탐색을 필터링하여 폐기하기 때문이다.
3. 탐색의 재해석: 광범위한 메모리리스(memoryless) 기계 탐색을 병리 현상(환각)이 아니라 체계적인 **탈출 기제(escape mechanism)**로 재정의한다. 그 가치는 상황에 따라 다르다. 상류의 인간 역량이 취약할 때만 이를 배치할 수 있는 최적의 설계 선택지로서 가치를 지닌다.

한계 및 경계 조건 (Limitations and Boundary Conditions)
저자들은 다음과 같이 주장의 범위를 제한한다:

• 원형이지 기술(description)이 아님: 모델은 기억 체제의 양식화된 대비일 뿐, 인간 인지나 현재의 AI 시스템(불규칙한 능력 경계선을 가진)에 대한 포괄적인 설명이 아니다.
• 탐색 비용 없음: 모델에서 탐색은 비용이 들지 않는다. 탐색 비용을 도입하면 결과는 지나친 폭(breadth)에 대해 더욱 부정적인 편향을 보일 것이다.
• 가산적 페이오프: 모델은 가산적 페이오프를 사용하며, 정형적인 NK 모델에서 발견되는 초가산적 시너지나 험난한 지형(epistasis)을 포착할 수 없다.
• 최소한의 에이전시: AI 에이전트는 고정된 규칙을 따르며 목표 형성이나 도구 오케스트레이션 능력을 갖추지 않는다.

본 논문은 인간-AI 협업에서 조직 설계의 핵심 행위는 기계가 무엇을 상속받을지 결정하는 것이라고 결론짓는다. 왜냐하면 기계의 정의적인 행동 특성은 바로 그 상속된 내용을 증폭하는 것이기 때문이다.