기술 요약: 인간-AI 협업에서의 스케일링 역설 (The Scaling Paradox in Human–AI Collaboration)

문제 정의

인공지능의 스케일링 법칙(Scaling Laws)(Kaplan et al. 2020; Hestness et al. 2017)의 발견은 모델 크기, 데이터, 연산량이 증가함에 따라 AI 역량이 예측 가능하게 향상됨을 입증한다. 그러나 운영 환경에서 AI는 결코 고립되어 작동하지 않는다. AI는 인간 작업자가 AI의 출력을 검토, 검증 또는 수정하기 위해 노력을 할당해야 하는 인간-AI 협업 시스템 내에서 작동한다.

본 논문이 다루는 핵심 문제는 AI 스케일링으로부터 얻은 경험적 이득이 결합된 인간-AI 시스템의 성능 향상으로 직접 연결되는가 하는 점이다. 직관적으로는 더 유능한 AI가 인간이 더 많은 과업을 처리할 수 있게 해줄 것이라 생각할 수 있지만, 최근의 경험적 증거(예: Becker et al. 2025; METR)는 혼재되거나 심지어 부정적인 생산성 결과를 나타내고 있다. 본 논문은 **인간의 AI 역량에 대한 오인(misperception)**이 스케일링 효과를 깨뜨릴 수 있는, 흔히 간과되는 결정적인 메커니즘이며, 이는 전체 시스템의 성능과 기업의 이익을 감소시키는 "스케일링 역설"로 이어진다고 주장한다.

방법론

저자들은 내생적 노력 할당(endogenous effort allocation) 하에서의 스케일링 법칙을 연구하기 위해 **간결한 분석 모델(parsimonious analytical model)**을 개발하였다.

1. 인간-AI 워크플로우

모델은 다음과 같은 3단계 순차적 과정을 정형화한다:

1. 설정(Setup): 인간 작업자가 고정된 시간 비용 $t_0$와 함께 프로젝트를 시작한다.
2. AI 실행(AI Execution): AI가 성공 확률 $1 - e^{-\alpha s}$로 과업을 시도한다. 여기서 $s$는 AI 스케일(자원의 로그 척도)이고, $\alpha$는 스케일링 인자(과업-AI 정렬도)이다.
3. 인간 검토(Human Review): 작업자는 AI 출력을 검토하고 수정하기 위해 시간 $t$를 할당한다. 만약 AI가 실패할 경우, 작업자는 $1 - e^{-t}$의 확률로 이를 수정한다.

결합 성공 확률은 $p(t; \alpha, s) = 1 - e^{-(\alpha s + t)}$이다. 작업자는 고정된 용량 $C$를 가지며, 기대 성공 프로젝트 수를 극대화하고자 한다.

2. 오인 메커니즘 (Misperception Mechanism)

모델은 작업자가 스케일링 인자를 실제 $\alpha$와 다를 수 있는 $\hat{\alpha}$로 인식하는 행동 파라미터를 도입한다.

• 과잉 인식($\hat{\alpha} > \alpha$): 작업자가 AI 역량을 과대평가하여, 공격적으로 노력을 줄이게 된다.
• 과소 인식($\hat{\alpha} < \alpha$): 작업자가 AI 역량을 과소평가하여, 과도하게 노력을 할당하게 된다.

3. 기업 관점 및 불일치

기업은 성공적인 프로젝트로부터 얻는 순 보상에서 AI 배포 비용 $c \cdot s$를 뺀 이익을 극대화한다. 결정적으로, 기업은 AI 비용을 부담하는 반면 작업자는 그렇지 않으므로, 최적의 노력 수준에 대해 구조적인 **기업-작업자 불일치(firm-worker misalignment)**가 발생한다. 모델은 오인이 이러한 불일치를 어떻게 악화시키는지 분석한다.

4. 정책 개입

연구는 두 가지 운영 레버를 평가한다:

• 비용 내부화(Cost Internalization, CI): 노력 유인을 변화시키기 위해 AI 배포 비용의 일부 $\rho$를 작업자에게 전가한다.
• 인식 정렬(Perception Alignment): $\hat{\alpha}$를 $\alpha$와 일치시키기 위한 개입(예: 교육, 투명한 보고).

주요 기여

1. 운영 관리론에 스케일링 법칙 통합: 본 논문은 단순한 ML 연구를 넘어, 인간의 노력이 내생적으로 반응할 때 스케일링이 전체 생산 시스템에 어떻게 영향을 미치는지 조사함으로써 스케일링 법칙을 분석적 운영 프레임워크의 원초적 요소(primitive)로 포함시켰다.
2. 스케일링 역설의 규명: 저자들은 인간의 오인을 스케일링이 실패하는 새로운 행동적 메커니즘으로 식별하였다. 특히, 과잉 인식은 결합 시스템의 성능을 $s$에 대해 비단조적(non-monotone)으로 만들어, 더 큰 AI 시스템이 오히려 더 나쁜 결과를 초래하는 영역을 생성할 수 있음을 밝혀냈다.
3. 오인 위험의 비대칭성: 논문은 과잉 인식과 과소 인식의 비대칭적 효과를 구분한다. 과잉 인식은 스케일링 이득을 역전시키고 기업-작업자 불일치를 증폭시킨다. 반면, 과소 인식은 (비록 속도는 느리지만) 단조적 개선을 유지하며, 역설적으로 작업자가 더 많은 노력을 기울이게 함으로써 기업-작서 불일치를 부분적으로 완화할 수 있다.
4. 왜곡 완화를 위한 정책 설계: 연구는 비용 내부화와 인식 정렬을 오인의 방향과 배포 경제학(예: 비용 수준)에 따라 어떻게 맞춤화해야 하는지 규명한다.

주요 결과

1. 완벽한 협업 ($\hat{\alpha} = \alpha$)

인간이 AI 역량을 정확하게 인식할 때 스케일링 법칙이 성립한다. $s$가 증가함에 따라:

• 프로젝트당 인간의 노력($t^*$)은 비증가적으로 감소한다.
• 프로젝트 처리량(throughput)이 증가한다.
• 전체 시스템 보상이 증가한다.
  시스템은 "인간 전용(Human-Only)" 단계에서 "인간 참여형(Human-in-the-Loop, HIL)" 단계로, 최종적으로는 설정 외 인간의 노력이 0인 "범용 인공지능(AGI)" 단계로 전이된다.

2. 과잉 인식 ($\hat{\alpha} > \alpha$)

• 노력 왜곡: 작업자가 너무 공격적으로 노력을 줄인다 ($\hat{t} < t^*$).
• 스케일링 역설: HIL 단계에서 과잉 인식의 정도가 충분히 높으면, 실현된 보상은 $s$에 대해 **비단조적(non-monotone)**이 된다. 초기에는 스케일링이 성능을 개선하지만, 특정 임계치를 넘어서면 인간 노력의 감소가 AI의 기술적 이득을 상쇄하여 전체 보상이 감소한다.
• 기업 영향: 이 역설은 기업 차원에서 더욱 증폭된다. 보상이 감소함에 따라, 기업은 줄어드는 성공 프로젝트를 위해 계속해서 증가하는 배포 비용 $c \cdot s$를 지불해야 하므로 기업의 이익은 더욱 급격히 떨어진다. 과잉 인식은 작업자와 기업 간의 최적 노력 격차를 넓힌다.

3. 과소 인식 ($\hat{\alpha} < \alpha$)

• 노력 왜곡: 작업자가 노력을 과잉 투자한다 ($\hat{t} > t^*$).
• 감쇄된 스케일링: 스케일링 법칙은 유지되지만(보상은 $s$에 따라 증가), 작업자가 프로젝트당 너무 많은 시간을 비효율적으로 할당하기 때문에 완벽한 협업 사례보다 이득이 느리게 나타난다.
• 기업 영향: 과소 인식은 작업자의 행동을 기업의 이익과 부분적으로 일치시킬 수 있다. 기업은 (AI 배포 비용을 줄이기 위해) 작업자가 더 높은 노력을 기울이기를 선호하므로, 과소 인식 상황에서의 작업자의 "과잉 노력"은 역설적으로 기업-작업자 불일치를 완화하여 완벽한 협업 기준선 대비 기업 이익을 개선할 수도 있다.

4. 정책 개입

• 비용 내부화:
  • 낮은 AI 비용: 비용을 작업자에게 전가하면(높은 $\rho$) 일반적으로 기업 이익이 증가한다.
  • 높은 AI 비용: 기업은 작업자가 AI 도구를 포기하는 것을 방지하기 위해 더 많은 비용을 부담해야 한다(낮은 $\rho$).
  • 오인 상황 하에서의 적용: 과잉 인식 하에서는 기업이 (이미 과신하고 있는) 작업자에게 더 많은 비용을 전가할 수 있다. 과소 인식 하에서는 도입을 장려하기 위해 기업이 더 많은 비용을 부담해야 한다.
• 인식 정렬:
  • 과잉 인식: 정렬은 작업자와 기업 모두에게 명백히 유익하며, 스케일링 역설을 방지한다.
  • 과소 인식: 정렬이 항상 기업에 유익한 것은 아니다. 경미한 과소 인식을 교정하는 것은 작업자를 기업이 선호하는 높은 노력 수준에서 멀어지게 함으로써 기업 이익을 감소시킬 수 있다. 공격적인 정렬은 과소 인식이 심각할 경우에만 유익하다.

의의 및 주장

본 논문은 AI 스케일링이 단순히 기술적인 과제가 아니라 행동적 및 운영적 과제라고 주장한다. 저자들의 주장은 다음과 같다:

1. 자동적 가치는 신화이다: 더 큰 AI 시스템이 반드시 더 나은 운영 결과를 가져오는 것은 아니다. 그 가치는 증가된 역량이 인간의 믿음과 협업 노력을 어떻게 형성하느냐에 달려 있다.
2. 인터페이스의 관리: 조직은 단순히 더 크고 비싼 모델에 투자하는 것보다 인간-AI 인터페이스(인식 정렬 및 유인 설계)를 관리하는 데서 더 큰 이득을 얻을 수 있다.
3. 과잉 인식의 위험: "스케일링 역설"은 현재의 조직적 추세, 즉 (과도한 낙관주의에 기반하여) 인간의 감독을 줄이면서 공격적으로 AI를 스케일링하는 경향이 성능 저하와 이익 손실의 심화로 이어질 수 있음을 시사한다.
4. 비대칭적 개입: 운영 정책은 비대칭적이어야 한다. 과잉 인식에 효과적인 정책(예: 비용 전가, 공격적 정렬)은 과소 인식 상황에서는 역효과를 낼 수 있다.

결론적으로, 본 연구는 배포된 AI의 가치를 실현하기 위해서는 기업이 AI의 구체적인 역량에 맞춰 인간의 믿음과 유인 구조를 조정해야 한다고 강조하며, 기술적 진보 자체가 조직의 성과를 보장한다는 관점에 경종을 울린다.