The Evolutionary Dynamics of AI, Politicization, Contestation, and Trust in Science Funding

기술 요약: AI, 정치화, 논쟁 및 과학 연구 자금 지원의 신뢰에 관한 진화적 역학

문제 제기
현대 민주주의 사회는 과학 연구를 위한 공적 자금 지원에 의존하고 있으며, 이 시스템은 운영 능력(제안서 처리)과 제도적 정당성(공정성에 대한 대중의 신뢰)이라는 두 가지 기둥을 전제로 한다. 이 시스템은 두 가지 위협에 직면해 있다: 즉, 자금 결정 과정에서의 정치적 개입에 대한 인식과 인적 동료 검토자(peer reviewer)를 인공지능(AI)으로 대체할 가능성이다. 본 논문은 이러한 요소들이 어떻게 상호작용하는지에 대한 이해의 핵심적인 공백을 다룬다. 구체적으로, AI 도입을 통해 얻은 운영 효율성이 정치적 편향 및 인간 전문성의 퇴보로 인해 발생하는 제도적 정당성의 침식을 보완할 수 있는지 조사한다. 핵심 질문은 역량(capacity)과 정당성(legitimacy)이 결합된 역학인지 아니면 독립적인 역학인지, 그리고 과학자들이 시스템에 저항(검토 거부 또는 제안서 투하)하고 대중이 AI 도입에 반응할 때 이들이 어떻게 진화하는가 하는 점이다.

방법론
저자들은 세 가지 상호작용하는 집단의 공진화 역학을 시뮬레이션하기 위해 진화 게임 이론 모델을 채택하였다:

1. 과학자: 네 가지 전략 중 하나를 선택하는 집단: 정상적 참여($N$), 검토 거부($R$), 제안서 강화/투하($P$), 또는 이들의 결합($B$).
2. 대중: AI 보조 검토를 수용($A$), 공개적으로 거부($J$), 또는 소송 제기($S$)를 선택하는 집단.
3. 자금 지원 기관: 진화하는 전략적 집단이 아니라 적응형 제어기로 모델링됨. 기관은 다른 집단에 대응하여 두 가지 정책 레버인 AI 도입 수준($\phi$)과 인간 검토자를 위한 재정적 보상($\rho$)을 조정하며, 이는 한정된 예산 내에서 이루어진다.

시스템은 상대적 보상에 기초하여 에이전트가 전략을 채택하는 쌍체 비교 모방 역학(Fermi dynamics)에 의해 구동된다. 기관은 용량 대응형 제어기로서, 제안서 부하와 인간 검토 능력 사이의 격차를 메우기 위해 AI 배포를 늘리는 동시에, 참여를 유도하기 위해 검토자 급여를 조정한다. 모델은 운영 능력(제안서 처리 능력)과 제도적 정당성(대중의 신뢰)을 구분하며, 이를 독립적으로 실패할 수 있는 별개의 상태 변수로 취급한다.

시뮬레이션은 결정론적 궤적과 유한 집단 확률 과정(Wright–Fisher 리샘플링 및 개별 수준의 쌍체 비교)을 사용하여 수행되었다. 연구는 매개변수 탐색(parameter sweeps), 라틴 하이퍼큐브 샘플링, 주성분 분석(PCA)을 활용하여 레짐(regime) 지형을 매핑하고 끌개(attractor)를 식별하였다.

주요 기여 및 결과

1. 역량과 정당성의 디커플링(Decoupling):
   모델은 운영 능력과 제도적 정당성이 서로 다른 역학을 따르며 독립적으로 실패할 수 있음을 보여준다.

• 역량 실패: 최대치의 AI 배포를 통해서도, 과학자들이 "제안서 강화(투하)"(검토는 거부하면서 제안서는 쏟아붓는 행위)를 할 경우 시스템은 백로그를 해소하지 못할 수 있다. 주요 제약 요인은 종종 공유된 예산이다. 저항이 심해지면 검토자 급여가 상승하여 예산을 고갈시키고, 이는 기술적 AI 역량과 관계없이 기관의 AI 운영 능력을 억제한다.
• 정당성 실패: 반대로, 시스템이 완전한 운영 회복(백로그 해소)을 달로 달성하더라도 대중의 신뢰는 완전히 붕러질 수 있으며, 이는 기술적으로는 기능하지만 권위를 상실한 "좀비" 기관을 초래한다.

2. "제안서 투하(Proposal Flooding)" 메커니즘:
   과학자들이 주로 검토를 거부함으로써 저항할 것이라는 직관과 달리, 모델은 제안서 강화가 지배적인 보복 전략임을 발견했다. 과학자들은 (직접적인 경력상의 불이익을 피하기 위해) 검토는 계속하되 기관에 제안서를 쏟아부을 수 있다. 이 전략은 AI가 확장되는 속도보다 더 빠르게 시스템을 압도하여, 인간의 거부율이 낮더라도 지속적인 정체를 유발한다.

3. 비상 급여의 "뇌물-신호(Bribe-Signal)" 효과:
   모델은 위기 상황에서 협력을 확보하기 위해 검토자 급여를 올리는 것이 오히려 역효과를 낼 수 있다는 역설적인 역학을 식별한다. 대중이 비상 급여를 저항을 잠재우기 위한 "뇌물"로 인식할 경우, 제도적 정당성의 침식을 가속화한다. 이 효과는 급여가 높은 수준을 유지하는 고저항 레짐에서 주로 나타나며, 저저항 레짐에서는 급여가 기본값으로 돌아가므로 뇌물 신호가 작동하지 않는다.

4. 이중 안정성(Bistability) 및 초기 조건에 대한 민감도:
   시스템은 정당성에 관해 이중 안정성을 보인다. 최종 상태(회복 vs 붕괴)는 제도적 복구 속도나 AI 도입 정도가 아니라, 대중의 수용 역학과 초기 조건(예: 초기 저항의 씨앗)에 의해 결정된다.

• 확률적 결과: 유한 집단 내에서 동일한 기관이라도 확률적 표류(stochastic drift)에 따라 현저히 다른 운명(공동 생존, 공동 실패, 또는 역량 없는 정당성 회복 등)에 처할 수 있다.
• 알고리즘 의존성: 특정 결과(예: "좀빙" 상태)의 빈도는 가정된 노이즈 프로세스에 크게 의존한다. Wright–Fisher 리샘플링 층을 사용할 경우 "좀비" 상태가 빈번하게 발생하지만, 개별 수준의 쌍체 비교(Fermi) 프로세스 하에서는 그러한 상태가 나타나지 않으며, 시스템은 오직 "역량 없는 정당성 회복"과 "공동 실패" 사이에서 분기된다.

5. 임계값 및 상전이:

• 저항 임계값: 정치화 수준이 검토 거부에 따른 경력 비용보다 일정 수준을 초과할 때 저항의 연쇄 반응이 촉발된다.
• 정당성 임계값: AI 검토의 정당성은 급격한 이진 전이를 따른다. 이는 대중의 수용 증가율이 거부, 소송, 저항으로부터 오는 침식률을 초과할 때만 생존한다.
• 역량 임계값: 완전한 운영 회복을 위해서는 AI 생산성과 배포 상한의 곱이 제안서 부하 승수보다 커야 한다 ($\beta_{AI} \cdot \phi_{max} > \chi$).

의의 및 주장
본 논문은 AI와 정치적 양극화 시대에 과학 연구 자금 지원 시스템의 구조적 취약성을 이해하기 위한 엄밀하고 정량적인 프레임워크를 제공한다고 주장한다. 주요 의의는 자동화가 곧 신뢰를 의미하지 않는다는 점을 식별한 데 있다. 모델은 정책 입안자들이 정당성 위기를 해결하지 못한 채 AI를 통해 용량 위기만을 해결하려 해서는 안 된다고 제언한다. 왜냐냐 하면 두 문제는 서로 다른 메커니즘에 의해 지배되기 때문이다.

본 연구는 다음을 강조한다:

• 운영적 해결책(AI)은 정당성 문제를 해결하지 못한다: 처리량을 복구하는 것이 대중의 신뢰를 자동으로 회복시키지는 않는다.
• 정당성 해결책은 용량 문제를 해결하지 못한다: 대중의 수용을 높이는 것이 시스템이 여전히 운영적으로 막혀 있는 상태에서도 신뢰를 회복시킬 수 있다.
• 조기 개입이 결정적이다: 시스템은 초기 조건과 확률적 표류에 민감하므로, 대중의 수용이나 과학자의 저항을 변화시키는 조기 조치가 기관의 장기적 운명을 결정한다.
• 정책 레버: 가장 효과적인 정책 도구는 반드시 AI 도입 속도나 검토자 급여 수준이 아니라, 정치화 관리, 저항에 따른 경력 비용 감소, 그리고 대중의 수용 이득을 극대화하는 투명한 AI 도입 설계이다.

저자들은 "AI 혁명"이 과학 자금 지원의 사회적 계약에 대한 스트레스 테스트라고 결론짓는다. 신뢰 메커니즘에 대한 재협상 없이 인적 전문성을 자동화된 시스템으로 대체하는 것은 제도적 정당성을 해체할 위험이 있으며, 이는 파이프라인은 계속 작동하지만 대중적 권위는 붕괴한 상태로 이어질 수 있다. 본 논문은 이론적 예측을 정교화하기 위해 매개변수(예: 전문가의 가격 민감도, 신뢰 회복률)에 대한 향후 경험적 보정을 명시적으로 요구한다.