💻 computer science

Modeling AI Overreliance as a Complex Adaptive System

이 논문은 AI 과의존을 복잡계로 모델링하여, 개별적 학습과 사회적 합의가 본질적으로 집단적 실패를 유발하는 것은 아니지만, 가시적인 미검증 사용이 피드백 폭포를 촉발할 수 있으며 이는 전략적 피드백 설계를 통해 예방될 수 있음을 입증한다.

원저자: Ahana Biswas

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahana Biswas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 직장에는 새로운 종류의 비서가 등장했습니다. 이들은 이메일을 작성하거나, 코드를 짜거나, 법률 문서를 요약할 수 있는 인공지능입니다. 우리는 이 도구들이 매우 정확하다고 듣지만, 기이한 문제가 발생했습니다. 사람들이 이 도구들을 항상 올바르게 사용하는 것은 아니라는 점입니다. 때때로 사람들은 기계를 너무 신뢰하여 틀린 답을 사실인 것처럼 받아들입니다. 또 다른 때는 도구가 단 한 번의 실수를 했다는 이유로 유용한 도구를 무시하기도 합니다. 연구자들은 소프트웨어의 정확도만이 중요한 것이 아니라, 언제 듣고 언제 재확인할지를 결정하는 인간의 판단 방식이 더 중요하다는 것을 오래전부터 알고 있었습니다. 수년 동안 과학자들은 한 명의 사람이 조용한 실험실에서 단 하나의 문제를 해결하는 과정을 관찰하며 이 행동을 연구해 왔습니다. 그들은 개인이 제안에 어떻게 반응하는지를 지켜보았습니다. 하지만 이러한 접근 방식은 현실 세계의 핵심적인 부분을 놓치고 있습니다. 실제로 사람들은 고립되어 일하지 않습니다. 그들은 동료들이 이러한 도구들을 사용하는 것을 봅니다. 성공과 실패에 대한 이야기를 듣습니다. 그리고 타인의 행동을 관찰함으로써 자신의 행동을 조정합니다. 이는 한 사람의 신뢰가 집단 전체로 파급되어 모두의 작업 방식을 변화시기에 이르는 복잡한 영향력의 망을 형성합니다.

피츠버그 대학교의 한 연구자는 이러한 사회적 현실을 모델링하기로 했습니다. 한 번에 한 사람씩 연구하는 대신, 그는 전체 인구의 컴퓨터 시뮬레이션을 구축했습니다. 그는 수백 명의 디지털 에이전트가 일련의 과제에 직면하는 가상 세계를 만들었습니다. 이 세계에서 각 에이전트는 세 가지 선택지를 가졌습니다. 혼자 문제를 해결하거나, 확인 없이 AI의 답변을 수용하거나, 혹은 AI를 사용하되 출처를 확인하거나 인간에게 물어봄으로써 답변을 검증하는 것입니다. 에이전트들은 자신의 경험으로부터 학습하며 AI가 얼마나 신뢰할 만한지에 대한 믿음을 업데이트했습니다. 결정적으로, 그들은 시뮬레이션 속의 이웃으로부터도 학습했습니다. 그들은 동료들이 무엇을 하고 있는지 볼 수 있었습니다. 만약 많은 동료가 확인 없이 AI의 답변을 수용하는 것을 본다면, 그들은 동일하게 행동해야 한다는 사회적 압박을 느꼈습니다. 연구자는 다양한 수준의 과제 난이도, AI 품질, 그리고 사회적 영향력을 테스트하며 그룹의 행동이 시간이 흐름에 따라 어떻게 진화하는지 보기 위해 수천 번의 시뮬레이션을 실행했습니다.

시뮬레이션이 처음으로 밝혀낸 것은 환경이 무대를 설정한다는 것이었습니다. 과제의 난이도와 실제 AI의 품질이 신뢰의 기본 수준을 결정했습니다. 과제가 쉽고 AI가 우수할 때, 사람들은 적절하게 신뢰했습니다. 과제가 어렵고 AI가 형편없을 때, 사람들은 AI에 과도하게 의존하여 틀린 답을 더 자주 받아들였습니다. 그러나 연구자는 가장 위험한 요인이 AI 자체가 아니라 사람들이 서로를 관찰하는 방식이라는 것을 발견했습니다. 그들은 '사회적 증거(social proof)'라고 부르는 특정 메커니즘을 발견했습니다. 이는 다른 모든 사람이 그렇게 하기 때문에 그 행동이 옳다고 느끼는 감정입니다. 시뮬레이션에서 에이전트들이 이웃들이 확인 없이 AI를 사용하는 것을 목격했을 때, 검증의 효용성은 떨어졌습니다. 모두가 그냥 답변을 수용하고 있다면 검증하는 것이 불필요하다고 느껴진 것입니다. 이는 피드백 루프를 형성했습니다. 더 많은 사람이 확인을 멈출수록, 확인을 멈추는 것이 더욱 정상적인 일이 되었고, 결국 집단 전체가 과도한 의존 상태에 빠졌습니다. 인구 집단은 AI가 완벽해서가 아니라, 사회적 신호가 더 이상 검증이 필요하지 않다고 말했기 때문에 AI의 작업을 검증하는 것을 완전히 중단했습니다.

연구자는 단순히 사람들을 네트워크로 연결하는 것만으로 이러한 붕괴를 일으키기에 충분한지 테스트했습니다. 그는 그룹의 구조가 중요한지, 즉 많은 연결을 가진 소수의 인기 있는 '허브'가 결과를 바꿀 수 있는지 궁금해했습니다. 놀랍게도, 네트워크 구조 자체가 과도한 의존을 유발하지는 않는다는 것을 발견했습니다. 만약 에이전트들이 동료들의 작업 결과물만을 학습한다면, 그룹은 행동을 바꾸지 않고 단순히 AI의 품질에 대해 합의에 도달할 뿐이었습니다. 네트워크가 그들을 기계에 맹목적으로 신뢰하게 만들지는 않았습니다. 붕괴는 오직 타인의 가시적인 행동이 확인 여부에 직접적인 영향을 미칠 때만 일어났습니다. 중요한 것은 연결된 네트워크의 존재 자체가 아니라, 검증되지 않은 사용의 모습이었습니다. 이 차이는 매우 중요합니다. 이는 문제가 사람들이 너무 많이 연결되어 있다는 것이 아니라, 그들이 잘못된 종류의 행동을 보고 있다는 것을 의미합니다.

마지막으로, 연구자는 이 붕과를 막는 방법을 탐구했습니다. 그들은 피드백 루프를 재설계하는 다양한 방법을 테스트했습니다. 그들은 단순히 AI의 작업을 확인하는 비용을 낮추거나 더 쉽게 만드는 것만으로는 문제를 해결할 수 없다는 것을 발견했습니다. 검증에 드는 시간이 줄어들더라도, 확인을 멈추려는 사회적 견인력은 너무 강력했습니다. 유일한 방법은 사람들이 보는 것을 바꾸는 것이었습니다. 연구자가 검증 행위를 가시화하여 에이전트들이 동료들이 작업을 확인하는 모습을 볼 수 있게 했을 때, 집단은 경로를 되돌렸습니다. 인구 집단은 다시 확인을 시작했고, 집단적 과도한 의존은 사라졌습니다. 마찬가지로, 검증되지 않은 사용이 정상적으로 보이게 만드는 사회적 신호를 약화시키면 집단은 회복되었습니다. 이 연구는 사람들이 AI를 맹목적으로 믿지 않게 하려면, 단순히 도구를 더 좋게 만들거나 확인 과정을 더 쉽게 만드는 것만으로는 부족하다는 점을 시사합니다. 우리는 검증 행위가 가시적이고 존중받도록 인터페이스를 설계하여, 침묵과 확인 없는 수용이 기본값이 되는 순환을 끊어야 합니다.

이 시뮬레이션 결과는 사회적 환경에서 인간과 AI의 상호작용이 어떻게 작동하는지에 대한 명확한 그림을 제공합니다. 과도한 의존의 위험은 개별 사용자의 결함이 아니라, 피드백 루프의 시스템적 실패입니다. 공동체가 검증되지 않은 사용을 규범으로 볼 때, 검증은 사라집니다. 검증이 가시화될 때, 공동체는 재조정됩니다. 이것이 문제가 해결되었다는 뜻은 아니지만, 나아갈 방향을 제시합니다. 연구자는 이러한 결과가 실제 실험이 아닌 컴퓨터 모델에서 나온 것이므로, 최종 판결이라기보다 테스트 가능한 가설의 집합임을 강조합니다. 그럼에도 불구하고 논리는 견고합니다. 우리가 타인의 기술 사용 방식을 어떻게 보느냐가 우리가 기술을 사용하는 방식을 결정합니다. 만약 우리가 의존하는 기계에 의문을 제기하는 것을 집단 전체가 멈추는 미래를 피하고 싶다면, 우리는 어떤 행동을 가시화할 것인지 주의를 기울여야 합니다. 해결책은 알고리즘이 아니라, 그 주변의 사회적 환경을 설계하는 데 있습니다.

기술 요약: 복잡 적응계로서의 AI 과의존 모델링

문제 제기
인간-AI 상호작용에 관한 기존 연구는 주로 의존성을 정적인 개인 수준의 현상으로 연구하며, 단발성 실험실 과업을 사용하는 경우가 많다. 이러한 패러다임은 두 가지 핵심적인 배포 현실을 포착하지 못한다. 즉, 의존성은 동적(사용자가 증거를 축적함에 따라 신뢰가 진화함)이며, 동시에 사회적(사용자가 동료의 행동을 관찰하고 추론함)이라는 점이다. 본 논문은 사용자가 경험으로부터 학습하고 서로를 관찰할 때, 인구 집단이 결합된 역학계(coupled dynamical system)가 된다고 가정한다. 이 시스템은 개별 수준에서는 보이지 않는 거시적 상태—예를 들어 광범위한 보정(calibration), 집단적 과의존, 또는 공유된 회의론—로 안착할 수 있다. 핵심 질문은 단일 사용자가 권장 사항을 수용하느냐가 아니라, 어떻게 한 공동체의 의존성이 시간에 따라 진화하며, 무엇이 인구 집단을 검증되지 않은 의존의 자기 강화 상태로 몰아넣는가 하는 것이다.

방법론
저자는 의존성의 특정 메커니즘을 분리하기 위해 계산 사회 역학에 기반한 **에이전트 기반 모델(ABM)**을 채택한다. 모델은 $N$ 명의 이질적인 에이전트로 구성되며, 이들은 $T$ 번의 이산 단계에 걸쳐 과업을 수행한다.

행동: 각 단계에서 에이전트는 세 가지 행동 중 하나를 선택한다: 단독 해결( $S$ ), AI 미검증 수용( $A$ ), 또는 검증( $V$ ).
신념 업데이트: 에이전트는 AI 결과(정답, 부분 정답, 오답)에 대해 디리클레(Dirichlet) 신념을 보유한다. 신뢰는 관찰된 결과에 따라 업데이트된다. 결정적으로, 모델은 비대칭성을 포함한다: 검증은 정밀한 진실을 제공하는 반면, 미검증 사용은 노이즈가 섞인 낙관 편향적 신호를 제공한다. 이를 통해 알고리즘 혐오(algorithmic aversion)와 선호(appreciation)가 사전에 코딩되지 않고도 발현될 수 있게 한다.
의사결정 규칙: 에이전트는 현재의 신뢰 신념, 과업 난이도, 검증 비용에 의존하는 기대 효용( $U_S, U_A, U_V$ )에 기반하여 다항 로짓(multinomial logit) 규칙을 통해 행동을 선택한다.
네트워크 및 피드백: 네트워크 버전에서 에이전트는 동료를 관찰한다. 모델은 경험 기반 학습(결과 관찰)과 의견 역학(신념 관찰)을 구분한다. 핵심 메커니즘은 **사회적 증거(social proof)**이다: 동료의 가시적인 미검증 사용은 미검증 사용의 효용( $U_A$ )을 증가시켜, 검증을 억제하는 피드백 루프를 생성한다.
분석: 저자는 이론적 분석(오라클 벤치마크, 평균 보존 정리, 평균장 티핑 결과)과 계산 실험(페이즈 다이어그램, Morris 방법을 이용한 민감도 분석, 반사실적 평가)을 결합한다.

주요 기여

미시적 근거를 둔 ABM: 무작위 효용 의사결정 규칙, 디리클레 신념에서 유도된 일관된 검증 효용, 그리고 사회적 학습 및 피드백을 위한 명시적 네트워크 채널을 특징으로 하는 인간-AI 의존 모델.
이론적 분석:
- 오라클 벤치마크: 보정된 의존성과 후회(regret)를 정의한다.
- 평균 보존 정리(Mean-Preservation Theorem): 교환 가능한 동료 신호 하에서, 사회적 학습은 신뢰의 분산(합의)을 압축하지만, 집계된 평균 의존도는 변화시키지 않는다.
- 캐스케이드 티핑 결과(Cascade Tipping Result): "미검증 사용" 대 "주의 깊은 사용"으로 선택지를 줄이는 것이 강한 결합(Brock–Durlauf 논리) 하에서 다중 평형과 이력 현상(hysteresis)을 허용함을 입증한다.
네 가지 계산 결과:
- 결과 1 (환경): 과업 난이도와 AI 품질은 의존성 오류의 기준선을 설정한다. 후회(오라클 대비 손실된 효용)는 단순한 과의존 지표보다 더 직접적인 비용 측정치이다.
- 결과 2 (사회적 학습): 연결성 그 자체는 집계된 과의존을 유발하지 않는다. 사회적 학습은 합의(분산 감소)를 형성하지만, 집계된 평균은 변화시키지 않는다. 단, 영향력이 상관관계가 있는 신념(예: 고신뢰 허브)을 전달하여 에이전트를 의사결정 경계선 너머로 이동시킬 때만 변화가 일어난다.
- 결과 3 (사회적 증거): 가시적인 미verificaton 사용은 피드백 캐스케이드를 생성한다. 사회적 증거의 강도가 높아짐에 따라 검증은 붕괴하고, AI 품질이나 사용자 능력과 무관하게 의존성이 내생적으로 상승한다.
- 결과 4 (개입): 피드백 설계는 붕괴를 방지할 수 있다. 검증을 가시화하거나 사회적 증거를 약화시키면 "역-캐스케이드(counter-cascade)"가 발생하여 검증을 회복시킨다. 단순히 검증의 사적 비용을 낮추는 것은 사회적 견인력이 남아 있는 한 효과가 없다.

주요 결과

기초선(Baseline): 사회적 피드백이 없는 경우, 환경(난이도 $\times$ AI 품질)이 의존 수준을 결정한다. 어려운 과업에서 고품질 AI는 과도한 순응으로 인한 높은 후회를 낳고, 어려운 과업에서 저품질 AI는 높은 과의존을 낳는다.
토폴로지 무효성(Topology Null): 교환 가능한 신호 하에서, 네트워크 토폴로지(무작위 vs 허브 중심)와 소스 태깅은 집계된 의존도를 변화시키지 않는다. 집계치는 오직 영향력 있는 에이전트가 자신의 특성과 상관관계가 있는 신념(예: "고신뢰 허브")을 전달하여 인구 집단을 검증/사용 경계로 이동시킬 때만 변화한다.
캐스케이드 메커니즘: 집단적 과의존으로의 전이는 검증 억제 피드백 루프에 의해 구동된다. 동료의 미검증 사용이 가시화됨에 따라 검증의 효용이 떨어지고, 이는 검증율의 급락(<1%)과 과의존의 상승으로 이어진다. 이 전이는 유한 에이전트 모델에서는 매끄럽게 진행되지만(이력 현상 없음), 평균장 극한(mean-field limit)에서는 새들-노드 분기(saddle-node bifurcation)에 해당한다.
개입 효능: 피드백 채널을 겨냥한 개입(예: 검증을 가시화함, $s_V=1.0$ )은 매우 효과적이며, 인구 집단을 거의 완전한 검증 상태로 유도하여 후회를 최소화한다. 사적 비용(마찰 감소)만을 겨냥한 개입은 사회적 견인력을 상쇄하지 못하기 때문에 후회를 낮추는 데 실패한다.

의의 및 주장
본 논문은 AI 의존를 개인의 학습, 동료 관찰, 그리고 피드백 노출이 결합되어 인구 집단의 보정을 결정하는 계산 사회 역학 문제로 규정한다.

질적 성격: 저자는 본 모델이 메커니즘을 격리하고 질적인 비교 정학(comparative statics)을 제공하기 위한 이론적 도구임을 명시하며, 점 예측(point forecast)을 목적으로 하지 않는다. 함의는 양적 예측이라기보다 조건부적이고 테스트 가능한 가설이다.
메커니즘 식별: 주요 의의는 집단적 과의존이 피드백 현상이라는 점을 식별한 데 있다. 이는 단순히 열악한 AI나 개인의 인지 편향의 결과가 아니다.
개입 논리: 본 연구는 정책 및 인터페이스 설계가 단순히 확인 비용을 낮추는 것이 아니라, **검증의 현저성(salience)**과 노출 구조(사용자가 타인의 행동을 무엇을 보는지)에 집중해야 함을 시사한다. 특히 검증을 가시화하거나 미검증 사용의 사회적 증거를 억제하는 인터페이스가 검증 붕괴를 막기 위한 필수적인 레버로 식별된다.
한계: 모델은 외생적이고 정적인 AI 품질과 고정된 네트워크를 가정한다. "급격한 티핑" 행동은 평균장 속성이다. 실제 상황에서 모델은 사회적 증거가 강해짐에 따라 검증이 연속적으로 침식됨을 시사하며, 이는 실시간 배포 환경에서 붕괴를 감지하기 어렵게 만든다.

유사한 논문