What is Human in Judgment? Comparing Automation Bias and Algorithm Aversion Between the United States Military Academy and the General Public

기술 요약: 판단에 있어 인간은? 미국 육군사관학교와 일반 대중 간의 자동화 편향 및 알고리즘 혐오 비교

문제 제기
군대가 예측 정비부터 자동 표적 인식에 이르기까지 지휘 체계에 인공지능 (AI) 의사결정 지원 시스템 (DSS) 을 점점 더 통합함에 따라, 분쟁 확대 및 전쟁에서 인간의 판단 역할은 여전히 핵심적입니다. 그러나 인간 운영자와 자동화 시스템 간의 상호작용은 특정 인지적 위험을 초래합니다: 자동화 편향(알고리즘적 권고를 과도하게 의존하여 실수나 누락을 초래하는 경향) 과 알고리즘 혐오(인간 판단을 선호하여 자동화 출력을 성급히 거부하는 것). 기존 문헌은 이러한 위험을 민간 맥락에서 강조하고 있지만, 군 인력, 특히 차기 장교들이 AI DSS 와 어떻게 상호작용하는지에 관한 행동 연구에는 상당한 공백이 존재합니다. 다루어진 핵심 문제는 군사 훈련과 AI 노출이 이러한 인지적 왜곡을 완화하는지, 아니면 군사 운영자가 일반 대중과 동일한 편향에 여전히 취약하여 고위험 환경에서 오산과 우발적 분쟁 확대의 위험을 증가시키는지 여부입니다.

연구 방법
본 연구는 자동화 편향과 알고리즘 혐오에 대한 취약성을 검증하기 위해 비교 설문 실험 설계를 적용했습니다.

• 표본: 저자들은 두 개의 distinct 집단을 비교합니다:
  1. 웨스트 포인트 생도 (USMA): 2025 년 5 월에 설문을 받은 미국 육군사관학교 생도 236 명. 이 집단은 전쟁 수행, 의사결정, AI 기초에 대한 필수 훈련을 받는 차기 군사 지도자들의 인구통계학적으로 특정된 하위 집단입니다.
  2. 일반 대중: 생도 표본과의 비교 가능성을 보장하기 위해 25 세 이하의 대학 졸업자로 제한된 Horowitz 와 Kahn(2024) 의 국제 비교 설문조사에서 추출한 인구통계학적으로 매칭된 702 명의 응답자 표본.
• 실험 과제: 참가자들은 시각적 특징 (날개 테이퍼, 날개 끝 모양, 꼬리 모양) 을 기반으로 항공기를 분류 (아군 vs 적군) 하는 표적 식별 과제에 참여했습니다.
• 설계: 참가자가 초기 분류를 수행한 후 의사결정 지원 시스템 (DSS) 의 권고를 받고 식별을 수정할 기회를 갖는, 피험자 내 사전 - 사후 설계입니다.
• 처치: 본 연구는 2x4 요인 구조 (통제 조건 포함) 를 활용하여 다음을 조작했습니다:
  • 출처: 인간 분석가 vs AI 알고리즘.
  • 신뢰도 수준: 높음 (광범위한 테스트/훈련) vs 낮음 (테스트/훈련 진행 중).
  • 정확도: 권고는 정확하거나 부정확하도록 무작위화되었습니다.
• 변수:
  • 종속 변수: 조언을 받은 후 초기 식별을 '전환'하는 이진 결정.
  • 독립 변수: 'AI 배경'(지식, 친숙도, 경험을 집계한 지수), AI 에 대한 신뢰, 표본 집단 (USMA vs 일반 대중).
  • 결과 코딩: '자동화 편향'은 부정확한 조언을 따르는 것으로 정의되었고, '알고리즘 혐오'는 정확한 조언을 거부하는 것으로 정의되었습니다.

주요 결과
본 연구는 일반 대중과 비교한 군사 생도의 인지적 보정에 관한 몇 가지 통계적으로 유의미한 발견을 제시합니다:

1. 기초 AI 역량: 웨스트 포인트 생도는 매칭된 일반 대중 표본에 비해 AI 지식, 친숙도, 경험 수준이 현저히 높았습니다 (p < 0.001). 또한 그들은 더 세련된 신뢰 프로필을 보여주었는데, AI 의 잠재력에 대해 낙관적이면서도 정확성과 한계에 대해서는 더 큰 경계심을 표명했습니다.
2. 전환 행동:
   • 일반 대중: 전체 전환율 (0.116) 이 더 높았으며, 신뢰도 수준과 관계없이 권고가 인간보다 AI 로부터 나왔을 때 더 자주 전환하는 자동화 편향을 일반적으로 보여주었습니다.
   • 웨스트 포인트 생도: 현저히 낮은 기준 전환율 (0.065) 을 보였습니다. 결정적으로, 그들의 전환 행동은 조언의 출처 (AI 대 인간) 가 아니라 신뢰도 신호(높은 신뢰도 조건에서 낮은 신뢰도 조건보다 거의 두 배 더 자주 전환) 에 의해 주도되었습니다. 이는 권고자의 유형이 아닌 권고의 정당성에 초점을 맞추고 있음을 시사합니다.
3. 자동화 편향 (실수 발생): 참가자가 시각적으로 확인할 수 있는 부정확한 조언을 받은 trial 에서, 일반 대중은 9.0% 의 빈도로 부정확한 조언을 따랐습니다. 웨스트 포인트 생도는 3.9% 의 빈도로만 부정확한 조언을 따랐습니다. 회귀 분석은 AI 배경, 연령, 성별을 통제하더라도 웨스트 포인트 생도인 것이 자동화 편향 확률을 유의하게 감소시켰음을 확인했습니다 (p < 0.05).
4. 알고리즘 혐오 (실수 누락): 훈련이 혐오를 감소시킬 것이라는 가설과 달리, 본 연구는 두 집단 간 알고리즘 혐오율에 통계적으로 유의미한 차이가 없음을 발견했습니다 (일반 대중: 45.1%; 웨스트 포인트: 44.4%). 두 집단 모두 부정확한 조언을 따르는 것보다 정확한 조언을 거부할 가능성이 유의하게 높았습니다.

주요 기여

• 군사 AI 에 대한 경험적 증거: 본 논문은 인구통계학적으로 유사한 일반 대중 표본과 비교한 군사 집단 (차기 장교) 의 자동화 편향을 비교한 최초의 직접적 실험적 증거를 제공합니다.
• 편향 유형의 구분: 본 연구는 자동화 편향과 알고리즘 혐오가 서로 다른 현상이며 서로 다른 완화 전략이 필요할 수 있음을 경험적으로 입증합니다. 데이터는 군사 훈련이 자동화 편향 (과신) 에 대한 취약성을 효과적으로 감소시키지만, 알고리즘 혐오 (불신) 를 반드시 감소시키지는 않는다는 것을 시사합니다.
• 훈련의 역할: 발견들은 고압 환경으로 인해 군사 운영자가 본질적으로 자동화 편향에 더 취약하다는 가정을 도전합니다. 대신 데이터는 USMA 에서와 같은 특정 교육과 AI 노출이 운영자가 알고리즘을 맹신하는 대신 시스템 신뢰성 신호 (예: 테스트 상태) 에 의존하는 '더 잘 보정된 신뢰'로 이어질 수 있음을 시사합니다.

의의 및 주장
저자들은 그들의 발견이 국제 정치와 분쟁의 미래에 대해 '소박하지만' 중요한 통찰력을 제공한다고 주장합니다. 본 논문은 다음과 같이 논증합니다:

• 완화가 가능함: AI DSS 가 오산에 미치는 부정적 결과는 필연적이지 않습니다. 군사 교육과 훈련은 AI 가 의사결정에 영향을 미치는 방식을 의미 있게 형성하여 자동화 편향으로 인한 사고 위험을 감소시킬 수 있습니다.
• 맹신 대신 보정: 군사 AI 통합의 목표는 단순히 기술을 신뢰하거나 불신하는 것이 아니라, 운영자가 고신뢰도 및 저신뢰도 알고리즘 출력을 구분하도록 훈련받는 '정당화된 신뢰'가 되어야 합니다.
• 한계 및 향후 방향: 저자들은 명시적으로 그들의 결과가 특정 인구통계 (젊고 교육받은 USMA 생도) 와 특정 유형의 편향 (실수 발생) 에만 국한됨을 지적합니다. 그들은 모든 군사 인력이 편향에 면역이라고 주장하지 않으며, 조직의 표준 운영 절차 (SOP) 가 개인 훈련을 압도할 수 없다고 주장하지도 않습니다. 그들은 USMA 훈련 모델이 확장 가능한지, 아니면 다른 집단이 인지적 왜곡에 더 취약한지 확인하기 위해 부사관, 다른 병과, 경력 장교에 대한 추가 연구를 촉구하고 있습니다.

궁극적으로 본 논문은 AI 가 위기 의사결정에 새로운 위험을 도입하지만, 인간 주체성—특히 표적화된 교육에 의해 지원될 때—전쟁과 평화에서 적절한 판단의 침식을 방지하는 데 있어 여전히 결정적인 변수라고 주장합니다.