Practical Judgment, Virtue, and Intuition in the Use of Opaque AI-Enabled Systems

기술 요약: 불투명한 AI 기반 시스템 사용에 있어서의 실천적 판단, 덕목, 그리고 직관

문제 제기
본 논문은 대규모 데이터셋과 심층 신경망(DNN)을 활용하는 머신러로닝(ML)이 적용된 "불투명한" AI 기반 시스템의 도입이 증가함에 따라 발생하는 과제들을 다룬다. 이러한 시스템들은 입력값과 출력값 사이의 인과 관계를 사용자나 개발자 모두가 알 수 없는 "블랙박스"로서 기능한다. 이러한 불투명성은 이러한 시스템이 실시간 인간의 감독 없이 "중요 기능(critical functions)"을 수행할 수 있는 자율 플랫폼에 내장될 때 더욱 심화된다.

저자들은 불투명성이 다음과 같은 윤리적, 법적, 운영적 위험을 초래한다고 지적한다:

• 예측 불가능성: 시스템의 동작을 신뢰성 있게 예측하거나 특정 위험한 출력을 배제할 수 없는 능력의 부재.
• 통제력 약화: 의미 있는 인간 통제(MHC)를 유지하고 "책임 간극(responsibility gaps)"을 방지하는 것의 어려움.
• 운영 리스크: 예측 불가능성은 신뢰를 저해하고, 부주의한 사용 가능성을 높이며, 효과적인 인간-기계 팀 구성(human-machine teaming)을 방해한다.
• 기존 해결책의 한계: 설명 가능한 AI(XAI)와 같은 기술적 솔루션과 제도적 가이드라인이 제안되고 있으나, 저자들은 이것들만으로는 불충분하다고 주장한다. XAI는 기술적으로 까다로우며, 복잡하고 자율적인 맥락에서의 불투형성을 완전히 해결하지 못할 수 있다. 또한, 기술적 해결책에만 의존하는 것은 이러한 위험을 완화하기 위한 독특한 인간적 특성의 잠재력을 간과하는 것이다.

방법론 및 이론적 프레임워크
본 논문은 아리스토텔레스 전통에 기초한 **덕 윤리(virtue ethics)**를 활용하여 규범적이고 철학적인 접근 방식을 취한다. 새로운 기술적 아키텍처나 경험적 실험을 제안하기보다는, AI 배치에 있어 인간의 성품(character)의 중심성을 주장하는 개념적 프레임워크를 구축한다.

주요 이론적 구성 요소는 다음과 같다:

• 덕 윤리: 규칙 기반의 준수에서 용기, 성실, 그리고 실천적 지혜(phronesis)와 같은 성품(덕목)의 함양으로 초점을 전환한다.
• 실천적 판단 (Phronesis): 정밀한 부호화나 규칙 적용이 어려운 상황을 헤쳐 나갈 수 있게 하는 메타 덕목으로 정의된다. 이는 경직된 알고리즘이 놓칠 수 있는 윤리적으로 유의미한 요소(예: 전투원이 목욕을 하고 있는 상황과 같은 "벌거벗은 군인" 시나리오)를 감지하는 능력을 포함한다.
• 직관: 신비로운 능력이 아니라, 경험을 통해 개발된 훈련된 직관적 감각으로서, 신속한 상황 평가를 가능하게 한다.
• 자원으로서의 판단: 저자들은 판단을 고갈 가능한 인지적 자원으로 보는 새로운 개념을 도입한다. 개인은 피로, 인지적 과부하, 또는 정서적 스트레스에 의해 소진될 수 있는 제한된 "판단의 풀(pool)"을 가지고 있다고 주장한다.

이 분석은 자율 무기 체계의 위험성이 높고 덕 윤리가 군사 훈련에 이미 널리 퍼져 있는 군사 영역을 주요 사례로 사용하지만, 저자들은 이 논증이 의학을 포함한 다른 영역에도 광범위하게 적용될 수 있다고 단언한다.

주요 기여

1. 인간의 한계를 자산으로 재정의: 본 논문은 인간의 인지적 한계(휴리스틱, 유추, 직관에 대한 의존)가 단순히 수정해야 할 버그가 아니라, 활용할 수 있는 특징이라고 주장한다. 인간은 코드로 구현할 수 없는 복잡한 상황에서 "무엇이 중요한가"를 식별하는 데 탁월하며, 이는 불투명한 AI가 결여한 능력이다.
2. "자원으로서의 판단" 모델: 저자들은 불투명한 시스템의 배치를 결정할 때 운영자의 판단 능력에 대한 비용-편익 분석에 의해 통제되어야 한다고 제안한다. 배치는 오직 인간의 판단에만 의존할 경우 운영자의 판단 풀이 급격히 고갈되어 위험한 오류를 초래할 때에만 정당화된다.
3. AI 팀 구성에서의 덕목 구체화: 논문은 "풍부한 팀 구성(rich teaming)"이 단순한 사용과 어떻게 다른지 설명한다. 이는 운영자가 기술적 투명성보다는 경험을 통해 시스템의 역량, 한계, 실패 모드를 이해하며 직관적인 "알아가는" 관계를 발전시키는 것을 의미한다.
4. 계층적 배치 및 책임: 저자들은 불투명한 시스템의 배치 권한이 계층화되어야 한다고 제안한다. 상급 지휘관은 하급자의 덕목과 판단 능력을 평가해야 한다. 만약 하급자가 자신의 한계를 측정할 수 있는 필요한 성품(예: 정직함, 자기 성찰)을 갖추지 못했다면, 해당 하급자는 그러한 시스템을 사용하는 것이 제한되어야 한다.
5. 탈숙련화(De-skilling) 완화: 논문은 탈숙련화에 대한 우려에 맞서 "비배치 기본 원칙(default to non-deployment)"을 강조하는 덕 기반 접근법을 주장한다. 시스템은 인간의 판단이 압도당할 때만 사용되며, 이를 통해 인간의 판단의 필요성을 보존하고 기술적 숙련도 저하에서 인문학적 덕목의 재교육으로 초점을 전환할 수 있다.

결과 및 논증
본 논문은 경험적 데이터나 실험 결과를 제시하지 않는다. 대신, 그 "결과"는 덕 윤리를 불투명성 문제에 적용하여 도출된 논리적 결론이다:

• 완화 전략: 실천적 판단과 덕목은 인간이 불투명한 시스템이 그 역량의 한계점에서 작동하고 있거나, 상황적 요인이 시스템의 출력을 윤리적으로 의심스럽게 만드는 경우를 감지할 수 있게 함으로써 불투명성 위험을 완화할 수 있다. 이는 시스템의 내부 로직을 이해하지 못하더라도 가능하다.
• 맥락적 배치: 불투명한 시스템을 배치하는 데에는 보편적인 규칙이 없다. 결정은 본질적으로 맥락 의존적이며, 운영자의 현재 판단 능력에 대한 정직한 자기 평가와 임무의 구체적인 요구 사항에 달려 있다.
• 상호 보완성: 인문학적 접근 방식은 기술적 솔루션(XAI 등)이나 제도적 규칙을 대체하는 것이 아니라, 그것들을 효과적으로 만들기 위해 반드시 필요하다. 규칙은 모든 예외를 다룰 수 없으며, 오직 실천적 지혜만이 규칙이 적용되지 않아야 할 때나 시스템을 사용해서는 안 될 때를 식별할 수 있다.

의의 및 주장
저자들은 자신들의 접근 방식이 기존의 기술적, 제도적 프레임워크에 필수적인 보완책을 제공한다고 주장한다. 그들은 자신들의 제안을 "스위스 치즈" 안전 모델 내에 위치시키며, 여기서 인문학적 가치는 기술적, 제도적 안전장치의 간극이 일치하여 파멸적인 실패를 일으키지 않도록 위험의 위치를 이동시키는 방어 계층 역할을 한다.

논문은 다음과 같이 단언한다:

• 책임는 제거될 수 없다: 역할의 기능적 측면은 자동화될 수 있지만, 책임은 인간에게 남는다. 이 책임은 실천적 판단의 실행을 요구하며, 이는 수치화할 수 없고 성품에 뿌리를 둔다.
• 불투명성은 관리 가능하다: 인간의 덕목(한계를 인정하는 용기, 한계를 따르는 성실함, 상황을 평가하는 지혜)을 개발함으로써, 조직은 AI의 내부 작동 방식을 완전히 투명하게 공개할 필요 없이 불투명하고 자율적인 시스템을 책임감 있게 배치할 수 있다.
• 인간 중심 설계: 궁극적인 의의는 "인간이 루프 안에 있음(human-in-the-loop)"이 단순한 안전 스위치가 아니라, 전체 시스템의 안전과 효능을 결정하는 도덕적 행위자로서의 인간을 인식하는 데 있다.

저자들은 자신들이 불투명성 문제를 해결하는 것이 아니라, 그 위험을 관리하기 위한 강력하고 인간 중심적인 방법을 제공한다고 결론짓는다. 이를 통해 신흥 기술의 배치가 인간의 덕을 함양함으로써 윤리적, 법적 규범과 일치된 상태를 유지하도록 보장한다.