AI, Trust, and Teaming: The Humans-as-Handlers Approach for Autonomous and Opaque AI Systems

기술 요약: AI, 신뢰, 그리고 팀 구성: 자율적이고 불투명한 AI 시스템을 위한 '핸들러로서의 인간' 접근법

문제 제기
본 논문은 의료 및 전쟁과 같은 고위험 영역에서 자율적이고 불투명한 AI 시스템과 관련하여 견고한 인간-기계 팀(HMT)을 구축하는 데 따르는 결정적인 과제를 다룬다. AI 시스템이 점점 더 복잡해지고 '블랙박스'와 같은 성격을 띠게 됨에 따라, 투명성과 설명 가능성(XAI)에 의존하는 전통적인 프레임워크는 책임 있는 사용을 보장하기에 불충분하다. 저자는 AI의 의사결정 과정의 불투명성이 인간의 신뢰를 저해하고 책임의 소재를 모호하게 만드는 '책임의 간극(responsibility gap)'을 식별한다. 또한, AI를 단순한 '사용자'나 '배포자'로 보는 기존의 개념화는 고급 자율 시스템의 에이전시(agency), 예측 불가능성, 독립적 처리 능력을 충분히 반영하지 못하며, 이는 부적절한 윤리적 및 법적 감독으로 이어진다.

방법론
본 논문은 경험적 실험보다는 개념적 및 철학적 분석을 채택한다. 핵심적인 방법론적 접근 방식은 다음과 같다:

1. 신뢰의 해체: Malle와 Ullman(2021)이 제안한 다차원적 신뢰 측정(MDMT)을 활용하여, 저자는 '성능 신뢰'(신뢰성, 능력)와 '도덕적 신뢰'(성실성, 윤리)를 구분한다. 분석 결과, 현재의 AI 담론이 신뢰를 단일한 개념으로 단순화하여 이러한 구별된 측면들을 간과하고 있다고 주장한다.
2. 유추 구축: 저자는 인간-AI 팀과 인간-동물 팀(특히 핸들러와 군견) 사이의 유추를 개발한다. 이 유추는 불투명한 시스템과 인간 사이의 관계를 모델링하는 데 사용되며, 인간이 '사용자'가 아닌 '핸들러(관리자/조련사)'로 간주되어야 한다고 상정한다.
3. 비유의 한계에 대한 비판적 평가: 본 논문은 동물 유례의 한계를 엄격히 검토하여(예: AI 오류의 네트워크 전파, 기계의 정서적 에이전시 결여, 하드웨어의 교체 가능성 등), '핸들러로서의 인간' 프레임워크를 정교화한다.
4. 생애주기 통합: 제안된 접근법을 AI 시스템의 전체 생애주기(설계, 훈련, 배포 및 배포 후 문제 해결)에 매핑하여 실질적인 적용 가능성을 입증한다.

주요 기여

• 인간 역할의 재정의: 주요 기여는 인간의 역할을 '사용자'에서 '핸들러'로 재설정하는 제안이다. 이러한 전환은 불투명한 AI 시스템이 결정론적인 도구가 아니라 독립적인 행동이 가능한 에이전트와 같은 존재임을 인정하는 것이다. '핸들러'라는 역할은 전투견을 관리하는 군사 핸들러와 유사하게 친숙함, 직관, 그리고 결과에 대한 직접적인 책임을 바탕으로 한 관계를 의미한다.
• 신뢰와 투명성의 분리: 본 논문은 신뢰가 완전한 투명성이나 설명 가능성을 필요로 하지 않는다고 주장한다. 인간-동물 유례를 바탕으로, 고속 환경에서의 효과적인 팀 구성을 위해서는 기술적 설명보다 '친숙함'과 '직관적 이해'(시스템의 행동에 대한 '감각')가 더 중요하다고 상정한다.
• 책임의 명확화: 핸들러 모델을 채택함으로써, 본 논문은 '책임의 간극'에 대한 해결책을 제시한다. 이는 시스템이 예측 불가능하거나 비윤리적으로 행동할 때 개입해야 하는 의무("목줄을 푸는 것")를 포함하여, 인간 핸들러가 AI의 행동에 대해 명확하고 추적 가능한 책임을 지도록 설정한다.
• 협력적 팀 구성 프레임워크: 본 논문은 인간과 AI가 함께 복잡한 목표를 추구하는 협력적 이해를 옹호한다. 핸들러는 단순히 사전 훈련된 시스템을 배포하는 것이 아니라, 시스템의 실패를 예측하는 데 필요한 직관을 기르기 위해 AI의 훈련 단계부터 참여해야 함을 강조한다.

결과 및 논거

• 신뢰는 다차원적이다: 분석 결과, 시스템이 매우 유능하고 신뢰할 수 있을지라도(성능 신뢰), 도덕적 신뢰성(예: 부수적 피해를 고려하지 못함)은 결여될 수 있음을 보여준다. 반대로, 표적을 타격하는 데 있어 '신뢰성'을 낮추는 안전장치를 가진 시스템이 윤리적으로는 더 신뢰할 수 있을 수 있다. 단일한 '신뢰도' 지표는 불충분하다.
• XAI의 한계: XAI가 가치가 있음에도 불구하고, 본 논문은 그것이 만병통치약이 아니라고 주장한다. 설명은 때때로 잘못된 보안 의식을 심어주거나 오도할 수 있다. 전쟁과 같은 고템포 환경에서 핸들러는 설명이 대체할 수 없는, 친숙함에서 비롯된 직관에 의존한다.
• 핸들러-핸들디(Handler-Handlee) 역학: 본 논문은 핸들러 모델이 AI를 단순한 도구로 취급하는 것과 완전한 인간적 에이전시를 부여하는 것 사이의 간극을 성공적으로 메운다고 결론짓는다. 이는 AI의 예측 불가능성을 인정하면서도 인간의 감독과 도덕적 책임을 유지할 수 있게 한다.
• 제도적 시사점: 이 접근법은 특히 교육 측면에서 제도적 변화를 요구한다. 핸들러는 핸들러가 개와 함께 성장하며 개발하는 방식과 유사하게, AI의 한계를 이해하기 위해 AI의 훈련 및 '길들이기(breaking)' 과정에 참여해야 한다.

의의
본 논문은 불투명한 AI를 관리하기 위한 실용적이고 해결 중심적인 프레임워크를 제공함으로써 그 의의를 주장한다. 저자는 인간을 '사용자'에서 '핸들러'로 인식의 패러다임을 전환하지 않는다면, 인간-기계 팀은 자율 시스템의 예측 불가능성에 취약한 상태로 남아 잠재적으로 치명적인 오류와 윤리적 위반을 초래할 것이라고 주장한다. '핸들러로서의 인간' 접근법은 AI에 대한 최종적인 존재론적 진리가 아니라, 생사가 걸린 시나리오에서 인간이 필요한 판단력, 친숙함, 책임을 유지하며 자율 시스템을 안전하게 배치하기 위해 필요한 인식적 및 제도적 전환으로 제시된다. 저자는 이 유례가 강력한 출발점을 제공하지만, 이 프레임이 개별 핸들러와 광범위한 대중의 신뢰 모두에 미치는 심리적 영향에 대한 향후 연구가 필요하다고 언급한다.