Governing Trust in Health AI: A Qualitative Study of Cybersecurity Professionals Perspectives

이 연구는 의료 AI 의 신뢰성이 기술적 성능보다는 사이버 보안 전문가들이 강조하는 거버넌스, 책임성, 그리고 인간 감독을 통한 제도적 신뢰 구축에 의해 결정됨을 규명합니다.

핵심

이 연구 논문은 **"병원에서 인공지능 (AI) 을 믿을 수 있을까?"**라는 질문에 답하기 위해, 의사가 아니라 **보안 전문가 (해커를 막는 사람들)**들의 생각을 조사한 내용입니다.

일반적으로 우리는 AI 가 얼마나 똑똑한지, 진단을 얼마나 빠르게 내리는지에만 관심을 갖지만, 이 연구는 **"AI 가 작동하는 시스템 자체를 지키는 사람들이 AI 를 어떻게 바라보는지"**를 보여줍니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 4 가지 핵심 비유로 설명해 드릴게요.

---

1. AI 는 '스마트한 조수'일 뿐, '주인'이 아니다

비유: "최고의 내비게이션이지만, 운전자는 여전히 당신이어야 합니다."

보안 전문가들은 AI 를 "의사를 대체하는 신비로운 존재"로 보지 않습니다. 대신 그들은 AI 를 **"업무 효율을 높여주는 강력한 보조 도구"**로 봅니다.

• 현실: AI 는 엑스레이를 분석하거나 약을 분류하는 일을 사람보다 훨씬 빠르고 정확하게 할 수 있습니다.
• 전문가의 생각: 하지만 AI 는 스스로 결정을 내리는 '주인'이 될 수 없습니다. AI 가 길을 알려주더라도 (진단을 제안하더라도), 최종적으로 핸들을 잡고 결정을 내리는 것은 **사람 (의사)**이어야 합니다.
• 핵심 메시지: AI 는 의사의 능력을 '보강'하는 것이지, 의사를 '대체'하는 것이 아닙니다. AI 가 아무리 똑똑해도, 사람이 감시하고 책임져야만 신뢰할 수 있습니다.

2. 병원 데이터는 '구멍 난 댐' 위에 세워진 '고층 빌딩'

비유: "튼튼한 빌딩을 지으려는데, 기초 공사 (데이터 보안) 가 약하면 무너집니다."

AI 는 엄청난 양의 환자 데이터를 먹어야 작동합니다. 그런데 보안 전문가들이 말하길, 병원의 데이터 시스템은 이미 구멍이 숭숭 뚫려 있고 서로 연결되지 않아서 불안정합니다.

• 현실: 병원마다 컴퓨터 시스템이 다르고, 데이터가 흩어져 있어 AI 가 데이터를 처리할 때 실수가 나기 쉽습니다.
• 전문가의 생각: "우리는 해킹이나 데이터 유출이 언제든 일어날 수 있는 일이라고 생각합니다. '안 일어날 거야'라고 기대하는 게 아니라, '일어났을 때 어떻게 막을지' 준비하는 게 중요합니다."
• 핵심 메시지: AI 기술이 아무리 발전해도, 그 아래에 깔린 데이터 보안 시스템이 약하면 AI 는 위험해질 수 있습니다.

3. 신뢰는 '한 번에 생기는 마법'이 아니라 '시간이 걸리는 우정'

비유: "새로 만난 사람과 바로 친구가 될 수 없죠? 함께 시간을 보내며 믿음이 쌓입니다."

우리는 AI 가 처음 등장했을 때부터 100% 믿을 수 있을까요? 보안 전문가들은 절대 그렇지 않다고 말합니다.

• 현실: AI 가 실수 (환각, 오진) 를 할 수도 있고, 훈련된 데이터가 편향되어 있을 수도 있습니다.
• 전문가의 생각: "AI 를 믿는다는 건, 시간이 지나면서 AI 가 꾸준히 잘 작동하는지, 투명하게 공개하는지를 확인하는 과정입니다."
• 핵심 메시지: AI 에 대한 신뢰는 기술이 좋다고 해서 생기는 게 아니라, 병원과 AI 가 얼마나 성실하게 책임을 지는지를 보며 서서히 쌓아지는 것입니다.

4. 보안 전문가들은 '방화벽'이 아니라 '지킴이'입니다

비유: "집에 도둑이 들지 않게 문만 잠그는 게 아니라, 집주인들에게 '어떻게 살면 안전한지' 가르치는 역할입니다."

보안 전문가들은 단순히 해킹을 막는 기술자만은 아닙니다. 그들은 병원 전체에 책임감을 심어주는 '지킴이' 역할을 합니다.

• 현실: 병원 직원들은 보안이 중요하다는 걸 모를 때가 많습니다.
• 전문가의 생각: "우리는 AI 시스템을 처음 설계할 때부터 보안을 넣어야 합니다 (Security by Design). 그리고 계속 점검하고, 직원들에게 위험을 알려야 합니다."
• 핵심 메시지: AI 가 안전한지 여부는 기술적인 문제만 아니라, 병원이라는 조직이 얼마나 성실하게 위험을 관리하느냐에 달려 있습니다.

---

📝 결론: 한 줄 요약

"AI 가 똑똑하다고 해서 믿을 수 있는 게 아닙니다. AI 를 안전하게 지키고, 실수가 났을 때 책임질 준비가 된 '병원'이 믿을 수 있어야, 우리는 그 AI 를 믿을 수 있습니다."

이 연구는 우리에게 기술의 성능보다 '관리와 책임'이 더 중요하다는 사실을 일깨워줍니다. AI 가 병원에 들어오면, 우리는 AI 자체보다 그 AI 를 운영하는 병원 시스템이 얼마나 안전한지를 먼저 확인해야 합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 의료 분야에서 인공지능 (AI) 이 임상 해석 및 운영 프로세스에 점점 더 깊이 통합되고 있습니다. 그러나 기존 연구는 주로 임상가 (의사) 와 환자, 그리고 AI 의 기술적 성능 (정확도, 효율성) 에 초점을 맞추고 있습니다.
• 문제점: AI 시스템이 작동하는 디지털 인프라를 유지하고 관리하는 사이버 보안 전문가 (Cybersecurity Professionals) 의 관점이 간과되어 왔습니다.
  • 의료 데이터 시스템은 구조적으로 파편화되어 있고 취약하며, AI 는 이러한 기존 취약점을 증폭시킵니다.
  • 과거의 의료 불신 (인종 차별, 윤리적 해악 등) 과 결합된 맥락에서, 기술적 성능만으로는 AI 에 대한 신뢰를 확보할 수 없습니다.
  • AI 의 신뢰성은 기술적 결과물이 아니라, 이를 둘러싼 제도적 거버넌스 (Institutional Governance) 와 책임성 (Accountability) 을 통해 형성됩니다.
• 연구 목적: 사이버 보안 전문가들이 건강 AI 를 어떻게 개념화하는지, 그리고 이러한 해석이 신뢰, 위험, 감독에 대한 이해에 어떻게 영향을 미치는지 규명하는 것.

2. 연구 방법론 (Methodology)

• 연구 설계: 반구조화된 심층 인터뷰 (Semi-structured in-depth interviews) 를 활용한 질적 연구.
• 이론적 틀: 사회기술적 시스템 이론 (Sociotechnical Systems Theory) 과 제도적 신뢰 (Institutional Trust) 학설을 기반으로 함.
• 참여자: 의료, AI, 데이터 시스템, 디지털 인프라 분야에서 일하는 사이버 보안 전문가 20 명.
  • 모집 방법: 전문 네트워크, LinkedIn, 눈덩이 표본 추출 (Snowball sampling).
  • 인구통계: 25~34 세 (65%), 흑인/아프리카계 (80%), 석사 이상 학위 소지자 (75%) 가 다수.
• 데이터 수집: 2025 년 5 월부터 8 월까지 진행되었으며, 인터뷰는 45~60 분간 녹음 및 전사됨.
• 데이터 분석: 질적 내용 분석 (Qualitative Content Analysis) 및 상수 비교법 (Constant Comparison) 사용. 두 명의 연구자가 독립적으로 코딩하고 주제를 도출.
• 윤리: 칼빈 대학교 IRB 승인 (IRB # 25-002) 받음.

3. 주요 결과 (Key Results)

분석을 통해 사이버 보안 전문가들의 관점에서 도출된 4 가지 핵심 주제는 다음과 같습니다.

주제 1: 건강 AI 는 '자율적 권위'가 아닌 '증강된 임상 인프라'

• 전문가들은 AI 를 임상 판단을 대체하는 독립적 의사결정자로 보지 않음.
• AI 는 임상 사고를 확장하고 운영 효율성을 높이는 도구 (Tool) 또는 인프라로 인식됨.
• 핵심: AI 의 신뢰는 인간의 감독 (Human Oversight) 하에 있을 때만 성립하며, AI 는 전문가의 판단을 보조하는 역할 (Scaffolding) 을 해야 함.

주제 2: 취약한 데이터 생태계가 기존 시스템 취약점을 증폭시킴

• 의료 데이터 환경은 파편화되어 있고 보안이 취약함. AI 는 대규모 데이터 통합을 필요로 하므로 이러한 구조적 약점을 심화시킴.
• 위험 인식: 보안 침해 (Breaches) 는 드문 예외가 아니라 예상되는 사건으로 간주됨.
• 데이터 거버넌스: 다양한 시스템 간의 데이터 형식 불일치로 인한 개인정보 제거 (De-identification) 의 기술적 난제와 과도한 데이터 노출 우려가 제기됨.

주제 3: 조건부 신뢰 (Contingent Trust) 와 알고리즘 권위의 한계

• AI 에 대한 신뢰는 절대적이지 않으며, 상황에 의존적이고 점진적으로 형성됨.
• 신뢰의 조건: 모델의 훈련 데이터, 적용 맥락, 그리고 임상적 검토 유무에 따라 신뢰도가 결정됨.
• 우려 사항: 환각 (Hallucinations), 과진단/미진단, 새로운 질병에 대한 학습 부재 등 기술적 한계로 인해 AI 를 맹신할 수 없음. 신뢰는 투명성과 일관된 책임 있는 행동을 통해 시간이 지남에 따라 구축됨.

주제 4: 사이버 보안 관리 (Stewardship) 를 통한 AI 유발 임상 위험 거버넌스

• 사이버 보안 전문가의 역할은 단순한 기술적 방어를 넘어 조직적 관리 (Stewardship) 로 확장됨.
• 핵심 전략:
  • Security by Design: 시스템 설계 단계부터 보안을 통합.
  • 지속적 모니터링: 일회성 점검이 아닌 지속적인 침투 테스트와 재평가.
  • 교육: 임상진료자 및 관리자에게 보안 위험에 대한 인식 제고.
  • 계층적 방어: 암호화, 접근 제어 등을 통해 침해 발생 시 피해를 최소화하는 방안 마련.
• 사이버 보안 투자는 비용이 아닌 인프라의 필수 요소로 간주됨.

4. 주요 기여 (Key Contributions)

1. 새로운 관점 제시: 건강 AI 의 신뢰성을 기술적 성능이 아닌 제도적 거버넌스와 사이버 보안 관리의 관점에서 재정의함.
2. 주체 확장: AI 신뢰 형성 과정에서 임상가와 환자뿐만 아니라 사이버 보안 전문가의 핵심적 역할을 부각시킴.
3. 실용적 프레임워크: Fig 1.2 에서 제시된 개념 모델과 같이, 위험 관리가 사후 대응이 아닌 설계 단계에 내재되어야 함을 강조하는 '책임 있는 혁신 (Responsible Innovation)' 접근법을 의료 AI 에 적용.
4. 신뢰의 재해석: AI 신뢰는 '위험 제거'가 아니라, 위험 발생 시 피해를 어떻게 통제하고 책임지는가에 대한 조직의 능력을 통해 형성됨을 규명.

5. 의의 및 시사점 (Significance)

• 정책 및 거버넌스: 의료 기관은 AI 도입 시 기술적 성능 검증뿐만 아니라, 데이터 보안 인프라와 위기 대응 체계 (Contingency Planning) 를 강화해야 함. 이는 환자 신뢰 회복의 핵심 요소임.
• 조직 문화: 사이버 보안 팀은 기술 지원 부서가 아닌, 임상 workflows 와 AI 시스템의 신뢰성을 보장하는 전략적 파트너로 자리 잡아야 함.
• 사회적 맥락: 과거 의료 불신 (구조적 인종차별 등) 을 가진 커뮤니티의 경우, 투명하고 책임 있는 사이버 보안 거버넌스가 AI 수용성을 결정하는 중요한 변수가 됨.
• 향후 연구 방향: 기술적 관점뿐만 아니라 환자 및 임상가의 인식을 포함한 장기적 연구와, 거버넌스 실천이 실제 신뢰 지표에 미치는 영향에 대한 실증 연구가 필요함.

결론적으로, 이 연구는 건강 AI 의 성공적 통합이 알고리즘의 정교함에 달려 있는 것이 아니라, 이를 둘러싼 디지털 인프라의 견고함과 조직의 책임 있는 거버넌스에 달려 있음을 강조합니다. 사이버 보안은 단순한 기술적 방어가 아니라, 디지털 의료 시스템에 대한 사회적 신뢰를 구축하는 핵심 기제입니다.