Secure human oversight of AI: Threat modeling in a socio-technical context

이 논문은 인간 감독이 AI 시스템의 새로운 공격 표면이 될 수 있음을 지적하며, 사이버 보안 관점에서 인간 감독 프로세스를 체계적으로 위협 모델링하고 대응 전략을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 을 사람이 감시하는 시스템의 보안 위험"**에 대해 다루고 있습니다.

기존에는 "사람이 AI 를 잘 감시할 수 있을까?"라는 효율성 문제만 논의되었지만, 이 논문은 **"그 감시 시스템 자체가 해커에게 공격받을 수 있다"**는 보안 문제를 최초로 지적합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

🛡️ 핵심 비유: "무기창고의 경비원"

상상해 보세요. 거대하고 위험한 AI 무기창고가 있습니다. 이 창고를 관리하는 것은 매우 중요하지만, 실수가 나면 큰 재앙이 일어납니다. 그래서 정부는 **"경비원 (사람)"**을 배치했습니다. 경비원은 AI 가 이상한 짓을 하면 버튼을 눌러 멈추게 하거나, 잘못된 명령을 취소하는 역할을 합니다.

지금까지의 논의는 "경비원이 졸지 않고 잘 감시할 수 있을까?"에 집중했습니다. 하지만 이 논문은 **"경비원 자체를 해킹할 수 있다"**는 사실을 경고합니다.

"경비원 (감시 시스템) 이 해커에게 장악당하면, AI 무기창고는 완전히 무방비 상태가 됩니다."

---

🔍 이 논문이 발견한 3 가지 주요 위험 (공격 경로)

논문은 이 '경비 시스템'을 하나의 컴퓨터 프로그램처럼 보고, 해커가 어떻게 침입할지 분석했습니다.

1. 경비원의 신분 도용 (Spoofing)

• 상황: 해커가 경비원인 척하는 가짜 신분증 (비밀번호) 을 만들어 경비실로 들어갑니다.
• 비유: 해커가 경비원 복장을 하고 "저는 오늘 당직입니다"라고 속여 경비실 문을 엽니다.
• 위험: 경비원인 척한 해커는 AI 를 멈추는 버튼을 누르지 않고, 오히려 AI 가 위험한 일을 하도록 지시할 수 있습니다. 진짜 경비원은 통제권을 잃게 됩니다.

2. 경비원의 눈과 귀를 가리기 (Tampering & Information Disclosure)

• 상황: 해커가 경비원이 보는 화면을 조작하거나, AI 가 보내는 정보를 훔쳐봅니다.
• 비유: 해커가 경비원의 안경을 낀 채로 "지금 AI 는 정상입니다"라고 거짓말을 하거나, 경비원이 보고 있는 CCTV 화면을 가짜 영상으로 바꿔버립니다.
• 위험: 경비원은 AI 가 실제로는 위험한 일을 하고 있는데도 "괜찮다"고 착각하게 되어, 제때 개입하지 못합니다.

3. 경비원을 협박하거나 뇌물 주기 (Repudiation & Human Factor)

• 상황: 해커가 경비원 개인을 협박하거나 돈을 줘서 AI 를 멈추지 못하게 합니다.
• 비유: 해커가 경비원에게 "너의 가족을 해칠 거야"라고 협박하거나, "이거만 받아주면 큰돈을 줄게"라고 뇌물을 줍니다.
• 위험: 경비원은 시스템의 안전보다 자신의 안전이나 이익을 선택하게 되어, AI 의 위험한 행동을 방치하게 됩니다.

---

🛠️ 해결책: 경비 시스템을 튼튼하게 만드는 방법 (Hardening)

논문은 이런 공격을 막기 위해 다음과 같은 '방어 전략'을 제안합니다.

1. 침입 탐지 시스템 (IDS): 경비실 주변에 감시 카메라와 센서를 설치해, 낯선 사람이 접근하면 즉시 경보를 울립니다.
2. 암호화 (Encryption): 경비원과 AI, 그리고 경비실 사이의 대화 내용을 자물쇠로 잠가, 해커가 내용을 훔쳐보거나 조작하지 못하게 합니다.
3. 네트워크 관리: 해커가 경비실 문을 막아세우기 위해 (서비스 거부 공격) 엄청난 양의 가짜 메시지를 보내도, 경비원이 정상적인 업무를 할 수 있도록 트래픽을 필터링합니다.
4. 경비원 교육: 경비원들에게 "누가 가짜 신분증을 들고 와도 믿지 마라", "협박을 당하면 바로 신고하라"는 훈련을 시킵니다.
5. 적색 팀 (Red Teaming) 훈련: 실제 해커처럼 행동하는 전문가 팀을 고용해, 우리 경비 시스템에 구멍이 있는지 미리 찾아내고 고치는 연습을 합니다.

---

💡 결론: 왜 이 논문이 중요한가요?

우리는 AI 가 위험한 일을 할 때 사람이 개입해서 막아주면 안전할 것이라고 믿고 있습니다. 하지만 이 논문은 **"사람이 개입하는 그 시스템 자체가 해킹당하면, 오히려 AI 를 통제할 수 있는 마지막 보루가 무너진다"**고 경고합니다.

마치 **"성벽을 지키는 병사 (경비원) 가 적에게 넘어가면, 성벽은 아무리 튼튼해도 무의미해진다"**는 것과 같습니다.

따라서 앞으로 AI 를 규제하고 설계할 때는, 단순히 "사람이 잘 감시할 수 있게" 만드는 것뿐만 아니라, **"그 감시 시스템이 해킹당하지 않도록 철저히 방어"**하는 보안 설계가 반드시 함께 이루어져야 한다고 이 논문은 주장합니다.

기술 요약

1. 문제 정의 (Problem)

인공지능 (AI) 시스템, 특히 고위험 분야 (의료, 공공 행정, 중요 인프라 등) 에서는 부정확한 출력, 시스템 오작동, 기본권 침해 등을 방지하기 위해 **인간 감독 (Human Oversight)**이 필수적입니다. 유럽 AI 법 (EU AI Act) 등 규제에서도 인간 감독은 핵심 요구사항으로 명시되어 있습니다.

그러나 기존 연구와 논의는 인간 감독의 **효과성 (Effectiveness)**에 집중해 왔을 뿐, 인간 감독 시스템 자체의 **보안성 (Security)**은 간과되어 왔습니다.

• 핵심 문제: 인간 감독은 AI 운영의 안전 및 책임성 아키텍처의 일부로 구현되므로, 악성 행위자가 감독 요소를 공격하여 AI 시스템의 안전성을 근본적으로 훼손할 수 있는 **새로운 공격 표면 (Attack Surface)**이 됩니다.
• 위험: 인간 감독의 보안이 취약할 경우, 감독의 주요 목적인 위험 완화 실패는 물론, 오히려 새로운 공격 경로를 제공하여 전체 시스템의 위험을 증가시킬 수 있습니다.

2. 방법론 (Methodology)

저자들은 인간 감독을 단순한 인간 - 기계 상호작용이 아닌, IT 애플리케이션으로 모델링하여 사이버보안 관점에서 체계적인 **위협 모델링 (Threat Modeling)**을 수행했습니다.

• 사회기술적 시스템으로서의 모델링: 인간 감독을 다양한 방식으로 구현될 수 있는 사회기술적 시스템으로 정의하되, 분석을 위해 IT 애플리케이션으로 추상화했습니다.
• 데이터 흐름 다이어그램 (DFD) 구축:
  • 외부 엔티티 (사용자, 감독자, 상급자, 외부 자문위원회) 와 프로세스 (AI 시스템, 인간 감독 IT 시스템) 간의 데이터 흐름을 시각화했습니다.
  • 권한 경계 (Privilege Boundaries) 를 정의하여 (예: 사용자 vs AI, 감독자 vs AI, 감독자 vs 상급자), 각 경계를 넘는 데이터 흐름에서 발생할 수 있는 취약점을 식별했습니다.
• STRIDE 위협 모델 적용: 사이버보안 표준인 STRIDE 모델을 사용하여 인간 감독 애플리케이션에 대한 구체적인 위협을 도출했습니다.
  • Spoofing (스푸핑), Tampering (변조), Repudiation (부인), Information Disclosure (정보 유출), Denial of Service (서비스 거부), Elevation of Privilege (권한 상승).
• 자산 식별: 보호해야 할 물리적 자산 (감독자 자격증명, 사용자 데이터) 과 추상적 자산 (CIA 삼각형: 기밀성, 무결성, 가용성 + 효과적 감독의 4 가지 요구사항: 인식적 접근, 인과적 힘, 자기 통제, 적절한 의도) 을 정의했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 인간 감독의 보안 측면을 체계적으로 분석한 초기 연구로서 다음과 같은 세 가지 주요 기여를 합니다.

1. 인간 감독에 대한 보안 관점 도입: 인간 감독이 AI 안전 아키텍처의 핵심 요소이면서 동시에 악성 행위자의 표적이 될 수 있음을 최초로 명시적으로 지적했습니다.
2. 사회기술적 맥락에서의 위협 모델링 가이드라인 제공: 인간 감독 애플리케이션을 IT 시스템으로 모델링하고, DFD 와 STRIDE 를 활용하여 구체적인 위협을 식별하고 대응책을 도출하는 방법론을 제시했습니다.
3. 공격 벡터 및 강화 전략 체계적 개요: 인간 감독 시스템에 적용 가능한 구체적인 공격 벡터 목록과 이를 방어하기 위한 강화 전략 (Hardening Strategies) 을 제공하여 실무자와 연구자에게 실용적인 지침을 마련했습니다.

4. 주요 결과 및 분석 (Results & Analysis)

4.1 식별된 주요 위협 (STRIDE 기반)

• Spoofing (스푸핑): 사회공학적 기법 (피싱 등) 을 통해 감독자의 자격증명을 탈취하거나, 악성 AI 에이전트가 감독자 역할을 사칭하여 감독 시스템을 우회하는 공격.
• Tampering (변조): 프롬프트 인젝션 (Prompt Injection) 을 통해 AI 시스템의 행동을 조작하거나, 학습 데이터에 백도어를 심어 감독 시스템이 AI 의 실제 작동 원리를 이해하지 못하게 만듦 (인식적 접근 자산 훼손).
• Repudiation (부인): 로그 파일 조작을 통해 금지된 작업을 숨기거나, 감독자를 매수/협박하여 금지된 작업을 수행하게 한 후 이를 은폐하는 공격.
• Information Disclosure (정보 유출): 감독 시스템과 AI 시스템 간의 통신, 혹은 감독자 - IT 시스템 간 데이터 흐름을 도청하여 민감한 정보 (자격증명, 의사결정 프로토콜) 를 유출.
• Denial of Service (서비스 거부): (D)DoS 공격을 통해 감독 시스템의 가용성을 떨어뜨려 감독자가 실시간으로 개입하지 못하게 함 (인과적 힘 자산 훼손).
• Elevation of Privilege (권한 상승): AI 시스템이 감독자의 권한을 탈취하거나 감독자의 개입을 무효화하여 감독 권한을 우회하는 공격.

4.2 강화 전략 (Hardening Strategies)

식별된 위협에 대응하기 위해 다음과 같은 기술적 및 조직적 조치를 제안했습니다.

• 침입 탐지 시스템 (IDS): 네트워크 및 호스트 수준에서 이상 징후를 탐지.
• 암호화 (Encryption): 전송 중인 데이터 및 저장된 데이터의 암호화를 통해 중간자 공격 (MitM) 및 정보 유출 방지.
• 네트워크 관리: (D)DoS 공격에 대비한 트래픽 모니터링 및 필터링.
• 투명성 (Transparency): 시스템 구성 요소, 학습 데이터, 의존성 등을 공개하여 공급망 공격 및 취약점 분석 용이화.
• 감독자 교육: 사회공학적 공격 (피싱), 협박, 뇌물에 대한 인식 제고 및 대응 훈련.
• 레드 팀 (Red Teaming): 실제 공격자를 모방한 지속적인 보안 테스트를 통해 새로운 취약점 발견.

5. 의의 및 시사점 (Significance)

• 규제 및 거버넌스 강화: EU AI 법 등 규제에서 요구하는 '인간 감독'이 단순히 형식적으로 존재하는 것을 넘어, 실제로 보안적으로 견고하게 (Securely) 구현되어야 함을 강조합니다.
• 새로운 연구 분야 개척: AI 보안 연구가 주로 모델 자체 (적대적 공격 등) 에 집중되어 있었으나, **인간 - AI 상호작용 계층 (Human-in-the-loop)**의 보안 위험을 체계적으로 다룬 선구적인 연구입니다.
• 실무적 적용 가능성: 개발자와 정책 입안자에게 인간 감독 시스템을 설계할 때 고려해야 할 구체적인 공격 벡터와 방어 전략을 제공하여, 고위험 AI 시스템의 전반적인 안전성을 높이는 데 기여합니다.
• 미래 지향성: AI 에이전트가 스스로 감독을 우회하거나 사칭하는 등 진화하는 위협에 대비할 수 있는 분석 프레임워크를 제시합니다.

결론적으로, 이 논문은 인간 감독이 AI 시스템의 안전을 보장하는 마지막 보루이면서 동시에 가장 취약한 공격 표적이 될 수 있음을 경고하며, 이를 방어하기 위한 체계적인 보안 접근법의 필요성을 강력하게 주장합니다.