From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

기술 요약: 사일로에서 시스템으로: AI 시스템을 위한 프로세스 중심적 위해 분석

문제 제り
인공지능(AI) 시스템의 리스크를 분석하는 현재의 접근 방식은 주로 훈련 데이터나 특정 머신러닝 모델과 같은 개별 구성 요소에 고립되어 집중되어 있습니다. 이러한 "사일로(siloed)" 관점은 구성 요소 간의 상호작용, 모델이 더 넓은 소프트웨어 스택으로 통합되는 과정, 그리고 개발 및 운영의 사회기술적 프로세스로부터 발생하는 위해(hazards)를 간과합니다. EU AI 법안(EU AI Act)과 같은 규제 프레임워크나 시스템 카드(system cards)와 같은 산업계의 관행이 AI 모델과 AI 시스템을 구분하기 시작했으나, 시스템 수준에서의 위해 분석을 촉진할 실증적인 프레임워크는 부족한 실정입니다. 기존 방법론들은 복잡한 사회기술적 시스템에서 안전성이 발현되는 창발적(emergent) 특성을 반영하지 못하는 경우가 많습니다. 즉, 위해는 단순히 구성 요소의 결함뿐만 아니라 기술적 산물, 인간 행위자, 그리고 제도적 프로세스의 상호작용으로부터 발생합니다. 더욱이, AI 시스템은 다양한 패러다임(예: 선형 회귀 vs. 생성 모델)에 따라 크게 달라지는 고유한 특성(모델의 불투 clarity/불투명성, 확률적 능력, 출력의 복잡성 등)을 지니고 있어, 전통적인 안전 공학 도구를 적용하는 것을 어렵게 만듭니다.

방법론
저자들은 시스템 안전 분야의 확립된 위해 분석 프레임워크인 **시스템 이론적 프로세스 분석(STPA)**을 AI 맥락에 맞게 변형하여 적용합니다. STPA는 안전을 단순한 구성 요소의 고장이 아닌, 전체 시스템의 창발적 속성으로 취급하며, 제어 구조와 피드백 루프를 분석합니다.

본 연구는 서로 다른 영역과 패러다임에 걸친 세 가지 독특한 AI 시스템에 대한 질적 사례 연구를 채택하였습니다:

1. 사례 1 (C1): 조산아의 지연성 패혈증 예측을 위한 선형 회귀 기반 조기 경보 시스템 (인간 참여형/Human-in-the-loop).
2. 사례 2 (C2): 당뇨병 관리를 위한 강화 학습(RL) 기반 자동 인슐린 주입 시스템 (인간 배제형/Human-out-of-the-loop).
3. 사례 3 (C3): 창작 활동의 스토리보딩을 위한 텍스트-이미지(T2I) 생성 모델 (인간 도구 사용자/Human-as-tool-user).

연구 방법론은 이해관계자 인터뷰, 워크숍, 기술 문서 및 학술 문헌 검토를 통한 데이터 수집을 포함했습니다. 연구진은 각 사례에 대해 STPA의 네 가지 표준 단계를 적용했습니다:

1. 분석 목적 식별 (손실 및 시스템 경계).
2. 제어 다이어그램 작성 (제어기, 제어 대상 프로세스, 피드back 매핑).
3. 불안전 제어 동작(Unsafe Control Actions, UCAs) 식별.
4. 손실 시나리오 식별 (UCAs로 이어지는 인과 체인).

이러한 적용 과정을 반복적이고 성찰적으로 분석함으로써, 저자들은 AI 특유의 과제를 해결하기 위해 STPA 개념을 번역한 가이드라인인 **PHASE(Process-oriented Hazard Analysis for AI Systems)**를 개발했습니다.

주요 기여
주요 기여는 AI의 이질성을 다루기 위해 특정 수정 사항을 도입하여 STPA를 AI에 맞게 변형한 PHASE 가이드라인입니다.

• 확장된 손실 분류 체계: PHASE는 "손실"의 정의를 전통적인 안전 임계 결과(예: 생명 손실)를 넘어 성능 관련 손실(예: 효율성, 평판) 및 사회기술적 손실(예: 개인정보 침해, 다양성 상실, 알고리즘 편향)로 확장합니다.
• 프로세스 중심적 시스템 경계: 모델 자체를 중심으로 경계를 긋는 대신, PHASE는 개발 및 사용 프로세스(알고리즘 공급망)를 중심으로 경계를 정의합니다. 이는 개발자가 데이터와 설계 선택은 통제할 수 있지만, 학습된 잠재 표현(latent representations)까지는 반드시 통제할 수 없음을 인정하는 것입니다.
• 동적 제어 구조: PHASE는 조직의 명령이나 사용 패턴에 따라 특정 구성 요소(예: AI 어시스턴트)가 한 맥락에서는 제어기로, 다른 맥맥에서는 제어 대상 프로세스로 작용할 수 있는 AI의 유동적인 역할을 수용합니다.
• AI 특화 손실 시나리오: PHASE는 기존의 안전 장치가 따라잡지 못하는 속도로 진행되는 창발적이고 진화하는 시스템 역량(예: 모델 업데이트, 재학습 또는 사용 사례 확대)에서 비롯되는 손실 시나리오를 명시적으로 고려합니다.

결과 및 발견
세 가지 사례 연구를 통해 PHASE를 적용한 STPA의 결과는 다음과 같습니다:

• 적용 가능성: STPA의 핵심 개념과 단계는 AI 시스템에 적용 가능하지만, 모델의 불투명성과 자율성과 같은 AI 특유의 과제를 다루기 위한 타겟팅된 조정이 필요합니다.
• 위해 탐지: 시스템 수준의 분석은 구성 요소 단위의 감사에서는 보이지 않을 위해를 성공적으로 식별해 냈습니다. 예를 들어, 모델 자체는 개별적으로 공정성 감사를 통과할 수 있지만, 불완전한 경보와 의료진의 과도한 신뢰 사이의 시스템 수준 상호작용이 오진으로 이어질 수 있습니다.
• 이질성의 중요성: 분석 결과, 서로 다른 AI 패러다임(선형 모델, RL, 생성 모델)은 분석에 서로 다른 요구사항을 부여한다는 점이 드러났습니다. 예를 들어, 개방형 생성 플랫폼은 제약이 많은 RL 인슐린 시스템보다 시스템 경계를 정의하는 것이 더 복렴했습니다.
• 네 가지 주요 효용(Affordances): 본 연구는 분석가에게 제공되는 네 가지 구체적인 효용을 식별했습니다:
  1. 시스템 수준 탐지: 시스템 라이프사이클 전반에 걸쳐 산재한 문제들의 축적으로 발생하는 위해를 식별합니다.
  2. 사회적 요인 인정: 알고리즘적 위해에 기여하는 사회적 요인(예: 조직 문화, 시간 압박)을 명시적으로 매핑합니다.
  3. 추적 가능한 책임성: 제어 동작과 피드백 루프를 특정 행위자 및 산물과 매핑하여, 위해가 데이터 수집, 모델 훈련, 또는 사용자 상호작용 중 어디에서 기인했는지 구분함으로써 명확한 책임 체인을 구축합니다.
  4. 창발적 위해 모니터링: AI 시스템이 시간이 흐름에 따라 적응하거나, 업데이트되거나, 운영 맥락이 변화함에 따라 발생하는 새로운 위해를 지속적으로 모니터링할 수 있게 합니다.

의의 및 주장
본 논문은 PHASE가 분석의 렌즈를 고립된 구성 요소에서 전체 시스템의 창발적 속성으로 전환함으로써, 기존의 책임 있는 AI(Responsible AI) 노력에 중요한 보완책을 제공한다고 주장합니다. 저자들은 안전이 단순히 모델의 기술적 속성이 아니라, 시스템의 제어 구조가 갖는 사회기술적 속성이라고 주장합니다.

저자들은 PHASE를 다음과 같은 도구로 제시합니다:

• AI 안전 분석에서 "사일로"에서 "시스템"으로의 전환을 촉진합니다.
• 특정 위해와 이를 완화할 책임이 있는 행위자 또는 프로세스 간의 추적 가능성을 확립하여, AI 개발의 "책임 격차(accountability gap)" 문제를 해결합니다.
• 암묵적인 리스크와 사회적 요인을 명시적으로 만듦으로써 조직 내 안전 문화를 구축하도록 지원합니다.

저자들은 세 가지 사례 연구가 서로 다른 패러다임을 포괄하고는 있으나 AI 환경 전체를 대표하는 것은 아니라는 점을 언급하며, 자신들의 발견에 대한 일반화 가능성에 대해 겸허한 입장을 유지합니다. 또한, PHASE의 효과는 분석가의 전문성과 조직이 안전을 위해 자원을 할당하려는 의지에 달려 있음을 인정합니다. 본 연구는 시스템 안전 공학 원칙을 더 넓은 AI 거버넌스 및 책임 있는 개발 담론에 통합하기 위한 기초적인 단계로 제시됩니다.