Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

기술 요약: 참여적 시스템 매핑을 통한 사회기술적 AI 거버넌스의 공동 구축

문제 제기
알고리즘 레지스터(Algorithm registers)는 공공 서비스 내 알고리즘 사용에 관한 투명성을 제공하기 위해 공공 부문 조직에서 점점 더 많이 채택되고 있습니다. 그러나 현재의 구현 방식은 심각한 한계에 직면해 있습니다. 즉, 다양한 이해관계자(시민, 시민사회, 감독 기구)의 상이한 정보 요구를 충족하는 데 실패하는 경우가 많으며, 제공되는 정보가 유용하기에는 너무 빈약하거나 이해하기에는 너무 기술적인 경우가 빈번합니다. 결과적으로, 이러한 레지스터는 의미 있는 책무성을 촉진하거나 알고리즘이 내재된 전체 사회기술적 시스템을 대변하는 데 어려움을 겪고 있습니다. 본 논문은 레지스터가 알고리즘 거버넌스를 어떻게 구성하고 정보를 제공하는지에 대한 이해 없이는, 거버넌스 관행이 실제 안전 위해 요소를 예측하거나 대응할 수 없는 단절된 노력에 그칠 위험이 있다고 주장합니다.

연구 방법론
본 연구는 네덜란드의 한 도시에서 법적 자동화(비즈니스 규칙 엔진)를 통해 복지 혜택 자격 여부를 평가하기 위해 사례 관리자들이 사용하는 의사결정 지원 도구인 "Avola"에 대한 사례 연구를 중심으로 혼합 방법론을 채택하였습니다. 연구는 5단계로 진행되었으며, 특히 IV단계와 V단계에 중점을 두었습니다:

1. 이해관계자 식별: 연구는 세 그룹을 참여시켰습니다: 시 정부 직원(직접 이해관계자, 알고리즘 거버넌스 담당자 및 제품 소유자 포함), 시 옴부즈맨, 그리고 시민사회단체(CSO)(간접 이해관계자).
2. 참여적 시스템 매핑 (IV단계): 세 그룹을 대상으로 두 차례의 워크숍을 실시했습니다. 참가자들에게는 시의 알고리즘 레지스터와 공개 문서를 바탕으로 도출된 예비 시스템 맵(M0)이 제시되었습니다. 참가자들은 워크시트와 대형 포맷의 지도를 사용하여 누락된 행위자, 프로세스, 피드백 루프를 식별하기 위해 시스템을 주석 처리했습니다. 이 과정은 간접 이해관계자의 "상황적 지식(situated knowledge)"을 기술 문서와 통합했습니다.
3. 시스템 이론적 프로세스 분석 (STPA) (V단계): 저자들은 안전 분석을 수행하기 위해 시스템 이론적 사고 모델 및 프로세스(STAMP) 프레임워크를 활용했습니다. 참여적 매핑은 계층적 제어 구조(HCS)를 구축하는 데 기초가 되었습니다. 분석은 다음의 네 가지 반복적인 단계를 따랐습니다:
   • 잠재적 손실(Losses) 식별 (예: 복지 혜택의 부당한 거부).
   • 계층적 제어 구조(HCS) 모델링 (기술적, 운영적, 조직적, 제도적 계층).
   • 제어 메커니즘이 실패하는 불안전 제어 동작(Unsafe Control Actions, UCAs) 식별.
   • 시스템 위해 요소(Hazards)를 특정 손실과 연결하는 손실 시나리오(Loss Scenarios) 도출.

핵심 기여
본 논문은 AI 거버넌스 및 안전 과학 분야에 세 가지 핵심적인 기여를 합니다:

1. 경험적 평가: 시의 알고리즘 레지스터를 비판적으로 평가하여, 이것이 내부적인 점검을 위한 "규율적" 도구로는 기능하지만, 추상성과 실행 가능한 세부 정보의 부족으로 인해 외부 이해관계자의 투명성 요구를 충족하는 데는 현재 실패하고 있음을 입증했습니다.
2. 참여적 매핑 스키마: 직접 및 간접 이해관계자의 관점을 통합함으로써 알고리즘 시스템과 그 거버넌스 구조를 매핑하는 방법을 개발하고 검증했습니다. 이 접근 방식은 표준적인 레지스터 공시에서 가려져 있는 시스템 구성 요소와 역학을 드러냅니다.
3. 규범적 성찰: 시스템 안전 분석의 정치적 차원에 대해 성찰하며, 거버넌스 구조를 매핑하는 데 사용되는 추상화는 무엇을 가시화하고 무엇을 숨길지를 결정하는 본질적으로 정치적인 선택임을 주장합니다.

연구 결과
참여적 매핑과 후속 STPA 분석을 통해 알고리즘 레지스터만으로는 나타나지 않았던 여러 안전 위해 요소와 거버넌스 격차가 드러났습니다:

• 인간 개입(Human-in-the-Loop) 실패: 레지스터는 사례 관리자가 최종 재량권을 갖는다고 명시하고 있으나, 분석 결과 시간 압박이나 "법적 자동화"를 객ian적이라고 신뢰함에 따라 사례 관리자가 오류(예: 업데이트되지 않은 시민 데이터)를 감지하지 못할 수 있는 "자동화 편향(automation bias)"의 위험이 확인되었습니다. 이는 복지 혜택의 부당한 거부라는 손실 시나리오로 이어집니다.
• 민원 절차의 결함: 레지스터는 사건 보고가 개발자에게 공유된다고 명시했으나, 참여적 과정을 통해 오류 지표가 체계적으로 추적되지 않고 있음이 밝혀졌습니다. 결과적으로 민원은 시스템적 패턴을 식별하기 위해 집계되기보다는 개별 사례별로 처리될 가능성이 높으며, 이는 필요한 모델 업데이트를 방해합니다.
• 감시 및 책무성 격차: 옴부즈맨과 CSO는 알고-리즘 레지스터의 위험 평가(FRAIA 및 DPIA) 공개가 불충분하다고 지적했습니다. 레지스터는 평가가 수행되었다고 명시하면서도 그 결과나 오류 지표에 대한 세부 사항은 공개하지 않았습니다. 이러한 기술 문서의 부재는 외부 행위자가 결정을 효과적으로 다투거나 민사 법원에서 법적 이의를 제기하는 것을 방해합니다.
• 정치적 맥락: 매핑 결과, 알고리즘 레지스터가 복잡한 정치적 위계(시의원, 시의회, 내무부) 내에 내재되어 있음이 드러났습니다. 공개되는 정보는 정치적 협상과 자원 제약의 대상이며, 종종 일반 대중보다 전문가 중개인의 필요를 우선시합니다.

의의 및 주장
본 논문은 현재 형태의 알고리즘 레지스터가 의미 있는 공적 책무성을 달출하기에는 불충분하다고 주장합니다. 저자들은 투명성이란 "대중(publics)"의 이질성을 이해해야 하는 관계적 행위라고 주장합니다. 참여적 시스템 매핑을 통해 간접 이해관계자(옴부즈맨, CSO)를 참여시킴으로써, 본 연구는 다음과 같은 점을 입증했습니다:

• 시스템 안전에는 다원주의가 필요함: 안전 분석은 순수하게 기술적일 수 없습니다. 자동화 편향이나 불투명한 피드백 루프와 같은 위해 요소를 식별하기 위해서는 시스템의 영향을 받거나 이를 모니터링하는 이들의 상황적 지식을 반드시 포함해야 합니다.
• 정치적 산물로서의 레지스터: 알고리즘 레지스터의 내용은 중립적이지 않으며, 무엇을 공개할지에 대한 정치적 선택을 반영합니다. 따라서 이 도구를 개선하려면 이를 형성하는 정치적 과정에 관여해야 합니다.
• 방법론적 전환: 저자들은 STPA와 같은 시스템 이론적 방법이 참여적 설계와 결합될 때, 알고리즘 거버넌스의 사회기술적 구조를 재구성하는 강력한 프레임워크를 제공한다고 제안합니다. 이를 통해 레지스터 단독으로는 제공할 수 없는 보다 포괄적인 안전 위해 요소 식별이 가능해집니다.

본 연구는 알고리즘 레지스터가 투명성을 향한 필수적인 단계이기는 하나, 다양한 이해관계자의 정보 요구에 더 잘 부합하도록 진화해야 하며, 더 넓고 정치적으로 위치한 사회기술적 시스템의 일부로 이해되어야 한다고 결론짓습니다.