💻 computer science

Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance

이 논문은 현재의 고위험 AI 거버넌스 프레임워크(NIST, EU AI Act, ISO/IEC 42001)가 이의 제기에 필요한 프로세스 기반 증거보다 산출물 중심의 증거를 우선시함으로써 결정적인 증거 공백을 초래하며, 이러한 구조적 결함은 이러한 요구사항을 해석하는 데 내재된 모호함에 의해 강조되고 궁극적으로 피규제 이해관계자의 절차적 및 인식론적 권리를 저해한다고 주장한다.

원저자: Rohith Reddy Bellibaltu, Manpreet Singh, Preeti Uikey, Rahul Joshi

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rohith Reddy Bellibaltu, Manpreet Singh, Preeti Uikey, Rahul Joshi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 프로그램이 누가 직업을 가질지, 누가 대출을 받을지, 혹은 누군가가 가석방을 허가받을지를 결정하는 세상을 상상해 보십시오. 이러한 시스템은 단순히 진공 상태에서 실행되는 코드가 아닙니다. 이것은 시스템을 구축하는 기업, 이를 사용하는 조직, 그리고 그 결과물에 의해 삶이 바뀌는 사람들까지 포함하는 더 큰 인간 생태계의 일부입니다. 이러한 시스템이 실수를 저질렀을 때, 누가 책임을 지고 어떻게 그것을 증명할 것인가의 문제는 매우 시급한 문제가 됩니다. 이것이 바로 인공지능 거버넌스의 영역이며, 이 분야는 이 강력한 도구들이 안전하고 공정하며 책임감 있게 운영되도록 보장하는 데 전념하고 있습니다. 이 분야의 핵심 개념 중 하나는 '이의 제기 가능성(contestability)'으로, 결정의 영향을 받는 사람이 그 결정에 의문을 제기하고, 왜 그런 일이 일어났는지 이해하며, 수정을 요구할 수 있는 능력을 의미합니다. 이것이 제대로 작동하려면 증거, 즉 시스템이 점검되었고, 의도한 대로 작동하며, 문제가 생겼을 때 인간이 개입할 수 있다는 것을 보여주는 증거가 반드시 있어야 합니다. 하지만 결정적인 질문이 남아 있습니다. 누가 이 증거를 볼 수 있으며, 그 증거가 정작 그것을 가장 필요로 하는 사람에게 정말 유용한가 하는 점입니다.

미국과 인도의 대학 연구진들은 바로 이 문제를 조사하기 위해 나섰습니다. 그들은 고위험 인공지능을 규제하는 세 가지 주요 규칙 및 가이드라인을 검토했습니다. 미국의 자발적 프레임워크, 유럽연합의 구속력 있는 법률, 그리고 AI 시스템 관리를 위한 국제 표준이 그것입니다. 그들의 목표는 이 문서들에 명시된 특정 요구 사항을 AI를 테스트하는 실제 기술적 방법들과 연결하는 상세한 지도, 즉 '크로스워크(crosswalk)'를 만드는 것이었습니다. 그들은 요구되는 증거가 실제로 결정을 이의 제기하는 데 도움이 될 수 있는 종류의 증거인지, 아니면 단지 기업과 규제 기관만이 읽을 수 있는 기술 보고서의 모음일 뿐인지를 확인하고자 했습니다.

연구진은 방대한 양의 기술적 평가 방법들을 수집하는 것으로 시작했습니다. 그들은 새로운 데이터에 대한 모델의 정확도를 확인하는 것부터 악의적인 입력에 의해 속을 수 있는지 확인하는 것, 그리고 훈련에 사용된 데이터의 품질을 분석하는 것부터 시스템을 얼마나 잘 감독할 수 있는지를 연구하는 것에 이르기까지 12개의 뚜렷한 테스트 유형을 식별했습니다. 그런 다음 이 12개의 유형을 세 가지 규정 문서에 있는 22개의 특정 요구 사항과 비교했습니다. 그들은 각 쌍에 대해 다음과 같은 심오하고도 단순한 질문을 던졌습니다. "이 특정 테스트가 이 특정 규칙을 충족하는 데 필요한 주요 증거를 제공하는가?"

그들이 발견한 것은 놀라운 불균형이었습니다. AI 모델 자체에 대한 증거(예: 정확성, 공격에 대한 견고성, 통계적 측면에서의 공정성 등)를 요구하는 규칙들은 잘 뒷받침되고 있었습니다. 필요한 보고서를 생성할 수 있는 충분한 기술적 테스트들이 존재했습니다. 그러나 시스템이 배포된 후 현실 세계에서 어떻게 작동하는지에 대한 증거를 요구하는 규칙들은 대체로 뒷받침되지 못하고 있었습니다. 이러한 규칙들은 인간 감독자가 실제로 오류를 잡아낼 수 있는지, 시스템 로그가 특정 결정을 재구성할 만큼 상세한지, 그리고 조직이 사람들의 삶에 미치는 영향을 모니터링하고 있음을 증명할 수 있는지와 같은 문제들을 다루었습니다. 이러한 중요한 질문들에 대해, 연구진은 가용 가능한 기술적 방법들이 아예 없거나, 혹은 매우 약하고 부차적인 지원만을 제공한다는 사실을 발견했습니다.

이 연구는 AI 시스템이 안전하다는 것을 증명하기 위해 생성되는 증거가 주로 중간 매개자들, 즉 소프트웨어를 구축하는 기업, 이를 점검하는 감사인, 그리고 법을 집행하는 정부 규제 기관을 위해 설계되어 있음을 드러냈습니다. 결정의 영향을 받는 사람들, 즉 탈락한 구직자나 대출이 거절된 차입자는 이 증거에 접근할 직접적인 경로가 없습니다. 그들은 시스템이 무엇을 했는지에 대한 설명은 들을 수 있을지 모르지만, 그 설명이 사실인지 검증하거나 결정이 정확히 어떻게 내려졌는지 이해할 수 있게 해주는 근본적인 기록에는 접근할 수 없습니다. 연구진은 이것이 단순한 기술적 격차나 퍼즐의 빠진 조각이 아니라, 정의 체계의 근본적인 결함이라고 주장합니다. 결정에 이의를 제기하는 데 필요한 증거에 대한 접근을 차단함으로써, 현재의 프레임워크는 영향을 받는 사람들을 능동적인 참여자가 아닌 수동적인 대상으로 취급하고 있습니다.

연구진은 자신들의 결과가 가용 가능한 기술 문헌과 법률 텍text에 기반한 특정 분석임을 주의 깊게 명시했습니다. 그들은 기업들이 내부적으로 이러한 점검을 수행하지 않는다고 주장하는 것이 아니라, 이러한 점검이 효과적임을 증명하는 방법들이 아직 표준화되지 않았거나 규칙을 충족하는 형태로 널리 보급되지 않았다는 점을 지적했습니다. 또한 그들은 자신들의 작업에 어느 정도의 해석이 개입되었음을 강조했습니다. 연구진이 독립적인 전문가들에게 자신들의 매핑(mapping)을 검토해 달라고 요청했을 때, 전문가들은 큰 틀에서는 동의했으나 세부적인 사항에서는 의견이 갈리기도 했습니다. 이는 규칙 자체가 다양한 합리적 해석의 여지를 남기고 있음을 시사하며, 연구진은 이러한 불일치가 문제의 '버그'가 아니라 '특징'이라고 제안합니다. 즉, 현재의 요구 사항이 적절한 증거가 생산되도록 보장할 만큼 명확하지 않다는 것을 보여준다는 것입니다.

결론적으로, 이 논문은 현재의 AI 거버넌스 방식이 불완전하다고 결론짓습니다. 현재의 방식은 테스트 결과나 기술 문서와 같이 기업의 개발 파이프라인 내부에서 생성될 수 있는 증거에 과도하게 의존하는 반면, 시스템이 현실 세계에서 사람들과 상호작용하는 과정을 관찰함으로써 얻을 수 있는 증거는 소홀히 하고 있습니다. 저자들은 AI가 진정으로 책임을 지기 위해서는 규칙이 단순히 기계에 관한 증거를 넘어, 전체적인 사회-기술적 시스템(socio-technical system)에 관한 증거를 요구하도록 진화해야 한다고 제안합니다. 여기에는 인간의 감독이 효과적이라는 증거, 사건을 재구성하기에 충분한 로그가 존재한다는 증거, 그리고 시스템이 사회에 미치는 영향이 모니터링되고 있다는 증거가 포함됩니다. 이러한 변화가 없다면, AI의 책임성에 대한 약속은 권력자들에게만 주어지는 약속에 머물 것이며, 기술의 영향을 가장 많이 받는 사람들은 자신을 방어할 도구 없이 남겨지게 될 것입니다.

기술 요약: 누구를 위한 증거인가? 고위험 AI 거버넌스에서의 논쟁 가능성(Contestability)과 사회-기술적 보증(Socio-Technical Assurance)

문제 제기
본 논문은 고위험 AI 거버넌스의 결정적인 비대칭성을 다룬다. 즉, 신뢰성에 대한 증거를 생성하는 주체(제공자, 배포자, 규제기관)와 그 증거를 사용하여 결과에 이의를 제기(contesting)해야 하는 주체(영향을 받는 개인)가 서로 다르다는 점이다. 저자들은 미국 NIST AI 위험 관리 프레임워크(RMF), EU AI 법(AI Act), ISO/IEC 42001으로 정의되는 현재의 보증 체계가 "사회-기술적 보증 결핍(socio-technical assurance deficit)"을 겪고 있다고 주장한다. 이러한 도구들은 모델의 산물(예: 정확도, 강건성)에 관한 풍부한 증거를 생성하지만, 배포된 프로세스, 감독 성능, 그리고 논쟁에 필요한 추적 가능성에 관한 증거는 충분히 제공하지 못한다. 결과적으로, 증거가 중간 매개자들에게만 도달하는 보증 체계는 시스템이 기술적으로 정확할지라도, 그 시스템의 통제를 받는 개인들에게 절차적·인식론적 잘못을 범할 수 있다.

방법론
본 연구는 **비교 교차 분석(comparative crosswalk)**을 지원하는 비판적 프레임워크 합성(critical framework synthesis) 방手法을 채택하였다.

증거 집합: 저자들은 147개의 인덱싱된 기술 기록(2015–2026), 202개의 공정성 보충 기록, 그리고 5개의 공식 규제 텍스트를 포함하여 총 347개의 고유 소스로 구성된 데이터셋을 구축하였다.
분류 체계(Taxonomy): 기술 평가 방법들을 12개의 **방법론 패밀리(M1–M12)**로 그룹화하였으며, 이를 세 가지 증거 그룹으로 분류하였다:
1. 산물 중심(M1–M7, M12): 모델의 속성(예: 성능, 공정성, 강건성) 측정.
2. 기록 중심(M8–M9): 데이터 품질 및 문서화.
3. 배포 프로세스 중심(M10–M11): 감독의 효과성 및 배포 후 모니터링.
교차 분석 구축: 저자들은 이 12개 방법론 패밀리를 세 가지 도구(NIST의 GOVERN/MAP/MEASURE/MANAGE 기능, EU AI 법의 제9~15조, ISO/IEC 42001 부속서 A 통제 항목)의 22개 선택된 요구사항에 매핑하였다.
코딩 및 신뢰도: 각 (방법론 패밀리, 요구사항) 쌍은 4단계 척도(해당 없음, 맥락적, 지원적, 일차적)로 등급이 매겨졌다.
- 두 명의 외부 평가자가 층화 표본인 80개 셀을 독립적으로 재코딩하였다.
- 일치도는 "일차적(primary)" 대 "일차적이지 않음(not-primary)"의 이진 구별에서 가장 높았다(88.8% 일치; 이진 $\kappa$ 0.68–0.70).
- 미세한 서열적 구별에서는 불일치가 더 높게 나타났는데, 저자들은 이를 연구의 결함이 아니라 규제 요구사항이 합리적인 경쟁적 해석(논쟁 가능성)에 열려 있다는 증거로 해석하였다.
- 불일치를 해결하기 위해 합의 규칙과 독립적인 조정(adjudication)이 적용되었으며, 그 결과 최종적인 "조정된 매트릭스(adjudicated matrix)"가 도출되었다.

주요 결과
교차 분석 결과, 기술적 방법론에 의해 생성되는 증거의 유형과 사회-기술적 보증을 위해 요구되는 증거의 유형 사이에 체계적인 불일치가 있음이 드러났다:

산물 대 프로세스: 측정 가능한 모델 속성(예: EU AI 법 제15조의 정확도)에 초점을 맞춘 요구사항은 여러 개의 "일차적" 방법론 패밀리를 끌어들인다. 반면, 배포된 프로세스에 초점을 맞춘 요구사항은 끌어들이는 방법론이 거의 없거나 아예 없다.
범위 결핍:
- 감독 성능 (EU Art. 14): 단 하나의 초기 단계 패밀리(M10: 인간 감독 및 상호작용)만이 "일차적"으로 코딩되었으며, 이는 미성숙한 것으로 묘|사된다.
- 증거 추적 가능성 (EU Art. 12): 초기에는 일차적 방법론 패밀리가 없는 것으로 코딩되었으나, 독립적 조정을 통해 설명 오류를 수정함으로써 M11(배포 후 모니터링)이 "일차적"인 것으로 복구되었다. 그럼에도 불구하고, 증거는 로그의 존재 여부에 국한되어 있으며, 특정 결정을 재구성하기 위한 로그의 적절성까지는 보장하지 못한다.
- 배포 영향 거버넌스 (ISO A.5): 코딩 과정에서 일차적 방법론 패밀리가 나타나지 않았다.
- 제로-일차적 열(Zero-Primary Columns): 4개의 열(NIST GOVERN, EU Art. 9, ISO A.5, ISO A.10)은 일차적 방법론 패밀리가 없는 것으로 나타났으며, 이는 이러한 복합적 거버넌스 활동에 대한 직접적인 기술적 증거가 부족함을 나타낸다.
접근 비대칭성: 표 1은 세 가지 핵심 보증 요구사항(감독, 추적 가능성, 영향) 모두에 대해, 기초가 되는 증거를 제공자, 배포자 또는 당국이 보유하고 있음을 보여준다. 영향을 받는 개인은 설명의 타당성을 테스트하거나 결정에 이의를 제기하는 데 필요한 원시 로그나 기록에 접근할 수 있는 경로가 일반적으로 없다.

주요 기여

보증 요구사항의 합성: 본 논문은 논쟁 가능성, 감독, 조직적 보증에 관한 문헌을 세 가지 별개의 요구사항(감독 성능, 논쟁을 위한 증거 추적 가능성, 배포-영향 거버넌스)으로 합성하였다.
투명한 비교 교차 분석: 12개의 기술적 방법론 패밀리를 22개의 규제 요구사항에 매핑한 감사 가능한 셀 단위의 지도를 제공한다. 데이터와 코드는 셀 단위의 재코딩과 논쟁이 가능하도록 공개되어 있다.
제도적 가설: 저자들은 관찰된 증거 격차가 단순한 설계 결함이 아니라, 중간 매개자를 위해 생성된 증거가 다시 중간 매개자를 위해 순환하는 보증 체계의 구조적 특징이라고 제안한다.
규범적 논거: 본 논문은 결정에 이의를 제기하는 데 필요한 증거에 대한 접근권을 영향을 받는 개인에게 제공하지 못하는 보증 체계는, 단순한 "설계상의 간극"을 넘어 절차적·인식론적 잘못을 구성한다고 주장한다.

의의 및 주장
본 논문은 검증된 측정 도구나 문헌의 완전한 전수 조사가 아닌, 하나의 "항해 보조 도구(navigational aid)"를 제공한다는 점에서 겸손한 주장을 펼친다.

해석적 개방성: 평가자 간의 코딩 차이는 규제 요구사항이 본질적으로 경쟁적 해석에 열려 있다는 발견으로 제시되며, 이는 논쟁 가능성(contestability)의 핵심 개념이다.
한계점: 저자들은 본 연구가 영향을 받는 개인들을 직접 자문하지 않았음을 인정하며, 따라서 "세 가지 요구사항 유형론"은 결정 대상자로부터 도출된 것이 아니라 학술적 연구로부터 이론화된 것임을 밝힌다. 또한 본 분석은 글로벌 노스(Global-North)의 거버넌스 문화로 한정된다.
핵심 결론: 제목의 질문인 "누구를 위한 증거인가?"에 대해 본 논문은 잠정적인 답을 내놓는다: 현재의 체제 하에서는 적합성 증거가 중간 매개자에 의해 생성되고 중간 매개자 사이에서 순환하며, 영향을 받는 사람들을 위해서는 거의 설계되지 않았다. 본 논문은 교차 분석이 중간 매개자들이 관련 방법론을 식별하는 데 도움을 줄 수는 있지만, 다음 단계는 영향을 받는 공동체와의 참여적 연구를 통해 그들이 어떤 역량을 가치 있게 여기는지, 그리고 식별된 증거가 실제로 그들의 결과에 대한 논쟁 능력을 뒷받침하는지를 결정하는 것이라고 결론짓는다.

유사한 논문