Beyond Explanation: Evidentiary Rights for Algorithmic Accountability

1. 문제 제기 (Problem Statement)

현재 알고리즘 책임성 (Algorithmic Accountability) 연구와 규제 프레임워크는 '설명 (Explanation)' 에 과도하게 집중하고 있습니다. 즉, "왜 이 결정이 내려졌는가?"에 대한 이유를 제공하는 데 초점을 맞추고 있습니다. 그러나 저자는 설명만으로는 피결정자가 결정의 정확성을 검증하거나 이의를 제기하는 '쟁송 (Contestation)' 을 수행할 수 없다고 주장합니다.

• 설명과 쟁송의 불일치: 피결정자가 "신용 점수가 0.73 이라 거절되었습니다"라는 설명을 받아도, 이 점수가 어떻게 계산되었는지 검증하거나, 다른 입력값을 넣었을 때 결과가 달라지는지 테스트할 수 없습니다.
• 증거 접근의 부재: 현재 대부분의 프레임워크는 조직에서 일방적으로 제공하는 설명에 그치며, 피결정자가 시스템 내부 데이터를 확인하거나 반증 증거를 생성할 수 있는 증거적 접근권 (Evidentiary Access) 을 보장하지 않습니다.
• 결론: 설명은 이해를 돕지만, 쟁송을 가능하게 하지는 않습니다. 설명 없이는 쟁송이 불가능하지만, 설명만으로는 쟁송이 불충분합니다.

2. 방법론 (Methodology)

저자는 알고리즘 의사결정 맥락에서 쟁송이 실패하는 원인을 분석하기 위해 다음과 같은 실증적 연구와 분석을 수행했습니다.

• 사례 분석 (Case Study): 2012 년부터 2025 년까지 전 세계 19 개 국가, 30 개 관할 구역에서 발생한 168 건의 법적 사례를 체계적으로 분석했습니다.
  • 범위: 고용, 주택, 의료, 형사사법, 정부 복지, 신용/보험, 플랫폼 책임 등 7 개 분야.
  • 코딩 변수: 증거 접근 수준 (전체/부분/없음), 결과 (성공/거부/진행 중), 설명의 질, 법적 자원 수준 등.
• 실패 유형 분류 (Taxonomy of Contestation Failures): 쟁송 실패를 5 가지 유형으로 분류하여 현재 규제가 어디에 집중되어 있는지, 어디가 누락되어 있는지 분석했습니다.
  1. 불투명성 (Opacity): 이유를 모름 (현재 규제의 주 대상).
  2. 증거 없는 설명 (Explanation Without Evidence): 이유는 알려주지만 검증 불가 (본 논문의 핵심 대상).
  3. 장소 없는 증거 (Evidence Without Forum): 증거는 있지만 이의 제기 채널 부재.
  4. 기준 없는 장소 (Forum Without Standards): 이의 제기 채널은 있으나 명확한 기준 부재.
  5. 구제 없는 기준 (Standards Without Remedies): 승소했으나 실제 수정이 없음.
• 통계적 분석: 증거 접근 여부와 쟁송 성공률 간의 상관관계를 분석하고, 선택 편향 (Selection Bias) 을 고려하여 진단적 (Diagnostic) 인 결론을 도출했습니다.

3. 주요 기여 및 제안 (Key Contributions & Proposal)

A. 쟁송 실패 유형론 및 진단적 발견

• 이중 게이트 구조 (Two-Gate Structure): 알고리즘 쟁송은 두 단계의 문턱을 통과해야 함을 발견했습니다.
  1. 절차적 게이트 (Procedural Gate): 증거에 접근할 수 있는가? (접근이 없으면 9% 만 성공, 접근이 있으면 97% 성공).
  2. 법리적 게이트 (Doctrinal Gate): 실체법상 책임이 인정되는가? (예: 플랫폼의 Section 230 면책 조항이 적용되면 증거가 있어도 실패).
• 설명 vs. 증거: 설명의 질 (High/Partial/None) 과 쟁송 성공률 사이에는 유의미한 상관관계가 없었으나, 증거 접근 여부는 성공을 결정짓는 가장 강력한 변수였습니다.

B. 대안적 메커니즘: 반사실적 심문권 (Counterfactual Interrogation Rights)

저자는 모델의 내부 구조 (소스 코드, 훈련 데이터) 를 공개하지 않으면서도 피결정자가 시스템을 검증할 수 있는 새로운 절차적 권리를 제안합니다.

• 개념: 피결정자가 수정된 입력값 (Perturbation) 을 시스템에 제출하고, 이에 따른 출력 변화 (Divergence) 를 관찰하여 증거를 생성하는 과정.
• 작동 원리:
  1. 불리한 결정 (Adverse Decision) 을 받음.
  2. 샌드박스 테스트 인터페이스 접근 권한 부여.
  3. 의미론적으로 동등하지만 표면적 특징이 다른 입력 (예: 이름 변경, 연도 수정, 용어 변경) 을 입력하여 점수 변화를 관찰.
  4. 이탈 (Divergence) 기준:
     • 결과 전환 (거절 $\to$ 승인).
     • 백분위수 15 점 이상 이동.
     • 임계값 근처에서 5 점 이상 이동.
     • 알려진 차별 패턴과 일치하는 일관된 효과.
• 장점:
  • 비공개성: 모델의 지적 재산권 (내부 로직) 을 노출하지 않음.
  • 행위적 증거: 시스템이 특정 입력에 어떻게 반응하는지 '행동'으로 증명.
  • 사전 쟁송: 소송을 제기하기 전, 행정적 이의 제기 단계에서 증거를 확보 가능.

4. 연구 결과 (Results)

• 증거 접근의 결정적 역할:
  • 증거 접근이 전혀 없었던 사건 중 해결된 사례의 91% 가 패배했습니다 (성공률 9%).
  • 증거에 접근한 사건 중 해결된 사례의 93% 가 성공했습니다 (접근이 없는 경우 대비 압도적 차이).
  • 특히 '부분적 접근' (Partial Access) 인 경우 성공률이 97% 에 달했습니다.
• 설명 품질의 무의미성:
  • 증거 접근이 있는 경우, 설명이 얼마나 상세하든 성공률에 영향을 미치지 않았습니다 (약 94% 일관성).
  • 증거 접근이 없는 경우, 설명이 아무리 상세해도 성공률이 0% 에 가까웠습니다.
• 플랫폼 책임의 특수성:
  • 플랫폼 관련 6 건의 사례는 모두 증거 접근이 있었음에도 Section 230(미국 온라인 면책 조항) 등의 법리적 이유로 패배했습니다. 이는 증거 접근이 필수 조건이지만 충분 조건은 아님을 보여주며, 법리적 장벽 (Doctrinal Gate) 의 중요성을 시사합니다.

5. 의의 및 시사점 (Significance)

• 패러다임 전환: 알고리즘 책임성을 '투명성 (Transparency)' 문제에서 '절차적 권리 (Procedural Rights)' 문제로 재정의합니다.
• 현실적 해결책: 모델의 블랙박스화를 막지 않으면서도, 개인이 자신의 권리를 주장할 수 있는 실질적인 도구 (Counterfactual Interrogation) 를 제공합니다. 이는 지적 재산권 보호와 개인 권리 보호 사이의 균형을 맞춥니다.
• 규제 정책 제안:
  • 기존 법규 (GDPR, FCRA, ADA 등) 의 재해석을 통해 증거적 권리를 도입할 수 있음.
  • 고용, 주택, 신용 등 고위험 분야 (Tier 1) 에는 완전한 접근을, 콘텐츠 관리 등 중위험 분야 (Tier 2) 에는 제한적 접근을 적용하는 단계적 구현 (Graduated Implementation) 을 제안.
• 공정성 증진: 조직의 자발적 설명에 의존하던 기존 방식에서, 피결정자가 직접 시스템을 테스트하고 반증할 수 있는 능력을 부여함으로써 알고리즘적 편향과 오류를 식별하고 시정할 수 있는 기반을 마련합니다.

요약

이 논문은 알고리즘 결정에 대한 '설명'만으로는 불충분하며, 피결정자가 시스템을 검증하고 이의를 제기할 수 있는 '증거적 접근권' 이 필수적임을 168 건의 법적 사례 분석을 통해 입증했습니다. 저자는 모델 내부 공개 없이도 시스템의 행동을 테스트할 수 있는 '반사실적 심문 (Counterfactual Interrogation)' 메커니즘을 제안하여, 알고리즘 책임성을 위한 새로운 절차적 기준을 제시합니다.