Compliant But Unsatisfactory: The Gap Between Auditing Standards and Practices for Probabilistic Genotyping Software

1. 문제 제기 (Problem)

• 배경: 미국의 형사 사법 시스템은 increasingly (점차적으로) 복잡한 DNA 증거를 분석하기 위해 확률적 유전자형 분석 소프트웨어 (Probabilistic Genotyping Software, PGS) 를 사용하고 있습니다. 이러한 소프트웨어의 신뢰성을 보장하기 위해 감사 (Audit) 와 검증 (Validation) 이 필수적입니다.
• 핵심 문제: 감사 표준 (Audit Standards) 이 설계상 결함이 있을 경우, 시스템이 표준의 형식적 요구사항을 충족 (Compliant) 하더라도 실제 목적 (신뢰성 확보, 책임성) 을 달성하지 못할 수 있습니다. 즉, "준수하지만 불만족스러운 (Compliant but Unsatisfactory)" 상태가 발생할 수 있습니다.
• 연구 대상: 미국 법의학 표준 위원회 (ASB) 가 제정한 ASB 018 표준 (확률적 유전자형 시스템 검증 표준) 을 사례 연구로 선정했습니다. 이 표준은 법원 증거 채택 (Admissibility) 의 근거로 널리 인용되고 있습니다.
• 연구 질문:
  1. ASB 018 이 의도한 감사 실무와 실제로 가능하게 하는 실무 간에는 어떤 격차가 존재하는가?
  2. 이러한 격차를 가능하게 하는 ASB 018 의 표준 설계적 요인은 무엇인가?

2. 연구 방법론 (Methodology)

• 데이터 수집:
  • 표준 문서: ASB 018 표준 텍스트 및 동반 팩트시트 (Factsheet) 분석.
  • 감사 보고서: 미국 범죄국립실험실감독협회 (ASCLD) 검증 저장소에서 공개된 5 개의 PGS 내부 검증 (감사) 보고서 수집 (NYC OCME, Colorado CBI, Palm Beach PBSO, Maryland MSP 등 다양한 크기와 지역의 실험실, STRmix 소프트웨어 v2.4~v2.9 버전 포함).
• 분석 절차:
  1. 준수성 평가 (Compliance Assessment): 연구진은 ASB 018 의 각 조항을 '가장 관대한 해석 (Permissive Interpretation)'으로 해석하여, 5 개 보고서가 형식적으로 표준을 준수하는지 확인했습니다. (모든 보고서가 준수 가능하다고 판단됨).
  2. 질적 코딩 (Qualitative Coding): Ojewale 등 [59] 의 감사 프레임워크 (감사 범위, 기준 식별, 성능 분석, 사후 판단, 감사 소통의 5 단계) 를 적용하여 표준이 의도한 목표와 실제 보고서의 관행을 비교했습니다.
  3. 설계적 요인 분석: 표준의 언어적 특징 (모호함, 정의 부재, 분리된 요구사항 등) 이 어떻게 관행과 목표 간의 격차를 초래했는지 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

연구진은 모든 감사 보고서가 ASB 018 의 형식적 요구사항을 충족함에도 불구하고, 표준이 의도한 5 가지 핵심 목표와 현저한 격차를 보임을 발견했습니다.

A. 5 단계별 목표 - 관행 격차 (Goal-Practice Gaps)

1. 감사 범위 (Audit Scope):
   • 목표: 소프트웨어뿐만 아니라 사용자 (분석가) 의 입력을 포함한 광범위한 사회기술적 시스템 (Sociotechnical System) 을 평가해야 함.
   • 현실: 대부분의 감사는 소프트웨어 자체의 성능만 측정하고, 분석가의 입력 (예: 공헌자 수 추정) 이 결과에 미치는 영향을 평가하지 않음. 일부 보고서는 개발자가 감사를 수행한 흔적이 보임.
2. 기준 식별 (Standards Identification):
   • 목표: 사전에 정의된 검증 가능한 (Falsifiable) 성능 기준 (예: 허용 가능한 오차율) 을 설정하고 고객 (검찰, 변호사 등) 의 기대에 부합해야 함.
   • 현실: 명확한 기준이 부재하거나 "높음 (high)", "직관적 (intuitive)"과 같은 주관적 용어로 표현됨. 고객 (법정) 의 기대와 일치하는지 고려하지 않음.
3. 성능 분석 (Performance Analysis):
   • 목표: 실제 사건에서 발생할 수 있는 다양한 샘플 유형 (분해된 DNA, 친족 간 혼합 등) 에 대해 충분한 샘플 수로 정밀도, 민감도, 특이도를 측정해야 함.
   • 현실: 테스트 샘플이 제한적임 (예: 1 인 샘플 위주, 친족 혼합 테스트 부재). 샘플 수의 충분성에 대한 논의가 없으며, 실제 사건과 다른 조건에서 테스트함.
4. 사후 판단 (Post-Audit Judgment):
   • 목표: 관찰된 오류를 **'실패 (Failure)'**로 명시하고, 이를 기반으로 **소프트웨어 사용의 한계 (Boundaries)**를 설정해야 함.
   • 현실: 오류를 "예상된 결과 (Expected)"나 "비직관적 (Non-intuitive)"으로 재정의하여 실패로 인정하지 않음. 구체적인 사용 제한 (예: 특정 DNA 혼합 비율에서는 사용 금지) 을 설정하지 않음.
5. 감사 소통 (Audit Communication):
   • 목표: 제 3 자가 검증하고 재현할 수 있도록 충분한 상세 정보를 문서화해야 함.
   • 현실: 테스트 샘플의 범위, 구체적인 LR 값 등 핵심 데이터가 누락되거나 모호하게 기술됨.

B. 격차를 유발하는 표준 설계적 결함

• 정의되지 않은 개념: '한계 (Limitations)', '사실적 기준 (Specification)' 등 핵심 용어의 정의가 부재하여 해석의 여지가 큼.
• 분리된 요구사항: 사용자 입력과 시스템 성능을 별개의 항목으로 취급하여 상호작용을 평가하지 않아도 준수 가능하게 함.
• 모호한 언어: "고려하다 (Consider)", "다루다 (Address)"와 같은 모호한 동사를 사용하여 최소한의 노력으로도 준수 가능하게 만듦.
• 행위자 책임 불명확: 누가 (실험실 vs 개발사) 어떤 역할을 해야 하는지 명확히 규정하지 않음.

4. 의의 및 시사점 (Significance & Recommendations)

• 표준 설계의 역설: 사용자의 기존 관행과 호환성을 높이기 위해 유연하고 모호한 표준을 설계하는 것이, 오히려 표준의 효과성을 훼손하고 기존 부적절한 관행을 정당화 (Legitimize) 할 수 있음을 경고합니다.
• 책임성 (Accountability) 강화 방안:
  1. 구체적인 목표 명시: 표준 개발자는 도구 (표준) 가 달성하려는 구체적인 결과를 명확히 서술해야 합니다.
  2. 요구사항의 구체화: 행위자 (Actor) 의 책임, 최소 수행 활동, 필수 중간 단계를 명확히 규정해야 합니다. (예: "고려하다" 대신 "측정하고 보고하라")
  3. 다양한 이해관계자와의 공동 설계 (Co-design): 표준 개발자와 사용자 (실험실) 외에 변호사, 시민 사회 등 다양한 이해관계자를 참여시켜 목표의 정의를 견고하게 해야 합니다. 특히 형사 사법 시스템에서는 피고인의 권리를 보호하기 위한 '대립적 감사 (Adversarial Audit)' 관점이 필수적입니다.
• 정책적 함의: 법원이 표준 준수 여부만으로 증거의 신뢰성을 판단하는 현재 관행은 위험할 수 있으며, 표준의 설계적 결함이 '감사 세척 (Audit Washing)'을 초래할 수 있음을 시사합니다.

결론

이 논문은 ASB 018 과 같은 감사 표준이 형식적으로는 준수되더라도, 설계상의 모호함과 유연성으로 인해 실제 사법 시스템의 신뢰성을 보장하지 못할 수 있음을 실증적으로 증명했습니다. 효과적인 감사를 위해서는 표준이 단순한 체크리스트가 아니라, 구체적인 책임과 검증 가능한 결과를 요구하는 강력한 도구로 재설계되어야 함을 주장합니다.