Position: Every Ground Truth is a Human Construction, not an Objective Truth

기술 요약: 모든 정답(Ground Truth)은 객관적 진리가 아닌 인간의 구성물이다

문제 제기
본 논문은 머신러닝(ML) 연구 및 개발에서의 근본적인 오해, 즉 '정답(ground truth)' 데이터셋을 중립적이고 객관적이며 실재를 미리 측정해 놓은 사실로 취급하는 경념을 다룹니다. 저자들은 정답이 자연적으로 주어진 사실이 아니라, 결정, 기술, 사회적 프로세스의 복잡한 배열을 통해 만들어진 인간의 구성물이라고 주장합니다. 이러한 간과로 인해 데이터 소스, 레이블링 온톨로지(ontology), 관찰 방법 등에 관한 핵심적인 선택 사항들이 '블랙박스화'됩니다. 결과적으로 ML 커뮤니티는 이러한 데이터셋의 우연성(contingency, "그 외의 다른 모습일 수도 있었던 성질")을 인식하지 못하며, 이는 부적절한 모델 적용, 정확도 과대평가, 그리고 모델 신뢰성의 한계에 대한 투명성 결여로 이어집니다. 본 논문은 정답을 보편적 진리로 취급하는 것이 그 데이터의 국지성(situatedness)을 무시하는 것이며, 데이터가 구축된 맥락과 다른 환경에 모델이 배포될 때 심각한 부정적 영향을 미칠 수 있음을 강조합니다.

방법론 및 분석 프레임워크
새로운 알고리즘 방법을 제안하거나 특정 경험적 실험을 수행하는 대신, 이 논문은 과학기술학(STS)과 컴퓨터 지원 협업 작업(CSCW)에 뿌리를 둔 개념적 및 비판적 분석 프레임십을 채택합니다. 저자들은 다음과 같은 과정을 거칩니다:

1. 개념의 재정의: 저자들은 '정답 구축(ground truthing)'을 문제와 목표를 정의하는 실천으로 보는 Jaton(2017)의 정의를 채택하여, 초점을 '발견'에서 '구성'으로 전환합니다.
2. 구성 지점의 범주화: 저자들은 정답이 생성되는 네 가지 구별된 '구성 지점'을 분석하여 구성 과정의 가변성을 설명합니다:
   • 직접 측정: 센서 기반 데이터조차 장비, 배치, 타이밍 및 메타데이터에 관한 선택을 포함합니다.
   • 전문가 해석: 전문가 레이블(예: 의료 영상)은 전문가 간 및 전문가 내부의 가변성, 협상, 그리고 전문가의 교육 및 기관의 특정 맥락에 영향을 받습니다.
   • 크라우드 컨센서스(Crowd Consensus): 크라우드 소싱 레이블은 인간의 레이블 가변성(HLV)과 문화적 주관성을 종종 은폐하는 집계 방식(예: 다수결)을 포함합니다.
   • 합성 데이터: 시뮬레이션과 생성형 AI는 본질적으로 조작된 것이며, 이를 생성하는 데 사용된 매개변수와 모델에 의존하는 '알려진 진리'를 만듭니다.
3. 커뮤니케이션 및 협업 분석: 논문은 '의미의 구성(construction of sense)'을 조사하며, 신뢰할 수 있는 정답을 위해서는 단순한 데이터 캡처가 아니라 ML 실무자, 도메인 전문가, 레이블러 사이의 공유된 이해와 협상이 필요하다고 주장합니다.

주요 기여
본 논문은 ML 담론에 이론적 및 실무적 기여를 합니다:

• 이론적 전환: 정답이 '국지적'이고 '우연적'임을 상정하며, 단일하고 보편적인 객관적 진리라는 개념을 거부합니다. 또한 일반적인 정량적 지표가 아닌, 특정 맥락 내에서만 유효한 신뢰성을 의미하는 **'국지적 신뢰성(situated reliability)'**이라는 개념을 도입합니다.
• '오라클(Oracle)'과 '센서(Sensor)'의 해체: 저자들은 인간 전문가를 무결한 '오라클'이나 중립적인 '센서'로 보는 관점에 도전하며, 전문가의 레이블링이 협상과 불확실성에 노출된 사회적 과정임을 입증합니다.
• 구성 경로의 식별: 결정 지점(예: 누가 온톨로지를 정의하는가, 어떻게 관찰을 수행하는가, 어떤 소스를 사용하는가)을 매핑함으로써, 서로 다른 경로가 동일한 과업에 대해 어떻게 서로 다른 정답을 산출하는지 이해하기 위한 프레임워크를 제공합니다.
• 현재 관행에 대한 비판: 현재의 관행이 모델 성능에 영향을 미치는 출처(provenance)와 구성상의 선택 사항들을 포착하는 데 실패하고 있음을 지적하며, 정답의 한계에 대한 표준화된 어휘와 문서화의 부족을 비판합니다.

결과 및 발견
포지션 페이퍼(position paper)로서, 이 연구는 실험적 결과를 제시하는 대신 기존 문헌과 사례 연구를 종합하여 정답의 구성적 성격을 무시했을 때 발생하는 결과를 보여줍니다:

• 맥락 드리프트(Contextual Drift): 논문은 벤치마크 데이터셋(예: MNIST, UCI Adult)이 원래의 구축 맥락을 훨씬 벗어나 적용되었을 때 발생하는 오도된 결론이나 성능 저하(예: 문서화되지 않은 전처리에 따른 MRI 모델 성능의 47% 하락) 사례를 인용합니다.
• 구성 선택의 영향: 1990년대 하드웨어 제한으로 인해 MNIST의 이미지 해상도를 낮춘 것과 같은 특정 결정이 어떻게 후속 모델의 능력을 영구적으로 제한했는지 보여줍니다.
• 정보로서의 가변성: 분석에 따르면 인간의 레이블 가변성(HLV)은 흔히 제거해야 할 '노이즈'로 취급되지만, 실제로는 모델링되는 현상의 복잡성을 반영하는 정보가 담긴 데이터로 인식되어야 합니다.
• 학제 간 협력의 필요성: 연구 결과는 신뢰할 수 있는 정답을 만드는 데 있어 ML 실무자 단독으로는 정확한 레이블링에 필요한 도메인 특화적 뉘앙스를 해석할 수 없으므로 학제 간 협력이 필수적임을 나타냅니다.

의의 및 주장
저자들은 정답을 인간의 구성물으로 인정하는 것이 ML 시스템의 신뢰성, 투명성 및 책임성을 향상시키는 데 필수적이라고 주장합니다.

• 신뢰성 향상: '국지적 신뢰성'의 관점을 채택함으로써, 커뮤니티는 모델을 안전하게 사용할 수 있는 시점, 시기, 방법을 더 잘 이해할 수 있으며, 부적절한 솔루션의 무비판적인 채택을 방지할 수 있습니다.
• 투명성 강화: 구성 과정을 공개함으로써 한계를 더 잘 문서화할 수 있으며, 이를 통해 연구자들이 자신의 특정 사용 사례에 대한 데이터셋의 타당성을 평가할 수 있게 합니다.
• 학제 간 협력: 정답 구축에 수반되는 사회적, 기술적 작업을 인식함으로써 ML 연구자, 도메인 전문가, 사회 과학자 간의 더 나은 파트너십을 촉진합니다.
• 교육 개혁: 논문은 연구자들이 실제 세계의 데이터 복잡성에 대비할 수 있도록 ML 교육에 데이터 구성 및 학제 간 협력에 대한 비판적 성찰을 통합할 것을 주장합니다.

궁극적으로, 이 논문은 ML 커뮤니티의 사고방식 변화를 촉구합니다. 즉, 데이터 수집을 사실에 대한 수동적인 관찰로 보는 것에서 벗어나, 데이터 구성이라는 능동적이고 의도적이며 협력적인 과정으로 보는 것입니다. 이러한 전환은 부담이 아니라, 더 견고하고 윤리적으로 건전한 AI 시스템을 만들기 위한 필수적인 단계로 제시됩니다.