All Eyes on the Ranker: Participatory Auditing to Surface Blind Spots in Ranked Search Results

논문 개요: 순위 검색 결과의 맹점을 드러내기 위한 참여형 감사 (Participatory Auditing)

이 논문은 검색 엔진의 순위 결정 알고리즘을 평가할 때, 기존의 전문가 중심의 기술적 지표 (관련성, 정확도 등) 만으로는 포착하기 어려운 사용자의 경험, 책임성 (accountability), 그리고 잠재적 해악을 발견하기 위해 참여형 감사 (Participatory Auditing) 방법론을 적용한 연구입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 기존 평가의 한계: 검색 시스템 평가는 주로 도메인 전문가가 수행하며, 모델 중심의 지표 (NDCG, MAP 등) 나 결과물의 관련성 (Relevance) 에 초점을 맞춥니다. 이는 사용자가 실제로 어떻게 시스템을 경험하고, 어떤 해악 (harm) 을 느끼며, 책임성을 어떻게 인식하는지에 대한 통찰을 놓치게 합니다.
• AI 모델의 복잡성: 최신 신경망 기반 순위 모델 (예: MonoT5) 은 의미론적 (semantic) 이해 능력이 뛰어나 결과물이 매우 그럴듯해 보이지만, 이로 인해 사용자는 시스템의 오류나 조작을 쉽게 간과할 수 있습니다.
• 규제 환경의 변화: EU AI 법안 및 디지털 서비스 법 (DSA) 은 AI 시스템의 투명성, 책임성, 위험 감소를 요구하지만, 이러한 요구사항을 실제 사용자 경험에 기반하여 검증할 수 있는 방법론이 부족합니다.
• 핵심 질문: 사용자를 감사 주체로 참여시킬 때 어떤 종류의 해악과 책임성 이슈가 드러나는가? (RQ1) 참여형 감사 과정에서 어떤 도전과 한계가 발생하는가? (RQ2)

2. 연구 방법론 (Methodology)

저자들은 3 개의 참여형 감사 워크숍 (총 21 명 참여) 을 진행하여 사용자 경험을 기반으로 한 감사를 실증적으로 분석했습니다.

• 참여자: 다양한 연령대와 직업군 (대학생, 연구원, 엔지니어 등) 으로 구성된 21 명.
• 시스템 구성:
  • 커스텀 검색 인터페이스: PyTerrier 프레임워크 기반, TREC Fair Ranking Track 코퍼스 (영어 위키백과 스냅샷) 사용.
  • 비교 모델:
    1. BM25: 전통적인 어휘 기반 (lexical) 순위 모델 (키워드 매칭 중심).
    2. MonoT5: 신경망 기반 의미론적 재순위 (reranking) 모델 (더 정교한 의미 이해).
  • 인터페이스 변형: 투명성 (메타데이터 표시), 제어 기능 (필터, '공정성' 자동 조정), 그리고 적대적 조작 (Adversarial Manipulation) 시나리오 포함.
• 워크숍 절차:
  1. 도입: TikTok 과 같은 플랫폼에 대한 DSA 기반 집단 감사로 용어 공유.
  2. 4 가지 태스크 수행:
     • Task 1: BM25 모델 사용 ("famous doctor" 쿼리) - 낮은 관련성 결과 확인.
     • Task 2: MonoT5 모델 사용 (동일 쿼리) - 높은 관련성 결과 확인 및 비교.
     • Task 3: 투명성 및 제어 기능 추가 인터페이스 사용.
     • Task 4: 적대적 조작 테스트: MonoT5 모델에서 "Tylenol" 쿼리에 대해 특정 문서 (Helen Keaney) 에 키워드 주입 (keyword-injection) 을 통해 상위 랭킹으로 조작.
  3. 반성적 활동: 각 태스크 후 포스트잇, 파이프라인 다이어그램, 영향 매트릭스 등을 통해 사용자의 인식을 시각화하고 논의.
• 데이터 분석: 워크숍 녹취록과 아티팩트 (포스트잇 등) 를 반성적 주제 분석 (Reflexive Thematic Analysis) 기법으로 분석.

3. 주요 기여 (Key Contributions)

1. 개념적 기여: 참여형 감사를 검색 시스템에 대한 전통적 감사의 보완적 수단으로 제안.
2. 실증적 기여: 사용자가 순위 결과에서 어떤 해악을 인식하고, 어떤 모델 (BM25 대 MonoT5) 에 따라 신뢰와 비판적 사고가 어떻게 변하는지 규명.
3. 방법론적 기여: 순위 모델 비교, 인터페이스 affordance 변화, 적대적 조작 포함 등 구조화된 참여형 감사 워크숍 프로토콜 제시.

4. 주요 결과 및 발견 (Results)

A. 드러난 해악의 범주 (Taxonomy of Impacts)
참여형 감사를 통해 기존 기술적 감사에서는 보이지 않았던 4 가지 차원의 해악이 도출되었습니다:

• 인식론적 (Epistemic): 오정보, 확인 편향, 잘못된 신뢰, 시스템 해석과 사용자 의도 간의 불일치.
• 대표성 (Representational): 특정 성별/지역/직업의 배제, 결과의 동질성 (Homogeneity).
• 인프라 (Infrastructural): 불투명한 데이터 코퍼스 출처, 구제 수단 (Recourse) 부재, 파이프라인 전반의 조작 취약성.
• 하류 사회적 (Downstream Social): 정치적 양극화, 고정관념 강화, 소수 의견 배제, AI 최적화 콘텐츠에 의한 불공정 우위.

B. 신경망 모델의 '설득력 있는 오류' (Convincing Wrongness)

• BM25 vs MonoT5: BM25 는 기계적 한계로 인식되었으나, MonoT5 는 의미론적 일관성으로 인해 높은 신뢰와 권위를 얻었습니다.
• 감사의 실패: MonoT5 에 대한 신뢰가 쌓일수록, 사용자는 적대적 조작 (Task 4) 을 쉽게 간과했습니다. 조작된 문서가 상위 랭킹에 있더라도 "AI 가 잘 작동한다"는 선입견 때문에 비판적 검토가 줄어들었습니다.
• 시사점: 시스템이 유능해 보일수록 사용자는 맹목적으로 신뢰하게 되어, 감사 (Audit) 의 효과가 약화될 수 있음을 보여줍니다.

C. 투명성과 구제 수단의 결합 필요성

• 사용자는 단순히 결과의 원인을 알고 싶은 것을 넘어, 시스템을 수정하거나 보고할 수 있는 구제 수단 (Recourse) 을 강력히 요구했습니다.
• 투명성 (데이터 출처, 로직 공개) 만으로는 부족하며, 이를 통해 문제를 진단하고 행동 (Contest/Correct) 할 수 있어야 진정한 책임성이 확보된다고 인식했습니다.

5. 의의 및 결론 (Significance)

• 참여형 감사의 이중적 역할:
  1. 해악 발견: 기술적 지표로 포착되지 않는 사용자의 상황적 경험과 사회적 영향을 드러냄.
  2. 감사 가능성의 한계 규명: 사용자의 신뢰와 시스템의 유능함이 오히려 비판적 감사를 방해할 수 있음을 보여줌.
• 규제 및 실무적 함의: EU AI 법안 등 새로운 규제 프레임워크 하에서, 시스템 배포 후의 실제 사용 맥락 (Real-world context) 에서 위험을 평가하고 책임성을 확보하기 위해 참여형 접근이 필수적임을 강조합니다.
• 향후 과제: 참여형 감사가 사용자의 맹점을 드러내는 도구이므로, 이를 보완하기 위해 사용자의 '감사 리터러시 (Audit Literacy)'를 지원하고, 생성형 AI 와 검색이 결합된 하이브리드 시스템에 대한 연구가 필요함을 제언합니다.

이 연구는 검색 시스템의 공정성과 책임성을 평가할 때, 단순히 알고리즘의 성능을 측정하는 것을 넘어 사용자의 경험과 사회적 맥락을 중심에 둔 새로운 감사 패러다임의 필요성을 강력하게 주장합니다.