AI Pluralism and the Worlds It Misses

기술 요약: AI 다원주의와 그것이 놓치는 세계들

문제 제기
현재의 AI 다원주의 프레임워크는 주로 가치 다원주의(value pluralism), 즉 다양한 사용자 선호도, 가치 또는 출력을 나타내는 데 집중하고 있습니다. 본 논문은 이러한 프레임워크가 불완전하다고 주장합니다. 왜냐하면 AI 시스템은 또한 **존재론(ontologies)**을 부과하기 때문입니다. 즉, 어떤 실체가 존재하는지, 그것들이 어떻게 관계를 맺는지, 무엇이 증거로 간주되는지, 그리고 무엇이 유효한 출력으로 간주되는지를 정의하는 실천적 표상적 약속을 부과합니다.

식별된 핵심 실패 양상은 **존재론적 평면화(ontological flattening)**입니다. 이는 상황적이고, 논쟁적이며, 역사적으로 특수하고, 체화된 의미(즉, "생활세계(lifework)")가 제한된 기술적 범주, 대리 지표(proxies), 집계 규칙, 또는 벤치마크 목표로 변환되어 중립적이고 이의를 제기하기 어려운 것으로 취급될 때 발생합니다. 다원주의적 방법론이 다양한 출력을 생성하거나 피드백을 집계하는 데는 성공할 수 있지만, 이들은 종종 범주의 정의와 집계 규칙이 영향을 받는 행위자의 권한 밖에 있는 고정된 존재론 위에서 작동합니다. 이는 "결과적 다원주의(diverse answers)"가 "존재론적 일원론(single, fixed way of defining the world)"과 공존하는 결과를 초-래합니다.

연구 방법론
본 논문은 체계적 문헌 고찰이나 새로운 통제 실험 대신 **경계가 설정된 개념적 및 질적 합성(bounded conceptual and qualitative synthesis)**을 채택합니다. 방법론은 다음 세 가지 주요 구성 요소로 이루어집니다:

1. 개념 매핑(Concept Mapping): 가치 다원주의, 다원적 정렬(pluralistic alignment), 참여형 AI, 절차적 정의, 과학기술학(STS), 그리고 책임성 연구를 아우르는 문헌에 대한 목적적 이론적 샘플링을 수행합니다.
2. 전문가 인터뷰: 법, 윤리, AI 분야의 전문가 11명을 대상으로 한 반구조화된 기밀 인터뷰를 실시했습니다. 이는 통계적 추론이나 유병률 주장이 아닌, 구성 개념의 정교화(예: 절차적 권위와 인식적 포용의 구분)를 위해 사용되었습니다.
3. 사례 분석: 도시, 공공 공간 및 시각 기반 시스템에 관한 세 가지 동반 논문의 이차 분석을 수행합니다:
   • 사례 A: 커뮤니티가 정의한 기준을 사용하여 직접 선호 최적화(DPO)를 적용한 다원적 공공 공간 생성 데이터셋.
   • 사례 B: 예측 모델링을 위해 인터뷰 및 포커스 그룹 데이터를 사용한 참여형 거리 경관 포용성 모델.
   • 사례 C: 인간 주석에 대비한 도시 시각-언어 모델의 신뢰성 인지 평가.

분석에는 다섯 가지 코드 매트릭스(존재론적 진입점, 불일치 처리, 권위/구제, 대리 지표의 한계, 생애주기 지속성)를 사용하여 AI 생애주기(문제 프레이밍, 데이터 생성, 라벨링, 훈련, 평가, 배포 및 폐기) 전반에 걸친 평면화 메커니즘을 식별합니다.

주요 기여
본 논문은 세 가지 뚜렷한 기여를 합니다:

1. 존재론적 평면화의 정의: 이를 다원적 입력이나 출력이 고정된 존재론과 공존하는 특정 실패 양상으로 정의합니다. 본 논문은 평면화를 편향, 오분류, 또는 대리 지표 실패와 구분하며, "라벨 공간 자체"가 정당한 권위를 갖는지, 그리고 영향을 받는 행위자들이 표상적 약속에 이의를 제기할 수 있는 자격(standing)을 갖는지 묻습니다.
2. 결과적 다원주의와 절차적 다원주의의 구분:
   • 결과적 다원주의(Outcome Pluralism): 다양한 출력을 생성, 유도 또는 근사하는 시스템.
   • 절차적 다원주의(Procedural Pluralism): 영향을 받는 행위자가 문제 프레이밍, 범주, 증거, 집계, 평가 및 수정에 대해 권한을 갖는 시스템.
     본 논문은 절차적 다원주의가 부재할 경우 결과적 다원주의는 불충분하다고 주장합니다.
3. 다원적 생애주기 거버넌스(PLG): 다원적 AI의 다섯 가지 차원을 문서화하기 위한 예비적 질적 감사 스캐폴드(검증된 점수 산정 도구가 아님)를 제시합니다:
   • 존재론적 개방성(Ontological Openness): 범주, 대리 지표, 지표에 이의를 제기할 수 있는 능력.
   • 인식적 포용성(Epistemic Inclusion): 다양한 형태의 지식(체화된 경험 포함)이 증거로서 허용됨.
   • 절차적 권위(Procedural Authority): 단순한 자문 입력을 넘어 결정권(예: 거부권, 일시 중단, 구속력 있는 검토)을 포함하는 참여.
   • 평가 다원주의(Evaluation Pluralism): 불일치, 중립성, 기권, 신뢰성 데이터를 삭제하지 않고 보존함.
   • 생애주기 책임성(Lifecycle Accountability): 배포, 모니터링, 수정 및 폐기 과정 전반에 걸쳐 다원적 약속이 지속됨.

결과 및 실증적 발견
세 가지 사례 분석은 다원적 방법론이 모델의 행동을 개선할 수는 있으나, 영향을 받는 행위자들이 절차적 권한을 갖기 전에 어떻게 범주를 압축하는지를 보여줍니다:

• 사례 A (생성형): 커뮤니티 개념이 사용되었으나, DPO 목적 함수는 다기준 판단을 이진 쌍체 선호(binary pairwise preferences)로 변환하여 다수결 투표를 통해 처리했습니다. 중립적 비교(모호성이나 트레이드오프를 나타내는)는 보존되었으나, 이는 유효한 세계의 상태라기보다 잔여 타겟(residual target)으로 취급되었습니다. 이는 "절차적 압축"을 보여줍니다.
• 사례 B (예측형): 참여적 라벨이 모델 훈련에 사용되었으나, 결과적인 히트맵은 가시적인 미학을 국소적 의미(예: 접근성, 소속감)로 대체할 위험이 있었습니다. 거버넌스 구조는 커뮤니티가 지도의 해상도를 수정하거나 징벌적 사용을 금지할 수 있는 권한을 결여하고 있었습니다.
• 사례 C (평가): 벤치마크는 신뢰성과 기권을 보고했으나, 합의된 라벨은 여전히 불안정한 의미론을 은폐할 수 있었습니다. 연구에 따르면 가시적 속성에 가까운 차원이 측정하기 더 쉬웠으며, 음(-)의 크리펜도르 알파($\alpha$) 값은 해당 차원들을 안정적인 ground truth로 취급하는 것을 방해하는 체계적 불일치를 나타냈습니다.

합성은 다원적 방법론이 가장 취약해지는 지점이 "생활세계가 기술적 객체로 변할 때"임을 결론짓습니다. 만약 시스템이 고정된 라벨에서 시작한다면, 이후의 참여는 단지 그 라벨들에 대한 가치를 채워 넣는 것에 불과할 것입니다.

의의 및 주장
본 논문은 AI 다원주의가 가치 다원주의와 더불어 존재론적 다원주의를 다루어야 한다고 주장합니다. 현재의 정렬(alignment) 연구는 흔히 이질적인 판단을 단일한 훈련 신호로 집계하거나 불일치를 노이즈로 취급함으로써, 논쟁 가능한 방식의 세계 구축(world-making)을 보존하는 데 실패한다고 주장합니다.

본 연구의 의의는 초점을 "얼마나 많은 출력인가"에서 "누가 존재론을 정의하는가"로 전환하는 데 있습니다. 본 논문은 정당한 추상화는 압축이 경계 지어지고, 문서화되며, 수정 가능하고, 비례적일 때, 그리고 영향을 받는 행위자들이 스키마 자체에 이의를 제기할 권리를 유지할 때만 가능하다는 점을 상정합니다. 본 논문은 AI 시스템을 점수화하기 위한 검증된 도구를 제공하려는 것이 아니라, 다원적 AI의 증거와 거버넌스 조건을 명시하기 위한 프레임워크를 제공하며, 절차적 권한이 존재론에 미치지 못한다면 다원적 AI가 다양성이라는 가면 아래 단일론적 세계관을 재생산할 위험이 있다고 주장합니다.