When AI Classifies: What Counts as Public Administration?

기술 요약: AI가 분류할 때: 무엇이 행정학(Public Administration)으로 간주되는가?

문제 제기
본 논문은 행정학(PA) 분야의 인식론적 과제, 즉 알고리즘 지식 조직 시스템에 의해 매개될 때 학제 간 연구의 경계, 가시성, 그리고 지적 구조가 어떻게 정의되는지를 다룬다. 전통적으로 행정학의 학문적 경계는 인간 학술 공동체, 학술지, 전문 협회를 통해 협상되어 왔다. 그러나 Web of Science나 OpenAlex와 같은 서지 인프라에서 자동화된 색인 생성, 토픽 모델링, AI 지원 분류에 대한 의존도가 높아짐에 따라, 이러한 시스템이 단순히 기존 지식을 검색하는 것인지, 아니면 능동적으로 학문적 정체성을 구축하는 것인지에 대한 의문이 제기된다.

이 문제는 PA-AI 학술 연구(PA 내의 AI)에서 특히 심각하다. 행정학은 본질적으로 학제적이며, AI 연구는 컴퓨터 과학, 데이터 과학, 경영학, 사회과학을 아우르기 때문에, 알고 알고리즘 분류 시스템이 PA 관련 연구를 인접 영역으로 할당함으로써 체계적으로 오분류하거나 보이지 않게 만들 위험이 있다. 본 연구는 이러한 시스템이 중립적인 도구가 아니라, 체계적인 편향을 도입하고, 기존의 경계를 강화하며, 학제 간 분야의 진화를 제약할 수 있는 능동적인 행위자라고 상정한다.

연구 방법론
본 연구는 두 가지 주요 학술 데이터베이스인 Web of Science(WoS)와 OpenAlex를 사용하여 비교 계량서지학적 분석을 수행한다. 연구는 다음 세 가지 논리적 접근 방식으로 분류된 다섯 가지의 구별된 학술적 표현 체계를 통해 문제를 구체화한다:

1. 저자 정의(Author-Defined): 저자가 직접 제공한 메타데이터에 의존함 (WoS 제목/초록/키워드; OpenAlex 제목/초록).
2. 인용 기반(Citation-Driven): 인용된 문헌으로부터 파생된 알고리즘 생성 용어에 의존함 (WoS Keyword Plus).
3. AI 지원(AI-Assisted): 의미적 유사성과 대규모 언어 모델(LLM)을 통해 생성된 알고리즘 할당 개념 및 키워드에 의존함 (OpenAlex Concepts 및 Keywords).

데이터 수집 및 검색 전략:

• PA 구체화: WoS에서는 "Public Administration" 주제 범주를 통해 PA를 식별한다. OpenAlex에서는 대표적인 논문 제목과 초록을 기반으로 클러스터를 라벨링하는 GPT 기반 모델에서 파생된 "Public Administration" 하위 분야(3321)를 통해 PA를 식별한다.
• AI-in-PA 구체화: 계층적 AI 프레임워크(기반, 아키텍처, 모델, 행동)를 사용하여 검색어를 구성하였다. 이 검색어들은 위에서 언급한 다섯 가지 메타데이터 층위에 적용되었다.
• 분석: 연구는 여섯 가지 차원(코퍼스 크기, 출판 유형, 출판 매체, DOI 중복, 시간적 발전, 주제적 클러스터링)을 기준으로 결과물들을 비교한다. 주제 구조는 제목과 초록에서 추출한 저자 키워드 및 텍스트 유래 n-gram(unigram, bigram, trigram)을 바탕으로 공기(co-occurrence) 네트워크(VOSviewer 활용)를 통해 분석되었다.

주요 결과
분석 결과, 다섯 가지 표현 방식 간에 상당한 차이가 발견되었으며, 이는 이들이 동일한 문헌의 서로 다른 부분 집합을 식별하는 것이 아니라 서로 다른 지식 영역을 식별하고 있음을 나타낸다.

• 코퍼스 크기 및 구성: OpenAlex가 더 넓고 다양한 전체 PA 코퍼스(프리프린트 및 학위 논문 포함)를 포착하는 반면, WoS 저자 접근 방식이 가장 큰 AI-in-PA 코퍼스(959개 문헌)를 식별했다. 반대로, OpenAlex의 AI 지원 방식(OA Concepts 및 OA Keywords)은 OpenAlex의 광범한 커버리지에도 불구하고 각각 현저히 적은 수의 AI-in-PA 기록(각각 494개 및 387개)만을 식별하였다.
• 출판 매체 및 중복: WoS와 OpenAlex의 AI 지원 표현 간에는 출판 매체의 중복이 거의 존재하지 않는다.
  • WoS 저자는 기성 PA 및 공공 정책 학술지(예: Public Administration Review, Public Management Review)에 집중되어 있다.
  • OA 저자는 사회복지 학술지에 집중되어 있다.
  • OA Concepts/Keywords는 저장소(예: Zenodo, eCommons)와 기술 전문 매체(예: IEEE Transactions)에 의해 지배된다.
  • 결정적으로, 세 가지 주요 접근 방식 모두에서 공유되는 단 하나의 출판 매체도 없었다.
• 시간적 발전: 각 표현 방식은 상충하는 역사적 서사를 제공한다. OpenAlex AI 지원 표현은 1980년까지 거슬러 올라가는 AI-in-PA의 꾸준하고 선형적인 성장을 보여주며, 이는 AI 개념의 점진적인 확산을 시사한다. 이와 대조적으로, WoS 표현은 생성형 AI의 부상과 맞물려 2023년경부터 급격한 지수적 급증을 보여주며, AI가 PA 내의 새로운 신생 영역임을 시사한다.
• 주제 구조:
  • WoS 저자 네트워크는 거버넌스와 연결된 AI 방법론 및 기술(예: 머신러닝, LLM)을 중심으로 한다.
  • WoS n-gram은 거버넌스, 규제 및 행정 프로세스로 초점이 이동한다.
  • OpenAlex n-gram은 가장 넓은 맥락적 지향성을 보이며, 전문적 실무, 교육, 사회적 응용을 강조하며 전통적인 PA 공동체로부터 연구를 분리시킨다.

주요 기여

1. 표현 효과의 입증: 본 연구는 알고리즘 지식 조직 시스템이 단순히 다른 양의 문헌을 검색하는 것이 아니라, 동일한 분야에 대해 근본적으로 다른 지적 구조, 학문적 경계, 그리고 역사적 궤적을 구축한다는 실증적 증거를 제공한다.
2. 커버리지의 "역설": 광범한 서지적 커버리지(OpenAlex)가 학제 간 하위 분야의 가시성을 보장하지는 않는다는 점을 강조한다. 실제로 AI 지원 분류는 AI-in-PA 연구를 인접 분야(예: 컴퓨터 과학 또는 사회복지학)로 할당함으로써 학제 간 PA 연구를 체계적으로 과소 대표할 수 있다.
3. AI 분류에 대한 인식론적 비판: 본 논문은 AI 지원 분류가 중립적인 것이 아니라 해석적이라고 주장한다. 이는 PA와 같이 유동적이고 협상되는 학제 간 분야의 성격과 일치하지 않을 수 있는, 학문적 구조와 개념적 유사성에 대한 특정 가정을 반영한다.

의의 및 주장
논문은 연구 결과가 과학의 거버넌스와 학문의 진화에 깊은 함의를 갖는다고 주장한다. AI가 과학적 발견, 평가, 자금 지원의 인프라에 내재됨에 따라, 이러한 알고리즘적 표현은 자기 강화적(self-reinforcing)이 될 위험이 있다고 주장한다. PA 외부로 지속적으로 분류되는 학술 연구는 미래의 AI 시스템에서 점점 더 보이지 않게 될 것이며, 이는 알고리즘적 경로 의존성을 고착시키고 학문적 경계의 적응을 제한하는 피드백 루프를 생성한다.

결과적으로, 저자들은 인간의 학문적 판단이 여전히 필수적이라고 결론짓는다. AI 지원 지식 조직은 전문가의 학술적 해석을 대체하는 것이 아니라 보완하는 것으로 간주되어야 한다. 본 연구는 알고리즘 시스템이 학문의 지적 정체성 자체를 어떻게 재구성할 수 있는지 이해하기 위해, 다른 유동적인 학제 간 영역(예: 도시 연구, 형사 사법)에서도 이러한 표현 효과를 조사하는 후속 연구를 촉구한다.