How Do We Engage with Other Disciplines? A Framework to Study Meaningful Interdisciplinary Discourse in Scholarly Publications

기술 요약: 학술 출판물 내 의미 있는 학제 간 담론 연구를 위한 프레임워크

문제 정의
학제 간 성격을 측정하기 위한 기존의 계산적 접근 방식(예: 소속 다양성, 키워드 매칭, 인용 엔트로피)은 주로 지식 출처의 양과 다양성을 정량화하는 데 집중한다. 그러나 이러한 지표들은 개별 인용이 인용된 저작을 발전시키기 위해 어떻게 활용되는지, 즉 '관여의 깊이(depth of engagement)'를 포착하는 데는 실패한다. 인용 목적에 관한 기존의 분류 체계들은 학제 간 맥락에 적합한 범주가 부족하거나, 논증적 역할을 포착하기에는 불충분한 고정된 컨텍스트 윈도우(context window)에 의존하는 경우가 많다. 결과적으로, 본 연구는 단순한 표면적 참조와 해당 논문의 주요 학문 분야 외부로부터 개념을 실질적으로 통합하는 것 사이를 구분할 수 있는 프레임워크가 필요하다.

방법론
저자들은 두 가지 핵심 구성 요소인 새로운 '인용 목적 분류 체계(citation-purpose taxonomy)'와 '인용 관여 예측기(Citation Engagement Predictor, CEP)'를 중심으로 한 프레임워크를 제안한다.

1. 데이터 수집: 본 연구는 자연어 처리(NLP)와 계산 사회 과학(CSS)의 교차점에 초점을 맞춘다. 저자들은 ACL Anthology의 초록을 바탕으로 이진 분류기(fine-tuned RoBERTa-base)를 학습시켜, 2015년부터 2025년 사이에 발표된 2,031개의 NLP+CSS 논문 데이터셋을 구축하였다. 이를 통해 50,050개의 본문 내 참조를 추출하였으며, 그중 약 20,319개를 "학제 외(out-of-discipline)"(컴퓨터 과학 및 언어학 이외의 분야)로 식별하였다.
2. 인용 목적 분류 체계: 저자들은 귀납적 주석 연구(inductive annotation study)를 통해 학제 간 연구에서의 인용 목적을 분류하기 위한 분류 체계를 정교화하였다. 범주는 다음과 같다:
   • Substantiation + Basis (실증 + 기초): 인용이 주장을 검증하는 동시에 후속 아이디어나 방법론의 토대로 기능함.
   • Basis (기초): 인용된 저작이 인용 논문의 방법론이나 아이디어의 명시적인 기초 역할을 함.
   • Substantiation (실증): 인용이 이론적, 경험적 또는 방법론적 주장을 검증함.
   • Use (사용): 인용된 방법이나 도구가 최소한의 수정만 거쳐 직접적으로 사용됨.
   • Analysis (분석): 특정 접근 방식을 정당화하기 위해 인용된 아이디어를 비교하거나 비판함.
   • Definition (정의): 인용이 핵심 개념을 정의함.
   • Related Work (관련 연구): 추가적인 통합 없이 맥락이나 사례만을 제공함.
   • 주석 과정: 950개의 본문 내 인용 데이터셋을 저자와 대학원생들이 수동으로 주석 처리하였으며, Krippendorff's $\alpha$ 값 0.596을 달이트하였다.
3. 자동 분류: 저자들은 인용 목적을 예측하기 위해 세 가지 모델(fine-tuned RoBERTa, Llama3-8b, Qwen3-8b)을 평가하였다. Qwen3-8b가 가장 우수한 성능(Weighted F1: 0.60)을 기록하였다.
4. 인용 관여 예측기 (CEP): 관여의 깊이를 측정하기 위해 저자들은 서열 로지스틱 회귀(ordinal logistic regression) 모델을 개발하였다. 이 모델은 특정 인용 저작에 대한 논문의 관여도를 5단계 점수(1 = 낮음, 5 = 높음)로 예측한다. 모델은 특정 섹션(서론, 방법론, 실험, 결론, 부록)에서 나타나는 인용 빈도와 특정 목적으로부터 도출된 특징들을 활용한다. 선형 의존성을 피하기 위해 "Related Work" 범주와 베이스라인 섹션들은 제외되었다.

주요 기여

1. 새로운 주석 프레임워크: 표면적인 참조와 심층적 통합(예: "Substantiation + Basis")을 구분함으로써, 학제 간 NLP 연구의 인용 목적을 포착하도록 설계된 특화된 분류 체계.
2. 데이터셋 및 분류기: NLP+CSS 논문에서 추출한 950개의 주석 처리된 본문 내 인용 데이터셋과 인용 목적을 자동으로 예측하는 최첨단 분류기(Qwen3).
3. 인용 관여 예측기 (CEP): 인용 목적과 섹션 위치에서 발생하는 신호를 종합하여 관여의 깊이에 대한 단일하고 해석 가능한 척도를 생성하는 통계 모델.
4. 경험적 분석: 프레임워크의 유용성을 평가하기 위해 NLP+CSS 분야의 34,786개 논문-인용 쌍을 분석한 대규모 사례 연구.

결과

• 모델 성능: 자동 분류기(Qwen3)는 Macro F1 0.56을 달성하였다. CEP 모델은 홀드아웃(held-out)된 100개의 논문-인용 쌍 세트에 대해 평균 절대 오차(MAE) 0.484와 이차 가중 카파(QWK) 0.794를 기록하였다.
• 특징 중요도: 회귀 계수는 인용의 목적이 나타나는 섹션보다 관여의 깊이를 예측하는 데 더 강력한 변수임을 나타낸다. 구체적으로, "Basis"로 라벨링된 인용과 "부록" 또는 "방법론" 섹션에 등장하는 인용은 높은 관여 점수와 상관관계가 있다.
• 관여 분포: NLP+CSS 데이터셋에서 대다수의 인용(55.8%)은 레벨 1(낮음)의 관여 점수를 받았다. 레벨 4 또는 5(높음)의 관여를 달성한 인용은 단 2.9%에 불과했다.
• 학제 간 vs. 학제 내: 분석 결과, 저자들은 학제 간 인용보다 학제 내(within-discipline) 인용에 더 깊게 관여하는 경절을 보인다. 학제 간 인용은 "Substantiation" 및 "Definition" 목적으로 더 자주 나타나는 반면, 학제 내 인용은 방법론적 "Use"를 포함하는 경우가 많다.
• 질적 발견: 높은 수준의 관여를 보이는 학제 간 논문(예: 인지 과학을 통합하는 논문)은 인용된 개념을 여러 섹션과 목적에 걸쳐 엮어내는 경향이 있는 반면, 낮은 수준의 관여를 보이는 논문은 학제 간 저작을 배경 설명이나 정의를 위해서만 인용할 뿐 이를 바탕으로 발전시키지 못하는 경우가 많다.

의의 및 주장
본 논문은 자신의 프레임워크가 무엇을 인용하는가가 아니라 어떻게 인용하는가로 초점을 전환함으로써 기존의 학제 간 성격 측정 지표를 보완하는 필수적인 역할을 한다고 주장한다. 관여의 깊이를 구체화함으로써, 이 프레임워크는 학제 간 연구가 단순히 타 분야의 개념을 '이름만 언급(name-dropping)'하는 것인지, 아니면 방법론적 및 이론적 선택에 실질적으로 통합하고 있는지를 식별할 수 있게 해준다. 저자들은 이 연구를 학제 간 관여를 연구하기 위한 더 넓은 프레임워크를 향한 "첫 단계"로 규정하며, 특히 본 연구의 결과가 NLP+CSS 맥락에 기반하고 있으며 다른 영역에서의 검증은 향후 과제로 남아 있음을 명시하였다. 또한, 대규모 분석을 위해 자동 분류기에 의존함에 따라 파싱 오류 등으로 인한 불확실성이 존재할 수 있음을 명시적으로 경고하였다.