💻 computer science

A new impact for an AI-mediated science

이 논문은 언번들링된 저널과 AI 매개 지식 접근의 시대에 전통적인 인용 기반의 과학적 영향력 지표가 구식이 되어가고 있다고 주장하며, 정식 출판물이 없는 AI 참여, 오픈 소스 라이브러리, 그리고 데이터셋의 기여를 인식하고 측정하는 새로운 체계가 필요함을 역설한다.

원저자: Fabio Favoretto

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fabio Favoretto

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 도서관은 변하고 있지만, 점수판은 그대로입니다

과학의 세계를 거대한 도서관이라고 상상해 보세요. 지난 70년 동안 우리는 도서관의 다른 책들에 "이 책을 읽었음"이라는 메모가 얼마나 많이 달려 있는지를 세는 방식으로 한 권의 책의 '성공'을 측정해 왔습니다. 이것이 바로 인용 시스템입니다. 논문이 많이 인용될수록, 그 논문은 중요하다고 간주됩니다.

하지만 저자인 파비오 파보레토(Fabio Favoretto)는 도서관이 대대적인 개보수 과정을 거치고 있다고 주장합니다. 우리는 인간이 책을 처음부터 끝까지 읽는 세상에서, AI 어시스턴트(스마트한 챗봇 같은 것들)가 정보를 찾는 주된 방식이 되는 세상으로 이동하고 있습니다.

문제는 무엇일까요? 기존의 점수판(인용 횟수 계산)은 고장 났다는 점입니다. 왜냐하면 AI가 실제로 사용하고 있는 새로운 요소들을 볼 수 없기 때문입니다.

비유 1: 보이지 않는 엔진

당신이 자동차를 운전하고 있다고 상상해 보세요. 과거에 자동차의 성공을 판단하는 방식은 다른 차들이 그 차를 향해 경적을 얼마나 많이 울렸는지를 세는 것이었습니다. 하지만 이제 자동차는 소프트웨어 코드와 데이터로 만들어진 새로운, 보이지 않는 엔진으로 달리고 있습니다.

과거의 시스템: 얼마나 많은 다른 차들이 그 자동차(출판된 논문)를 향해 경적을 울렸는지(경적을 울리는 행위)를 셉니다.
새로운 현실: 자동차는 실제로 보이지 않는 엔진(pandas나 NumPy 같은 소프트웨어 라이브러리)으로 움직이고 있습니다. 이 엔진들은 너무나 필수적이어서 엔진 없이는 자동차가 움직일 수 없지만, 정식 서적 형태가 아니기 때문에 결코 "경적을 받는" 일이 없습니다.

이 논문은 과학자들이 사용하는 가장 중요한 도구 중 3분의 1이 정식 논문이 전혀 없다는 것을 보여줍니다. 그것들은 그저 '코드'일 뿐입니다. 기존의 인용 시스템은 이들을 보지 못합니다. 이는 마치 요리사의 성공을 오직 그가 적어 내려간 레시피로만 판단하면서, 정작 그 요리사가 특정 브랜드의 보이지 않는 가스레인지를 사용하여 주방을 운영하고 있다는 사실은 무시하는 것과 같습니다. 그 가스레인지에 대해서는 매뉴얼을 쓰지 않았기 때문입니다.

비유 2: AI 사서

AI 어시스턴트를 당신의 질문에 답해주는 매우 빠른 사서라고 생각해보세요.

과거의 방식: 만약 당신이 "기후 변화에 대해 무엇을 알고 있나요?"라고 묻는다면, 사서는 다른 사서들이 추천했던 가장 유명하고 평점이 높은 1990년대의 책들을 건네줄 것입니다.
새로운 방식: AI 사서는 지금 당장 무엇이 유용한지를 살펴봅니다. AI는 더 최신의, 더 실용적인 가이드와 오픈 액세스 요약본들을 건네줍니다.

이 논문은 AI가 기존의 인용 시스템보다 더 젊고, 더 다양하며, 더 실용적인 버전의 과학을 우리에게 보여주고 있음을 발견했습니다.

격차: 기후 과학 분야에서 AI가 보여주는 상위 50개의 논문은, 인간이 인용하는 상위 50개의 논문보다 평균적으로 16년 더 젊습니다.
형평성: AI는 폐쇄적인 클럽(유료 저널)보다는 공원(오픈 액세스 논문)처럼 누구나 무료로 볼 수 있는 논문을 보여줄 가능성이 훨씬 높습니다.

제안된 해결책: "AI 임팩트 지수 (AI Impact Index)"

저자는 AI 임팩트 지수라고 불리는 새로운 성공 측정 방식을 제안합니다. 논문이 얼마나 많이 인용되었는지를 세는 대신, 이 새로운 지수는 AI 시스템이 특정 작업에 얼마나 자주 "접촉(touch)"하는지를 계산합니다.

논문은 AI가 과학에 접촉하는 세 가지 방식을 정의합니다:

검색 (Retrieval): 당신이 질문했을 때 AI가 그 논문을 찾아내는 것 (사서가 선반에서 책을 꺼내는 것과 같습니다).
생성 (Generation): AI가 그 논문과 매우 유사한 방식으로 답변을 작성하는 것 (학생이 책을 자신의 언어로 요약하는 것과 같습니다).
암기 (Memorization): 직접 질문했을 때 AI가 그 논문의 구체적인 사실을 기억해내는 것 (퀴즈 챔피언이 특정 날짜를 기억하는 것과 같습니다).

중요한 구분: 저자는 이 새로운 지수가 해당 논문이 "진실"이라거나 "최고"라는 것을 증명하는 것이 아님을 매우 신중하게 밝히고 있습니다. 이는 단지 AI가 그 논문에 도달했다는 것을 증명할 뿐입니다. 이것은 품질의 척도가 아니라 접근성의 척도입니다.

이것이 왜 중요한가 (결론)

이 논문은 우리가 점수 체계를 업데이트하지 않는다면, 잘못된 것에 보상을 주게 될 것이라고 주장합니다.

리스크: 우리는 아무도 더 이상 읽지 않는 화려한 논문을 쓰는 사람들에게 계속 상을 주는 반면, AI(그리고 나머지 과학계)가 업무를 수행하는 데 실제로 의존하고 있는 보이지 않는 소프트웨어 도구와 데이터셋을 만든 사람들은 무시하게 될 위험이 있습니다.
목표: 우리는 새로운 "신뢰 기술(trust technology)"이 필요합니다. 과거에는 학술지가 승인의 인장이었다면, 이제는 AI가 자신의 일을 수행하기 위해 사용하는 소프트웨어, 데이터, 도구들을 식별하고 공로를 인정할 수 있는 시스템이 필요합니다.

한 줄 요약

과학은 책의 세계에서 AI 어시스턴트의 세계로 이동하고 있습니다. 성공을 측정하는 기존의 방식(인용 횟수 계산)은 비디오 게임의 인기를 측정하기 위해 사람들이 얼마나 많은 설명서를 샀는지 세는 것과 같습니다. 이는 게임 그 자체(코드, 데이터, 도구)가 실제로 사람들이 즐기고 있는 핵심이라는 사실을 놓치고 있습니다.

이 논문은 AI가 과학의 한 조각을 얼마나 자주 "가지고 노는지(plays with)"를 세기 시작해야 한다고 제안합니다. 그래야만 현대 과학을 작동시키는 보이지 않는 도구들에게 마침내 공로를 돌릴 수 있기 때문입니다.

기술 요약: AI 매개 과학을 위한 새로운 영향력

문제 제기
본 논문은 저널을 하나의 "신뢰 기술(trust technology)"이자 인용 기반 지표로 구축된 전통적인 과학적 평가 스택이 현재의 과학적 실무 현실과 어긋나고 있다고 주장한다. 연구자, 학생, 정책 입안자들이 지식을 접근하고 합성하는 방식이 AI 어시스턴트에 의해 점점 더 매개됨에 따라, 현재의 시스템은 이 새로운 과학 계층을 실제로 구동하는 기여도를 측정하는 데 실패하고 있다. 구체적으로, 인용 시스템은 공식적인 기원 논문(origin paper)이 없는 오픈 소스 소프트웨어 라이브러리, 큐레이션된 데이터셋, 계산 방법론과 같은 핵심 인프라를 "보거나" 보상할 수 없다. 저자는 AI 시스템이 검색하고 합성하는 것과 저널-인용 시스템이 보상하는 것 사이에 상당한 괴리가 존재하며, 이는 계산 과학의 "보이지 않는 작업(invisible work)"을 간과하는 과학적 평가의 사각지대를 생성한다고 상정한다.

방법론
이러한 괴리를 정량화하고 새로운 측정 프레임워크를 제안하기 위해, 저자는 해양 생태학, 생물 의학 유전체학, 기후/지구 과학의 세 가지 과학 분야를 대상으로 실증 연구를 수행하였다.

레지스트리 구축: 해당 분야의 현직 과학자들에게 운영적으로 핵심적인 것으로 식별된 86개의 소프트웨어 및 데이터 패키지를 큐레이터 검증을 통해 레지스트리로 구성하였다. 각 패키지는 인용 출처(전체 기원 논문, 부분적 인용 경로, 또는 논문 없음)에 따라 분류되었다.
코퍼스 및 과업 설계: OpenAlex에서 추출한 1,350개의 논문(도메인당 450개)으로 구성된 층화 코퍼스를 구축하였다. 도메인 전문가들에 의해 검증된 90개의 표준 연구 질문(도메인당 30개)을 생성하여 AI 어시스턴트와의 전형적인 사용자 상호작용을 시뮬레이션하였다.
AI 영향 지수 (AIII): 세 가지 채널을 통해 "참여 흔적(engagement footprints)"—AI 상호작용의 관찰 가능한 흔적—을 측정하는 프레임워크를 제안한다:
- 검색 (R-AIII): 연구 질문에 답할 때(vector-database lookup 사용, sentence-transformers/all-MiniLM 및 ChromaDB 활용) 특정 논문이나 도구가 반환되는지 측정한다. 이 점수는 질문의 폭, 과업 유형의 폭, 유사성 강도, 순위 가중치 반환을 결합한다.
- 생성 (G-AIII): 모델의 출력(검색 증강 없이, Claude Sonnet 4.5의 학습 메모리만을 사용하여 생성됨)과 코퍼스 내 논문 초록 간의 의미론적 정렬을 측정한다.
- 기억 (M-AIII): 직접적인 질문을 받았을 때 모델이 특정 논문의 발견 사항을 회상할 수 있는지 조사하며, 환각(confabulation)을 방지하기 위해 보수적인 UNKNOWN 규칙을 사용한다.
검증 및 벤치마킹: 프레임워크는 다음 항목들을 통해 검증되었다:
- 내부 일관성: AI 채널들이 서로를 예측하는 교차 검증(Spearman $\rho \approx 0.43–0.49$ )을 실시하였으나, 인용은 아무것도 예측하지 못했다.
- 외부 접지(External Grounding): 다운로드 및 GitHub 스타를 기반으로 한 외부 사용 지수(EUI)와의 상관관계를 측정하였다. 주목할 점은, 논문 수준의 지표(인용 및 AIII 포함)가 패키지 수준의 사용량과 무상관 관계를 보였다는 것이며, 이는 논문과 인프라 영향력의 본질적 차이를 강조한다.
- 벤치마크 패널: 기존 지표 군(metric families)과 인프라 커버리지, 논문 유형 구성, 인용을 넘어서는 정보성 측면에서 비교하였다.

주요 결과

인프라의 불가시성: 레지스트리에 포함된 86개의 핵심 자원 중 3분의 1은 공식적인 기원 논문이 없다. 또 다른 4분의 1은 자원이 사용되는 횟수에 비해 기원 논문의 인용 수가 수십 배 적다(예: NumPy는 약 2만 회의 인용을 기록하지만 월간 다운로드는 7억 7천만 회에 달함). 기후 과학의 경우, 조사된 패키지의 60%가 인용 경로 자체가 없다.
분산된 검색 지형: AI 검색 시스템은 인용 기반 랭킹과는 체계적으로 다른 문헌을 노출한다. 기후 과학에서 AI가 검색한 상위 50개 논문의 중앙값 발행 연도는 2013년인 반면, 가장 많이 인용된 상위 50개 논문의 중앙값은 1997년이었다. 또한 AI는 더 높은 비율의 방법론 논문과 종합 리뷰(synthesis reviews)를 노출한다.
형평성 함의: AI가 검색하는 문헌은 더 높은 오픈 액세스 비율(예: 기후 과학에서 74% vs 38%)과 더 높은 저널 다양성을 보인다. 이는 AI가 레거시 저널의 게이트키핑 기능을 약화시킬 수 있음을 시사하는 동시에, 새로운 방식으로 영향력을 집중시킬 수도 있음을 보여준다.
측정 격차: 인용에 의존하는 현재의 펀딩 및 평가 메커니즘은 AI 매개 과학이 실제로 구동되는 도구들(예: CDO, xarray, cartopy)에 대한 공로를 인정하지 못한다.

의의 및 주장
본 논문은 **AI 영향 지수(AIII)**를 완전히 검증된 영향력 지표라기보다 "개념적 프로토타입"으로 명시적으로 규정한다. 본 논문의 주요 의의는 기술적이고 진단적이다:

가시성: AI 참여의 측정 가능한 흔적이 오늘날 존재하며, 이것이 인용 시스템에는 구조적으로 보이지 않지만 운영적으로 핵심적인 과학 인프라(소프트웨어, 데이터, 방법론)의 층위를 드러낸다는 것을 입증한다.
영향력의 재정의: 논문은 AI 참여가 진리나 인식론적 중요성의 척도가 아니라, "새로운 스택이 이미 도달하고 있는 기여가 무엇인가"에 대한 척도라고 주장한다. 이는 저널-인용 시스템을 대체해야 할 새로운 신뢰 기술을 위한 필수적인 신호 역할을 한다.
실행 가능한 의제: 저자는 특정 지수와 독립적인 세 가지 우선순위를 제안한다: (1) 비인용 사용 이벤트를 가진 미발표 인프라에 대한 커뮤니티 큐레이션 레지스트리 구축, (2) 감사 가능한 로깅을 위한 AI 참여 이벤트 유형의 표준화, (3) 지표의 오용(gaming)을 방지하기 위한 배포 전 거버넌스 확립.

결론적으로, 본 논문은 프레임워크가 탐색적 단계임에도 불구하고, 현재의 평가 시스템이 AI 매개 과학의 인프라를 보지 못한다는 발견은 견고하다고 주장한다. 이 층위를 보지 못하는 평가 시스템은 "전혀 잘못된 것을 측정하고 있는 것"이며, 이러한 흔적을 측정할 수 있는 능력이 공정한 포스트-저널(post-journal) 과학 생태계를 위한 전제 조건이라고 단언한다.