💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

이 논문은 과학적 지식의 업데이트를 보존, 습득, 투영이라는 세 가지 지표를 통해 평가하는 프레임워크인 ScienceMeter를 소개하며, 현재의 업데이트 방식이 기존 지식을 유지하면서 새로운 사실을 효과적으로 학습하고 미래의 과학적 발전을 예측하는 데 어려움을 겪고 있음을 밝힌다.

원저자: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

게시일 2026-07-22✓ Author reviewed ⓘ

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 특정 연도까지 쓰인 거의 모든 책을 읽은 초지능 로봇 사서가 있다고 상상해 보세요. 이 사서는 그 시대의 역사, 과학, 대중문화에 관한 질문에 답하는 데 매우 뛰어납니다. 하지만 함정이 하나 있습니다. 세상은 멈추지 않고 돌아간다는 점입니다. 매일 새로운 과학 논문들이 발표되며, 이는 사서가 아직 보지 못한 새로운 발견들을 드러냅니다. 만약 당신이 어제 일어난 돌파구에 대해 이 로봇에게 묻는다면, 로봇은 자신 있게 틀린 정보를 말하거나, 혹은 자신의 두뇌가 과거에 얼어붙어 있기 때문에 "모릅로겠습니다"라고 말할 수도 있습니다. 이것이 바로 인공지능의 "오래된 지식(stale knowledge)" 문제입니다. 과학자들은 이 로봇들에게 이미 알고 있는 것을 잊게 만들거나 터무니없는 가짜 사실을 환각(hallucination)처럼 만들어내지 않으면서, 어떻게 새로운 정보를 주입할 수 있을지 고민하고 있습니다. 이는 마치 학생에게 교과서의 새 단원을 가르치면서 이전 단원들을 잊어버리게 하거나, 빈틈을 메우기 위해 스스로 가짜 사실을 지어내게 하지 않으려는 것과 같습니다.

여기, 워싱턴 대학교의 연구진들이 AI의 두뇌에 신선한 과학적 지식을 얼마나 잘 업데이트할 수 있는지 테스트하기 위해 만든 새로운 프레임워크인 ScienceMeter가 등장합니다. 연구진을 고성능 엔진을 튜닝하려는 "지식 정비사"라고 생각해 보세요. 그들은 단순히 "로봇이 새로운 것을 배웠는가?"라고 묻는 데 그치지 않았습니다. 대신, 로봇이 다음 세 가지를 할 수 있는지 확인하기 위해 3단계 스트레스 테스트를 구축했습니다:

옛날 것을 기억하는가 (보존): 몇 년 전에 배운 기초적인 것들을 잊어버렸는가?
새로운 것을 배우는가 (습득): 방금 보여준 새로운 논문들을 실제로 이해했는가?
미래의 것을 추측하는가 (투영): 방금 배운 내용을 바탕으로 아직 일어나지 않은 발견에 대해 똑똑한 추측을 할 수 있는가?

이 테스트를 수행하기 위해, 그들은 컴퓨터 과학부터 의학까지 10가지 서로 다른 과학 분야를 아우르는 방대한 데이터셋을 만들었습니다. 그들은 과학적 지식을 타임라인처럼 취급했습니다: "과거" 논문(로봇이 이미 알고 있는 것), "새로운" 논문(로봇에게 가르치려 한 것), 그리고 "미래" 논문(로봇이 예측하기를 기대했던 것)입니다. 그런 다음, 대화 중에 새로운 논문을 단순히 읽게 하는 것(추론)부터 새로운 데이터로 로봇의 두뇌를 실제로 재학습시키는 것(학습)에 이르기까지 다섯 가지 다른 업데이트 방법을 시도했습니다.

결과는 다소 냉혹한 현실을 보여주었습니다. 가장 성능이 좋은 방법조차 이 세 가지를 동시에 수행하는 데 어려움을 겪었습니다. 최고의 성능을 보인 업데이트 방식은 기존 지식의 **85.9%**를 안전하게 보존했고, 새로운 지식의 **71.7%**를 성공적으로 학습했지만, 미래 지식의 투영은 **37.7%**에 그쳤습니다. 다시 말해, 로봇은 과거를 기억하는 데는 꽤 능숙했고, 현재를 배우는 데는 괜찮았지만, 미래를 예측하는 데는 여전히 매우 불안정했습니다.

연구는 또한 로봇의 크기가 중요하다는 점도 발견했습니다. 더 크고 강력한 모델들은 대화 중에 새로운 내용을 읽는 것만으로도 새로운 것을 배우는 데 놀라울 정도로 능숙했는데, 이는 마치 교과서를 한 번 읽는 것만으로도 새로운 과목을 배울 수 있는 천재 학생과 같았습니다. 반면, 더 작은 모델들은 효과적으로 새로운 것을 배우기 위해 처음부터 다시 "재학습"되어야 했습니다. 단순히 새로운 정보를 보여주는 것만으로는 충분하지 않았습니다.

아마도 가장 흥eli로운 발견은 과학의 종류가 중요하다는 점일 것입니다. 정치학처럼 지식 변화가 느린 분야에서는 로봇이 기억과 예측 모두에서 뛰어난 성과를 냈습니다. 하지만 새로운 발견이 끊임없이 일어나는 재료 과학과 같이 빠르게 변하는 분야에서는 로봇이 훨씬 더 빨리 혼란을 느꼈습니다. 연구진은 분야가 더 휘발적일수록, AI가 지식을 뒤섞지 않고 최신 상태로 유지하는 것이 더 어렵다고 제안합니다.

궁극적으로, 이 논문은 우리가 AI를 업데이트하는 데 점점 더 나아지고는 있지만, 아직 코드를 완전히 풀지는 못했다고 결론짓습니다. AI가 새로운 과학을 즉각적으로 배우고, 모든 옛날 사실을 유지하며, 미래를 예측할 수 있게 만드는 마법의 버튼은 존재하지 않습니다. 연구진은 이 세 가지 목표 사이의 균형을 진정으로 맞출 수 있는 방법을 개발하는 것이 AI를 실제 과학적 발견의 신뢰할 수 있는 파트너로 만드는 데 남은 가장 큰 과제 중 하나라고 주장합니다. 그들은 만약 우리가 이 문제를 해결하지 못한다면, 우리의 AI 도구들이 어제의 과학에는 자신감 넘치는 전문가이면서 내일의 돌파구에 대해서는 완전히 무지한 상태가 될 수 있다고 경고합니다.

기술 요약: SCIENCEMETER

문제 정의

대규모 언어 모델(LLM)은 과학 연구를 지원하기 위해 점점 더 많이 활용되고 있으나, 정적인 사전 학습(pre-training) 특성으로 인해 과학 지식의 급격한 발전 속도를 따라가지 못해 지식이 빠르게 구식화되는 문제가 발생한다. 일반적인 업데이트 전략(예: 지속적 사전 학습, 인스트럭션 튜닝, RAG)이 존재하지만, 이러한 방법들이 복잡한 과학적 지식 진화의 요구사항을 효과적으로 지원할 수 있는지는 여전히 불분명하다. 구체적으로, 효과적인 업데이트는 단순히 새로운 정보를 주입하는 것을 넘어, 기존 지식을 보존하고, 왜곡 없이 새로운 발견을 통합하며, 미래 또는 미발견된 과학적 주장에 대해 추론할 수 있는 일반화 능력을 갖추어야 한다. 현재의 평가 프레임워크는 일반적인 사실 정보 유지(factoid retention)나 단순한 지식 주입에 초점을 맞추는 경우가 많아, 과학적 추론, 확신도(confidence), 그리고 미래의 발전을 투영하는 능력의 미묘한 차이를 포착하지 못한다.

방법론: SCIENCEMETER 프레임워크

저자들은 과거(보존), 현재(습득), 미래(투영)라는 세 가지 시간적 차원에서 과학적 지식 업데이트를 평가하기 위해 설계된 종합적인 프레임워크인 SCIENCEMETER를 소개한다.

1. 데이터셋 구축

이 프레임워크는 10개의 급변하는 과학 분야(컴퓨터 과학, 의학, 생물학, 재료 과학, 심리학, 경영학, 정치학, 환경 과학, 농업 및 식품 과학, 교육학)를 아우르는 큐레이션된 데이터셋을 활용한다.

논문 수집: 각 분야에 대해 Semantic Scholar를 통해 1,000편의 논문을 검색한다. 논문은 연대순으로 다음과 같이 분류된다:
- 이전( $P_{prior}$ ): 모델의 학습 중단 시점 이전에 발표된 논문.
- 신규( $P_{new}$ ): 학습 중단 시점 이후부터 "최근" 중단 시점 이전에 발표된 논문.
- 미래( $P_{future}$ ): "최근" 중단 시점 이후에 발표된 논문으로, 모델이 아직 접하지 못한 지식의 대리 지표 역할을 함.
합성 주장 생성: 각 논문에 대해 원자적 과학적 주장(단일 개체나 과정의 특정 측면에 대한 검증 가능한 진술)을 생성한다. GPT-4O를 사용하여 다음을 생성한다:
- 지지(SUPPORT) 주장: 특정 논문에 의해 유일하게 지지되는 주장.
- 반박(REFUTE) 주장: 해당 주제와 관련은 있으나 논문에서 지지되지 않는 주장.
- 박사 과정 학생들의 전문가 평가 결과, 생성된 주장의 약 90.2%가 이러한 규칙을 엄격히 준遵守함을 확인했다.

2. 평가 과업

과학적 지식은 사실적 정확성과 모델 확신도를 모두 평가하는 두 가지 과업을 통해 평가된다:

주장 판단 (Claim Judgment): 모델이 주어진 논문에 의해 주장이 지지되는지 또는 반박되는지 검증한다 (Prior/New의 경우). 또는 내부 지식을 바탕으로 주장의 타당성을 예측한다 (Future의 경우).
주장 생성 (Claim Generation): 모델이 논문 제목을 보고 지지하는 주장을 생성한다 (Prior/New의 경우) 또는 연구 주제를 바탕으로 생성한다 (Future의 경우).
지식 범주화: 모델의 응답은 정확(Correct) (정확함 + 확신함), 부정확(Incorrect) (부정확함 + 확신함), 또는 알 수 없음(Unknown) (낮은 확신도)으로 분류된다.

3. 핵심 지표

SCIENCEMETER는 업데이트 성능을 정량화하기 위해 세 가지 주요 지표를 정의한다:

지식 보존 (Knowledge Preservation): 업데이트 후 $P_{prior}$ $P_{p r i or}$ 에서 이전에 정확했던 주장들이 여전히 정확하게 유지되는 비율.
- 왜곡 (Distortion): 이전에 정확했던 주장이 부정확해짐 (높은 확신을 가진 오류).
- 손실 (Loss): 이전에 정확했던 주장이 '알 수 없음'이 됨.
지식 습득 (Knowledge Acquisition): 업데이트 후 $P_{new}$ $P_{n e w}$ 의 '알 수 없음' 상태였던 주장들이 정확해지는 비율.
- 왜곡 (Distortion): '알 수 없음' 상태였던 주장이 부정확해짐.
- 손실 (Loss): '알 수 없음' 상태였던 주장이 그대로 '알 수 없음'으로 남음.
지식 투영 (Knowledge Projection): 업데이트 후 모델이 $P_{future}$ $P_{f u t u r e}$ 의 '알 수 없음' 상태였던 주장을 올바르게 예측하는 비율로, 모델의 외삽(extrapolate) 능력을 보여준다.
- 손실 (Loss): 미래의 주장이 '알 수 없음'으로 남음.

4. 실험 설정

프레임워크는 표준 모델(LLaMA3.1-8B)과 프런티어 모델(OLMo2-32B)의 컴퓨터 과학 도메인에서 다섯 가지 대표적인 지식 업데이트 방법을 평가했다:

지속적 사전 학습 (CNT PRETRAIN): 새로운 데이터에 대한 자기회귀적(autoregressive) 학습.
표준 인스트럭션 튜닝 (INST TUNE): 새로운 데이터에서 파생된 QA 쌍을 이용한 미세 조정.
사전 인스트럭션 튜닝 (PRE INST TUNE): 지속적 사전 학습 이전에 수행하는 인스트럭션 튜닝.
추론 (INFER): 추론 시점에 수행하는 검색 증강 생성(RAG) 스타일의 컨텍스트 주입.
결합형 (INST TUNE + INFER): 하이브리드 접근 방식.

확신도는 "더 많은 정보(More Information)" 프롬프팅, 패러프레이징에 따른 응답 일관성, 그리고 GPT-4O를 통한 언어적 확신도 분석의 세 가지 방법을 사용한 다수결 투표를 통해 추정되었다.

주요 결과

실험 결과, 세 가지 목표(보존, 습득, 투영)를 동시에 달야하는 단일 방법은 존재하지 않음을 밝혔다.

성능 상한선: 가장 성능이 좋은 방법(표준 인스트럭션 튜닝)은 다음과 같은 성과를 보였다:
- 85.9% 지식 보존.
- 71.7% 지식 습득.
- 37.7% 지식 투영.
모델 크기에 따른 격차: 추론 기반 방법(INFER)은 더 큰 모델(OLMo2-32B)에서 학습 기반 방법보다 유의미하게 높은 성능을 보이며 10.9% 더 높은 보존 점수를 기록했다. 반면, 작은 모델(LLaMA-8B)은 컨텍스트 전용 설정에서 노이즈를 필터링하는 데 어려움을 겪었기 때문에, 유사한 성능을 달성하기 위해 학습 기반 접근 방식이 필요했다.
오류 심각도: 더 까다로운 생성 과업에서, 왜곡(높은 확신을 가진 오류)은 손실(불확실성)보다 현저히 높았으며, 평균 3배 더 높았다. 이는 업데이트 방법들이 단순히 학습에 실패하는 것이 아니라, 확신을 가진 환각(hallucination)을 유발하는 경우가 많음을 시사한다.
도메인 간 상관관계: 성능은 도메인별로 차이가 있었다. 평균 인용 횟수로 측정된 변동성이 높은 도메인(재료 과학, 환경 과학 등)은 낮은 보존 및 투영 점수를 보였다. 반대로 정치학처럼 안정적인 도메인은 더 높은 성능을 보였다. 사전 학습 코퍼스의 가용성은 습득 능력에 제한적인 영향만을 미쳤다.
과학적 LLM: 도-메인 특화 모델(예: 재료 과학을 위한 HoneyBee)을 적용했을 때, 유사한 크기의 범용 모델보다 유의미한 개선이 나타나지 않았다. 이는 전문적인 사전 학습만으로는 업데이트 문제를 해결할 수 없음을 나타낸다.

의의 및 주장

본 논문은 견고한 과학적 지식 업데이트 메커니즘을 개발하는 것이 매우 중요하면서도 도전적인 과제라고 상정한다. 저자들은 다음과 같이 주장한다:

새로운 평가 패러다임: SCIENCEMETER는 정적인 사실 보유를 넘어, 모델이 신흥 트렌드를 예측하고 미발견된 주장에 대해 추론할 수 있는 능력을 평가하기 위해 "투영(projection)"을 명시적으로 평가하는 최초의 프레임워크이다.
현재 방법론의 한계: 기존의 업데이트 전략은 과학 분야에 불충분하다. 이들은 오래된 지식의 보존, 새로운 사실의 습득, 그리고 미래 개념으로의 일반화라는 삼중 과제를 균형 있게 수행하는 데 어려움을 겪는다.
확신의 중요성: 모델의 확신도를 고려하지 않고 과학적 지식을 평가하는 것은 불충분하다. 높은 확신을 가진 오류(왜곡)는 과학적 맥데에서 특히 위험하며, 잘못된 가설의 전파를 초래할 수 있다.
도메인 변동성: LLM 업데이트의 난이도는 과학 도메인의 변동성과 본질적으로 연결되어 있으며, 이는 모든 과학 분야에 적용 가능한 "원 사이즈 핏 올(one-size-fits-all)" 업데이트 전략은 성공하기 어려움을 시사한다.

저자들은 LLM이 과학적 발견을 돕는 잠재력을 보여주지만, 과학적 워크플로우에 통합되기 위해서는 역동적이고 모순적이며 빠르게 진화하는 과학 문헌의 특성을 신뢰성 있게 다룰 수 있는 새로운 업데이트 메커니즘이 필요하다고 결론짓는다.