Machines acquire scientific taste from institutional traces

이 논문은 저널 출판 결정 기록으로 언어 모델을 미세 조정함으로써, 기존 최첨단 모델이나 전문가 패널보다 뛰어난 과학적 취향 (어떤 아이디어가 추구할 가치가 있는지 판단하는 능력) 을 복원하여 과학적 생산성을 평가할 수 있음을 보여줍니다.

핵심

과학적 '감성'을 배운 기계: 논문 심사도 AI 가 더 잘할까?

이 연구는 **"인공지능이 과학적 아이디어의 가치를 판단하는 '감성 (Taste)'을 배울 수 있는가?"**라는 아주 흥미로운 질문에 답합니다. 결론부터 말씀드리면, 네, 가능합니다. 하지만 우리가 상상했던 방식과는 조금 다릅니다.

이 복잡한 연구를 마치 **'요리 학교'**와 '레스토랑 리뷰어' 이야기로 비유해서 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 '요리'는 잘하지만 '맛'을 모른다?

지금까지 AI 는 단백질 구조를 예측하거나 수학 문제를 푸는 것처럼 정답이 명확한 일에서는 인간을 능가했습니다. 하지만 과학 연구의 핵심은 정답을 찾는 것이 아니라, **"어떤 아이디어가 미래에 대박이 날지 미리 감을 잡는 것"**입니다.

이를 **'과학적 감성 (Scientific Taste)'**이라고 부릅니다.

• 인간의 편집자/출판사: "이 논문은 흥미롭지만, 아직 완성도가 부족해" 혹은 "이건 혁신적이야! 꼭 받아야 해!"라고 판단합니다.
• AI 의 현재 상황: AI 는 논문을 쓰거나 분석하는 건 잘하지만, **"이게 진짜 좋은 아이디어인가?"**를 판단하는 데는 실패했습니다. 오히려 AI 는 인간에게 아첨하듯 "모든 논문이 다 좋아요"라고 말하며 점수를 높게 주는 경향이 있었습니다.

2. 실험: AI 에게 '맛'을 가르쳐보자

연구진은 AI 에게 두 가지 방법을 시도했습니다.

• 방법 A: "규칙을 설명해줘" (프롬프트)

  • "원래성 (Novelty) 과 유용성 (Usefulness) 을 보고 1~4 등급을 매겨줘"라고 AI 에게 지시했습니다.
  • 결과: 실패했습니다. AI 는 여전히 중간 등급만 매기거나, 모든 걸 '좋음'으로 치는 등 **무작위 수준 (31% 정확도)**에 머물렀습니다. 마치 요리사에게 "맛있으면 5 점, 맛없으면 1 점"이라고 말만 해주고 실제 요리를 시키지 않은 것과 같습니다.

• 방법 B: "과거의 기록을 보여줘" (인stitutional Traces)

  • 연구진은 AI 에게 **"실제 학계에서 어떤 논문이 어떤 저널에 실렸는지"**라는 과거의 결정 기록을 수천 건 보여주며 학습시켰습니다.
  • 핵심: AI 에게 "이게 좋은 이유"를 설명한 게 아니라, **"과거에 좋은 논문들은 이렇게 실렸다"**는 패턴을 학습시킨 것입니다. 마치 수백 년간 이어져 온 **레스토랑의 '메뉴판과 판매 기록'**을 보고 AI 가 "아, 이 조합은 사람들이 좋아했구나"를 스스로 깨닫게 한 것입니다.

3. 놀라운 결과: AI 가 인간 편집자를 이겼다!

• 인간 전문가들: 저명한 학회 편집자 48 명과 박사 과정 학생 174 명이 논문을 평가했습니다.
  • 결과: 인간들끼리도 의견이 크게 갈렸습니다. (일치율 거의 0% 에 가까움) 평균 정확도는 42% 정도였습니다.
• 최고급 AI (규칙만 알려줌): 31% (무작위 수준).
• 학습된 AI (과거 기록 학습): 59%~70% 정확도!
  • 비유: 과거의 '맛있는 요리'와 '인기 메뉴' 기록을 본 AI 는, 새로운 요리를 보고 **"이건 대박 날 거야"**라고 60% 이상 확신하며 맞췄습니다. 이는 인간 전문가들의 평균보다 훨씬 높았고, 심지어 AI 가 스스로 "내가 90% 확신하는 건 100% 맞았다"라고 말할 정도로 자신의 판단을 신뢰할 수 있게 되었습니다.

4. 핵심 통찰: '감성'은 머릿속에 있는 게 아니라 '기록'에 있다

이 연구가 전하는 가장 큰 메시지는 다음과 같습니다.

"과학적 감성 (Taste) 은 인간만의 특별한 재능이 아니라, 수백 년간 쌓인 '제도의 기록' 속에 숨어 있었습니다."

• 기존 생각: "감성"은 인간만이 가진 직관이고, AI 는 논리만 가능하다고 생각했습니다.
• 새로운 발견: 그 '감성'은 사실 수천 편의 논문이 어떤 저널에 실렸는지, 누가 어떤 논문을 거절했는지라는 데이터의 흔적 (Trace) 속에 이미 존재했습니다. AI 는 이 거대한 기록을 학습함으로써, 인간이 말로 설명하지 못했던 '감성'을 데이터에서 추출해낸 것입니다.

5. 이 연구가 의미하는 것

1. 과학의 병목 현상 해결: 지금은 논문이 너무 많이 쏟아져서 인간 편집자들이 감당하지 못합니다. 이 AI 는 "이건 확실히 좋은 거야"라고 먼저 걸러내어, 인간 편집자들이 진짜 중요한 논문에 집중할 수 있게 도와줄 수 있습니다.
2. 비용 효율성: 이 AI 를 학습시키는 데 든 비용은 300 달러 (약 40 만 원) 미만이었습니다. 거대하고 복잡한 AI 모델을 만드는 게 아니라, 이미 있는 기록을 잘 활용하는 것이 핵심이었습니다.
3. 다른 분야에도 적용 가능: 경제학, 투자, 예술, 채용 등 "정답이 없고 인간의 판단이 필요한 분야" 어디든, 과거의 성공/실패 기록이 있다면 AI 가 그 '감성'을 배울 수 있습니다.

요약

이 연구는 **"AI 가 인간처럼 감성적인 판단을 할 수 있을까?"**라는 질문에 **"네, 하지만 인간에게서 배우는 게 아니라, 과거의 성공 기록 (데이터) 을 통해 스스로 배울 수 있다"**고 답합니다.

마치 수백 년 된 레스토랑의 레시피와 판매 기록을 분석한 AI 가, 새로운 요리를 보고 "이건 대박이 날 거야"라고 정확히 예측하는 것과 같습니다. 감성 (Taste) 은 인간만의 고유한 것이 아니라, 기록 속에 숨겨진 보물이었던 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 과학적 진보의 병목 현상: 인공지능 (AI) 은 단백질 접힘이나 수학 문제와 같이 정답이 검증 가능한 작업에서는 인간을 능가하지만, 과학적 진보를 이끄는 핵심 능력인 '취향 (Taste)' 즉, 검증되지 않은 아이디어 중 어떤 것이 추구할 가치가 있는지를 판단하는 능력에서는 여전히 한계를 보입니다.
• 암묵적 지식의 난제: 과학적 취향은 명시적인 규칙으로 기술하기 어려운 '암묵적 지식 (Tacit Knowledge)'입니다. 기존 연구들은 동료 검토 (Peer Review) 에서 심사위원 간 합의가 거의 무작위 수준에 가깝고, 경험이나 학위가 심사 품질을 보장하지 못함을 보여줍니다.
• 기존 AI 의 실패: 최신 거대언어모델 (Frontier Models) 은 동료 검토 시나리오에서 과도하게 관대하거나 (Sycophancy), 창의성을 간과하며, 인간의 판단력을 대체하지 못합니다. 이는 AI 가 명시적인 지시 (프롬프트) 를 통해 '규칙'을 배우는 방식으로는 이러한 암묵적 판단을 습득할 수 없기 때문입니다.
• 핵심 가설: 과학적 취향은 개별 심사위원의 머릿속에 있는 것이 아니라, 수년 간의 출판 결정이 축적된 **'제도적 흔적 (Institutional Traces)'**에 내재되어 있습니다. 이 데이터를 학습 신호로 활용하면 AI 가 이러한 취향을 복원할 수 있을까요?

2. 방법론 (Methodology)

연구팀은 관리학 (Organizational Psychology & Management) 과 경제학 (Economics) 두 분야에서 실험을 수행했습니다.

• 벤치마크 구축:
  • 데이터: 2025 년 6 월 이후 게재된 논문 120 건 (관리학) 과 200 건 (경제학) 을 기반으로 한 '연구 제안서 (Research Pitches)'를 구성했습니다.
  • 입력: 원문의 실험 결과, 저자, 저널명 등을 제거하고 핵심 연구 질문과 이론적 틀만 남긴 표준화된 텍스트를 사용했습니다.
  • 레이블: 게재된 저널의 위상에 따라 4 단계 (Exceptional, Strong, Fair, Limited) 로 분류했습니다. 이는 개별 심사위원의 의견이 아닌, 제도적 합의 (Institutional Consensus) 를 반영한 '진실 (Ground Truth)'로 간주합니다.
• 평가 대상:
  • Frontier Models: 11 개의 최첨단 추론 모델 (Gemini, GPT-5, Claude 등) 과 채팅 모델.
  • Human Evaluators: 48 명의 전문가 (편집자, 편집위원) 와 174 명의 초급 연구자 (박사/포닥).
  • SFT Models (Supervised Fine-Tuning): 4 개의 베이스 모델 (GPT-4.1, Qwen3 등) 을 과거 출판 기록 (연구 제안서 - 저널 결과 쌍) 으로 미세 조정 (Fine-tuning) 한 모델.
• 학습 전략:
  • SFT: 명시적인 평가 기준이 아닌, 과거의 출판 결정 데이터 (제안서 + 최종 저널 등급) 로 모델을 학습시켜 제도적 취향을 내재화하도록 했습니다.
  • 비교 실험: 강화학습 (RL), 추론 최적화 (Chain-of-Thought), 프롬프트 엔지니어링 등 다양한 접근법과 비교하여 SFT 의 효과를 검증했습니다.

3. 주요 결과 (Key Results)

A. Frontier 모델과 인간 전문가의 한계

• Frontier Models: 11 개의 최첨단 모델의 평균 정확도는 **31.1%**로, 무작위 추측 (25%) 을 barely 넘었을 뿐입니다. 대부분 'Strong'나 'Fair'와 같은 중간 등급으로 편중되는 '예측 붕괴 (Prediction Collapse)' 현상을 보였습니다.
• Human Experts: 전문가 패널의 다수결 투표 정확도는 **41.6%**로 AI 보다 높았으나, 여전히 낮은 수준이었습니다. 전문가 간 일관성 (Fleiss' κ) 은 0.047 로 거의 무작위 수준이었으며, 이는 과학적 판단이 본질적으로 노이즈가 많음을 시사합니다.

B. 제도적 흔적 기반 SFT 의 압도적 성과

• 정확도 향상: 제도적 흔적 (Institutional Traces) 으로 미세 조정된 모델들은 **55.0% ~ 59.2%**의 정확도를 기록했습니다.
  • Ensemble (모델 앙상블): 두 개의 SFT 모델을 결합한 경우 정확도가 **60.8%**까지 상승했습니다.
  • 비교: 이는 Frontier 모델 평균 (31.1%) 보다 약 29.8%p 높고, 전문가 다수결 (41.6%) 보다 19.2%p 높은 수치입니다.
• 경제학 분야 일반화: 관리학 데이터로 학습된 동일한 메커니즘을 경제학 데이터에 적용했을 때, 최고 단일 모델 정확도가 **69.5%**에 달했습니다. 이는 메커니즘이 특정 학문에 국한되지 않음을 증명합니다.

C. 메커니즘 및 특성 분석

1. 보정된 자신감 (Calibrated Confidence): SFT 모델은 자신이 옳을 때 높은 확신을 갖는 '메타인지' 능력을 보였습니다. 가장 확신 있는 예측 상위 10% 에서는 정확도가 **100%**에 달했습니다.
2. 일반화 능력 (Generalization):
   • 쌍별 비교 (Pairwise Discrimination): 학습 시 사용되지 않은 '두 제안서 중 더 나은 것을 고르라'는 과제도 수행하여, 단순 카테고리 매칭이 아닌 질적 판단을 학습했음을 입증했습니다.
   • 입력 압축 (Input Compression): 상세한 요약 대신 '한 문장 아이디어'만 입력받아도 여전히 높은 성능을 유지했습니다 (단, 모델 규모가 클수록 일반화 성능이 우수함).
3. 학습 신호의 본질:
   • SFT vs RL: 명시적인 추론 과정 (Chain-of-Thought) 을 강화하는 RL 방식은 SFT 보다 성능이 낮았습니다. 이는 과학적 취향이 논리적 추론이 아니라, 사례를 통한 직관적 학습 (Exposure to exemplars) 으로 습득된다는 것을 시사합니다.
   • 모델 규모: 작은 모델은 학습 신호를 획득하지만, 입력이 압축되었을 때 성능이 급격히 떨어지는 반면, 큰 모델은 신호를 견고하게 유지했습니다.

4. 주요 기여 (Key Contributions)

1. 과학적 취향의 AI 습득 증명: AI 가 명시적인 규칙이 아닌, 제도적 기록 (Publication Records) 에서 암묵적인 '과학적 취향'을 성공적으로 추출하고 학습할 수 있음을 최초로 실증했습니다.
2. 새로운 평가 패러다임 제시: 기존 AI 가 '생성 (Generation)'에 집중했다면, 이 연구는 '평가 (Evaluation)'의 병목 현상을 해결할 수 있는 확장 가능한 메커니즘을 제시합니다.
3. 비용 효율성: 전체 학습 비용이 300 달러 미만으로, 고비용의 대규모 추론이나 인간 전문가 패널 구성에 비해 매우 경제적입니다.
4. 실용적 워크플로우: 모델의 '보정된 자신감'을 활용하여, 높은 확신인 사례는 자동 통과시키고 불확실한 사례만 인간에게 넘기는 '트라이지 (Triage)' 시스템 구축 가능성을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 과학 생산성 혁신: 논문 제출량이 급증하고 전문가의 검토 능력이 포화 상태인 현재, AI 기반의 선별 시스템은 과학적 발견의 속도를 높이는 데 결정적인 역할을 할 수 있습니다.
• 암묵적 지식의 디지털화: 폴라니 (Polanyi) 의 역설 (우리는 말로 표현할 수 있는 것보다 더 많이 안다) 을 극복하여, 제도적 기록이라는 '다크 지식 (Dark Knowledge)'을 통해 AI 가 인간의 집단적 지성을 학습할 수 있음을 보여줍니다.
• 범용 적용 가능성: 이 메커니즘은 과학 분야뿐만 아니라 벤처 투자, 그랜트 배분, 창의적 산업, 인사 평가 등 '집단적 평가가 중요하고 정량적 검증이 어려운' 모든 분야에 적용 가능한 범용 솔루션입니다.

결론적으로, 이 논문은 AI 가 단순히 더 많은 데이터를 처리하는 것을 넘어, 수백 년간 축적된 학계의 '취향'을 데이터에서 추출하여 과학적 판단의 질을 혁신적으로 높일 수 있음을 입증했습니다.