ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 과학 연구 보조 도구 (Copilot) 로서의 잠재력을 보여주었으나, 고품질의 연구 가설 (Research Hypothesis) 을 발견하는 능력은 아직 체계적으로 평가되지 않았습니다. 기존 벤치마크들은 일반적인 대화나 추론 능력을 평가하는 데 초점을 맞추고 있어, 과학적 발견의 핵심 과정인 '가설 생성'을 정밀하게 측정할 수 있는 도구가 부재했습니다. 또한, 과학적 발견이 어떻게 이루어지는지에 대한 이론적 기반이 부족하여, LLM 의 과학적 발견 능력을 평가하는 것이 어려웠습니다.

2. 방법론 (Methodology)

가. 이론적 기반: 가설 발견의 충분 집합 (Sufficient Set of Sub-tasks)

논문은 과학적 발견 과정을 세 가지 하위 작업으로 분해하여 평가하는 충분 집합 (Sufficient Set) 개념을 도입했습니다. 이는 인지과학적 발견 (Creative ideas arise from associating seemingly unrelated knowledge) 에 기반하며, 다음 세 단계로 구성됩니다.

1. 영감 검색 (Inspiration Retrieval): 연구 질문과 배경을 바탕으로, 겉보기에는 관련 없어 보이지만 실제로는 가설 형성에 도움이 되는 지식 (논문) 을 검색하는 작업.
2. 가설 구성 (Hypothesis Composition): 연구 배경과 검색된 영감을 결합하여 새로운 연구 가설을 생성하는 작업.
3. 가설 순위 매기기 (Hypothesis Ranking): 생성된 여러 가설 중 연구 질문에 가장 적합한 가설을 선별하고 순위를 매기는 작업.

이 세 가지 작업을 완벽하게 수행하면 전체 과학적 발견 과업이 해결된다고 가정합니다.

나. ResearchBench 벤치마크 구축

• 데이터 수집: 12 개 학문 분야 (생물학, 화학, 물리학, 천문학, 법학 등) 의 최상위 저널 (Nature, Science 등) 에 게재된 2024 년 이후의 논문 1,386 편을 수집했습니다.
  • 데이터 오염 방지: LLM 의 사전 학습 데이터와 겹치지 않도록 2024 년 이후 논문만 선별했습니다.
• 자동화 에이전트 프레임워크: LLM 기반 에이전트를 개발하여 각 논문에서 연구 질문, 배경 조사, 영감 (참고문헌), 주요 가설을 자동으로 추출했습니다.
  • 검증 프로세스: '필요성 (Necessary)'과 '충분성 (Sufficient)'을 체크하는 모듈을 통해 추출된 영감이 가설 형성에 필수적인지, 그리고 모든 필수 영감이 포함되었는지 확인합니다.
  • 전문가 검증: 물리, 화학, 천문학 등 5 명의 전문가가 무작위 샘플링된 62 편의 논문을 검증하여, 주요 오류를 제외한 정확도가 **91.9%**임을 확인했습니다.
• 부정적 영감 (Negative Inspiration) 구성: 모델이 진짜 영감과 유사하지 않은 논문을 구별할 수 있는지 평가하기 위해, 인용 관계, 유사 제목, 동일 학문, 다른 학문 등 3 단계 거리 (Distance Level) 를 가진 부정적 논문 세트를 구성했습니다.

다. 평가 지표

• 영감 검색: Hit Ratio (정답 영감이 상위 선택지 내에 포함된 비율).
• 가설 구성: 생성된 가설이 Ground Truth 가설의 핵심 요소를 얼마나 잘 포착했는지에 대한 6 점 리커트 척도 (Likert scale) 기반 점수.
• 가설 순위: Ground Truth 가설을 부정적 가설과 비교하여 더 나은 가설을 선택하는 정확도 (위치 편향 제거를 위해 순서를 반전시켜 2 회 평가).

3. 주요 결과 (Key Results)

가. 영감 검색 (Inspiration Retrieval) 의 놀라운 성능

• LLM 은 연구 질문과 직접적으로 명시적으로 연결되지 않은 외부 분포 (Out-of-Distribution, OOD) 지식인 '영감'을 검색하는 데 매우 탁월한 성능을 보였습니다.
• GPT-4o의 경우, 전체 후보 중 상위 4% 만 선택했을 때 정답 영감을 포함할 확률이 **45.65%**에 달했습니다. 이는 LLM 이 사전 학습 데이터를 통해 과학자들이 인식하지 못한 잠재적인 학제간 (Cross-domain) 연관성을 포착하고 있음을 시사합니다.
• 파라미터 크기 증가에 따른 스케일링 법칙은 8B~70B 사이에서 성능이 정체되는 경향을 보였습니다.

나. 가설 구성 (Hypothesis Composition) 의 중등도 성능

• LLM 은 영감과 배경을 결합하여 가설을 생성할 수 있지만, 여전히 과제는 남아 있습니다.
• 생성된 가설은 Ground Truth 와 유사한 핵심 요소를 포함하지만, 핵심 요소 누락이나 표면적인 결합으로 인해 완벽한 점수를 받지는 못했습니다.
• 모든 모델이 일관되게 높은 성능을 보이지는 않았으며, 구성 작업은 여전히 도전적인 과제로 남았습니다.

다. 가설 순위 매기기 (Hypothesis Ranking) 의 편향과 한계

• 순위 매기기 작업에서는 모델의 **위치 편향 (Position Bias)**이 심각한 문제였습니다. 많은 모델이 두 번째 가설보다 첫 번째 가설을 선호하는 경향이 강했습니다 (예: Llama-3.1-8B 는 91.67% 의 경우 순위를 반대로 매김).
• 편향을 보정하더라도, DeepSeek-V3 나 Claude 3.5 Sonnet 같은 최상위 모델은 약 80% 의 정확도를 보였으나, 다른 모델들은 50% 수준에 머무르며 가설의 미묘한 차이를 구분하는 데 어려움을 겪었습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 대규모 과학적 발견 벤치마크 (ResearchBench): 과학적 발견의 충분 집합인 '영감 검색, 가설 구성, 순위 매기기' 세 가지 작업을 평가하는 최초의 대규모 벤치마크를 제시했습니다.
2. 자동화 및 오염 방지 프레임워크: LLM 에이전트를 활용하여 12 개 학문 분야에서 고품질의 데이터를 자동 추출하고, 2024 년 이후 논문만을 선별하여 데이터 오염을 방지하는 확장 가능한 프레임워크를 개발했습니다.
3. OOD 영감 검색에 대한 대규모 연구: LLM 이 기존에 알려진 연관성을 넘어 새로운 지식 연결을 찾을 수 있음을 실증적으로 보였습니다. 이를 통해 LLM 을 **"연구 가설 광산 (Research Hypothesis Mines)"**으로 비유하며, 더 강력한 모델이 더 풍부한 광산 역할을 할 수 있음을 주장했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 이 과학적 발견 과정에서 **영감을 찾아내는 능력 (검색)**은 인간을 능가할 수 있을 정도로 뛰어나지만, 이를 심층적으로 통합하여 가설을 구성하고 평가하는 능력에서는 아직 한계가 있음을 보여줍니다.

• 의의: LLM 을 단순한 정보 검색 도구를 넘어, 과학자가 새로운 가설을 발굴할 수 있도록 돕는 자율적 발견 시스템으로 발전시킬 수 있는 가능성을 제시했습니다.
• 향후 과제: 가설 구성의 깊이 있는 통합 추론 능력 향상과 순위 매기기의 편향 해결이 필요하며, 이를 통해 LLM 이 인간 과학자의 협동자 (Copilot) 로서 고수준의 과학적 통찰력을 제공할 수 있는 길이 열렸습니다.

결론적으로, ResearchBench 는 LLM 의 과학적 발견 능력을 정량화하고, 향후 과학적 AI 연구의 방향성을 제시하는 중요한 이정표가 되었습니다.