Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
Science Edge Evaluation (SEE) 벤치마크는 현재의 멀티모달 거대 언어 모델들이 실제 과학적 발견 과정에서의 실험 데이터로부터 근거에 기반한 통찰을 안정적으로 도출하는 데 어려움을 겪고 있음을 드러내며, 이는 기성 개념을 설명하는 것과 새로운 정당화된 과학적 추론을 생성하는 것 사이의 결정적인 격차를 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대적인 실험실에서 발견은 결코 갑작스러운 통찰의 번뜩임으로 이루어지지 않는다. 그것은 증거를 수집하는 느리고 신중한 과정이다. 과학자는 분자에서 반사되는 빛의 스펙트럼, 세포의 미세 이미지, 또는 온도 변화 그래프를 바라보며, 이 침묵하는 신호들이 실제로 무엇을 의미하는지 묻는다. 그 답은 과학자가 찾기를 희망하는 것이나 다른 실험에서 보았던 것에 근거해서가 아니라, 엄격하게 데이터가 보여주는 바에 기초해야 한다. 증거에 충실하려는 이러한 규율은 신뢰할 수 있는 과학의 토대이다. 오늘날, 거대 언어 모델이라 불리는 강력한 컴퓨터 프로그램들이 이 작업을 돕도록 요청받고 있다. 이 시스템들은 방대한 양의 과학 논문을 읽고 복잡한 이론들을 능숙하게 논할 수 있다. 그러나 한 가지 결정적인 질문이 남아 있다. 이들이 가공되지 않은 무질서한 실험 결과들을 보고, 정확하면서도 엄격하게 데이터가 허용하는 범위 내에서 결론을 도출할 수 있는가 하는 점이다.
"사이언스 에지 에밸류에이션(Science Edge Evaluation)"이라는 제목의 새로운 연구는 이 질문을 직접적으로 다룬다. 알리바바 그룹, 칭화 대학교 및 기타 기관의 연구진은 인공지능 시스템이 진정한 과학적 발견의 파트너로서 기능할 수 있는지 확인하기 위해 엄격한 테스트를 설계했다. 그들은 화학, 생물학, 재료 과학 분야의 실제 발표된 연구에서 추출한 천 개 이상의 질문으로 구성된 SEE라는 벤치마크를 구축했다. 단순히 모델이 특정 사실을 알고 있는지 또는 교과서적인 문제를 풀 수 있는지를 묻는 이전의 테스트들과 달리, 이 벤치마크는 젤 이미지, 스펙트럼 곡선, 현미경 사진 등 인간 과학자가 보게 될 것과 동일한 시각적 증거와 그에 수반되는 텍스트를 모델에게 제시한다. 목표는 모델이 이러한 이미지를 해석하고, 추측하거나 사실을 지어내지 않고 제공된 증거의 경계 내에서 결론에 도달할 수 있는지 확인하는 것이었다.
평가 결과는 냉혹했다. 연구진은 일반 목적의 시스템과 과학 분야에 특화된 시스템을 모두 포함하여 18개의 다양한 고급 모델을 테스트했다. 가장 성능이 좋은 모델조차 정답률이 48.7%에 불과했다. 어떤 모델도 50% 선을 넘지 못했다. 이 낮은 점수는 현재의 인공지능이 실제 실험실에서 요구되는 미묘한 추론을 처리하기에는 아직 충분히 신뢰할 만하지 않음을 시사한다. 더욱 놀라운 점은, 과학을 위해 특별히 설계된 모델들이 일반 목적의 모델들보다 뛰어난 성능을 보이지 않았다는 것이다. 사실, 일반 모델들이 평균적으로 약간 더 나았다. 이 발견은 단순히 컴퓨터에 더 많은 과학적 사실을 입력하거나 전문 텍스트로 학습시키는 것만으로는 충분하지 않다는 것을 나타낸다. 부족한 부분은 지식이 아니라, 눈앞에 놓인 구체적인 증거에 기반하여 신중하게 추론하는 능력이다.
연구진은 또한 모델들에게 배경 정보를 검색하거나 이미지를 수학적으로 분석하기 위한 코드 인터프리터를 사용하는 등의 도움을 줄 수 있는 도구들을 제공했을 때 어떤 일이 일어나는지도 살펴보았다. 이러한 도구들을 제공하는 것은 최고 정확도를 52.7%까지 높이는 데 도움이 되었다. 하지만 그 개선 폭은 미미했으며, 모델들은 여전히 상당한 오류를 범했다. 연구진은 도구들이 더 많은 정보를 제공할 수는 있지만, 핵심적인 문제는 해결하지 못한다는 것을 발견했다. 즉, 모델들은 여전히 그 정보를 올바르게 관리하는 데 어려움을 겪었다. 모델들은 충분한 증거를 확보했을 때 멈추지 못하거나, 새로운 데이터를 기존의 가정과 결합하여 잘못된 결론으로 이어지는 방식으로 처리하곤 했다. 도구들은 모델이 볼 수 있는 범위를 확장해주었지만, 모델에게 본 것의 한계 내에서 생각하는 법을 가르쳐주지는 못했다.
연구진이 모델들의 실패 방식을 분석했을 때, 명확한 패턴이 나타났다. 오류는 인식(perception)과 추론(inference)이라는 두 가지 주요 범주로 나뉘었다. 인식 측면에서 모델들은 그래프나 스펙트럼에서 정확한 수치를 읽어내는 정밀함이 부족한 경우가 많았다. 그들은 일반적인 패턴을 인식하는 데는 능숙했지만, 측정 도구로서의 역할에는 서툴렀다. 추론 측면에서 모델들은 종종 자신의 사전 지식이 실제 시각적 증거를 압도하도록 내버려 두었다. 만약 이미지가 특이한 점을 보여준다면, 모델은 종종 그 이상한 세부 사항을 무시하고 대신 자신의 학습 데이터에 기반해 기대되는 모습을 기술하곤 했다. 또한 그들은 작은 부분적인 결과를 가져와 데이터가 뒷받침하지 않는 광범위하고 확정적인 결론으로 몰아가는 과잉 추론을 하는 경향이 있었다.
가장 드러나는 실험 중 하나는 이미지를 완전히 제거하고 텍스트만을 바탕으로 답변하도록 모델에게 요청한 것이었다. 진정으로 지능적인 시스템이라면 시각적 증거 없이는 질문에 답할 수 없음을 인지해야 한다. 그러나 모델들은 거의 예외 없이 텍스트에만 의존해 추측하며 어떻게든 답을 하려 들었다. 그들은 정보가 누락되었다는 사실을 인지한 경우가 단 4.6%에 불과했다. 환각(hallucination)이라고 불리는 이 행동은 과학에서 매우 위험한데, 왜냐하면 잘못된 자신감을 만들어내기 때문이다. 모델들은 필요한 증거가 부족하다는 것을 인정하기보다는 답변을 지어내는 쪽을 택했다.
연구는 현재의 인공지능과 실제 과학적 발견 사이의 간극이 더 많은 데이터나 더 똑똑한 도구의 문제가 아니라고 결론짓는다. 그 간극은 증거를 관리하는 능력에 있다. 진정한 과학적 발견은 관찰된 집합을 바라보고, 그 관찰이 정확히 무엇을 증명하는지 이해하며, 거기서 멈출 수 있는 시스템을 필요로 한다. 그것은 "이것이 데이터가 보여주는 바이다"라고 말하고, 빈틈을 추측으로 채우려는 충동을 억제하는 규율을 요구한다. 인공지능이 무엇이 알려진 사실이고 무엇이 단지 가능성일 뿐인지를 신뢰할 수 있게 구분할 수 있게 될 때까지, 그것은 새로운 것을 발견하는 파트너라기보다는 기성 아이디어를 설명하는 도구로 남을 것이다. 연구진은 앞으로 나아갈 길은 단순히 모델을 더 크게 만들거나 더 박식하게 만드는 것이 아니라, 증거에 기반한 엄격한 논리를 가르치는 것이라고 제언한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.