What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation

과학은 단순히 좋은 아이디어를 갖는 것뿐만 아니라, 그 아이디어가 틀렸음을 증명할 수 있을 때 비로소 발전합니다. 연구의 세계에서, 연구자가 자신의 이론을 스스로 기각하게 만들 구체적인 관찰 결과를 사전에 명시할 수 없다면 그 제안은 진정으로 유용하다고 할 수 없습니다. 이러한 약속이 없다면, 어떤 아이디어는 매우 훌륭하고 설득력 있게 들릴지라도 검증이 불가능한 상태로 남을 수 있습니다. 그것은 이미 일어난 미래의 결과와 얼마나 잘 일치하는지, 혹은 얼마나 매끄럽게 작성되었는지에 따라 성공 여부를 측정하는 공간 속에 떠다니게 됩니다. 이는 인공지능을 평가하는 방식에 공백을 남깁니다. 대규모 언 언어 모델에게 새로운 연구 방향을 제안하도록 요청할 때, 현재의 방식들은 종-종 실질적인 내용보다 문체에 보상을 주거나, 모델이 우연히 나중에 발표된 논문을 맞혔는지 여부로 모델을 판단하곤 합니다. 두 방식 모두 모델이 운 좋은 추측과 실제 발견을 구분할 수 있는 테스트를 설계할 수 있는지 여부를 알려주지 못합니다.

한 연구팀이 이러한 특정 능력을 측정하는 새로운 방법을 구축했습니다. 그들은 'Lit2Test'라고 불리는 시스템을 만들었는데, 이는 모델들에게 단순히 브레인스토밍을 하는 것보다 훨씬 더 어려운 과업을 요구합니다. 모델들은 막연한 연구 주제를 생성하는 대신, 자신이 제안하는 모든 아이디어에 대해 엄격한 6단계 계약서를 작성해야 합니다. 이 계약서는 기존 지식의 구체적인 공백을 식별하고, 명확한 가설을 진술하며, 이를 테스트하기 위한 최소한의 실험을 설계하고, 결정적으로, 무엇이 자신들을 틀렸음을 증명할 것인지 정확히 정의할 것을 요구합니다. 모델에게 자신의 잠재적 실패를 미리 약속하게 함으로써, 연구자들은 연구 아이디어의 평가를 의견의 영역에서 논리의 영역으로 전환했습니다. 연구 결과, 모델들이 반증 가능한 테스트를 만드는 능력을 기준으로 평가받을 때, 글의 유창함이 아니라 실험 설계의 질에 의해 명확하고 일관된 순위가 나타난다는 것이 밝혀졌습니다.

연구자들은 먼저 200개의 실제 연구 시나리오를 수집했는데, 각 시나리오는 주제는 공유하지만 핵심적인 지점에서 의견이 엇갈리는 최근 발표된 논문 4개의 이웃 집단으로부터 구성되었습니다. 이것들은 가공의 문제가 아니었습니다. 전문가들이 여전히 답을 두고 논쟁 중인 실제 과학 문헌에서 추출된 것들이었습니다. 각 시나리오에 대해 네 가지 서로 다른 고급 언어 모델에게 다음 단계를 제안하도록 요청했습니다. 모델들은 자유 형식의 에세이를 쓸 수 없었습니다. 대신, 그들은 지식의 공백, 가설, 최소 테스트, 결정적 지표, 아이디어를 뒷받침하는 결과, 그리고 아이디어를 반증하는 결과라는 6가지 필드를 채워야 했습니다. 이러한 구조는 모든 제안이 막연한 제안이 아닌, 완전하고 테스트 가능한 계획이 되도록 보장했습니다. 연구자들은 이후 이 제안들을 블라인드 비교 방식으로 맞붙였으며, 어떤 AI가 어떤 아이디어를 생성했는지 모르는 상태의 판정 모델이 계약에 근에 근거하여 어떤 제안이 더 나은지를 결정하게 했습니다.

결과가 제시 순서에 의해 왜곡되는 것을 방지하기 위해, 연구자들은 모든 제안 쌍을 두 번, 즉 원래 순서대로 한 번, 그리고 순서를 뒤바꾼 상태로 한 번씩 판단했습니다. 그들은 판정 모델이 순서를 바꿨을 때 약 20%의 경우에 마음을 바꾼다는 것을 발견했으며, 이는 비교가 불안정함을 나타냈습니다. 이러한 불안정한 사례들을 제외하고 판정 모델이 순서에 상관없이 동의한 80%의 사례에 집중함으로써, 그들은 네 가지 모델에 대한 엄격한 순위를 확립했습니다. 결과는 명확한 계층 구조를 보여주었습니다. 한 모델이 일관되게 가장 좋은 제안을 만들어냈고, 그 뒤를 이어 두 번째, 세 번째, 마지막으로 네 번째 모델이 뒤를 이었습니다. 이 순위는 수천 번의 통계적 재표본 추출을 통해서도 유지되었으며, 이는 순위가 데이터의 우연이 아닌 견고한 결과임을 의미합니다.

연구는 또한 무엇이 이러한 순위를 결정했는지 조사했습니다. 알고 보니 모델들은 글을 얼마나 잘 쓰는지나 얼마나 자신감 있게 말하는지에 의해 구분되지 않았습니다. 결정적인 요인은 테스트 설계의 질이었습니다. 상위 성적을 거둔 모델들은 실험을 실제 실행 가능할 만큼 작으면서도, 테스트하려는 메커니즘을 격리할 수 있을 만큼 구체적으로 만드는 데 뛰어났습니다. 또한 그들은 성공과 실패를 명확히 구분할 수 있는 지표를 정의하는 데 탁월했습니다. 자신의 아이디어가 틀렸음을 증명하는 것을 기술하라는 요구는 하나의 하한선 역할을 했습니다. 모든 모델은 유효한 것으로 간-인정받기 위해 이 기준을 충족해야 했지만, 최고의 모델들은 단순한 최소 기준을 넘어 진정으로 통찰력 있는 테스트를 설계했습니다. 연구자들은 판정 모델이 문체에 영향을 받는지 확인하여 이를 검증했습니다. 그들은 제안의 내용이 동일하지만 형식이 변경되었을 때 판정 모델의 결정이 바뀌지 않는다는 것을 발견했습니다. 시스템은 발표의 세련미가 아닌 연구 계획의 실체를 진정으로 측정하고 있었습니다.

연구자들은 자동 판정 모델이 명백한 것을 놓치고 있지 않은지 확인하기 위해, 더 작고 대표적인 표본의 제안들을 검토하도록 세 명의 인간 전문가를 투입했습니다. 컴퓨터 과학 전공의 고학년 학생들인 이 인간들은 어떤 모델이 생성했는지 모르는 상태에서 동일한 제안들을 판단하도록 요청받았습니다. 인간들은 판정 모델이 확신을 가진 사례의 거의 90%에서 자동 판정 모델의 순위에 동의했습니다. 이 높은 수준의 일치도는 자동 시스템이 아이디어의 질에 관한 실질적인 무언가를 포착하고 있음을 시사했습니다. 그러나 인간 판정자들은 또한 이 과업이 어렵다는 점을 보여주었는데, 전문가들 사이에서도 미세한 부분에 대한 이견이 존재했으며, 이는 평가를 가능하게 하기 위해 엄격하고 구조화된 계약이 필요하다는 점을 재차 강조했습니다.

논문은 모델의 미래 논문 예측 능력이 연구 잠재력의 좋은 척도라는 생각을 명시적으로 배제합니다. 연구자들은 아이디어를 나중에 발표된 논문과 일치하는지에 따라 판단하는 것이 미래를 맞히는 것을 보상할 뿐, 테스트를 설계하는 것을 보상하지는 않기 때문에 결함이 있다고 보여주었습니다. 또한 이는 결국 일어난 일과는 다른 경로를 택한 유효한 아이디어들을 불이익을 줍니다. "정답지"로서의 미래 논문을 제거하고 오로지 테스트 자체의 논리에 집중함으로써, Lit2Test는 다른 종류의 통찰을 제공합니다. 이는 대규모 언어 모델이 유창한 텍스트를 생성할 수는 있지만, 그들의 진정한 과학적 아이디어 생성 능력은 엄격하게 도전받을 수 있는 가설을 공식화하는 능력에 있음을 보여줍니다. 연구는 이 모델들을 평가하는 가장 신뢰할 수 있는 방법은 그들이 미래를 예측할 수 있는지 보는 것이 아니라, 오늘 당장 자신들이 틀렸음을 어떻게 증명할 수 있는지를 명확히 말할 수 있는지 보는 것이라고 결론짓습니다.