Experimental reasoning in large language models

과학은 언제나 질문과 물리적 세계 사이의 대화였습니다. 연구자가 아이디어를 제안하고, 세상이 그 아이디어에 동의하는지 확인하기 위해 테스트를 설계한 뒤, 어떤 일이 일어나는지 지켜보는 것입니다. 결과가 예상과 다르면, 연구자는 계획을 수정하고 다시 시도합니다. 묻고, 실행하고, 조정하는 이 순환이 발견의 엔진입니다. 수십 년 동안 과학자들은 이 작업을 대신 해줄 기계를 만들기 위해 노력해 왔습니다. 초기 시도들은 자동화에 집중했습니다. 마치 요리사가 레시피를 글자 그대로 따르는 셰프처럼, 엄격한 지침 세트를 따르는 로봇들이었습니다. 이러한 기계들은 반복 작업에는 뛰어나지만, 주방에 불이 나거나 재료가 하나 빠졌을 때에는 어려움을 겪습니다. 그들은 임기응변으로 대처할 수 없습니다. 이제 질문은 새로운 세대의 인공지능, 구체적으로 거대 언어 모델이 단순히 명령을 따르는 것 이상의 일을 할 수 있는지 여부입니다. 이 컴퓨터 프로그램들이 인간 과학자처럼 자신이 보는 것에 근거하여 다음에 무엇을 할지 결정하며, 과학 실험을 실제로 추론할 수 있을까요?

듀크 대학교의 연구진은 PEARL이라 불리는 시스템을 구축함으로써 이 질문에 답하고자 했습니다. 그들은 인간의 언어를 이해하고 생성하도록 설계된 표준 컴퓨터 프로그램을 간단한 실험실 로봇 및 웹캠과 연결했습니다. 로보트는 작은 용기들 사이로 액체를 옮길 수 있었고, 카메라는 그 결과를 관찰할 수 있었습니다. 연구진은 시스템에 "용기 트레이에 무지개를 만들어라"와 같은 목표를 주었지만, 그것을 수행하는 방법에 대한 단계별 가이드는 제공하지 않았습니다. 그들은 어떤 색을 섞을지, 어떤 순서로 섞을지, 심지어 어떤 병에 어떤 염료가 들어있는지도 알려주지 않았습니다. 시스템은 전체 과정을 스스로 파악해야 했습니다. 사용 가능한 도구를 살펴보고, 무엇을 섞을지 결정하고, 동작을 수행하고, 결과를 관찰한 다음, 성공했는지 아니면 다른 것을 시도해야 하는지를 결정해야 했습니다.

이 시스템은 사고 과정을 서로 대화하는 서로 다른 역할들로 나누어 작동했습니다. 시스템의 한 부분은 실험을 계획했고, 다른 부분은 어떤 일이 일어날지 예측했으며, 세 번째 부분은 실수를 감시했습니다. 로봇이 두 액체를 섞었는데 색이 잘못 나오자, 시스템은 단순히 계속 진행하지 않았습니다. 그것은 멈춰서 증거를 살폈고, 자신의 예측이 틀렸음을 깨달았습니다. 그러고 나서 계획을 수정하여 새로운 혼합물을 시도했습니다. 한 테스트에서 연구진이 빨간색과 초록색 염료만을 사용하여 보라색을 만들라고 요청했을 때, 시스템은 이것이 불가능하다는 것을 정확히 깨닫고 그것들을 섞기를 거부하며 더 나은 지침을 요청했습니다. 또 다른 테스트에서는 인간이 시스템이 작업하는 동안 용기 트레이를 몰래 회전시켰습니다. 시스템은 색상이 잘못된 위치에 있다는 것을 알아차렸고, 트레이에 대한 정신적 지도를 업데이트했으며, 새로운 위치에 있는 올바른 액체를 섞도록 동작을 조정했습니다. 시스템은 트레이가 움직였다는 말을 듣지 않고도 이 일을 해냈습니다.

연구진은 이 시스템이 효소가 얼마나 빨리 작용하는지를 측정하는 실제 생화학적 테스트를 수행하도록 요구하며 이를 더 밀어붙였습니다. 이는 정밀한 측정과 세심한 타이밍을 필요로 했습니다. 시스템은 얼마만큼의 액체를 섞을지, 언제 사진을 찍을지, 그리고 시간이 지남에 따라 변하는 색상을 어떻게 분석할지를 결정해야 했습니다. 연구진이 한 용기에 액체를 실수로 너무 많이 넣는 것과 같은 문제를 도입했을 때, 시스템은 오류를 찾아냈고, 잘못된 데이터를 무시했으며, 남은 양질의 데이터를 사용하여 계산을 마쳤습니다. 초기 혼합물이 정확하게 측정하기에는 너무 강했을 때, 시스템은 더 많은 정보가 필요하다는 것을 깨달았습니다. 추측하는 대신, 시스템은 혼합물을 희석하여 실제 색상을 보기 위한 새로운 작은 실험을 설계했습니다. 그런 다음 그 새로운 정보를 사용하여 주요 실험을 수정했습니다. 모든 시나리오에서 시스템은 모호한 목표를 물리적 행동으로 성공적으로 번역했고, 결과를 해석했으며, 다음에 무엇을 할지 결정했습니다.

이 연구는 또한 시스템이 성공하기 위해 얼마나 많은 도움이 필요한지도 테스트했습니다. 연구진은 내부 역할이 더 적고 실험 기록에 대한 공유 메모리가 없는 더 단순한 설정을 사용하여 동일한 과업들을 실행해 보았습니다. 이 단순한 버전은 자신이 보는 것과 다음에 무엇을 해야 하는지 사이의 맥락을 연결하는 데 자주 실패했습니다. 문제를 포착할 수는 있었지만 그것을 고치는 것을 잊어버리거나, 단계의 순서 속에서 길을 잃기도 했습니다. 그러나 시스템이 실험에 대한 지속적인 기록과 서로의 작업을 점검하는 몇 가지 특화된 역할을 갖추었을 때, 시스템은 거의 매번 성공했습니다. 이는 실험을 통한 추론 능력은 주로 언어 모델 자체의 기저 지능에서 비롯되지만, 약간의 구조가 집중력과 신뢰성을 유지하는 데 도움을 준다는 것을 시사합니다.

이러한 발견은 우리가 실험실 자동화를 생각하는 방식의 변화를 시사합니다. 로봇에게 발생 가능한 모든 상황에 대비한 프로그램을 미리 짜주는 대신, 우리는 곧 목표를 부여하고 세부 사항은 스스로 해결하게 할 수 있을 것입니다. 시스템은 회전된 트레이나 농축된 염료를 처리하기 위한 사전 작성된 레시피를 필요로 하지 않았습니다; 그것은 그 상황들을 현장에서 스스로 파악해 냈습니다. 연구진은 이것이 아직 새로운 이론을 발명하거나 우주에 대한 깊은 질문을 던질 수 있는 완전히 자율적인 과학자는 아니라는 점을 강조합니다. 실험은 시각적 결과가 있는 특정 과업들로 제한되었습니다. 그러나 이 연구는 범용 컴퓨터 모델이 이미 과학적 목표와 물리적 세계 사이에서 생각하는 층(layer)으로서 역할을 할 수 있음을 보여줍니다. 그것들은 관찰하고, 해석하고, 적응하며, 실험 행위 자체를 추론 과정의 일부로 전환할 수 있습니다. 이는 분야를 단순한 자동화를 넘어, 기계가 직접 과학적 과정에 참여하여 예기치 못한 상황을 처리하고 자신이 보는 것으로부터 배우는 미래로 이동시킵니다.