Large language models do not replace chemists in a closed-loop catalysis experiment

기술 요약: 대규모 언어 모델은 폐쇄 루프 촉매 실험에서 화학자를 대체할 수 없다

문제 정의
본 연구는 복잡하고 고차원적이며 노이즈가 존재하는 과학 실험에서 대규모 언어 모델(LLM)이 자율적인 추론 에이전트로서 역할을 수행할 수 있는 능력을 다룬다. LLM은 지식 검색과 단발성 가설 생성에서는 숙련도를 보여주었으나, 실험적 드리프트(drift), 측정 노이즈, 그리고 반복적인 적응이 필요한 장기적(long-horizon) 폐쇄 루프 실험실 환경에서의 성능은 여전히 미개척 영역으로 남아 있다. 저자들은 최적의 솔루션이 알려져 있지 않고 시스템이 상당한 확률적 변동성을 보이는 25차원 콜로이드 촉매 문제에서, LLM의 추론 능력을 인간 도메인 전문가와 직접 비교 벤치마킹하고자 했다.

방법론
연구진은 나노 규모의 공유 결정 구조(nanoCOFs)를 광촉매로 사용하여 수소 생산을 극대화하는 것을 목표로 하는 528회의 실험 캠페인을 수행하기 위해, "Opsight"라는 에이전트 기반 최적화 소프트웨어와 통합된 이동형 로봇(KUKA LBR iiwa 14)을 활용하였다.

• 실험 설계: 문제 공간은 4종의 nanoCOFs, 12종의 무기 반도체, 3종의 희생제, 3종의 계면활성제, pH 조절제, 그리고 백금 공촉매 전구체를 포함하여 25차원으로 구성되었다. 이는 약 $5.92 \times 10^{16}$개의 잠재적 배합을 가진 조합 공간을 형성한다.
• 실행 단계:
  • 단계 0 (실험 전): LLM(GPT-5.1)에 10개의 배경 리소스(논문, 데이터 테이블, 스펙트럼)를 제공하여 초기 탐색 전략을 생성하게 하였다.
  • 단계 1 (개방형 최적화): LLM은 고정된 예산 없이 활성을 극대화하기 위해 320회의 실험을 수행하였다. LLM은 실험적 노이즈와 디텍터 포화 방지를 위한 측정 설정 변경(광분해 시간 단축)을 헤쳐 나갔다.
  • 단계 2 (재정규화): 시스템은 선형 디텍터 응답을 보장하기 위해 15분 광분해 시간으로 조정되었다. LLM에는 데이터 분석을 재정착(re-anchor)하도록 지시되었다.
  • 단계 3 (고정 예산 비교): 160회의 실험 동안 LLM(서로 다른 프롬프트로 두 번 실행)과 4명의 인간 도메인 전문가 팀 간의 직접적인 비교가 수행되었다. 두 에이전트 모두 이전의 모든 데이터에 접근할 수 있었다. 인간 팀은 LLM이 사용할 수 없는 시각적 단서(상태 변화/phase behavior)를 활용하였다.
• 성과: 마지막 160회 실험 단계에서, 인간 팀은 LLM의 약한 실행 결과보다 평균적으로 22% 더 활성이 높은 촉매 배합을 찾아냈으며, LLM의 강한 실행 결과와는 통계적으로 대등한 수준을 보였다. 인간 팀은 LLM의 최고치(117 ± 17 µmol h⁻¹)에 비해 가장 높은 단일 활성(126 ± 8 µmol h⁻¹)을 발견하였다.
• 속도 및 비용: LLM은 인간 팀보다 35배 빠르게 추론하였으며(59.2분 vs 34.7 인시), 추론 비용 측면에서 약 1,900배 저렴한 것으로 추정되었다.
• 탐색 전략: 인간 팀은 중복을 최소 없이 더 넓은 화학적 공간(31개의 뚜렷한 범주형 배합)을 탐색하였다. 반면 LLM은 매우 착취적(exploitative)이었으며, 좁은 변수 집합(18개의 뚜렷한 배합)에 집중하고 불필요한 반복 실험을 수행하였다.
• 추론 오류: LLM은 다음과 같은 "침묵의 오류(silent errors)"를 보였다:
  • 단계 0에서 Pt 전구체의 분자량에 관한 화학 양론 계산 오류.
  • 단계 3에서 컨텍스트 윈도우 제한으로 인해, 15분 데이터를 사용하라는 지시에도 불구하고 잘못된 60분 데이터 분석으로 회귀함.
  • 논리적 일관성 결여: 단계 3에서 SDS가 분산성을 개선한다고 결론지었는데, 이는 SDS가 응집을 유도할 것이라는 단계 0의 올바른 예측(오프라인 제타 전위 및 상 변화 관찰을 통해 확인된 사실)과 모순된다.
• 발견: LLM과 인간 모두 음이온 계면활성제인 SDS의 첨가가 활성을 크게 높인다는 점을 확인하였으나, LLM은 사전 지식으로부터가 아니라 실험을 통해 이를 발견하였다. 두 에이전트 모두 생산적인 유기-무기 이종 접합(heterojunction)을 식별하는 데는 성공하지 못했다.

주요 기여

1. 최초의 직접 벤치마크: 본 연구는 고차원적이고 노이즈가 있는 실제 폐쇄 루프 실험에서 LLM의 추론과 인간 전문가의 추론을 직접적으로 병렬 비교한 드문 사례를 제공한다.
2. 한계점 식별: LLM이 복잡한 화학적 공간을 탐색하고 일부 실험적 변화에 적응할 수는 있지만, 메모리 제한, 침묵의 논리적 오류, 그리고 인간의 감독 없는 과도한 착취 경향을 겪는다는 것을 입증한다.
3. 비용-편익 분석: 본 작업은 기계 추론의 속도 및 비용 효율성과 인간 추론의 깊이 및 신뢰성 사이의 트레이드오프를 정량화하며, 최적의 역할 분담은 실험의 비용과 위험 프로필에 달려 있음을 시사한다.

의의 및 주장
저자들은 LLM이 복잡한 과학적 문제에서 전문가의 추론을 대체할 수 있는 "즉각적인(out-of-the-box)" 대안이 아니라고 결론짓는다. LLM(GPT-5.1)은 장기적인 캠페인을 성공적으로 이끌고 생산적인 가설을 찾아냈지만, 추론 결함과 감각적 지각(예: 상 변화를 보는 능력)의 부재로 인해 최종 최적화 단계에서 인간 전문가의 효능을 따라잡지 못했다.

본 논문은 자율 실험실의 미래가 기계 추론의 속도와 저비용, 그리고 인간 전문가의 감독, 지각적 판단, 오류 수정 능력을 결합한 하이브리드 시스템에 있다고 주장한다. 저자들은 빠르고 저렴하며 위험도가 낮은 실험에는 기계 추론이 매우 유리하지만, 실험이 더 느리고 비용이 많이 들거나 위험할수록 침묵하는 기계 오류를 완화하기 위한 인간의 개입이나 밀접한 감독이 필수적이라고 상정한다. 이 연구는 인간과 LLM이 완전히 자율적으로 작동하려 하기보다는 협력적으로 작동하는 시스템을 설계하는 것이 가장 자원 효율적인 경로임을 강조한다.