Closed-Loop Molecular Design with Calibrated Deference

이 논문은 메커니즘적 실패를 자율적으로 식별하고 효과적인 화학적 수정을 처방함으로써 개선된 수계 유기 레독스 흐름 배터리 네고라이트(negolyte)를 설계하기 위해 폐쇄 루프형 인간-AI 캠페인을 성공적으로 안내한, 보정된 경의(calibrated deference)가 가능한 인지 에이전트인 CLIO를 소개한다.

핵심

과학자들이 새로운 유형의 배터리 연료를 발명하기 위해 노력하는 팀을 상상해 보세요. 보통 이 과정은 마치 인간 요리사가 새로운 레시피를 만드는 것과 같습니다. 재료를 추측하고, 한 번 요리해 보고, 맛을 본 뒤, 만약 너무 짜다면 다시 시도하는 식이죠.

이 논문은 CLIO라는 이름의 새로운 종류의 "AI 셰프"를 소개합니다. 하지만 CLIO는 단순히 레시피를 생성하는 존재가 아닙니다. CLIO는 자신의 미각이 고장 났을 때를 알고 즉석에서 전략을 바꿀 줄 아는 셰프입니다.

CLIO가 어떻게 작동했는지, 이해하기 쉽게 설명한 이야기입니다:

1. 목표: 더 나은 배터리 연료

연구팀은 특정 유형의 배터리(레독스 흐름 전지라고 불림)를 위한 액체 연료를 설계하고자 했습니다. 그들은 다음과 같은 조건을 갖춘 분자가 필요했습니다:

• 에너지를 효율적으로 저장할 수 있을 것.
• 물에 잘 녹을 것.
• 실험실에서 만들기 쉬울 것.
• 사용 중에 분해되지 않을 것.

그들은 알려진 "골격" 분자(벤조시나졸린)에서 시작하여, CLIO에게 이를 더 개선하도록 요청했습니다.

2. 초능력: "보정된 복종 (Calibrated Deference)"

이 논문의 핵심 아이디어는 보정된 복종이라는 개념입니다. 이것은 지적 겸손이라고 생각하면 됩니다.

대부분의 컴퓨터 프로그램은 고집 센 학생과 같습니다. 예측을 내놓으면, 현실 세계가 틀렸음을 증명하더라도 끝까지 그것을 고수합니다. CLIO는 다릅니다. CLIO는 '신념 그래프(belief graph)'—즉, 자신이 무엇을 알고 무엇을 신뢰하는지에 대한 정신적 지도—를 가지고 있습니다.

• 비유: 항해사가 자동차를 운전하는 상황을 상상해 보세요. GPS가 "좌회전하세요"라고 말하지만 도로가 막혀 있다면, 일반적인 GPS는 계속 "좌회전하세요!"라고 외칠 것입니다. 하지만 CLIO는 이렇게 말합니다. "잠깐, GPS가 나에게 거짓말을 하고 있네. 잠시 GPS를 무시하고 창밖을 살펴서 새로운 경로를 찾아야겠어."

3. 여정: 세 번의 설계 단계

1라운드: 무작위 추측
CLIO는 분자를 수정하는 네 가지 다른 방법을 구상하며 시작했습니다. CLIO는 컴퓨터 도구를 사용하여 그것들이 얼마나 잘 작동할지 예측했습니다. 그리고 몇 가지 우수한 후보를 골라 다음 단계로 넘어갔습니다.

2라운드: 현실 점검
여기서 CLIO는 영리함을 보여주었습니다. 컴퓨터 도구들은 분자들이 특정 에너지 레벨을 가질 것이라고 예측했습니다. 하지만 CLIO는 컴퓨터 도구가 예측한 값과 실제 화학 서적의 내용 사이에 큰 불일치가 있다는 것을 알아차렸습니다.

• 조치: CLIO는 도구를 맹목적으로 신뢰하는 대신, "이 도구는 이 특정 유형의 분자에는 맞지 않는다"라고 판단했습니다. CLIO는 도구의 정확한 수치를 사용하는 대신, 절대적인 수치보다는 상대적인 차이(어떤 분자가 다른 것보다 더 나은지)에 집중하기로 결정했습니다. 이것이 바로 보정된 복종이 작동하는 방식입니다. 즉, 언제 도구를 믿고 언제 의심해야 하는지를 아는 것입니다.

3라운드: 첫 번째 성공 (그리고 새로운 문제)
CLIO는 "포스포네이트(phosphonate)"라는 특수한 그룹을 가진 분자(이름을 화합물 3이라 부릅시다)를 설계했습니다.

• 승리: 화학자들이 이를 실제로 만들었을 때, 그것은 성공적이었습니다! 기존 표준보다 130% 더 많은 에너지를 저장했습니다.
• 결함: 하지만 충전 성능(가역성)을 테스트했을 때 실패했습니다. 배터리 연료가 "걸려버려서" 에너지를 제대로 놓아주지 못했습니다. 컴퓨터 도구들은 이 실패를 전혀 예측하지 못했습니다.

4. 탐정 놀이: 미스터리 해결

이 지점에서 CLIO는 진가를 발휘했습니다. 단순히 포기하거나 무작위로 새로운 분자를 제안하는 대신, CLIO는 탐정처럼 행동했습니다.

• 단서: 실패는 특정 화학 환경(칼륨 이온이 있는 환경)에서만 발생했습니다.
• 가설: CLIO는 포스포네이트 그룹이 칼륨 이온과 너무 꽉 손을 잡고 있어서, 배터리 작동을 방해하는 교통 체증을 유발한다고 추측했습니다.
• 테스트: CLIO는 이 가설을 검증하기 위한 실험을 설계했습니다. 그들은 칼륨을 다른 이온으로 교체했습니다. 테스트 결과 이론이 확인되었습니다. 이온을 바꾸자 "교통 체증"이 변했고, 이는 포스포네이트가 원인이었음을 입증했습니다.

5. 해결책: "설포네이트" 교체

이 탐정 업무를 바탕으로, CLIO는 간단한 해결책을 제안했습니다: "포스포네이트" 그룹을 "설포네이트(sulfonate)" 그룹으로 교체하라.

• 이유는? 논문은 설포네이트가 이온과 덜 끈적하게 손을 잡는다는 점을 설명합니다. 이는 마치 끈적거리고 무거운 자석을 매끄럽고 미끄러운 공으로 교체하는 것과 같습니다.

결과:
과학자들은 새로운 분자(화합물 20)를 만들었습니다.

• 높은 에너지 저장 능력을 유지했습니다 (기존 표준 대비 90% 향상).
• "걸리는" 문제를 해결하여, 배터리가 부드럽게 충전되고 방전되도록 만들었습니다.

요약

이 논문은 AI가 단순히 숫자를 계산하는 속도만 빨라야 하는 것이 아님을 보여줍니다. 과학 분야에서 진정으로 유용해지려면, AI는 다음과 같은 능력이 필요합니다:

1. 자신이 틀렸음을 아는 것: 자신의 도구가 실패하고 있음을 인식해야 합니다.
2. 적응하는 것: 잘못된 계획을 고집하는 대신 전략을 바꿔야 합니다.
3. 가설을 세우는 것: 왜 실패했는지 이유를 추측하고, 이를 증명할 테스트를 설계하는 과학자처럼 행동해야 합니다.

이러한 "지적 겸손"을 컴퓨터의 속도와 결합함으로써, CLIO는 설계 → 제조 → 테스트 → 재설계의 루프를 완성하며 인간 팀이 단독으로 수행했을 때보다 더 빠르게 더 나은 배터리 연료를 만들어냈습니다.

기술 요약

기술 요약: 보정된 경외(Calibrated Deference)를 통한 폐쇄 루프 분자 설계

문제 정의

대규모 언어 모델(LLM) 에이전트는 합성 계획 및 반응 최적화와 같은 작업을 위해 외부 도구를 선택하고 호출함으로써 과학적 워크플로의 상당 부분을 실행할 수 있음을 입증해 왔다. 그러나 누적적 추론(cumulative reasoning), 즉 가설을 구축하고, 이를 증거에 따라 업데이트하며, 시간이 흐름에 따라 계산 도구에 대한 신뢰도를 보정하는 능력에는 여전히 결정적인 격차가 존재한다. 현재의 LLM 에이전트들은 종종 긴 컨텍스트의 교차 라운드 실험 결과를 안정적인 신념으로 전환하는 데 어려움을 겪는다. 실험 결과가 계산된 사전 지식(priors)과 모순될 때, 에이전트들은 실패한 예측을 생성했던 가설을 그대로 유지한 채 행동을 지속하며, 계산된 사전 지식의 신뢰도를 낮추거나 자신의 도구가 실패하고 있음을 인식하는 인식론적 제어 능력이 부족하다. 이러한 한계는 에이전트가 단순히 후보군을 순위 매기는 것을 넘어, 메커니즘적 이해를 바탕으로 불일치를 해석하고 교정적 수정을 제안할 수 있는 진정한 '설계-제조-테스트-재설계(design–make–test–redesign)' 루프를 완성하는 것을 방해한다.

방법론

저자들은 지속적인 메모리 구조와 "보정된 경외(calibrated deference)" 정책을 통해 이러한 한계를 해결하기 위해 설계된 에이전트 아키텍처인 **CLIO (Cognitive Loop via In-Situ Optimization)**를 제시한다.

아키텍처 및 메모리

CLIO는 지속적으로 업데이트되는 **신념 상태 그래프(belief-state graph)**와 '계획 후 실행(plan-then-act)' 루프를 결합하여 재귀적 설계 라운드 내에서 작동한다. 신념 상태 그래프를 사후에 갈등 해결용으로 구축했던 이전 버전들과 달리, CLIO는 이 그래프를 온라인 상의 구조적 시맨틱 가이드로 유지한다. 이를 통해 에이전트는 다음을 수행할 수 있다:

1. 결론의 출처(provenance) 추적.
2. 단순한 버텍스(verbatim) 회상이 아닌, 추론 흔적에 대한 주제적 추상화 쿼리 수행.
3. 다음 라운드의 추론에 정보를 제공하기 위해 정보를 선택적으로 검색함으로써 확장된 세션 전반의 컨텍스트 관리.

에이전트 오케스트레이션

각 라운드 내에서 CLIO는 신념 상태 메모리와 도메인 특화 도구 세트에 접근 권한을 공유하는 전문 에이전트(독립된 페르소나를 가진 LLM 기반 루프)들을 오케스트레이션한다. 시스템은 직교하는 가설을 테스트하기 위해 병렬적인 "사고 채널(thought channels)"을 동적으로 생성한다. 도구 세트는 다음과 같다:

• 물성 예측기(Property Predictors): 환원 전위($E_{red}$) 및 수용성(logS)을 위한 Graphormer 기반 ML 모델.
• 합성 분석(Synthetic Analysis): 역합성 계획을 위한 RDKit의 합성 접근성 점수(SAscore) 및 RetroChimera.
• 문헌 검색(Literature Search): 과학적 맥락 추출을 위한 Azure Foundry Deep Research.

보정된 경외(Calibrated Deference)의 개념

핵적인 혁신은 보정된 경외이며, 이는 에이전트가 다음을 수행하는 능력을 의미한다:

• 자신의 도구나 가설이 실패하고 있음을 인식함.
• 모순에 대응하여 전략을 적응시킴.
• 실험적 수정을 가이드하기 위한 메커니즘적 가설을 생성함.
  이는 불완전한 모델에 대한 단계적 반응(예: 예측기를 완전히 버리는 대신 가중치를 낮춤)과 경쟁하는 가설들 사이에서 차별적인 증거를 얻을 때까지 확정을 유보하는 방식으로 나타난다.

실험 캠페인

저자들은 벤조[c]시노린(benzo[c]cinnoline) 스캐폴드를 기반으로 수용성 유기 레독스 흐름 배터리(AORFB) 음극 물질을 설계하기 위한 CLIO의 폐쇄 루프 인간-AI 캠페인을 테스트했다. 목표에는 -1.2에서 -0.3 V (vs. SHE) 사이의 환원 전위($E_{red}$), 높은 pH 14에서의 용해도, 합성 가능성 및 전기화격 가역성을 달려내는 것이 포함되었다.

페이즈 1: 초기 설계 및 수렴

세 번의 자율 라운드에 걸쳐 CLIO는 발산 후 수렴(diverge-then-converge) 전략을 실행하며 네 가지 가설 브랜치(전자 공여 치환기, 아자 삽입, 스캐폴드 호핑, 음이온 가용화제)를 탐색했다.

• 보정 이벤트(Calibration Event): 라운드 2에서 CLIO는 제공된 실험적 교정 값과 Graphormer $E_{red}$ 예측기의 출력값 사이의 거대한 불일치(~2.7 V)를 감지했다. 모델을 완전히 폐기하는 대신, CLIO는 절대값을 신뢰할 수 없지만 상대적 비교를 위한 모델의 유용성은 보존하는 "순위 기반 구제(rank-order salvage)"를 수행했다. 라운드 3에 이르러, CLIO는 속성 게이트에서 절대적 $E_{red}$ 값을 명시적으로 제외했다.
• 결과: 캠페인은 합성 및 특성 분석이 완료된 화합물 3(5-벤질포스포네이트 벤조[c]시노린)으로 수렴했다. 이 화합물은 문헌 베이스라인 대비 $E_{red}$(-0.895 V vs. SHE)에서 130 mV 개선을 보였다.

페이즈 2: 반복 및 진단

실험적 특성 분석 결과 결정적인 실패가 드러났다: pH 14에서의 순환 전압 전류법(CV)에서 산화 파형이 분리되는 현상으로 나타난 낮은 전기화학적 가역성이었으며, 이는 수치적 예측기가 포착하지 못한 퇴보였다.

• 가설 생성: CLIO는 세 가지 경쟁적인 메커니즘 가설을 생성했다: (1) 직접적인 수산화물 첨가, (2) 염기 촉진 타우토머화, (3) 포스포네이트-칼륨 이온 쌍 형성.
• 진단 설계: CLIO는 양이온 교체(Li+, Na+, K+) 및 스캔 속도 의존성 연구를 포함한 차별적 실험을 우선순위에 두었다.
• 결과: 실험 결과, K+를 더 작은 양이온(Li+, Na+)으로 교체했을 때 산화 피크 비율($P_2/P_1$)이 증가함을 보여주었으며, 이는 포스포네이트-양이온 이온 쌍 가설을 뒷받침했다. 이 분리 현상은 스캔 속도에 의존하지 않았으므로 느린 화학적 후속 단계는 배제되었다.
• 재설계: 이러한 메커니즘적 통찰을 바탕으로, CLIO는 양이온 쌍 형성을 약화시키기 위해 포스포네이트 그룹을 설포네이트(sulfonate) 그룹으로 교체할 것을 권고했다.

페이즈 3: 검증

결과물인 화합물 20(설포네이트 유도체)이 합성되었다.

• 성능: 화합물 20은 베이스라인 대비 $E_{red}$(-0.854 V vs. SHE)에서 90 mV 개선을 유지했다.
• 가역성: 전기화학적 가역성이 실질적으로 개선되었다. 피크 전류 비율($|i_{ox}/i_{red}|$)은 0.38(화합물 3의 0.18 대비)이었으며, 전기화학적 분광법에서 깨끗하고 가역적인 스펙트럼 변화를 보여 분리 메커니즘이 제거되었음을 확인했다.

주요 기여

1. CLIO 에이전트 아키텍처: 장기적 추론과 설계 라운드 전반의 과학적 판단 진화 추적을 가능하게 하는 지속적인 신념 상태 그래프를 특징으로 하는 CLIO 에이전트의 개정안.
2. 보정된 경외: 에이전트가 스스로 미교정된 예측기를 진단하고, 탐색 전략을 적응시키며, 실험적 실패를 설명하기 위한 메커니즘적 가설을 공식화하는 증거 기반의 재보정 패턴을 입증함.
3. 폐쇄 루프 성공: 복잡한 분자 시스템에 대해 완전한 설계-제조-테스트-재설계 사이클을 성공적으로 수행하였으며, 에이전트는 단순히 후보를 제안하는 것을 넘어 실패 모드(이온 쌍 유도 비가역성)를 진단하고 특정 구조적 솔루션(설포네이트 교체)을 처방했다.
4. 비교 분석: CLIO가 엄격한 블랙박스 수치 최적화에서는 전용 진화 최적화 도구(ExLLM)보다 뒤처질 수 있지만, 도메인 지식이 제공되는 그레이 박스(grey-box) 조건에서는 추론을 활용하여 기만적인 최적화 지형을 탐색함으로써 이를 능가함을 보여주는 통제된 비교.

의의 및 주장

본 논문은 CLIO가 기존의 운영 중심 에이전트와 비교하여 과학적 발견에 있어 질적으로 다른 기여를 한다는 점을 주장한다. 현재의 시스템들이 인간이 설계한 워크플로의 실행을 가속화한다면, CLIO는 모순에 적응하고 메커니즘적 가설을 생성하는 추론에 기여한다.

저자들은 에이전트의 효과성이 정량적 예측을 보완하는 자연어 추론에 달려 있음을 강조한다. 수치적 도구는 초기 선별에는 필수적이었으나, 전기화학적 가역성 문제를 해결하는 데는 수치적 예측기로는 접근할 수 없는 질적, 가설 기반 추론이 필요했다. 이 논문은 정량적 모드가 실패할 때 이를 인식하고 질적 추론으로 전환하는 능력—즉, 보정된 경외—이 복잡하고 다학제적인 과학적 지형을 탐구하는 새로운 인간-AI 협업 패러다임을 연다고 상정한다. 저자들은 보정된 경외가 존재하지만 일관되지는 않으며, 특정 프롬프트 없이는 모든 설계 문제의 모든 측면에 대해 이 동작을 기본값으로 수행하지 않는다는 점을 언급하며 겸허한 태도를 유지하고 있다.