🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

본 논문은 대규모 언어 모델 에이전트에게 가설 생성, 검증 및 신념 수정에 관한 명시적이고 감사 가능한 운영 체계를 부여함으로써 투명하고 검증 가능한 AI 기반 과학적 발견을 가능하게 하는 가설 진화 프로토콜(Hypothesis Evolution Protocol, HEP) 프레임워크를 소개한다.

원저자: Izumi Takahara, Teruyasu Mizoguchi

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Izumi Takahara, Teruyasu Mizoguchi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 특정 재료가 왜 특정한 결정 구조를 형성하는지에 대한 미스터리를 해결하기 위해 아주 똑똑한 로봇 탐정을 고용했다고 상상해 보세요. 과거의 이 로봇 탐정들(LLM 에이전트라고 불리는)은 이곳저곳을 뛰어다니며 이것저것 시도하고, 자신의 생각을 지저분하고 무질서한 노트에 휘갈겨 적곤 했습니다. 만약 당신이 "왜 그렇게 생각했나요?" 또는 "어떻게 마음을 바꿨나요?"라고 물으면, 그들은 그저 뒤죽박죽인 텍스트 페이지를 가리킬 뿐이었습니다. 그들이 실제로 실수를 통해 배우고 있는 것인지, 아니면 그저 막연하게 추측하고 있는 것인지 알 방법이 없었습니다.

이 논문의 저자들은 이렇게 말합니다. "그 정도로는 실제 과학을 수행하기에 충분하지 않습니다." 그래서 그들은 **가설 진화 프로토콜(Hypothesis Evolution Evolution, HEP)**이라는 새로운 규칙 세트를 만들었습니다. HEP를 단순한 노트가 아니라, 로봇 탐정이 자신의 논거를 제시해야 하는 엄격하고 투명한 법정이라고 생각해보세요.

옛날 방식 vs. 새로운 법정

과거의 "계획형(planning-style)" 접근 방식에서 로봇은 "아이디어가 있다"에서 "테스트해보자"를 거쳐 "결과는 이렇다"로 명확한 설명 없이 바로 건너뛰곤 했습니다. 즉, "이 특정 테스트 덕분에 이제 이 아이디어가 80% 확률로 참이라고 믿는다"와 같이 명시적으로 밝히지 않았습니다. 이는 마치 사건을 해결하고도 증거 기록을 보여주기를 거부하는 탐지와 같았습니다.

HEP를 사용하면, 로봇이 갖는 모든 아이디어는 이야기 속의 지속적인 등장인물처럼 취급됩니다.

탄생: 로봇이 새로운 아이디어(가설)를 떠올리면, 고유한 ID 카드와 함께 로봇이 얼마나 확신하는지를 나타내는 "신념 점수(0에서 1 사이의 확률)"를 부여받습니다.
재판: 로봇은 테스트를 수행합니다. 테스트 결과가 좋으면, 그 결과는 파일 속의 증거처럼 아이디어에 부착됩니다.
판결: 아이디어의 신념 점수는 오직 그 증거에 기반하여 올라가거나 내려갑니다.
- 점수가 0.8 이상이 되면, 해당 아이디어는 **"지지됨(Supported)"**으로 선언됩니다 (참이라는 유죄 판결을 받은 것입니다!).
- 점수가 0.2 이하로 떨어지면, **"반박됨(Refuted)"**이 됩니다 (무죄이거나, 혹은 그냥 틀린 것입니다).
- 점수가 중간에 머물러 있으면, **"휴면 상태(Dormant)"**로 들어갑니다 (새로운 증거가 깨울 때까지 잠자는 상태입니다).

가장 멋진 점은 로봇이 속임수를 쓸 수 없다는 것입니다. 로봇은 단순히 "기분이 바뀌어서 마음을 바꿨다"라고 말할 수 없습니다. 반드시 점수를 움직인 구체적인 증거를 보여줘야 합니다. 또한, 로봇이 단계를 건너뛰려고 하면 시스템이 "안 됩니다, 다시 하세요"라고 제지합니다.

로봇이 실제로 수행한 일

연구진은 이 새로운 시스템을 세 가지 까다로운 재료 과학 퍼즐에 테스트했습니다. 그들은 로봇에게 다양한 화합물 군에 대해 특정 컴퓨터 모델이 어떤 결정 구조를 선호하는지, 그리고 왜 그런지를 밝혀내라고 요청했습니다.

이 시뮬레이션에서 일어난 일은 다음과 같습니다:

로봇이 학습함: HEP를 갖춘 로봇은 단순히 추측한 것이 아니라, "아이디어 → 테스트 → 증거 → 신념 업데이트"의 전체 과정을 실제로 거쳤습니다. 한 특정 실행에서는 16개의 서로 다른 아이디어를 생성하고 테스트한 후, 최종적으로 하나의 "마스터 규칙"으로 병합하며 0.97의 신념 점수를 얻어냈습니다.
옛날 로봇은 실패함: 동일한 과업을 표준 로봇(HEP가 없는 버전)으로 실행했을 때, 그 로봇은 시간의 **83%**를 단순히 테스트를 수행하는 데만 썼고, 자신의 신념을 명시적으로 업데이트하는 데는 **0%**의 시간도 쓰지 않았습니다. 그것은 추적 가능한 방식으로 진정으로 "학습"하지 못했습니다.
이면의 모습: 로봇은 마음을 바꿀 만큼 정직했습니다. 한 사례에서 로봇은 교과서적인 아이디어에 대해 50%의 신념을 가지고 시작했지만, 증거가 그것이 틀렸음을 입증하자 점수가 0.14로 떨어졌습니다. 그러고 나서 더 나은 새로운 아이디어로 방향을 틀었습니다. 이러한 "신념의 반전(belief flip)"은 세 가지 과업 모두에서 나타났습니다.

"두뇌 능력"의 요구 조건

하지만 여기에는 주의할 점이 있습니다. 이 새로운 법정 시스템은 로봇이 큰 두뇌를 가졌을 때 가장 잘 작동합니다. 연구진은 세 가지 버전의 로봇 "두뇌"(LLM)를 사용하여 HEP를 테스트했습니다.

슈퍼 두뇌 (GPT-5.5): 실행당 평균 14.7개의 아이디어를 생성했으며, 아이디어를 정교화하고 병합하는 과정에서 4.7단계 깊이까지 파고들었습니다.
중간 두뇌 (GPT-5.4-mini): 평균적으로 6.7개의 아이디어만을 생성했으며, 1.7단계의 깊이에서 막혔습니다.
작은 두뇌 (GPT-4.1): 겨우 4.0개의 아이디어만을 만들어냈으며, 깊이는 0.7단계에 불과했습니다. 이 로봇은 자주 포기하며 아이디어를 "열린(open)" 상태로, 해결되지 않은 채로 남겨두었습니다.

이는 규칙(HEP)은 훌륭하지만, 로봇 자체가 그 규칙을 따를 수 있을 만큼 충분히 똑똑해야 함을 시사합니다. 능력이 낮은 로봇은 시간이 지남에 따라 아이디어를 정교화하고 병합하는 복잡한 작업을 감당할 수 없습니다.

결론

이 논문은 이 시스템이 모든 과학 문제를 해결했거나 인간 과학자를 대체할 로보를 만들었다고 주장하는 것이 아닙니다. 대신, AI 에이전트에게 자신의 아이디어와 증거에 대한 엄격하고 감사 가능한 기록을 남기도록 강제함으로써, 우리는 마침내 그들이 어떻게 생각하는지를 볼 수 있다는 것을 보여줍니다.

이 시뮬레이션에서 HEP 시스템은 "블랙박스" 로봇을 투명한 로봇으로 바꾸는 데 성공했습니다. 이 로봇은 자신의 추론을 추적하고, 데이터에 기반해 마음을 바꾸며, 최종 답변에 대한 탄탄한 논거를 구축할 수 있었습니다. 이는 우리가 단순히 그들의 말을 믿는 것이 아니라, 직접 검증하고, 조사하며, 그로부터 배울 수 있는 AI 과학자를 향한 한 걸음입니다.

기술 요약: 가설 진화 프로토콜을 통한 감사 가능한 AI 과학자를 향하여

문제 정의

대규모 언어 모델(LLM) 에이전트는 자율적인 과학적 발견에서 유망한 가능성을 보여주지만, 현재의 구현체들은 엄격한 과학적 추론 구조가 결여된 경우가 많다. 기존의 에이전트들은 대개 사전 정의된 워크플로우를 자동화하거나 외부 목표를 최적화하는 데 집중할 뿐, 가설 제안, 가설 검증, 증거 수집, 그리고 신념 업데이트라는 과학적 탐구의 핵심 사이클을 명시적으로 관리하지 못한다. 현재의 시스템에서 이러한 과정들은 구조화되지 않은 로그나 암묵적인 내부 상태 속에 묻혀 있다. 결과적으로, 에이전트 자신이나 인간 연구자는 어떤 가설이 고려되었는지, 증거가 신념 업데이트에 어떻게 영향을 미쳤는지, 또는 결론이 어떻게 도출되었는지 쉽게 추적할 수 없다. 최근의 분석에 따르면, 많은 에이전트 트레이스(trace)에서 증거가 무시되거나, 반증된 이후에도 신념이 거의 수정되지 않는 현상이 나타난다. 가설-검증-증거-신념 사이클에 대한 명시적이고 감사 가능한 기록이 없다면, 에이전트 결론의 과학적 타당성을 검증할 수 없으며, 에이전트가 장기적인 연구 지평에 걸쳐 자신의 가설을 체계적으로 구축하거나 폐기하는 것도 불가능하다.

방법론: 가설 진화 프로토콜 (Hypothesis Evolution Protocol, HEP)

이러한 한계를 해결하기 위해, 저자들은 과학적 추론을 명시적이고 감사 가능한 연산으로 외재화하는 에이전트 하네스(harness)인 **가설 진파 프로토콜(HEP)**을 제안한다. HEP는 두 가지 주요 구성 요소로 이루어진다:

HEP 레지스트리 (HEP Registry): 모든 가설이 고유한 ID로 식별되는 지속적인 객체인 이벤트 소싱 방식의 추가 전용(append-only) 저장소이다. 각 객체는 다음을 포함한다:
- 자연어 문장.
- 에이전트의 확신도를 나타내는 신념 확률 $P(H)$ .
- 생애 주기 상태 (제안됨, 테스트 중, 지지됨, 반증됨, 또는 휴면 상태).
- 계보(lineage) 및 생성 메커즘을 포함한 출처 기록.
- 모든 신념 업데이트, 증거 첨부, 상태 전이를 추적하는 추가 전용 이벤트 로그.
HEP 도구 (HEP Tools): 에이전트와 레지스트리 간의 상호작용을 매개하는 인터페이스 세트로, 다음과 같이 분류된다:
- 제안 및 진화 (Propose & Evolve): propose_hypothesis(가설 제안), refine_hypothesis(가설 정교화), merge_hypotheses(가설 병합)를 포함한다. 가설은 de-novo(새로운 생성), inspired-by(영감을 받은 - 출처만 존재), refine(정교화), merge(병합)의 네 가지 메커즘을 통해 생성된다.
- 테스트 및 판정 (Test & Judge): attach_evidence(증거 첨부)와 transition_hypothesis(가설 상태 전이)를 포함한다. 신념 업데이트는 검증 게이트에 의해 규율되며, 신뢰할 수 있다고 판단된 증거만이 신념을 업데이트한다. 판정(지지/반증)은 임계값 전이( $P(H) \ge 0.8$ 은 지지, $P(H) \le 0.2$ 는 반증)에 의해 강제된다.
- 읽기 (Read): 레지스트리 쿼리를 위한 list_hypotheses(가설 목록 조회) 및 get_hypothesis(가설 가져오기)를 포함한다.

이 프로토콜은 에이전트가 구조화된 가설–테스트–증거–신념 사이클 내에서 작동하도록 강제한다. 신념은 알고리즘적으로 계산되는 것이 아니라 서술된 근거와 함께 에이전트에 의해 도출되지만, 프로토콜은 신념의 변화가 반드시 특정되고 검증된 증거에 기반해야 함을 강제한다.

실험 설정

저자들은 고정된 머신 러닝 기반 원자간 포텐셜(MLIP)을 사용하여 특정 화합물 계열의 결정 구조 선호도에 관한 개방형 질문을 다루는 세 가지 재료 과학 연구 과제에 대해 HEP를 평가하였다:

과제 AO2: AO2 이산화물의 다형체 선택.
과제 A2BB'O6: 이중 페로브스카이트의 B-사이트 양이온 질서화.
과제 MX: 전이 금속 모노칼코게나이드 및 모노피크타이드의 프로토타입 선택.

실험에는 계산 도구(구조 완화, 분자 동역학, 데이터베이스 쿼리)와 HEP 하네스를 갖춘 베이스 LLM (GPT-5.5)이 사용되었다. 비교 대상으로는 HEP 하네스가 없는 표준 "계획형(planning-style)" 에이전트(계획–실행–재계획)가 사용되었다. 또한, 세 가지 서로 다른 역량을 가진 LLM(GPT-5.5, GPT-5.4-mini, GPT-4.1)을 사용하여 HEP의 확장성을 테스트하였다.

주요 결과

1. 과학적 루프의 작동

AO2 과제에 대한 단일 연구 실행에서, HEP를 갖춘 에이전트는 16개의 가설을 생성하며 네 가지 생성 메커즘을 모두 사용하였다. 모든 가설은 결국 종단 상태(지지됨, 반증됨 또는 휴면)로 전이되었다. 에이전트는 전체 사이클을 성공적으로 수행하였다:

추적 가능성: 가설 트리는 부모-자식 관계와 생성 메커즘을 추적할 수 있게 하였다.
신념 진화: 신념 궤적은 변화가 엄격하게 검증된 증거와 연결되어 있음을 보여주었다. 가설은 충분한 증거를 축적한 후에야 지지 또는 반증 임계값을 통과하였으며, "신념의 반전"(예: 낮은 확신도로 제안된 가설이 지지됨)은 데이터를 바탕으로 발생하였다.
계획형 에이전트와의 비교: 동일한 베이스 LLM을 사용하는 계획형 에이전트는 단계의 83%를 테스트에 소비했으며, 명시적인 신념 업데이트에는 0%를 사용했다. 이 에이전트는 신념을 외재화하거나 증거에 따라 체계적으로 업데이트하는 데 실패했다. 반면, HEP 에이전트는 명확한 전이 흐름(가설 $\to$ 테스트 $\to$ 증거 $\to$ 신념 $\to$ 판정 $\to$ 업데이트)을 보여주었으며, 이는 HEP가 단순한 계획만으로는 달성할 수 없는 과학적 루프를 강제함을 입증한다.

2. 연구 질문에 대한 일반화

A2BB'O6 및 MX 과제에 적용되었을 때, HEP는 견고함을 입증하였다:

에이전트는 과제당 10~~20개의 가설을 생성하였으며, 생성 깊이는 3~~5단계였다.
모든 가설은 종단 처리에 도달하였으며, 미결 상태로 남은 것은 없었다.
최종 지배 규칙은 높은 신뢰도로 도출되었다 (예: AO2의 경우 $P(H) = 0.97$ ). 이러한 규칙들은 미지의 조성을 예측함으로써 검증되었다.
프로토콜은 특정 반증(예: 교과서적인 얀-텔러 메커니즘에 대한 반증)이 어떻게 올바른 전자적 예외 사항으로 탐색 방향을 재지정했는지 보여주었으며, 이 이력은 레지스트리 로그에서 직접 읽을 수 있었다.

3. 베이스 LLM 역량에 따른 확장성

HEP의 효능은 기초가 되는 LLM의 추론 능력에 의존하는 것으로 나타났다:

GPT-5.5: 가장 많은 가설을 생성하였고(평균 14.7개), 모든 생성 메커니즘(복잡한 병합 포함)을 활용하였으며, 모든 가설을 해결하였다.
GPT-5.4-mini: 더 적은 가설을 생성하였고(평균 6.7개), 36%를 미결 상태로 남겨두었다.
GPT-4.1: 가장 적은 가설을 생성하였고(평균 4.0개), de-novo 제안에 크게 의존하였으며(62%), 정교화나 병합을 통한 가설 진화에 실패하였다. 한 실행에서는 증거를 첨부하지 않은 채 모든 가설을 포기하기도 했다.
결론: 테스트된 모든 LLM이 개별 HEP 도구를 운용할 수는 있었으나, 오직 가장 뛰어난 모델만이 프로토콜의 반복적 진화와 계보 관리를 완전히 활용할 수 있었다.

의의 및 주장

본 논문은 HEP가 감사 가능한 AI 과학자를 향한 진일보라고 주장한다. 이 연구의 주요 의의는 다음과 같다:

추론의 외재화: 가설-테스트-증거-신념 사이클을 암묵적이고 구조화되지 않은 프로세스에서 명시적이고 지속적이며 검증 가능한 기록으로 변환한다.
규율 및 검증: 신념 임계값과 증거 검증을 강제함으로써, HEP는 에이전트의 결론이 추적 가능한 감사 경로에 근거하도록 보장하며, 이를 통해 인간 연구자가 에이전트의 과학적 추론을 검사하고, 검증하며, 그 위에 구축할 수 있도록 한다.
상호 보완성: 저자들은 HEP가 베이스 LLM의 추론 능력을 대체하는 것이 아니라는 점을 강조한다. 대신, 하네스와 역량은 상호 보완적이다. 즉, 하네스는 추론이 외재화되고 검증 가능한지 여부를 결정하며, LLM의 역량은 그 추론이 얼마나 온전히 활용되는지를 결정한다.

본 연구는 베이스 LLM이 발전함에 따라, HEP와 같은 하네스가 순수한 계산 능력을 신뢰할 수 있고 검사 가능한 과학적 발견으로 전환하는 데 필수적일 것이라고 결론짓는다. 향-후 연구로는 증거 검증을 위한 독립적인 감사 에이전트 도입과, 더 엄격한 증거 검증을 위한 제1원리 도구(예: DFT)를 에이전트에 장착하는 것이 제안되었다.