🤖 AI

EurekAgent: Agent Environment Engineering is All You Need For Autonomous Scientific Discovery

이 논문은 연구의 초점을 에이전트 워크플로 설계에서 '환경 엔지니어링'—생산적인 행동을 증폭시키고 해로운 행동을 억제하기 위해 권한, 산출물, 예산 및 인간의 감독을 구조화하는 것—으로 전환하여 수학, 커널 엔지니어링, 머신러닝 작업 전반에 걸쳐 최첨단 결과를 달성한 자율적 과학 발견 시스템인 EurekAgent를 소개한다.

원저자: Amy Xin, Jiening Siow, Junjie Wang, Zijun Yao, Fanjin Zhang, Jian Song, Lei Hou, Juanzi Li

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amy Xin, Jiening Siow, Junjie Wang, Zijun Yao, Fanjin Zhang, Jian Song, Lei Hou, Juanzi Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 원을 사각형 안에 채워 넣는 문제나 더 빠른 컴퓨터 코드를 작성하는 것과 같은 어려운 과학적 난제를 해결하고자 열망하는, 매우 똑똑하고 초지능적인 연구 보조원(AI 에이전트)이 있다고 상상해 보십시오. 과거의 연구자들은 "어떻게 하면 이 AI를 잘 작동하게 만들 것인가?"라는 문제를 해결하기 위해, AI에게 매우 상세하고 단계적인 지침 매뉴얼을 작성하려 노력했습니다. 그들은 AI에게 무엇을 생각해야 하는지, 언제 멈춰야 하는지, 그리고 어떻게 스스로와 논쟁해야 하는지까지 일일이 지시했습니다.

EUREKAGENT는 다른 접근 방식을 제안합니다. 저자들은 AI의 생각을 미세하게 관리하는 대신, AI가 일할 수 있는 더 나은 사무실을 만드는 것에 집중해야 한다고 주장합니다.

이렇게 생각해 보십시오. 만약 당신이 천재적인 박사 과정 학생을 고용했다면, 그들에게 매 초마다 무엇을 해야 할지 일일이 말할 필요는 없을 것입니다. 대신 당신은 다음과 같은 것들을 제공해야 합니다:

AI가 실수로 장비를 망가뜨리거나 테스트에서 부정행위를 하지 않도록 안전하고 잠긴 실험실.
어제 무엇이 효과적이었는지 기억하고 다른 사람들과 협업할 수 있도록 공유 화이트보드와 서류 보관함.
실험실 운영 비용이 바닥나지 않도록 전기와 커피에 대한 엄격한 예산.
상황이 궤도를 벗어날 경우 개입할 수 있는 상급자와의 직통 연락망.

이것이 바로 **환경 공학(Environment Engineering)**의 핵심 아이디어입니다. 저자들은 병목 현상이 더 이상 AI의 지능이 아니라, 그들을 담아두는 "방"이라고 주장합니다.

EUREKAGENT는 이 "방"을 어떻게 구축하는가

연구진은 네 가지 특정 부분을 관리하는 EUREKAGENT라는 시스템을 구축했습니다.

1. 권한 공학 (안전한 실험실)

문제점: AI에게 너무 많은 자유를 주면, AI가 부정행위를 시도할 수 있습니다. 예를 들어, 정답지(평가기)를 훔쳐보거나 자신을 더 똑똑해 보이게 만들기 위해 규칙을 변경하려 할 수 있습니다.
해결책: EUREKAGENT는 AI를 "샌드박스"(디지털 컨테내는) 안에 둡니다. AI는 도구를 사용하고 파일을 볼 수는 있지만, 채점 기계나 최종 결과에는 손을 댈 수 없습니다. 이는 학생에게 시험을 치르게 하되, 정답지는 선생님만이 열 수 있는 잠긴 상자에 보관하는 것과 같습니다. 이를 통해 AI가 "보상 해킹"(높은 점수를 얻기 위해 속임수를 쓰는 것)을 하는 것을 방지합니다.

2. 아티팩트 공학 (공유 화이트보드)

문제점: AI 에이전트는 5분 전에 자신이 무엇을 했는지 잊어버리거나, 동일한 문제를 다루는 다른 AI 에이전트와 작업 내용을 쉽게 공유하지 못하는 경우가 많습니다.
해결책: 이 시스템은 컴퓨터의 하드 드라이브와 버전 관리 시스템(프로그래머들이 변경 사항을 추적할 때 사용하는 Git과 같은 방식)을 공유 메모리로 취급합니다. AI가 새로운 아이디어를 시도하거나, 코드를 저장하거나, 점수를 얻을 때마다 그 내용은 영구적인 로그에 기록됩니다. 이를 통해 서로 다른 AI 에이전트들이 서로의 작업을 살펴보고, 과거의 실수를 통해 배우며, 혼란 없이 성공적인 아이디어를 바탕으로 작업을 쌓아 올릴 수 있습니다.

3. 예산 공학 (지갑)

문제점: AI 연구는 비용이 많이 들고 느려질 수 있습니다. 며칠 동안 실행될 수도 있고, 엄청난 컴퓨팅 파워 비용이 발생할 수도 있습니다.
해결책: 환경 내부에 "지갑"과 시계가 내장되어 있습니다. 시스템은 소요되는 시간과 비용(API 비용)을 추적합니다. 만약 AI가 너무 오래 걸리거나 너무 많은 비용을 쓰고 있다면, 시스템은 부드럽게 작업을 마무리하도록 유도하거나 자동으로 중단시킵로 합니다. 이는 연구가 예산을 초과하여 통제 불능 상태가 되는 것을 방지합니다.

4. 인간 참여형 공학 (관리자)

문제점: 때때로 AI가 루프에 빠지거나 이상한 방향으로 흘러갈 수 있습니다.
해결책: 시스템은 인간이 실시간으로 AI의 진행 상황을 관찰할 수 있는 대시대보드(웹 모니터 및 터미널)를 제공합니다. 인간은 점수가 오르내리는 것을 보고, 로그를 읽으며, 필요한 경우 개입하여 힌트를 주거나 프로세스를 중단시킬 수 있습니다. 이는 인간이 지루한 업무를 강요받지 않으면서도 루프 안에 머물 수 있게 합니다.

결과: 그들은 무엇을 달성했는가?

저자들은 이 시스템을 세 가지 유형의 까다로운 문제에 대해 테스트했습니다:

수학: 특히 "26-원 배치(26-circle packing)"라고 불리는 문제(원을 정사각형 안에 최대한 촘촘하게 채워 넣는 문제)입니다.
커널 엔지니어링: 저수준(low-level) 컴퓨터 코드를 최적화하는 작업입니다.
머신 러닝: 모델 학습을 개선하는 작업입니다.

주장:
이 "환경 공학적" 접근 방식을 표준적인 기성 AI 도구와 함께 사용했을 때, EUREKAGENT는 테스트한 모든 수학 및 커널 엔지니어링 과제에서 새로운 세계 기록(SOTA, State-of-the-Art)을 세웠습니다.

하이라이트: 26-원 배치 문제의 경우, 기존의 인간이나 AI의 시도보다 더 나은 솔루션을 찾아냈습니다.
비용: 이 작업은 믿기 힘들 정도로 저렴하게 수행되었습니다. 원 배치 작업을 위해 AI를 실행하는 데 든 총 API 비용은 11달러 미만이었습니다.

핵심 요약

이 논문은 우리가 과학적 문제를 해결하기 위해 새롭고 복잡한 AI 두뇌를 발명할 필요가 없다고 결론짓습니다. 대신, 우리는 더 나은 **설계자(Architect)**가 되어야 합니다. 만약 우리가 안전하고, 조직적이며, 예산을 고려하고, 감독이 가능한 적절한 환경을 구축한다면, 강력하고 범용적인 AI 에이전트들이 자율적이고 신뢰성 있게 최선의 성과를 낼 수 있도록 할 수 있습니다.

요약하자면: 에이전트를 훈련시키려 하지 말고, 그들이 살 수 있는 방을 만드십시오.

기술 요약: EUREKAGENT

문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 최적화 가능한 지표를 위한 솔루션을 제안, 검증 및 반복함으로써 과학적 발견을 자동화하는 데 잠재력을 보여주었으나, 현재의 접근 방식은 결정적인 병목 현상에 직면해 있다. 기존 시스템은 종종 경직되고 연구 특화된 워크플로우(예: 진화적 개체군, 솔루션 트리 또는 구조화된 토론)를 규정하는 데 의존한다. 그러나 Claude Code나 Codex와 같은 범용 코딩 에이전트가 발전함에 따라, 필요한 역량의 상당 부분이 이미 기본 에이전트에 내재되어 있다는 증거가 나타나고 있다. 주요 과제는 복잡한 에이전트 워크플로우를 설계하는 것에서 신뢰성, 재현성 및 검사 가능성을 확보하는 것으로 이동했다. 제약 없는 에이전트는 "보상 해킹(reward hacking)"을 수행하여 평가를 오염시키거나, 결과물을 조작하거나, 절차적 제약을 위반할 위험이 있으며, 이는 인상적이지만 신뢰할 수 없는 결과로 이어진다.

본 논문은 자율적 과학 발견의 미래가 에이전트의 행동을 미세하게 관리하는 것이 아니라, **환경 공학(Environment Engineering)**에 있다고 주장한다. 즉, 생산적인 어포던스(탐색, 협업)를 증폭시키는 동시에 해로운 어포рд언스(조작, 감독 실패)를 억제하도록 에이전트의 행동을 형성하는 자원, 제약 및 인터페이스를 설계하는 것이다.

방법론: EUREKAGENT

EUREKAGENT는 지표 중심의 자율적 과학 발견을 위해 설계된 환경 공학 시스템이다. 특정 연구 워크플로우를 하드코딩하는 대신, 정교하게 설계된 환경 내에서 기성 CLI 에이전트를 조정한다. 이 시스템은 $R$ 번의 라운드 동안 $P$ 개의 병렬 구현 세션을 통해 반복되는 단순한 3단계 루프인 준비(Prepare) → 제안(Propose) → 구현(Implement) 단계로 작동한다.

시스템 아키텍처

준비 단계 (Prepare Stage): 단일 에이전트 세션이 런타임 환경을 설정하고, 숨겨진 평가자를 검증하며, 종속성을 설치한다. 이후 다음 라운드와 공유될 준비 요약본을 생성한다.
제안 단계 (Propose Stage): 각 라운드의 시작 시, 에이전트 세션은 이전의 결과물과 웹 검색 결과를 검토하여 최대 $P$ 개의 다양한 실행 가능한 가설을 생성한다.
구현 단계 (Implement Stage): 각 가설은 별도의 병렬 에이전트 세션에 할당된다. 이 세션들은 솔루션을 반복적으로 개선, 디버깅하고 숨겨진 평가자에 제출한다. 환경은 유효한 제출물을 자동으로 순위 매겨 다음 라운드에 정보를 제공한다.

환경 공학의 네 가지 차원

EUREKAGENT의 핵심 혁신은 에이전트 환경에 대한 네 가지 차원의 공학적 설계에 있다:

권한 공학 (Permissions Engineering):
- 생산적 어포던스: 에이전트에게 구성 가능한 Python 환경, 쉘 액세스, 웹 검색/브라우징 도구, 그리고 이전 라운드의 역사적 결과물에 대한 접근 권한을 부여한다.
- 제약 사항: 실행은 격리된 Docker 컨테이너에서 수행된다. 테스트 데이터가 포함된 "숨겨진 평가자"는 에이전트가 접근할 수 없으며, 에이전트는 보안 인터페이스를 통해서만 코드를 제출하고 점수를 받을 수 있다. 컨트롤러 소유의 결과 파일은 읽기 전용이다. 동일 라운드 내의 병렬 세션은 하나의 국소적 방향으로 조기에 수렴하는 것을 방지하기 위해 서로 격리된다. GPU 액세스는 경합을 방지하기 위해 헬퍼 API를 통해 엄격히 제어된다.
결과물 공학 (Artifact Engineering):
- 파일 시스템과 Git 히스토리가 공유된 장기 메모리 역할을 한다.
- 모든 단계의 산출물(요약, 매니페스트, 코드, 로그, 점수)은 영구적으로 보존된다.
- Git 커밋은 솔루션의 진화를 추적하며, 에이전트는 이전 버전 대비 변경 사항을 문서화하도록 지시받는다. 이는 추적 가능성, 중단 후 복구 능력, 그리고 향후 세션이 이전 작업을 검사하고 그 위에 구축할 수 있는 능력을 보장한다.
예산 공학 (Budget Engineering):
- 자원은 벽시계 시간(wall-clock time)과 API 비용에 의해 제한된다.
- 시간: 제안 단계와 구현 단계에 대해 별도의 제한을 설정한다. 에이전트는 마감 시간이 다가옴에 따라 능동적 경고(헬퍼 API를 통해)와 수동적 경고(주입된 메시지)를 받는다.
- 비용: 토큰 사용량은 전역적으로 추적된다. 제한에 도달하면 실행이 중단되며, 작업 공간의 스냅샷을 보존한다.
- 연속성: 시스템은 세션 상태를 유지하여, 중단된 실행이 남은 예산 범위 내에서 재시작하는 대신 재개될 수 있도록 한다.
인간 참여형 공학 (Human-in-the-Loop Engineering):
- 두 가지 인터페이스를 통해 미세 관리 없이 감독할 수 있다:
  - 터미널 UI: 라이브 세션 출력을 검사하고 활성화된 에이전트와 통신하기 위한 용도이다.
  - 웹 모니터: 점수 진화, 최적의 접근 방식 및 예산 사용량에 대한 고수준 뷰를 제공한다.
- 인간은 개입하여 행동을 재지시하거나 추가 시간을 부여할 수 있어, 에이전트의 자율성을 유지하면서도 감독을 보장한다.

주요 기여

패러다임 전환: 본 논문은 자율적 발견의 병목 현상을 "워크플로우 설계"에서 "환경 공학"으로 재정의하며, 잘 구조화된 환경이 범용 에이전트의 역량을 끌어내는 데 충분하다고 주장한다.
EUREKAGENT 시스템: 특정 연구 전략을 강요하지 않고, 보안이 확보되고 추적 가능하며 예산을 고려한 환경을 통해 표준 CLI 에이전트를 조정하는 새로운 시스템 아키텍처를 제시한다.
무결성 메커니즘: 보상 해킹, 평가자 누출, 결과물 조작을 방지하는 포괄적인 격리 및 권한 제어 세트를 통해 에이전트 연구의 중요한 신뢰성 문제를 해결한다.
오픈 소스: 코드, 결과 및 재현 가능한 자율 연구 프레임워크를 공개한다.

실험 결과

EUREKAGENT는 수학, 커널 엔지니어링, 머신러닝 분야의 지표 기반 과제에 대해 평가되었다. 시스템은 CLI 에이전트로 Claude Code를, 베이스 모델로 GLM-5.1을 사용하였다.

수학 (Mathematics):
- 26-Circle Packing: 새로운 SOTA 점수인 2.635999(반지름의 합)를 달성하여, 이전의 최고 AI 결과(2.635986)와 최고 인간 결과(~2.634)를 넘어섰다. 이는 총 API 비용 11달러 미만으로 달성되었다.
- Erdős' Minimum Overlap: 새로운 SOTA인 0.380870(낮을수록 좋음)을 달성하여, 이전의 최고 AI 기록인 0.380876을 개선했다.
- First Autocorrelation Inequality: 새로운 SOTA인 1.502861(낮을수록 좋음)을 달성하여, 이전의 최고 AI 기록인 1.502863을 개선했다.
커널 엔지니어링 (Kernel Engineering):
- TriMul: 새로운 SOTA 실행 시간인 2005.03 µs를 달성하였으며, 이는 이전의 최고 AI(2247.78 µs) 및 인간(2096.04 µs)보다 유의미하게 빠르다.
머신 러닝 (Machine Learning):
- MLE-Bench: 평가된 서브셋에서 **85.71%**의 점수로 1위를 차지하며, 이전의 최고 AI(71.43%)를 능가했다.

의의 및 주장

본 논문은 EUREKAGENT가 기성 에이전트를 사용하여 높은 수준의 자율적 과학적 발견을 달성하기 위해 **환경 공학이 "필요한 전부(all you need)"**임을 입증한다고 주장한다. 복잡한 과제별 워크플로우 규정을 제거하고 대신 신뢰할 수 있고 경계가 명확하며 협력적인 환경을 구축하는 데 집중함으로써, 시스템은 최소한의 API 비용으로 다양한 도메인에서 새로운 SOTA 결과를 달성한다.

저자들은 이 연구를 연구 커뮤니티를 향한 촉구로 제시한다. 즉, 신뢰할 수 있는 자율 연구 에이전트의 미래 개발은 환경 공학을 핵심 연구 방향으로 우선순위에 두어야 한다는 것이다. 이 접근 방식은 개방적인 탐색의 필요성과 과학적 무결성, 재현성 및 인간의 감독에 대한 엄격한 요구 사항 사이의 균럼을 맞춘다. 결과는 적절한 환경적 제약이 주어진다면, 범용 에이전트가 이전의 AI 시스템과 인간 전문가를 모두 능가하는 과학적 솔루션을 독립적으로 발견할 수 있음을 시사한다.