🤖 AI

The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows

이 논문은 단일한 추론 기반 에이전트가 프롬프트, 프로그램 및 ML 워크플로의 전체 최적화 과정을 자율적으로 관리하여 복잡한 탐색 정책을 효과적으로 내재화하고 다양한 작업에 걸쳐 특화된 시스템들을 능가하는 통합 프레임워크인 ReASearch를 소개한다.

원저자: Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 퍼즐을 풀거나, 시를 쓰거나, 비디오 게임 캐릭터를 승리로 이끌도록 가르치고 있다고 상상해 보십시오. 인공지능의 세계에서 이것을 "최적화(optimization)"라고 부릅니다. 보통 인간은 사이드라인에서 엄격한 코치 역할을 수행합니다. 그들은 "이것을 해보고, 그다음 저것을 해보고, 만약 실패하면 다시 돌아가서 다른 것을 시도해 봐"와 같이 경직된 게임 플랜을 설계합니다. 로봇(대규모 언어 모델)은 그저 인간이 정한 전략에 따라 미세한 변화를 시도하며 명령을 맹목적으로 따르는 선수일 뿐입니다. 하지만 만약 로봇이 코치 역할까지 할 수 있다면 어떨까요? 로봇이 스스로 전광판을 보고, 왜 패배했는지 파악하고, 게임의 규칙을 바꿀지 결정하거나, 심지어 자신이 막다른 길에 다다랐음을 깨닫고 완전히 새로운 접근 방식이 필요하다는 것을 스스로 알아차릴 수 있다면 어떨까요? 이 논문은 바로 이 질문을 탐구합니다. 단 하나의 똑똑한 AI 에이전트가 인간이 작성한 스크립트의 지시 없이도, 최선의 해결책을 찾기 위한 자신의 탐색 과정을 스스로 관리하며 학습할 수 있을까요?

COLM 2026 컨퍼런스에서 발표된 이 연구의 저자들은 ReASearch라는 새로운 시스템을 소개합니다. 이것은 로봇에게 단순히 망치를 쥐여주는 대신 스위스 아미 나이프를 건네주는 것과 같습니다. 과거의 AI 최적화 도구들은 고정된 컨베이어 벨트가 있는 공장 조립 라인과 같았습니다. 어떤 후보 해결책을 다음에 테스트할지, 얼마나 많은 시간을 할애할지, 그리고 언제 포기할지를 인간이 설계한 알고리즘이 결정했습니다. AI의 유일한 임무는 현재의 해결책에 아주 작은 편집을 가하는 것이었습니다. ReASearch는 이 구도를 뒤집습니다. 이 시스템은 AI 에이전트에게 코드를 실행할 수 있는 파이썬 인터프리터, 과거의 실수를 기억하기 위한 메모리 파일, 그리고 실험을 수행할 수 있는 능력과 같은 도구 세트를 제공한 뒤, 에이전트가 모든 것을 결정하게 합니다. 에이전트는 스스로에게 묻습니다. "이 아이디어를 먼저 작은 샘플로 테스트해 볼까? 방금 똑같은 실수를 두 번 한 건가? 지금의 계획을 버리고 이전에 시도했던 더 나은 계획으로 돌아가야 할까?" 에이전트는 단순히 추측하는 것이 아니라, 과정을 통해 추론하며 자신만의 전략을 구축해 나갑니다.

연구팀은 이 "자기 코칭형" 에이전트를 텍스트 프롬프트를 더 똑똑하게 만드는 것부터 컴퓨터 프로그램을 진화시켜 수학 퍼즐을 풀게 하는 것, 그리고 머신러닝 학습 워크플로우를 최적화하는 것에 이르기까지 14가지의 다양한 과제를 통해 테스트했습니다. 결과는 놀라울 정도로 강력했습니다. 많은 경우에서 ReASearch는 특정 규칙을 하드코딩하여 만든 인간 전문가의 전문 시스템들을 능가했습니다. 예를 들어, "원 채우기(Circle Packing)"(정사각형 안에 원을 최대한 촘แพ하게 배치하는 작업)라는 과제에서, 이 에이전트는 인간이 이전에 발견했던 최선의 결과보다 더 나은 해결책을 찾아냈습니다. 다른 과제들에서는 성능을 2%에서 무려 40%까지 향상시키기도 했습니다.

정말로 매혹적인 점은 에이전트가 어떻게 그것을 해냈는가 하는 점입니다. 연구진은 아무도 가르쳐주지 않았음에도 불구하고, 에이전트가 자연스럽게 노련한 과학자나 체스 그랜드마스터처럼 행동하기 시작했다는 것을 발견했습니다. 에이전트는 어떤 아이디어를 확정하기 전에 먼저 "재확인"하는 과정을 거쳤습니다. 새로운 경로가 막다른 길로 이어질 때, 이전의 더 안전한 버전으로 "되돌리는" 법을 배웠습니다. 또한 똑같은 실수를 반복하지 않기 위해 "학습된 교훈" 일지를 작성하기 시작했습니다. 가장 인상적인 것은, 때로는 문제를 해결하기 위해 두 가지 서로 다른 기술을 결합해야 한다는 사실을 에이전트가 스스로 알아냈다는 점인데, 이는 대개 깊은 인간적 통찰력을 필요로 하는 발견입니다. 이 논문은 AI에게 적절한 도구를 주고 그 과정을 통해 추론하게 하면, 우리가 이전에는 인간이 설계한 알고리즘이 관리해야 한다고 생각했던 복잡한 탐색 전략을 내재화할 수 있음을 시사합니다. 결국, 최적화 도구는 별개의 경직된 컨트롤러일 필요가 없습니다. 최적화 도구 자체가 바로 에이전트가 될 수 있습니다.

기술 요약: 최적화 도구로서의 에이전트 (ReASearch)

문제 정의

텍스트 기반 아티팩트—특히 시스템 프롬프트, 프로그램, 그리고 머신러닝(ML) 워크플로우—를 최적화하는 것은 현대 AI의 핵심 과제로 남아 있습니다. 전통적인 접근 방식은 일반적으로 외부의 설계된 알고리즘 컨트롤러(예: 진화적 탐색, 밴딧, 베이지안 최적화 또는 텍스트 그래디언트)에 의존하여 탐색 정책을 관리합니다. 이러한 프레임워크에서 대규모 언어 모델(LLM)은 단순히 경직되고 사전 정의된 루프 내에서 로컬 편집을 수행하는 상태 비저장(stateless) "변이 생성기(mutator)" 또는 "제안 생성기"의 역할만을 수행합니다. 저자들은 이러한 분리가 근본적인 질문을 해결하지 못하고 있다고 주장합니다: 단일 추론 에이전트가 탐색 정책의 얼마나 많은 부분을 내재화할 수 있는가?

방법론: ReASearch

본 논문은 도구를 사용하는 LLM 에이전트가 최적화 루프 전체를 완전히 책임지도록 하는 통합된 "컨트롤러 경량(controller-light)" 프레임워크인 ReASearch(Reasoning-driven Agentic Search)를 소개합니다. 외부의 수학적 메타-휴리스틱에 의존하여 탐색, 예산 할당 및 후보 선택을 지시하는 대신, ReASearch는 전체 최적화 과정을 에이전트가 자율적으로 호출하는 일련의 도구 세트로 노출합니다.

핵심 아키텍처

통합 에이전트 루프: 시스템은 단일한 태스크 불가지론적(task-agnostic) 에이전트 스캐폴드를 사용합니다. 에이전트는 도메인 가이드와 현재 최적화 상태, 그리고 상호작용 이력이 포함된 시스템 프롬프트를 전달받습니다.
도구 기반 인터페이스: 모든 최적화 작업은 도구로 패키징됩니다. 에이전트는 자신의 추론을 바탕으로 다음에 어떤 도구를 호출할지 결정합니다. 주요 도구는 다음과 같습니다:
- 실행 및 분석: python_exec를 통해 에이전트는 분석 스크립트를 작성하고, 통계를 계산하며, 실패 패턴을 프로그래밍 방식으로 진단할 수 있습니다.
- 평가: 도메인 특화 도구(예: validate_candidate, run_experiment, evaluate)를 사용하여 에이전트는 가설을 테스트합니다.
- 편집: edit_code나 edit_train_file과 같은 도구는 메인 에이전트의 컨텍스트를 깨끗하게 유지하기 위해 하위 에이전트에게 변경 사항을 전달합니다.
- 메모리: 지속적인 lessons.md 파일과 컨텍스트 압축 메커니즘을 통해 에이전트는 긴 호흡의 인사이트(무엇이 작동했고, 무엇이 실패했으며, 다음에 무엇을 시도해야 하는지)를 컨텍스트 창 전반에 걸쳐 유지할 수 있습니다.
도메인 적응: 동일한 에이전트 스캐폴드가 사용 가능한 도구와 시스템 프롬프트만 변경하여 세 가지 뚜로 다른 도메인에 적용됩니다:
1. 프롬프트 최적화: 에이전트는 적응적으로 훈련 미니배치를 샘플링하고, 검증 세트에서 후보를 평가하며(오버피팅 방지를 위한 집계 메트릭 포함), 실패 모드를 진단합니다.
2. 프로그램 진화: 에이전트는 단일 인스턴스 난제(예: ARC-AGI-2, 원 채우기 문제)를 위해 코드를 반복적으로 수정합니다. 이때 하위 에이전트를 사용하여 코드 편집 및 검증을 수행하며, 가설 형성을 위한 지속적인 추론 컨텍스트를 유지합니다.
3. ML 워크플로우 최적화: 에이전트는 훈련 스크립트를 수정하고, 시간 제한이 있는 실험을 실행하며, 훈련 곡선을 분석하여 병목 현상(예: 학습률 스케줄, 아키텍처 선택, 규제화)을 진단합니다.

창발적 행동

논문은 명시적인 컨트롤러로 구현되던 복잡한 탐색 행동이 하드코딩 없이 에이전트의 추론 과정으로부터 자연스럽게 창발됨을 관찰했습니다:

이중 검증(Double-Verification): 비용이 많이 드는 검증을 수행하기 전에 추가 샘플을 통해 유망한 이득을 재확인합니다.
가설 기반 수정(Hypothesis-Driven Revision): 축적된 증거를 바탕으로 구조적 가설을 형성하고 이를 테스트합니다.
복구 기반 회귀(Revert-Based Recovery): 경로가 실패할 경우 무작정 계속 진행하는 대신, 이전의 알려진 양호한 브랜치로 의도적으로 되돌아갑니다.
적응형 탐색(Adaptive Exploration): 예산 제약과 관찰된 분산을 바탕으로 탐색 전략을 조정합니다.

주요 기여

통합 프레임워크: ReASearch는 텍스트 기반 최적화를 순차적 추론 문제로 규정하며, 단일 에이전트 설계가 프롬프트, 프로그램, ML 워크플로우를 모두 최적화할 수 있음을 입증했습니다.
성능 향상: 14개의 다양한 태스크에서 ReASearch는 동일한 계산 예산 내에서 전문화된 최첨단 시스템(예: GEPA, AdaEvolve, Claude Code)과 대등하거나 이를 능가하는 성능을 일관되게 보여주었습니다. 성능 향상 폭은 강력한 도메인 특화 베이스라인 대비 **2%에서 40%**에 달합니다.
인간 수준의 발견: 원 채우기(Circle Packing) 및 헬브론 삼각형(Heilbronn Triangle) 문제와 같은 특정 작업에서 ReASearch는 기존의 인간 최적 결과보다 개선된 솔루션을 발견했습니다.
내재화된 탐색 로직: 본 연구는 프런티어 도구 사용 에이전트가 후보 검증, 인과 진단, 적응형 탐색을 포함하여 이전에 외부 수학적 메타-휴리스틱에 위임되었던 상당 부분의 탐색 로직을 내재화할 수 있음을 보여줍니다.

실험 결과

저자들은 세 가지 카테고리에 걸쳐 ReASearch를 전문화된 베이스라인들과 비교 평가했습니다:

프롬프트 최적화: AIME, GSM8K, HotpotQA, Terminal-Bench 2.0에서 ReASearch는 GEPA를 능가했습니다. 예를 들어, Terminal-Bench 2.0에서 GEPA의 42.22% 대비 **53.33%**의 정확도를 달성했습니다. 에이전트는 구조화된 태스크 이해를 구축하고, 단순한 피크 검증 점수가 아닌 전체 최적화 이력을 바탕으로 최종 프롬프트를 선택했습니다.
프로그램 진화:
- 원 채우기(Circle Packing): ReASearch는 인간의 최적 결과(예: $n=32$ 일 때 2.939)와 일치하거나 약간 상회하는 결과(2.940)를 달성하여 AdaEvolve를 크게 앞질렀습니다.
- 헬브론 삼각형(Heilbronn Triangle): 에이전트는 수학적 대칭성(D4 대칭)을 식별하여 탐색 공간을 축소함으로써, 베이스라인들이 실패했던 지점에서 최적에 가까운 결과( $n=12$ 일 때 0.03260)를 얻었습니다.
- ARC-AGI-2: ReASearch는 단순한 브루트 포스 탐색 대신 반복적인 분석을 통해 변환 규칙을 추론함으로써, AdaEvolve의 12.5% 대비 4배 향상된 **50.0%**의 테스트 정확도(Sonnet 4.6)를 달성했습니다.
ML 워크플로우 최적화: Claude Code(AutoResearch 설정)와 비교했을 때, ReASearch는 IMG-100(83.99% vs 78.59%), Atari Q*bert(4500 vs 1250 보상), MuJoCo(5267 vs 3986 보상)에서 명확한 우위를 보였습니다. 특히, Kaggle 크립토 예측 태스크에서 ReASearch는 15번의 실험 내에 리더보드 순위를 36위에서 6위로 끌어올린 반면, 베이스라인은 정체되었습니다.

의의 및 주장

본 논문은 추론이 단순히 태스크를 해결하기 위한 것뿐만 아니라, 그 자체로 강력한 오픈 엔드 탐색 엔진이 될 수 있다고 주장합니다. ReASearch의 의의는 "최적화 도구"가 별도의 설계된 알고리즘 컨트롤러일 필요가 없음을 보여준 데 있습니다. 대신, 적절한 도구를 갖춘 단일 추론 기반 에이전트는 예산 관리, 실패 진단, 전략 적응과 같이 과거에 외부 메타-휴리스틱의 영역이었던 복잡한 탐색 정책을 내재화할 수 있습니다.

저자들은 이 접근 방식이 더 유연하고 잠재적으로 더 강력한 패러다임을 제공한다고 주장합니다. 레슨을 축적하고, 인과적 실패를 추론하며, 긴 호흡의 과정 동안 전략을 적응시키는 에이전트의 능력은 다양한 모달리티에서 우수한 성능으로 이어집니다. 이 연구는 "탐색자(searcher)"와 "해결사(solver)"의 구분이 사라지고, 에이전트가 이 두 역할을 동시에 수행하는 미래를 시사합니다.