EPOCH: An Agentic Protocol for Multi-Round System Optimization

이 논문은 프롬프트, 코드, 모델 구성 등 다양한 요소를 안정적이고 재현 가능한 방식으로 다중 라운드에 걸쳐 최적화할 수 있도록 설계된 통합 엔지니어링 프로토콜인 'EPOCH'을 제안합니다.

핵심

이 논문은 EPOCH라는 새로운 시스템을 소개합니다. 복잡한 인공지능 (AI) 이나 소프트웨어 시스템을 계속 발전시키기 위해 필요한 '규칙과 절차'를 정해준 것이라고 생각하시면 됩니다.

기존의 방법들은 "이 문제만 해결해"라고 하면 AI 가 그 문제만 해결하고 끝났다면, EPOCH 는 **"문제를 해결하고, 그다음엔 더 잘할 수 있는 방법을 스스로 찾아서 계속 업그레이드하는 체계"**를 만듭니다.

이걸 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏗️ EPOCH: "스스로 진화하는 건설 현장의 안전 규정"

상상해 보세요. 거대한 건물을 짓는 건설 현장이 있다고 칩시다. 과거에는 건축가가 "이 벽을 쌓아"라고 하면 벽만 쌓고 끝났습니다. 하지만 EPOCH 는 현장 전체를 관리하는 '스마트 감독관' 역할을 합니다.

1. 두 단계로 나뉜 공사 과정 (2 단계 프로세스)

EPOCH 는 건물을 짓는 과정을 두 단계로 명확히 나눕니다.

• 1 단계: 기초 공사 (Baseline Construction)

  • 상황: 아직 아무것도 없는 빈 땅에 "여기에 100 층 건물을 지어"라는 주문만 있습니다.
  • EPOCH 의 역할: 먼저 "이게 우리가 지을 수 있는 가장 기초적인 건물이야"라고 **초기 모델 (기초)**을 세웁니다. 이때부터 "이게 기준선 (Baseline) 이야"라고 정해두고, 나중에 얼마나 좋아졌는지 비교할 수 있게 합니다.
  • 비유: 요리할 때 "맛있는 스테이크를 만들어"라고 하면, 일단 가장 기본적인 스테이크를 구워놓고 "이게 원래 맛이야"라고 기록해 두는 것과 같습니다.

• 2 단계: 지속적인 리모델링 (Iterative Self-Improvement)

  • 상황: 이제 그 기초 스테이크를 더 맛있게 만들어야 합니다.
  • EPOCH 의 역할: "소금 좀 더 넣자", "불을 더 세게 하자" 같은 아이디어를 내고, 실제로 실행해 보고, "진짜 더 맛있어졌나?"를 검증합니다. 이 과정을 여러 번 반복하면서 점점 더 완벽한 스테이크를 만들어냅니다.

2. 역할 분담이 핵심 (혼란을 막는 4 명의 팀원)

이게 EPOCH 의 가장 멋진 점입니다. 한 사람이 모든 일을 다 하면 실수하거나 편향될 수 있잖아요? EPOCH 는 4 명의 역할이 엄격하게 나뉜 팀으로 운영됩니다.

1. 기획자 (Orchestrator): "오늘은 소금 실험을 해보자. 예산은 3 번까지야."라고 전체 흐름을 조율합니다.
2. 조사관 (Investigator): "어제 스테이크가 너무 짜서 맛이 없었어. 소금 양을 줄여볼까?"라고 **아이디어 (가설)**를 냅니다.
3. 작업자 (Executor): "알겠어. 소금 양을 줄여서 실제로 요리해 볼게."라고 실제 실행합니다.
4. 심사위원 (Reviewer): "음... 소금을 줄인 건데, 정말 더 맛있어졌어? 아니면 그냥 내 입맛대로만 판단한 거야?"라고 객관적으로 평가합니다.

💡 핵심 비유: 만약 요리사 (작업자) 가 직접 맛을 보고 "나중에 더 맛있어졌어!"라고 거짓말하면 안 되죠? 그래서 요리하는 사람과 맛을 보는 사람 (심사위원) 을 분리해서, 진짜로 좋아졌는지 객관적으로 확인하는 것입니다.

3. 실험실 같은 기록 (라운드별 추적)

EPOCH 는 매번 실험할 때마다 정확한 기록을 남깁니다.

• "3 번 실험에서 소금을 1g 줄였는데, 맛이 5% 좋아졌어."
• "4 번 실험에서 후추를 넣었는데, 오히려 맛이 나빠져서 거절했어."

이렇게 누가, 무엇을, 왜, 어떻게 바꿨는지가 모두 기록되므로, 나중에 문제가 생기면 언제든 되돌릴 수 있고, 왜 그렇게 결정했는지 증명할 수 있습니다.

---

🧪 실제로 어떤 일을 해냈나요? (4 가지 사례)

논문의 저자들은 이 EPOCH 시스템을 다양한 상황에 적용해 보았습니다.

1. 코드 개선 (피보나치 계산기):

   • 상황: 숫자를 계산하는 프로그램이 너무 느렸습니다.
   • EPOCH: "일단 계산이 맞는지 확인하고 (정확도), 그다음에 속도를 높여보자 (성능)"라고 단계를 나누어, 느린 프로그램을 순식간에 계산하는 프로그램으로 바꿨습니다.

2. 하이퍼파라미터 튜닝 (MNIST 분류):

   • 상황: AI 가 숫자를 구분하는 학습 속도가 느렸습니다.
   • EPOCH: "학습률 (Learning Rate) 을 바꿔보자"라고 시도하다가, 오히려 학습이 불안정해지면 즉시 "아니야, 이건 안 돼"라고 거절하고 다른 방법을 시도했습니다.

3. 프롬프트 튜닝 (감정 분석):

   • 상황: AI 가 영화 리뷰의 감정을 잘 못 읽었습니다.
   • EPOCH: AI 에게 주는 지시문 (프롬프트) 을 조금씩 수정하며 "이 영화 리뷰는 부정적인 거야"라고 더 명확하게 알려주자, 정확도가 100% 가 되었습니다.

4. 규칙 기반 최적화 (아이스 꽃 분류):

   • 상황: 꽃의 종류를 구분하는 규칙을 사람이 직접 짜야 했습니다.
   • EPOCH: "꽃잎 길이가 이 정도면 A 종이야"라는 규칙을 수정하며, 훈련 데이터에서는 잘 되지만 실제 테스트에서는 실패하는 경우를 찾아내어 규칙을 다듬었습니다.

---

🌟 결론: 왜 이것이 중요한가요?

기존의 AI 는 "문제를 해결하면 끝"이었습니다. 하지만 EPOCH 는 **"문제를 해결하고, 그 과정을 기록하고, 더 나은 방법을 스스로 찾아서 계속 발전시키는 체계"**를 제공합니다.

마치 스스로 진화하는 생명체처럼, EPOCH 는 실수를 반복하더라도 그 기록을 통해 배우고, 객관적인 심사를 통해 안정적으로 성장할 수 있게 해줍니다. 이는 앞으로 우리가 AI 나 소프트웨어를 실제 업무에 쓸 때, 안전하고 신뢰할 수 있게 발전시킬 수 있는 토대가 됩니다.

한 줄 요약:

"EPOCH 는 AI 가 혼자서 문제를 해결하는 게 아니라, 엄격한 규칙과 팀워크를 통해 스스로를 계속 업그레이드할 수 있게 해주는 '스마트 건설 감독관'입니다."

기술 요약

논문 요약: EPOCH - 이질적 환경에서의 다중 라운드 시스템 최적화를 위한 에이전트 프로토콜

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 시스템은 복잡한 문제를 실행 가능한 계획으로 분해하고 초기 솔루션을 생성하는 능력이 향상되었습니다. 또한, 프롬프트 최적화 (DSPy, Promptbreeder 등), 하이퍼파라미터 검색 (AgentHPO), 자율 소프트웨어 수리 (RepairAgent) 등 특정 작업에 특화된 반복적 자기 개선 (Iterative Self-improvement) 연구가 활발히 진행되고 있습니다.

그러나 기존 접근법들은 다음과 같은 한계가 있습니다:

• 작업 특화적 루프 (Task-specific Loops): 각 작업 (코드, 프롬프트, 모델 등) 마다 독립적으로 설계된 최적화 루프로, 통일된 프로토콜이 부재합니다.
• 일관성 및 추적성 부족: 이질적인 최적화 환경 (프롬프트, 코드, 설정, 규칙 등) 에서 일관된 평가 인터페이스를 통해 다중 라운드의 자기 개선 과정을 관리하고, 변경 사항을 추적 (Tracking) 하며 재현 가능한 (Reproducible) 기준선 (Baseline) 을 확립하는 체계가 없습니다.
• 비구조적 의사결정: 기존 시스템은 개별 아티팩트 최적화는 가능하나, 시스템 전체의 안정성과 무결성을 유지하면서 다중 라운드에 걸쳐 조정된 최적화를 수행하는 표준화된 프로토콜 레이어가 결여되어 있습니다.

2. 방법론 (Methodology)

저자들은 EPOCH를 제안합니다. 이는 단일 최적화기가 아니라, 문제를 실행 가능한 기준선으로 변환하고 이질적 환경에서 추적 가능한 다중 라운드 자기 최적화를 관리하는 에이전트 프로토콜입니다.

핵심 설계 원칙:

1. 이단계 프로세스 (Two-Phase Process):
   • 1 단계 (기준선 구축): 문제 명세를 분석하여 실행 가능한 초기 시스템과 평가 인터페이스를 설계하고 기준선 (Baseline) 을 확립합니다.
   • 2 단계 (다중 라운드 자기 개선): 확립된 기준선에서 시작하여 구조화된 다중 라운드를 통해 시스템을 반복적으로 개선합니다.
2. 역할 제한 단계 (Role-Constrained Stages): 각 라운드를 계획 (Planning), 구현 (Implementation), 평가 (Evaluation) 단계로 분리하며, 각 단계는 서로 다른 역할 (Agent) 이 담당합니다. 이는 가설 생성과 평가를 분리하여 평가의 무결성을 보장합니다.
3. 표준화된 실행 및 추적: 모든 실행은 표준화된 명령 인터페이스 (Canonical Command Interfaces) 를 따르며, 라운드 단위의 상태 추적 (Round-level Tracking) 을 통해 변경 사항의 재현, 비교, 감사가 가능합니다.

프로토콜 구조 (OODA 루프 기반):

• 관찰 (Observe): 현재 상태와 증거를 관찰합니다.
• 방향 설정 (Orient): 작업별 제약 조건 하에 분석을 수행합니다.
• 결정 (Decide): 개선 후보를 제안합니다.
• 행동 (Act): 제약을 준수하며 변경 사항을 구현하고 평가합니다.

주요 역할 (Roles):

• Orchestrator: 라운드 제어 흐름, 예산, 상태 전이를 관리합니다.
• Investigator: 현재 시스템과 증거를 분석하여 개선 가설을 생성합니다.
• Executor: 제안된 변경 사항 (프롬프트 수정, 하이퍼파라미터 조정, 코드 변경 등) 을 구현합니다.
• Reviewer: 표준화된 평가 인터페이스를 통해 후보 상태를 평가하고 수용 (Accept) 또는 거부 (Reject) 를 결정합니다.

3. 주요 기여 (Key Contributions)

1. EPOCH 프로토콜: 문제 명세를 실행 가능한 기준선으로 변환하고, 이질적 개선 모드 (프롬프트, 코드, 규칙 등) 간에 추적 가능한 다중 라운드 자기 최적화를 수행하는 에이전트 프로토콜을 제시했습니다.
2. 이단계 오케스트레이션 프레임워크: 기준선 확립과 반복적 자기 개선을 분리하고, 각 최적화 라운드 내에서 가설 생성, 구현, 평가를 분리하는 구조를 제안했습니다.
3. 산업용 최적화 워크플로우를 위한 통일된 프로토콜 추상화: 표준 실행 인터페이스, 구성 가능한 평가 파이프라인, 라운드 단위 시스템 변경 추적을 제공합니다.
4. 실증적 검증: 프롬프트 튜닝, 하이퍼파라미터 미세 조정, 규칙 기반 최적화, 코드 개선 등 4 가지 다양한 작업에 대한 구체적인 구현과 실험을 통해 프로토콜 기반 오케스트레이션이 안정적이고 재현 가능하며 추적 가능한 최적화 궤적을 제공함을 입증했습니다.

4. 실험 결과 (Results)

EPOCH 는 4 가지 다른 작업 시나리오에서 평가되었으며, 공통 프로토콜이 이질적인 최적화 목표를 어떻게 지원하는지 보여주었습니다.

• 코드 개선 (Fibonacci 계산기):
  • 결과: 초기 반복 알고리즘 (O(n)) 을 고속 이항 알고리즘 (Fast Doubling) 으로 변경한 후, GMP 라이브러리 활용으로 최적화하여 실행 시간을 획기적으로 단축했습니다.
  • 의의: 정합성 (Correctness) 달성 후 자동으로 성능 최적화 단계로 전환하고, 더 이상의 개선이 불가능할 때 자동으로 종료 (Self-termination) 하는 능력을 입증했습니다.
• 하이퍼파라미터 미세 조정 (MNIST 분류):
  • 결과: Adam 에서 AdamW 로 변경 후 학습률 조정을 시도했으나, 과적합 (Overfitting) 징후가 나타나 거절되었습니다. 이후 SGD 로 전략을 변경하여 검증 세트 성능을 회복하고 훈련 - 검증 격차를 줄였습니다.
  • 의의: 엄격한 훈련/검증 분리, 명시적 거절 (Rejection), 그리고 성능 저하 시 재시도 (Retry) 메커니즘이 작동함을 보여주었습니다.
• 프롬프트 튜닝 (SST-2 감정 분류):
  • 결과: 도메인 프레이밍 추가 및 소수 샷 (Few-shot) 예제 도입을 통해 검증 세트 정확도를 100% 로 달성했습니다.
  • 의의: 훈련 데이터와 평가 데이터를 엄격히 분리하여 데이터 누출 (Leakage) 을 방지하고, 평가 무결성을 유지하면서 프롬프트를 자율적으로 개선할 수 있음을 증명했습니다.
• 규칙 기반 최적화 (Iris 분류):
  • 결과: 초기 규칙을 개선하여 검증 세트 정확도를 100% 달성했으나, 추가적인 훈련 데이터 최적화는 검증 세트 성능 향상을 가져오지 못해 거절되었습니다.
  • 의의: 학습된 모델이 아닌 기호적 (Symbolic) 시스템에서도 평가 무결성을 유지하고, 검증 세트 성능이 포화 상태일 때 불필요한 최적화를 중단하는 능력을 보여주었습니다.

공통 발견 사항:

• 모든 작업에서 최적화는 명시적인 상태 전이 (Explicit State Transitions) 의 시퀀스로 변환되었습니다.
• 성능 저하 시 체계적인 거절 및 재시도 메커니즘이 작동했습니다.
• 성능 포화 또는 한계 도달 시 최적화를 자동으로 종료하여 자원을 효율적으로 사용했습니다.

5. 의의 및 결론 (Significance)

EPOCH 는 특정 작업에 최적화된 새로운 최적화기를 제안하는 것이 아니라, 반복적 개선을 재현 가능한 엔지니어링 프로세스로 조직화하는 프로토콜 레이어를 제공한다는 점에서 의미가 있습니다.

• 산업 적용 가능성: 실제 배포 환경 (Production) 에서는 코드, 설정, 데이터 파이프라인, 모델 등이 복잡하게 얽혀 있어, 단일 아티팩트 개선만으로는 부족합니다. EPOCH 는 이러한 이질적 구성 요소 간의 조율된 최적화를 가능하게 하며, 재현성, 추적성, 평가 무결성을 보장합니다.
• 확장성: 현재는 단일 목표 최적화에 집중되어 있으나, 향후 복잡한 시스템 (학습 파이프라인, 추론 전략, 모니터링 등) 에서 여러 전문 에이전트가 협력하는 다중 에이전트 조정 (Multi-agent Coordination) 으로 확장될 수 있는 기반을 마련했습니다.

결론적으로 EPOCH 는 자율 에이전트 기반 최적화를 단순한 실험을 넘어, 안정적이고 감사 가능한 (Auditable) 산업용 워크플로우로 전환할 수 있는 핵심 인프라를 제시합니다.