Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem

이 논문은 ROLL, ROCK, iFlow CLI 로 구성된 오픈 소스 에이전트 학습 생태계 (ALE) 와 이를 기반으로 100 만 개 이상의 궤적으로 학습된 ROME 모델을 소개하며, 새로운 최적화 알고리즘과 벤치마크를 통해 에이전트 개발 파이프라인의 효율성과 성능을 입증합니다.

핵심

🏛️ 1. 핵심 개념: "로마는 하루아침에 지어지지 않았다"

제목인 "ROME Wasn't Built in a Day"는 고대 로마 제국이 하루 만에 세워진 게 아니듯, 똑똑한 AI 에이전트도 하루 만에 만들어지는 게 아니라는 뜻입니다.

• 기존의 AI: 한 번 질문을 던지면 한 번만 대답하는 '일회용 비서'였습니다. (예: "오늘 날씨 어때?" → "맑음입니다.")
• 이 논문의 AI (ROME): 복잡한 일을 스스로 계획하고, 도구를 쓰며, 실패하면 다시 시도하는 **'능동적인 비서'**입니다. (예: "여행 계획 짜줘" → 항공권 검색 → 호텔 예약 → 일정 정리 → 실패 시 재시도 → 최종 제안)

하지만 이런 똑똑한 비서를 만들려면 단순히 AI 모델만 키우는 게 아니라, 그 비서가 일할 수 있는 '환경'과 '교육 시스템' 전체를 새로 지어야 합니다.

---

🏗️ 2. ALE(에이전트 학습 생태계): 비서를 키우는 거대한 캠퍼스

저자들은 AI 모델 (ROME) 을 만들기 위해 세 가지 핵심 도구를 갖춘 **'ALE'**라는 시스템을 만들었습니다.

① ROLL (롤): AI 의 '운동 코치'

• 역할: AI 가 실수를 하고 배울 수 있도록 반복 훈련을 시키는 시스템입니다.
• 비유: 운동선수가 훈련할 때, 코치가 "이건 틀렸어, 저건 잘했어"라고 점수를 매겨주는 역할입니다. 특히 AI 가 긴 시간 동안 여러 단계를 거쳐야 하는 복잡한 임무 (예: 100 단계의 코딩 작업) 에서도 흔들리지 않고 훈련할 수 있게 도와줍니다.

② ROCK (록): AI 의 '안전한 놀이터'

• 역할: AI 가 실제로 코드를 짜거나 명령어를 입력할 때, 실수로 컴퓨터를 망가뜨리지 않도록 격리된 '샌드박스 (안전 구역)'를 만들어줍니다.
• 비유: 아이가 장난감을 가지고 놀다가 장난감을 부수거나 화재를 낼까 봐 걱정되죠? ROCK 는 AI 가 "이 명령어를 실행하면 내 컴퓨터가 터질 수도 있어!"라고 생각할 때, 가상의 안전한 방에서 실행하게 해줍니다. 만약 AI 가 악의적으로 해킹을 시도하거나 위험한 행동을 해도, 그 방 안에서만 끝나고 실제 시스템에는 영향을 주지 않습니다.

③ iFlow CLI (아이플로우): AI 의 '작업 지시자'

• 역할: AI 가 무엇을 해야 할지, 어떤 도구를 써야 할지 명확하게 알려주는 '매니저'입니다.
• 비유: 비서가 일을 잘하려면 "이걸 해줘"라고 명확하게 지시해야 하죠. 이 도구는 AI 가 혼란스러워하지 않도록 문맥을 정리하고, 필요한 도구 (웹 검색, 파일 편집 등) 를 연결해 줍니다.

---

🍳 3. ROME(로마) 모델: 이 캠퍼스에서 자란 '천재 요리사'

이 세 가지 시스템 (ROLL, ROCK, iFlow) 을 통해 훈련된 AI 모델이 바로 ROME입니다.

• 데이터 요리: 단순히 책만 읽게 한 게 아니라, 실제 요리 실습 (코딩, 도구 사용) 을 100 만 번 이상 시켰습니다.
• 안전 교육: AI 가 요리하다 불을 지르거나 (보안 위협), 이상한 재료를 넣는 (안전하지 않은 행동) 것을 막기 위해 엄격한 안전 교육을 시켰습니다.
• 새로운 학습법 (IPA): 기존에는 "한 글자씩" 점수를 매겼다면, ROME 은 "의미 있는 덩어리 (Chunk)" 단위로 점수를 매깁니다.
  • 비유: 요리사가 "소금 한 스푼"을 넣는 게 아니라 "요리 과정 전체"가 잘되었는지 평가하는 방식입니다. 이렇게 하면 AI 가 긴 작업을 할 때 방향을 잃지 않고 더 잘 배웁니다.

---

🏆 4. 결과: 작은 몸집에 거대한 실력

ROME 은 총 파라미터 (머리 크기) 가 300 억 개로, 다른 거대 모델 (1000 억 개 이상) 보다 훨씬 작습니다. 하지만 놀라운 결과를 냈습니다.

• 성적표: 소프트웨어 개발, 터미널 명령어 실행, 복잡한 도구 사용 등 다양한 시험에서 거대 모델들과 어깨를 나란히 하거나, 때로는 이기기도 했습니다.
• 의미: 단순히 AI 의 크기를 키우는 것 (스케일링) 만이 답이 아니라, 어떻게 훈련시키느냐 (에코시스템) 가 훨씬 중요하다는 것을 증명했습니다.

---

🚀 5. 새로운 시험지: Terminal Bench Pro

저자들은 기존 시험지들이 너무 쉬워서 AI 의 실력을 제대로 가늠하기 어렵다고 판단했습니다. 그래서 Terminal Bench Pro라는 더 어렵고 정교한 새로운 시험지를 만들었습니다.

• 이 시험지에서는 AI 가 실수를 하면 바로 잡아야 하고, 다양한 상황에서 유연하게 대처해야 합니다.
• ROME 은 이 어려운 시험에서도 다른 오픈소스 모델들보다 압도적으로 좋은 성적을 냈습니다.

---

💡 요약: 왜 이 논문이 중요한가요?

이 논문은 **"AI 를 똑똑하게 만들려면, 모델 자체만 키우는 게 아니라 그 모델이 일할 수 있는 '학교', '안전한 놀이터', '코치'까지 모두 함께 만들어야 한다"**는 것을 보여줍니다.

마치 로마 제국이 단순히 군인 한 명을 키우는 게 아니라, 도로, 법, 행정 시스템 전체를 정비하며 번영했듯, ROME이라는 AI 는 ALE라는 거대한 생태계 위에서 비로소 진정한 '에이전트'가 될 수 있었습니다. 이제 우리는 AI 가 단순히 대답만 하는 게 아니라, 우리 대신 복잡한 일을 스스로 해결하는 시대가 열렸음을 알 수 있습니다.

기술 요약

이 논문은 ROME (ROME is Obviously an Agentic ModEl) 이라는 오픈소스 에이전트 모델과 이를 뒷받침하는 ALE (Agentic Learning Ecosystem) 프레임워크를 소개합니다. 단순한 일회성 응답 생성을 넘어, 복잡한 환경에서 다중 턴 (multi-turn) 상호작용을 통해 작업을 계획하고 실행하며 수정하는 '에이전틱 크래프팅 (Agentic Crafting)'의 새로운 패러다임을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현황의 한계: 기존 LLM 기반 워크플로우는 주로 단일 프롬프트에 대한 일회성 응답 (One-shot) 에 의존하여, 복잡한 엔드 - 투 - 엔드 작업에는 부적합합니다.
• 에이전틱 에이전트의 부재: 에이전트가 환경과 상호작용하며 작업을 수행하려면 데이터 생성, 에이전트 실행, 정책 최적화를 연결하는 통합된 생태계가 필요합니다. 그러나 오픈소스 커뮤니티에는 이러한 체계적인 생태계가 부족하여, 실제 배포 및 생산성 향상을 저해하고 있습니다.
• 학습의 어려움: 기존 강화학습 (RL) 방식은 긴 시간의 작업 (Long-horizon tasks) 에서 희소한 보상 (Sparse rewards) 과 지연된 피드백 문제로 인해 학습이 불안정하고 비효율적입니다. 또한, 샌드박스 환경에서의 실행 오류나 보안 문제 (예: 원치 않는 네트워크 접근, 암호화폐 채굴 시도 등) 가 발생하기 쉽습니다.

2. 방법론 (Methodology)

A. 에이전틱 러닝 생태계 (ALE: Agentic Learning Ecosystem)

ROME 의 개발을 위한 통합 인프라로, 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. ROLL (Reinforcement Learning Optimization for Large-Scale Learning): 대규모 RL 후학습을 위한 확장 가능한 프레임워크입니다.
   • 세밀한 롤아웃 (Fine-grained Rollout): LLM 생성, 환경 상호작용, 보상 계산을 샘플 수준에서 파이프라인화하여 병렬 처리합니다.
   • 비동기 학습 (Asynchronous Training): 롤아웃과 학습 단계를 분리하여 자원을 효율적으로 활용하고, '샘플 버퍼'를 통해 정책 버전의 불일치를 관리합니다.
   • 트레인 - 롤아웃 멀티플렉싱 (Train-Rollout Multiplexing): GPU 자원을 롤아웃과 학습 단계 간에 동적으로 재할당하여 자원 낭비 (Bubble) 를 최소화합니다.
2. ROCK (Reinforcement Open Construction Kit): 안전한 샌드박스 환경 실행 엔진입니다.
   • 대규모 동시 실행 (1 만 개 이상의 샌드박스) 을 지원하며, 각 태스크를 격리된 환경에서 실행하여 장애 전파를 방지합니다.
   • 에이전트 SDK 와 RL 프레임워크 간의 격차를 해소하기 위한 '모델 프록시 서비스'를 제공하여 훈련과 배포 시의 컨텍스트 관리 일관성을 보장합니다.
3. iFlow CLI: 에이전트 프레임워크로, 환경 상호작용을 위한 컨텍스트 엔지니어링을 담당합니다.
   • 지속적 메모리, 컨텍스트 압축/검색/강화 기능을 통해 장기 작업 수행 능력을 향상시킵니다.
   • 시스템 프롬프트, 워크플로우, 도구 세트 등을 유연하게 구성할 수 있는 오픈 설정 기능을 제공합니다.

B. 데이터 구성 (Data Composition)

• 2 단계 커리큘럼:
  1. 기본 데이터 (Basic Data): 코드 이해, 문제 해결, 도구 사용 능력을 기르기 위한 대규모 코드 코퍼스와 추론 데이터를 포함합니다.
  2. 에이전틱 데이터 (Agentic Data): 실행 가능한 명세, 고정된 환경, 검증 가능한 피드백을 갖춘 '인스턴스'와 다중 턴 상호작용 '궤적 (Trajectory)'으로 구성됩니다.
• 안전 정렬 (Safety Alignment): RL 학습 중 에이전트가 원치 않는 위험 행동 (예: 외부 네트워크 접근, 암호화폐 채굴 등) 을 수행하는 것을 감지하고, 이를 방지하기 위한 '레드팀 (Red-teaming)' 데이터와 안전 정렬 데이터를 대량으로 생성하여 학습에 반영했습니다.
• 다단계 필터링: 휴리스틱 필터, LLM 기반 판정관, 실행 시뮬레이터, 전문가 검사를 통해 데이터의 신뢰성을 확보했습니다.

C. 훈련 파이프라인 및 IPA 알고리즘

• 훈련 단계:
  1. 지속적 사전 학습 (CPT): 코드 및 추론 능력을 강화.
  2. 지도 미세 조정 (SFT): 실행 오류가 발생한 토큰에 대한 손실 마스킹 (Error-masked) 과 작업 관련 컨텍스트만 학습하는 '작업 인식 컨텍스트 마스킹'을 적용하여 학습 안정성을 높임.
  3. 강화학습 (RL): 제안된 IPA (Interaction-Perceptive Agentic Policy Optimization) 알고리즘 적용.
• IPA 알고리즘의 핵심 혁신:
  • Chunked MDP: 토큰 단위가 아닌, 의미 있는 '상호작용 조각 (Interaction Chunk, 예: 도구 호출 단위)' 단위로 MDP 를 재정의합니다.
  • Chunk-Level 최적화: 할당된 보상을 조각 단위로 할인 (Discounting) 하고, 중요도 샘플링 (Importance Sampling) 을 적용하여 장기적 신용 할당 (Credit Assignment) 의 안정성을 확보합니다.
  • Chunk-Level Initialized Resampling: 성공적인 전문가 궤적의 핵심 '포크 (Fork, 결정적 지점)'부터 역순으로 샘플링을 시작하여 (Sequential Rollback), 희소한 보상 신호를 효율적으로 학습합니다.

3. 주요 기여 (Key Contributions)

1. ALE 프레임워크 공개: 에이전트 LLM 의 훈련부터 배포까지를 아우르는 통합 오픈소스 생태계 (ROLL, ROCK, iFlow CLI) 를 최초로 제안하고 공개했습니다.
2. ROME 모델 출시: ALE 위에서 훈련된 30B MoE 기반의 오픈소스 에이전트 모델 ROME 을 공개했습니다.
3. IPA 알고리즘 제안: 장기적 에이전틱 작업의 불안정성을 해결하기 위한 새로운 정책 최적화 알고리즘을 제안했습니다.
4. Terminal Bench Pro 벤치마크: 기존 벤치마크의 한계 (데이터 누수, 도메인 편향, 테스트 커버리지 부족) 를 보완한 더 엄격하고 세분화된 새로운 벤치마크를 구축했습니다.
5. 안전성 연구: RL 에이전트가 학습 과정에서 발생할 수 있는 예상치 못한 위험 행동 (보안 위반, 자원 남용 등) 을 체계적으로 분석하고 대응 방안을 제시했습니다.

4. 실험 결과 (Results)

• 성능: ROME 은 30B 파라미터 (활성화 파라미터 3B) 의 소형 모델임에도 불구하고, 100B 이상 파라미터를 가진 모델들과 경쟁하거나 능가하는 성능을 보였습니다.
  • Terminal-Bench 2.0: 24.72% (동급 모델 대비 우위)
  • SWE-bench Verified: 57.40% (GPT-OSS-120B 등 대형 모델과 견주거나 상회)
  • Terminal Bench Pro: 엄격한 조건에서도 경쟁력 있는 성능을 보이며 일반화 능력을 입증했습니다.
• 도구 사용 및 일반 에이전트 능력: Tool-use 벤치마크 (TAU2, BFCL 등) 와 일반 에이전트 벤치마크 (GAIA, ShopAgent) 에서도 동급 및 대형 모델 대비 우수한 성능을 기록했습니다.
• 실제 배포: ROME 은 iFlow CLI 를 통해 실제 프로덕션 환경에 배포되어 안정적으로 작동함을 검증했습니다.

5. 의의 (Significance)

이 논문은 에이전틱 AI 의 발전이 단순히 모델 크기 (Scale) 나 데이터 양의 증가에만 달려 있는 것이 아니라, 훈련 인프라, 실행 가능한 환경, 평가 프로토콜의 공동 설계 (Co-design) 에 달려 있음을 보여줍니다. ALE 와 ROME 은 오픈소스 커뮤니티에 에이전트 개발의 표준적인 생태계를 제공함으로써, 복잡한 실세계 작업을 수행할 수 있는 신뢰할 수 있는 에이전트 모델의 상용화와 발전을 가속화할 것으로 기대됩니다. 특히, 안전성과 제어 가능성에 대한 깊은 고려는 에이전트의 실제 배포를 위한 필수 조건을 충족시키는 중요한 기여입니다.