IronEngine: Towards General AI Assistant

이 논문은 데스크톱 UI, API, 로컬/클라우드 모델 백엔드, 지속적 메모리, 재사용 가능한 스킬, MCP 호환 확장성 및 하드웨어 통합을 하나의 통합 오케스트레이션 코어로 연결하고, 3 단계 파이프라인과 적응형 모델 관리 시스템을 통해 계획의 질과 실행 능력을 분리하여 설계된 범용 AI 어시스턴트 플랫폼 'IronEngine'의 아키텍처, 성능, 및 비교 분석을 제시합니다.

핵심

IronEngine: 당신의 개인 비서가 '팀워크'로 일하는 방법

이 논문은 **"IronEngine"**이라는 새로운 인공지능 (AI) 조수 시스템을 소개합니다. 기존의 AI 가 "하나의 거대한 두뇌"로 모든 일을 하려다 실패하거나, 데이터가 외부로 나가는 문제를 해결하기 위해 고안된 시스템 설계에 대한 이야기입니다.

쉽게 말해, IronEngine 은 AI 를 혼자서 모든 일을 하는 천재가 아니라, 서로 다른 역할을 맡은 전문 팀으로 운영하는 방식입니다.

---

1. 핵심 아이디어: "팀워크가 천재를 이긴다" (Three-Phase Pipeline)

기존 AI 는 "질문 받음 → 생각함 → 행동함"을 한 번에 하려고 합니다. 하지만 IronEngine 은 이를 세 단계로 나누어, 각 단계에 가장 적합한 '직원'을 배치합니다.

• 1 단계: 기획팀 (Planner & Reviewer) - "회의실"

  • Planner(기획자): 사용자의 요청을 듣고 "어떻게 해야 할지" 계획을 세웁니다. (예: "파일 정리할 거야. 먼저 폴더를 만들고, 그다음 파일을 옮기고...")
  • Reviewer(검수자): 이 계획이 엉뚱한 건 아닌지, 헛소리는 아닌지 꼼꼼히 검토합니다. "아니야, 그건 파일이 없는데 옮길 수 없어. 다시 생각해 봐."라고 지적합니다.
  • 비유: 마치 건축가가 설계도를 그렸을 때, 다른 엔지니어가 "이건 안전하지 않아"라고 지적하고 수정하는 과정입니다. 이 단계에서는 실제 행동은 하지 않고 계획만 다듬습니다.

• 2 단계: 교대 근무 (Model Switch) - "근무 교대"

  • 기획과 검토를 맡은 '고급 두뇌' (무겁고 비싼 모델) 를 컴퓨터 메모리에서 꺼내고, 실제 일을 할 '실무자' (가볍고 빠른 모델) 를 메모리에 넣습니다.
  • 비유: 회의를 하던 고위 임원들이 퇴근하고, 현장 작업자들이 출근하는 것과 같습니다. 이렇게 하면 컴퓨터가 느려지지 않고 효율적으로 일할 수 있습니다.

• 3 단계: 실행팀 (Executor) - "현장 작업"

  • 검수를 통과한 계획대로 실제로 파일을 옮기거나, 웹을 검색하거나, 프로그램을 실행합니다.
  • 비유: 설계도대로 건물을 짓는 시공 팀입니다.

---

2. IronEngine 의 특별한 능력들

이 시스템은 단순한 대화만 하는 게 아니라, 당신의 컴퓨터와 인터넷을 직접 다룰 수 있습니다.

• 24 가지의 다양한 도구 (Tool System):

  • AI 는 파일 관리, 웹 검색, 메신저 (위챗 등) 전송, 화면 제어, 영상 분석 등 24 가지의 다양한 도구를 다룰 수 있습니다.
  • 자동 교정 기능: AI 가 "파일 삭제"라고 말했는데 실수로 "웹 검색" 도구를 쓰려고 하면, 시스템이 알아서 "아, 파일 삭제 도구를 써야지!"라고 자동으로 수정해 줍니다. (비유: 직원이 실수한 주문을 매니저가 알아서 바로잡아 주는 것)

• 기억력 (Memory & Skills):

  • 기억: 이전 대화 내용을 잊지 않고, 중요한 정보는 정리해서 저장합니다. "어제 그 파일 어디에 뒀지?"라고 물어보면 기억해 냅니다.
  • 기술 습득: 성공적으로 일을 마친 후, 그 과정을 '기술 (Skill)'로 저장해 둡니다. 다음에 비슷한 일이 오면 처음부터 다시 생각하지 않고, 저장된 기술을 바로 꺼내 써서 더 빠르고 정확하게 처리합니다.

• 개인정보 보호 (Local-First):

  • 이 시스템은 당신의 컴퓨터 안에서만 돌아갑니다. 민감한 문서나 개인 대화 내용이 외부 서버로 나가지 않습니다. (비유: 외부에 고용된 비서가 아니라, 당신 집 안에 있는 비서)

---

3. 왜 이것이 중요한가요? (기존 AI 와의 차이)

• 기존 AI (ChatGPT 등): 하나의 거대한 모델이 모든 걸 합니다. 하지만 복잡한 일을 하려면 컴퓨터가 느려지고, 개인정보가 외부로 나갈 위험이 있습니다.
• 기존 오픈소스 (OpenClaw 등): 여러 기기를 연결하는 데는 좋지만, 복잡한 작업을 계획하고 검토하는 '깊은 생각' 능력은 부족합니다.
• IronEngine: 개인 컴퓨터에서도 복잡한 작업을 팀워크로 처리하며, 실수하지 않도록 검수를 거칩니다.

---

4. 요약: IronEngine 은 어떤 시스템인가?

IronEngine 은 **"하나의 거대한 천재 AI"**를 만드는 대신, **"각자 전문 분야를 가진 작은 AI 팀"**을 만들어서 일하게 하는 시스템입니다.

1. 기획팀이 계획을 세우고, 검수팀이 그 계획을 다듬습니다.
2. 계획이 확정되면 현장 작업팀이 실제 일을 합니다.
3. 실수가 생기면 시스템이 알아서 고쳐주고, 잘된 일은 기술로 저장해 둡니다.
4. 모든 일은 당신의 컴퓨터 안에서 안전하게 처리됩니다.

이 방식은 AI 가 단순히 "대화를 나누는 친구"를 넘어, 당신의 컴퓨터를 대신해서 실제 일을 해주는 진정한 비서가 될 수 있는 길을 보여줍니다.

기술 요약

IronEngine: 범용 AI 어시스턴트를 위한 시스템 설계 및 기술 요약

1. 개요 (Introduction)

본 논문은 대규모 언어 모델 (LLM) 이 단순한 대화 시스템에서 도구 사용, 기억, 환경 상호작용이 가능한 장기 실행 에이전트로 진화함에 따라, 모델 자체의 성능뿐만 아니라 시스템 아키텍처가 실제 AI 어시스턴트의 가치를 결정한다는 점을 강조합니다. 저자 Xi Mo(NiusRobotLab) 는 단일 모델 엔드포인트를 감싸는 것이 아니라, 데스크톱 UI, REST/WebSocket API, 로컬/클라우드 모델 백엔드, 지속적 메모리, 작업 스케줄링, 재사용 가능한 스킬, 24 가지 도구 실행, MCP(Model Context Protocol) 호환성 등을 통합한 IronEngine이라는 범용 AI 어시스턴트 플랫폼을 제안합니다.

2. 해결하려는 문제 (Problem Statement)

기존 AI 어시스턴트 시스템이 직면한 5 가지 주요 시스템적 문제를 해결하기 위해 설계되었습니다.

1. 단편화 문제 (Fragmentation Problem): ChatGPT(웹), Claude Code(CLI), Cursor(IDE 플러그인) 등 각기 다른 도구를 사용해야 하며, 단일 시스템이 데스크톱 자동화, 웹 검색, 파일 조작, 메신저 등을 통합하지 못함.
2. 단일 모델 병목 현상 (Single-Model Bottleneck): 복잡한 추론과 단순한 도구 호출을 하나의 모델이 모두 수행해야 하므로, 대형 모델은 리소스 낭비가 발생하고 소형 모델은 추론 능력이 부족함.
3. 일시적 어시스턴트 문제 (Ephemeral Assistant Problem): 세션 간 상태가 유지되지 않아 매번 컨텍스트를 재설치해야 함. 학습된 스킬이나 누적된 지식이 저장되지 않음.
4. 로컬 배포의 어려움 (Local Deployment Challenge): 개인 정보 보호를 위해 로컬 실행이 필요하지만, 소비자용 하드웨어 (VRAM 제한) 에서 다양한 모델 아키텍처를 관리하고 컨텍스트 윈도우를 최적화하는 것이 어려움.
5. 도구 통합 문제 (Tool Integration Problem): 도구 호출 시 별칭 (alias) 이 없거나, 모델이 잘못된 도구 유형을 지정할 경우 시스템이 실패함. 자동 오류 수정 및 페일백 (fallback) 메커니즘이 부재함.

3. 방법론 및 아키텍처 (Methodology & Architecture)

IronEngine 은 4 계층 구조 (인터랙션, 오케스트레이션, 기능, 환경) 를 기반으로 하며, 핵심은 3 단계 파이프라인과 다중 모델 오케스트레이션입니다.

3.1 3 단계 파이프라인 (Three-Phase Pipeline)

작업의 품질 (계획) 과 실행 능력 (도구 호출) 을 분리하여 서로 다른 모델을 할당합니다.

1. Phase 1: Discussion (토론):
   • Planner(계획자): 사용자 요청을 분석하여 도구 호출 순서를 포함한 텍스트 계획을 생성합니다.
   • Reviewer(검토자): Planner 의 계획을 평가합니다. 할루시네이션 (도구 없이 결과 주장), 기억 재활용 (낡은 정보 사용), 완전성, 실행 가능성을 검증합니다.
   • 품질 게이트: Reviewer 가 점수 (0.01.0) 를 매기고 피드백을 제공합니다. 점수가 임계값 미만이면 Planner 가 수정을 반복합니다 (최대 35 라운드).
2. Phase 2: Model Switch (모델 전환):
   • VRAM(비디오 메모리) 관리 시스템을 통해 Planner/Reviewer 모델을 GPU 에서 언로드하고, 실행 전용인 Executor 모델을 로드합니다.
   • 이 과정은 약 27 초 소요되며, 간단한 작업 (4 회 이하 도구 호출) 의 경우 모델 전환을 생략하여 지연 시간을 줄입니다.
3. Phase 3: Execution (실행):
   • Executor: 승인된 계획을 바탕으로 구조화된 형식 ([TOOL_CALL: ...]) 으로 도구 호출 마커를 생성합니다.
   • Tool Router: 생성된 호출을 24 가지 도구 카테고리 중 적절한 것으로 라우팅하고 실행 결과를 Executor 에 피드백합니다.

3.2 핵심 시스템 구성 요소

• 지능형 도구 라우팅 (Intelligent Routing): 130 개 이상의 별칭을 24 가지 표준 카테고리로 정규화하고, 모델이 잘못된 도구 유형 (예: cli 대신 file_ops) 을 지정할 경우 문맥 기반으로 자동 수정 (Auto-correction) 합니다.
• 계층적 메모리 시스템 (Hierarchical Memory): 세션, 파이프라인, 일별 요약, 정제된 지식 등 4 단계 메모리 구조를 가지며, Merge A(빠른 중복 제거) 와 Merge B(모델 기반 요약) 전략을 통해 장기 기억을 관리합니다.
• 적응형 모델 관리 (Adaptive Model Management): VRAM-aware 컨텍스트 예산 할당, 모델 크기별 계층적 프롬프트 시스템 (Small/Medium/Large 모델에 따라 SOUL 프롬프트 길이 조절), 동적 능력 감지 기능을 제공합니다.
• 스킬 학습 (Skill Learning): 성공적인 실행 (사용자 평가 7 점 이상) 을 기반으로 벡터 데이터베이스 (ChromaDB) 에 재사용 가능한 스킬을 자동으로 학습하고 저장합니다.

4. 주요 기여 (Key Contributions)

1. 역할 기반 다중 모델 협업: 계획 (Planner), 검토 (Reviewer), 실행 (Executor) 에 서로 다른 크기의 모델을 할당하여 소비자용 GPU(예: RTX 3090) 에서도 고품질 작업을 수행 가능하게 함.
2. 공식적인 품질 보증 메커니즘: Reviewer 역할을 통한 할루시네이션 방지 및 구조화된 피드백 루프를 도입하여 실행 전 계획의 신뢰성을 보장함.
3. 강력한 로컬 배포 지원: Ollama, LM Studio 와 통합하여 완전 로컬 실행이 가능하며, VRAM 제약을 고려한 모델 생명주기 관리 (VRAM-aware context budgeting) 를 구현함.
4. 지능형 도구 라우팅 및 자동 수정: 24 가지 도구 카테고리를 지원하며, 모델의 오류를 시스템 레벨에서 자동 수정하여 도구 호출 실패율을 획기적으로 감소시킴.
5. 관측 가능성 (Observability): 데스크톱 워크벤치를 통해 AI 의 사고 과정 (Thinking blocks), 도구 실행 상태, 품질 점수를 실시간으로 시각화하여 디버깅과 이해를 용이하게 함.

5. 실험 결과 (Experimental Results)

RTX 3090(24GB VRAM) 환경에서 로컬 모델 (Qwen3.5:27B, GPT-OSS:20B, Phi4-mini:3.8B) 을 사용하여 평가했습니다.

• 파일 조작 벤치마크: 4 가지 복잡한 파일 작업 (특수 문자 경로 포함 등) 에서 100% 성공률을 기록했습니다. 평균 실행 시간은 약 385 초였으며, 이는 로컬 모델 추론 속도에 의해 제한됨.
• 파이프라인 시간 분포: 전체 시간의 70~80% 가 모델 추론 (Planner+Reviewer+Executor) 에 소요되었고, 실제 도구 실행은 1% 미만 (2 초 미만) 이었습니다.
• 도구 라우팅 정확도: 자동 수정 메커니즘을 통해 100% 정확도를 달성했으며, 모델이 잘못된 도구 유형을 지정하더라도 시스템이 이를 교정하여 성공적으로 실행했습니다.
• 다중 모델 협업: Reviewer 의 피드백을 통해 14B Planner 의 계획 품질이 0.100.20 에서 0.800.85 로 크게 향상되었습니다.
• VRAM 관리: 24GB VRAM 에서 27B 모델과 20B 모델을 동시에 로드할 수는 없으나, 단계별 로드 (Model Switch) 를 통해 제한된 하드웨어에서 다중 모델 오케스트레이션을 성공적으로 수행했습니다.

6. 의의 및 결론 (Significance & Conclusion)

IronEngine 은 AI 어시스턴트의 발전이 단순히 더 큰 모델을 사용하는 것이 아니라, 시스템 아키텍처, 오케스트레이션, 관측 가능성, 안전성, 장기적 적응성에 달려 있음을 보여줍니다.

• 기술적 의의: 로컬 환경에서도 중소형 오픈소스 모델을 체계적으로 오케스트레이션하여 실용적인 자동화 수준을 달성할 수 있음을 입증했습니다.
• 상업적/실용적 의의: 클라우드 의존도를 줄이고 개인 정보 보호 (Local-first) 를 강화하면서도, 클라우드 기반 시스템에 버금가는 도구 폭과 메모리 기능을 제공합니다.
• 미래 전망: OpenClaw 생태계 (메시지 라우팅 중심) 와 IronEngine(오케스트레이션 깊이 중심) 은 상호 보완적이며, 향후 MCP 생태계와의 양방향 연동 및 멀티모달 기능 심화를 통해 범용 AI 어시스턴트의 표준 아키텍처로 자리 잡을 가능성이 있습니다.

이 연구는 AI 에이전트 시스템 공학에 있어 "역할 분리", "자동 수정", "관측 가능성", "메모리 제약 관리"가 핵심 설계 원칙임을 강조하며, 향후 개인 중심의 프라이버시 보호형 AI 플랫폼 개발에 중요한 기반을 제공합니다.