GEMS: Agent-Native Multimodal Generation with Memory and Skills

1. 문제 제기 (Problem)

최근 멀티모달 생성 모델 (Text-to-Image 등) 은 일반적인 생성 작업에서 뛰어난 성과를 거두었으나, 다음과 같은 한계에 직면해 있습니다.

• 복잡한 지시사항 처리의 어려움: 다층적이고 정교한 프롬프트 (예: 특정 공간 관계, 복잡한 텍스트 렌더링, 예술적 스타일) 를 정확하게 따르는 데 실패합니다.
• 특화된 하위 작업의 부재: 학술 일러스트레이션, 창의적 드로잉 등 특정 도메인에서는 일반 목적 모델의 성능이 한계에 부딪힙니다.
• 기존 에이전트 프레임워크의 한계: 기존 다중 에이전트 시스템은 단순한 반복 (Successive single-step updates) 이나 과도한 정보 중복 (Context accumulation) 으로 인해 효율성이 떨어지거나, 특정 작업에 최적화되어 있어 일반적인 생성 파이프라인과 통합하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 **GEMS (Agent-Native Multimodal GEneration with Memory and Skills)**라는 새로운 프레임워크를 제안했습니다. 이는 Claude Code 와 같은 선진 에이전트 프레임워크에서 영감을 받아, 생성 과정을 단순한 '한 번의 추론'이 아닌 '반복적 최적화 문제'로 재정의합니다. GEMS 는 세 가지 핵심 구성 요소로 이루어져 있습니다.

① 에이전트 루프 (Agent Loop)

생성 품질을 점진적으로 향상시키기 위한 구조화된 다중 에이전트 협업 프레임워크입니다.

• Planner: 사용자 프롬프트를 분석하고 관련 도메인 스킬을 식별하여 초기 프롬프트를 강화합니다.
• Decomposer: 복잡한 프롬프트를 이진 (Yes/No) 검증 가능한 원자적 (Atomic) 시각 요구사항으로 분해합니다.
• Generator: 현재 최적화된 프롬프트로 이미지를 생성합니다.
• Verifier: 생성된 이미지를 분해된 요구사항과 비교하여 실패한 지점을 진단하는 피드백 벡터를 생성합니다.
• Refiner: 피드백과 과거의 경험을 분석하여 다음 라운드를 위한 프롬프트를 수정합니다.
• 작동 방식: 모든 요구사항이 충족되거나 최대 반복 횟수에 도달할 때까지 폐쇄 루프 (Closed-loop) 방식으로 반복됩니다.

② 에이전트 메모리 (Agent Memory)

단순한 컨텍스트 누적이 아닌, 계층적 압축 (Hierarchical Compression) 전략을 적용한 지속적 메모리 시스템입니다.

• 사실적 아티팩트 (Factual Artifacts): 프롬프트, 생성된 이미지, 검증 피드백 등 객관적 데이터는 원본 형태로 저장하여 정확성을 유지합니다.
• 경험 요약 (Experiential Summaries): 추론 과정 (Chain-of-Thought) 은 'Compressor'를 통해 간결한 '경험 (Experience)'으로 압축되어 저장됩니다. 이는 정보의 중복을 줄이고, Refiner 가 긴 문맥에서 전략적 통찰력을 얻을 수 있게 합니다.
• 효과: 전체 최적화 궤적에 대한 글로벌 뷰를 제공하면서도 토큰 효율성을 극대화합니다.

③ 에이전트 스킬 (Agent Skill)

도메인별 전문 지식을 **온디맨드 (On-demand)**로 로드하는 확장 가능한 모듈입니다.

• 스킬 매니저: 사용자 요청에 맞춰 '창의적 드로잉', '공간 지능', '텍스트 렌더링' 등 특정 스킬을 트리거합니다.
• 점진적 노출: 모든 스킬 지식을 미리 로드하는 것이 아니라, 필요한 경우에만 상세한 지침을 로드하여 계산 부하를 줄이고 확장성을 높입니다.
• 유연성: 마크다운 파일 (SKILL.md) 만 추가하면 새로운 도메인 지식을 쉽게 시스템에 통합할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. GEMS 프레임워크 제안: 반복적 정제, 지속적 궤적 메모리, 도메인별 스킬을 통합하여 복잡한 지시사항과 하위 작업 성능을 획기적으로 개선한 에이전트 네이티브 멀티모달 생성 프레임워크를 개발했습니다.
2. 계층적 압축 메모리 메커니즘: 다중 턴 최적화 과정에서 역사적 컨텍스트를 효율적으로 관리하기 위해 사실 데이터와 추론 경험을 계층적으로 압축 저장하는 새로운 방식을 도입했습니다.
3. 확장 가능한 스킬 모듈: 온디맨드 로딩 방식을 통해 시스템에 도메인별 전문성을 쉽게 추가할 수 있는 모듈러 아키텍처를 설계했습니다.
4. 광범위한 실험 검증: 5 개의 주요 벤치마크와 4 개의 하위 작업에서 다양한 생성 백엔드 (Z-Image-Turbo, Qwen-Image 등) 를 통해 GEMS 의 유효성을 입증했습니다.

4. 실험 결과 (Results)

GEMS 는 경량화된 6B 모델인 Z-Image-Turbo를 사용하여 주요 벤치마크에서 최첨단 (SOTA) 폐쇄형 모델들을 능가하는 성과를 거두었습니다.

• 주요 벤치마크 (Mainstream Tasks):
  • GenEval2: Z-Image-Turbo + GEMS 가 63.5 점을 기록하여, SOTA 모델인 Nano Banana 2(44.6 점) 보다 압도적으로 높은 성능을 보였습니다.
  • 평균 성능 향상: 5 개 주요 벤치마크에서 평균 14.22 점의 정규화된 점수 향상을 달성했습니다.
• 하위 작업 (Downstream Tasks):
  • 텍스트 렌더링, 공간 지능, 창의적 드로잉 등 4 개 특화 작업에서 평균 14.03 점의 향상을 보였으며, 기존 인퍼런스 타임 스케일링 기법 (Rewrite, Search 등) 보다 월등히 우수한 성능을 입증했습니다.
• 모델 일반화: 20B 모델인 Qwen-Image-2512 에 적용했을 때도 평균 16.24 점 (주요 작업) 및 7.96 점 (하위 작업) 의 향상을 보이며 프레임워크의 확장성을 입증했습니다.
• 효율성: 평균 생성 이미지 수 대비 성능이 가장 우수하여, 더 적은 리소스로 더 높은 품질을 달성함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 생성 분야에서 **에이전트 기반 사고 (Agentic Reasoning)**가 모델의 본질적 한계를 넘어서는 강력한 해법이 될 수 있음을 보여줍니다.

• 모델 크기의 한계 극복: 거대 모델이 아니더라도, GEMS 와 같은 에이전트 프레임워크를 통해 경량 모델 (6B) 이 최첨단 대형 모델 (Nano Banana 2 등) 을 능가할 수 있음을 입증했습니다.
• 새로운 패러다임: 단순한 프롬프트 엔지니어링을 넘어, 메모리와 스킬을 활용한 구조화된 반복 최적화가 복잡한 멀티모달 태스크 해결의 핵심임을 제시했습니다.
• 미래 전망: 이 연구는 비디오 생성 등 더 복잡한 멀티모달 영역으로의 확장과, 생성뿐만 아니라 편집 (Editing) 을 포함한 통합 에이전트 시스템 개발의 토대를 마련했습니다.

요약하자면, GEMS는 생성 모델이 복잡한 지시를 이해하고 전문적인 작업을 수행할 수 있도록 돕는 '지능형 코파일럿' 역할을 하며, 모델 자체의 용량을 늘리는 대신 지능적인 에이전트 워크플로우를 통해 성능을 극대화하는 새로운 방향성을 제시합니다.