Agent Banana: High-Fidelity Image Editing with Agentic Thinking and Tooling

이 논문은 전문적인 이미지 편집 워크플로우에서 발생하는 과편집, 다턴 편집 시 객체 충실도 저하, 그리고 고해상도 평가 부재 문제를 해결하기 위해 '컨텍스트 폴딩'과 '이미지 레이어 분해' 메커니즘을 도입한 에이전트 기반 프레임워크 'Agent Banana'와 4K 해상도 벤치마크 'HDD-Bench'를 제안합니다.

핵심

🍌 에이전트 바나나: 사진 편집의 '명장'이 되다

이 논문은 **"에이전트 바나나 (Agent Banana)"**라는 새로운 인공지능 시스템을 소개합니다. 기존 AI 가 사진을 편집할 때 겪던 여러 실수를 해결하고, 마치 전문 사진작가나 디자이너처럼 정교하게 이미지를 다듬어주는 기술입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존 AI 의 문제점)

지금까지의 AI 사진 편집기는 마치 **"조금만 건드리면 전체가 망가지는 초보 요리사"**와 비슷했습니다.

• 과잉 편집 (Over-editing): "커피 잔 색만 빨갛게 바꿔줘"라고 했을 때, AI 는 커피 잔뿐만 아니라 배경의 테이블이나 옆에 있는 꽃까지 빨간색으로 바꿔버리거나, 커피 잔 모양을 뭉개버리는 실수를 자주 했습니다.
• 해상도 문제: 고화질 (4K) 원본 사진을 편집하려면 AI 가 일단 작게 줄였다가 다시 키우는 과정을 거치는데, 이 과정에서 사진의 섬세한 질감 (주름, 머리카락, 물방울 등) 이 뭉개져 버렸습니다.
• 연속 작업의 실패: "1 번은 배경을 바꾸고, 2 번은 물체 색을 바꾸고, 3 번은 다시 1 번 상태로 되돌려줘"라고 여러 번 지시하면, AI 는 앞선 작업을 기억하지 못하거나 엉뚱한 방향으로 수정해버렸습니다.

2. 에이전트 바나나의 해결책: "두 명의 전문가 팀"

에이전트 바나나는 혼자 모든 일을 하는 게 아니라, 두 명의 전문가가 팀을 이루어 일합니다.

🧠 ① 기획자 (Planner): "현장 지휘관"

• 역할: 사용자의 복잡한 명령 (예: "여름 휴가 느낌으로 바꿔줘") 을 듣고, "무엇을, 어떻게, 어떤 순서로" 할지 구체적인 계획서를 짭니다.
• 비유: 건축 현장의 건축주나 감독과 같습니다. "벽을 칠하고, 창문을 바꾸고, 바닥을 갈아라"라고 전체 흐름을 지시하지만, 직접 벽돌을 나르지는 않습니다.

🛠️ ② 실행자 (Executor): "정교한 장인"

• 역할: 기획자의 지시를 받아 실제 편집 작업을 수행합니다. 하지만 전체 사진을 한 번에 바꾸는 게 아니라, 필요한 부분만 잘라내서 (Layer) 작업합니다.
• 비유: 미세한 수리공이나 화장사와 같습니다. 눈썹만 다듬을 때 얼굴 전체를 다시 그리지 않고, 눈썹 부분만 정밀하게 다듬습니다.

3. 두 가지 핵심 기술 (비유로 설명)

이 시스템이 기존 AI 와 다른 점은 두 가지 특별한 기술 덕분입니다.

📜 기술 1: "맥락 접기 (Context Folding)" - 기억력 향상

• 문제: 긴 대화 (여러 번의 편집) 를 하다 보면 AI 가 기억할 게 너무 많아져서 혼란스러워집니다.
• 해결: 에이전트 바나나는 긴 대화 내용을 **핵심 요약본 (구조화된 메모)**으로 압축합니다.
• 비유: 긴 소설책을 읽다가 중간에 멈췄을 때, 책갈피와 요약 노트만 보고도 "어디까지 읽었지? 다음에 뭐 해야지?"를 정확히 기억하는 것과 같습니다. 덕분에 수십 번의 편집을 해도 처음 의도를 잊지 않습니다.

🖼️ 기술 2: "이미지 레이어 분해 (Image Layer Decomposition)" - 정밀 수술

• 문제: 기존 AI 는 사진을 편집할 때 전체를 다시 그리는 바람에, 고치지 않은 부분까지 흐릿해지거나 변형되었습니다.
• 해결: 에이전트 바나나는 **필요한 부분만 잘라낸 '레이어 (층)'**에서만 작업을 합니다. 나머지는 원본 그대로 '동결 (Freeze)'시켜 둡니다.
• 비유: 포토샵 레이어를 생각해보세요. 배경을 바꾸고 싶을 때, 배경 레이어만 수정하고 사람 레이어는 그대로 둡니다. 에이전트 바나나는 이 방식을 고화질 (4K) 에서도 완벽하게 구현하여, 수정하지 않은 부분의 질감은 원본 그대로 유지합니다.

4. 새로운 시험장: HDD-Bench

이 기술을 검증하기 위해 연구진은 HDD-Bench라는 새로운 시험지를 만들었습니다.

• 특징: 단순히 "예쁘게 만들어줘"가 아니라, **"4K 고화질로, 3 번에 걸쳐 순서대로 편집하고, 변하지 말아야 할 부분은 절대 건드리지 마라"**는 식의 전문가급 난이도 문제입니다.
• 결과: 에이전트 바나나는 이 시험에서 다른 AI 들보다 훨씬 높은 점수를 받으며, 고화질 유지와 오류 누적 방지 면에서 압도적인 성능을 보여주었습니다.

5. 결론: 왜 이것이 중요한가요?

에이전트 바나나는 AI 가 **"단순한 그림 그리기"**를 넘어 **"전문적인 작업 도구"**로 성장할 수 있는 발판을 마련했습니다.

• 전문가용: 사진작가, 디자이너, 영화 제작자들이 고화질 원본을 손상 없이 편집할 수 있게 됩니다.
• 신뢰성: "이 부분을 고쳤는데, 저 부분은 왜 변했지?"라는 실수가 줄어들어 AI 에 대한 신뢰가 높아집니다.

한 줄 요약:

에이전트 바나나는 고화질 사진을 다룰 때, 필요한 부분만 정밀하게 수술하되 나머지는 원본 그대로 보존하는 '명장급' AI 편집 시스템입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 지시 기반 (Instruction-based) 이미지 편집 모델들은 전문적인 워크플로우를 충족시키기에 다음과 같은 세 가지 주요 한계를 가지고 있습니다:

1. 과도한 편집 (Over-editing): 사용자의 의도보다 훨씬 더 많은 내용을 변경하거나, 비대상 영역 (배경 등) 을 손상시키는 경우가 빈번합니다.
2. 단일 턴 중심의 한계: 대부분의 모델이 단일 턴 (Single-turn) 편집에 최적화되어 있어, 다중 턴 (Multi-turn) 편집 시 객체의 충실도 (Faithfulness) 가 떨어지거나 문맥이 끊어지는 문제가 발생합니다.
3. 해상도 불일치: 현재 대부분의 평가는 약 1K 해상도에서 이루어지지만, 실제 전문 워크플로우 (사진, VFX, 영화 제작 등) 는 4K 이상의 초고해상도 (Native Resolution) 이미지를 다룹니다. 기존 모델은 다운샘플링을 거치거나 전체 이미지를 재생성하는 과정에서 미세한 질감과 경계가 손상됩니다.

2. 방법론 (Methodology)

이 논문은 Agent Banana라는 계층적 에이전트 계획자 - 실행자 (Planner-Executor) 프레임워크를 제안합니다. 이 시스템은 비전 - 언어 모델 (VLM) 의 추론 능력과 도구 사용 능력을 결합하여 고충실도, 객체 인식 기반의 이미지 편집을 수행합니다.

핵심 메커니즘

1. 컨텍스트 폴딩 (Context Folding):

   • 장기적인 (Long-horizon) 편집 작업에서 발생하는 토큰 한계와 컨텍스트 과부하를 해결하기 위해 고안되었습니다.
   • 상호작용 기록을 세 가지 수준으로 계층화하여 압축합니다:
     • Asset Level (ImageContext): 이미지의 시맨틱 노드 (URI, 설명, 변환 유형) 로 추상화하여 전체 이력을 추적합니다.
     • Execution Level (ToolContext): 단일 단계의 실행 세부사항 (도구 선택, 매개변수) 을 임시 메모리로만 사용합니다.
     • Planning Level (ActionContext): 검증된 유효한 편집 경로와 최종 의도만 영구 메모리에 저장합니다.
   • 이를 통해 에이전트는 토큰 제한을 초과하지 않으면서도 수십 턴에 걸친 작업 상태를 안정적으로 추적할 수 있습니다.

2. 이미지 레이어 분해 (Image Layer Decomposition, ILD):

   • 전체 이미지를 매 단계마다 재샘플링하여 발생하는 배경 왜곡과 디테일 손실을 방지합니다.
   • 분해 - 편집 - 융합 (Decompose-Edit-Fuse) 패러다임을 사용합니다:
     • 대상 영역을 정밀하게 마스크하여 고해상도 패치 (Layer) 로 잘라냅니다.
     • 해당 패치 내에서만 편집을 수행하여 비대상 영역의 픽셀 상태를 동결 (Freeze) 시킵니다.
     • 가우시안 블렌딩 알고리즘을 사용하여 편집된 패치를 원본 이미지에 자연스럽게 합칩니다.
   • 이 방식은 4K 이상의 초고해상도 편집을 지원하며, 비대상 영역의 드리프트 (Drift) 를 방지합니다.

시스템 아키텍처

• Planner (계획자): 사용자의 복잡한 지시를 분석하여 실행 가능한 하위 목표 (Atomic sub-edits) 로 분해하고 전체 진행 상황을 모니터링합니다.
• Executor (실행자): ILD 메커니즘을 사용하여 국소 영역을 편집하고, 품질 테스트 (Quality Test) 를 통해 오류를 감지하면 재시도, 롤백, 재계획을 수행합니다.
• HDD-Bench (평가 벤치마크): 4K 해상도의 다중 턴 대화형 편집을 평가하기 위해 구축된 새로운 벤치마크입니다. 단계별 목표와 검증 가능한 상태 전이 (State Transition) 를 제공합니다.

3. 주요 기여 (Key Contributions)

1. Agent Banana 프레임워크: 고해상도, 다중 턴 편집을 위한 계층적 에이전트 시스템과 'Context Folding', 'ILD'라는 두 가지 핵심 메커니즘을 제안했습니다.
2. HDD-Bench 벤치마크: 4K 해상도 (약 1180 만 픽셀), 논리적으로 의존적인 다중 턴 지시, 단계별 검증이 가능한 최초의 고충실도 편집 벤치마크를 구축했습니다.
3. 새로운 평가 지표: 배경 보존 품질을 정량화하기 위해 Otsu-Masked PSNR/SSIM/LPIPS 를 도입하고, 'Prior-Induced Editing Drift (PIED)' 현상을 정의하여 다중 턴 편집에서의 누적 왜곡 문제를 지적했습니다.

4. 실험 결과 (Results)

HDD-Bench 및 기존 벤치마크 (ImgEdit-Bench) 에서 Agent Banana 는 최첨단 (SOTA) 성능을 입증했습니다.

• 고해상도 보존: 4K 네이티브 해상도에서 편집이 가능하며, 기존 모델들이 겪는 다운샘플링으로 인한 질감 손실을 방지했습니다.
• 다중 턴 일관성:
  • Image Consistency (IC): 0.871 (가장 높음)
  • SSIMOM (배경 보존): 0.84
  • LPIPSOM (배경 보존): 0.12 (낮을수록 좋음)
  • 기존 모델들은 턴이 거듭될수록 배경이 서서히 변형되는 'PIED' 현상을 보인 반면, Agent Banana 는 턴 간 일관성을 유지했습니다.
• 지시 준수 (Instruction Following): 복잡한 다중 목표 지시를 정확하게 분해하여 실행했으며, 단일 턴 편집에서도 경쟁력 있는 성능을 보였습니다.
• 정성적 평가: 배경의 불필요한 변경 없이 대상 객체만 정밀하게 수정하는 능력을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 이미지 편집 기술을 단순한 데모 수준을 넘어 실제 전문 워크플로우에 적용 가능한 단계로 끌어올렸습니다.

• 전문성 확보: 4K 이상의 고해상도 자산 처리와 비대상 영역의 완벽한 보존은 사진, 그래픽 디자인, VFX 산업에서 필수적인 요구사항을 충족시킵니다.
• 신뢰성 있는 에이전트: 'Context Folding'을 통한 장기 기억 관리와 'Self-reflection' 메커니즘은 에이전트가 오류를 스스로 수정하고 복잡한 작업을 안정적으로 수행할 수 있게 합니다.
• 평가 패러다임의 전환: 단일 턴 결과물이 아닌, 단계별 상태 전이와 장기적 드리프트를 평가하는 새로운 기준을 제시하여 향후 연구 방향을 제시합니다.

결론적으로 Agent Banana 는 고충실도, 다중 턴, 고해상도 편집이라는 세 가지 핵심 과제를 해결함으로써 차세대 지시 기반 이미지 편집 시스템의 표준을 제시합니다.