Agent Banana: High-Fidelity Image Editing with Agentic Thinking and Tooling

O artigo apresenta o Agent Banana, um framework agencial hierárquico que utiliza mecanismos de "Context Folding" e "Image Layer Decomposition" para realizar edição de imagens de alta fidelidade e multi-turno em resolução nativa, superando desafios como excesso de edição e perda de fidelidade, e é avaliado através do novo benchmark HDD-Bench com imagens em 4K.

O essencial

Imagine que você tem uma foto digital de altíssima qualidade, como se fosse uma pintura feita por um mestre em uma tela gigante de 4K. Agora, imagine que você quer pedir para um assistente de IA fazer algumas alterações nessa foto: "Troque a cor da garrafa", "Adicione um chapéu no cachorro" e, em seguida, "Mude a cor do chapéu para vermelho".

O problema é que a maioria dos assistentes de IA atuais funciona como um pintor desajeitado e apressado. Quando você pede uma mudança, eles muitas vezes:

1. Pintam demais: Mudam coisas que você não pediu (como a cor do céu ou o formato da mesa).
2. Esquecem o que já foi feito: Se você pedir uma segunda mudança, eles podem "apagar" a primeira ou estragar a qualidade da imagem, deixando tudo borrado.
3. Trabalham em baixa resolução: Eles olham para a foto como se fosse uma imagem pequena e pixelada, e quando tentam devolver a versão grande, ela perde todos os detalhes finos.

Agent Banana é a solução para isso. Pense nele não como um simples pintor, mas como um Chefe de Cozinha de um Restaurante Estrelado que trabalha com uma equipe especializada.

Aqui está como ele funciona, usando analogias simples:

1. O Chef e o Garçom (Planejador vs. Executor)

O sistema é dividido em duas partes que trabalham juntas:

• O Planejador (O Chef): Ele é o cérebro. Quando você dá um pedido complexo ("Quero mudar a garrafa e depois o chapéu"), ele não corre para a cozinha. Ele para, pensa e divide o pedido em passos pequenos e lógicos. Ele sabe que não pode mudar o chapéu antes de ter a garrafa pronta.
• O Executor (O Garçom/Chefe de Cozinha): Ele é quem faz o trabalho braçal. Ele pega cada passo pequeno, vai até a "geladeira" (as ferramentas de IA), pega os ingredientes certos e faz a alteração específica.

2. A Técnica do "Pote de Vidro" (Decomposição de Camadas)

Aqui está o grande truque do Agent Banana.
A maioria das IAs pega a foto inteira, mistura tudo de novo e devolve. É como tentar trocar o sal de uma sopa inteira misturando tudo de novo; você acaba alterando o sabor de tudo, não só do sal.

O Agent Banana faz o oposto. Ele usa uma técnica chamada Decomposição de Camadas.

• Imagine que a foto é um sanduíche de camadas.
• Se você quer mudar apenas o queijo, o Agent Banana corta apenas a fatia de queijo, faz a troca ali, e depois coloca a fatia de volta no sanduíche.
• O pão, a carne e o tomate (o fundo da foto) nunca são tocados. Eles permanecem exatamente como eram, com todos os detalhes originais, sem ficar borrados. Isso permite que ele trabalhe em fotos gigantes (4K) sem perder qualidade.

3. A "Memória de Bolso" (Context Folding)

Em conversas longas, as IAs costumam esquecer o que foi dito no início ou se confundir com tantas informações.
O Agent Banana tem uma memória organizada. Em vez de tentar lembrar de cada palavra que você disse, ele resume o que aconteceu em "cartões de memória".

• Exemplo: Em vez de guardar "Você disse azul, depois disse vermelho, depois disse verde", ele guarda um cartão que diz: "O chapéu está vermelho".
  Isso permite que ele faça dezenas de alterações sem ficar confuso ou "alucinando" (inventando coisas que não existem).

4. O "Checador de Qualidade" (Auto-Reflexão)

Antes de entregar o resultado final para você, o Agent Banana olha para o trabalho e pergunta: "Isso está mesmo como o cliente pediu? Eu estraguei algo que não devia?".
Se a resposta for "não", ele volta atrás, conserta o erro e tenta de novo. É como um editor de fotos profissional que revisa o trabalho antes de entregar ao cliente.

Por que isso é importante? (O Banco de Testes HDD-Bench)

Os criadores do Agent Banana perceberam que não havia testes justos para ver se essas IAs realmente funcionavam bem em fotos grandes e em várias etapas. Então, eles criaram o HDD-Bench.
Pense nisso como uma prova de estresse para carros. Em vez de apenas ver se o carro anda, eles testam se ele aguenta subir uma montanha de terra (resolução 4K) e fazer várias curvas sem quebrar (múltiplas edições). O Agent Banana passou nessa prova com nota máxima, enquanto os outros modelos falharam em manter a qualidade ou esqueceram o que foi pedido.

Resumo Final

O Agent Banana é como ter um assistente de edição de fotos que:

1. Entende o que você quer (e divide tarefas difíceis em passos fáceis).
2. Não estraga o resto da foto (trabalha apenas no que precisa ser mudado).
3. Lembra de tudo (mesmo em conversas longas).
4. Trabalha com fotos gigantes sem perder nenhum detalhe.

Ele transforma a edição de imagens de um "jogo de adivinhação" em um processo profissional e confiável, perfeito para designers, fotógrafos e qualquer pessoa que precise de precisão em suas imagens.

Resumo técnico

1. O Problema

O artigo identifica uma lacuna significativa entre os editores de imagem baseados em geração atuais e as necessidades de fluxos de trabalho profissionais (fotografia, design gráfico, VFX). Três desafios persistentes foram diagnosticados:

• Superedição (Over-editing): Os modelos frequentemente alteram conteúdo além da intenção do usuário, degradando regiões não alvo e a coerência semântica global.
• Falta de Consistência em Múltiplos Turnos: A maioria dos modelos opera em um único turno. Em interações sequenciais (multi-turn), a fidelidade dos objetos e a consistência do fundo tendem a se degradar ao longo do tempo.
• Desalinhamento de Resolução: As avaliações atuais geralmente ocorrem em resoluções baixas (~1K), enquanto os fluxos de trabalho reais operam em Ultra HD (4K ou superior). Modelos atuais frequentemente dependem de downsampling, o que causa perda de texturas finas e bordas nítidas.

2. Metodologia: Framework Agent Banana

O Agent Banana é um sistema de edição hierárquico que combina raciocínio de alto nível (agente) com execução de ferramentas, operando em resolução nativa. O sistema é composto por dois agentes principais e dois mecanismos inovadores:

Agentes Principais

• Planner (Planejador): Interpreta a intenção global do usuário, decompõe instruções complexas em sub-objetivos atômicos e monitora o progresso.
• Executor (Executor): Realiza as operações de edição atômicas, seleciona ferramentas via servidor MCP (Model Context Protocol) e valida a qualidade intermediária.

Mecanismos Chave

1. Context Folding (Dobramento de Contexto):
   • Para evitar o esgotamento do contexto em tarefas de longo prazo, o histórico de interação é comprimido em uma representação semântica estruturada em três níveis:
     • Nível de Ativo (Asset Level): Um grafo leve que rastreia o estado da imagem (URI, descrição, transformações).
     • Nível de Execução (Execution Level): Memória transitória para o raciocínio de um único passo (ferramentas, parâmetros).
     • Nível de Planejamento (Planning Level): Memória persistente que guarda apenas o caminho de edição verificado e eficaz, descartando ruído de tentativa e erro.
2. Image Layer Decomposition (ILD - Decomposição de Camadas de Imagem):
   • Em vez de resamplear a imagem inteira a cada passo, o sistema utiliza máscaras orientadas a objetos para isolar a região alvo.
   • A edição ocorre apenas em um patch de alta resolução (camada local).
   • Após a edição, o patch é fundido de volta à imagem original usando algoritmos de mistura (Gaussian blending).
   • Isso preserva a fidelidade de pixels nas regiões não editadas e permite edição nativa em 4K sem degradação acumulada.

Espaço de Ações

O sistema define cinco operações atômicas: replace (substituir), remove (remover), add (adicionar), adjust (ajustar atributos) e undo (desfazer/rollback).

3. Contribuições Principais

• Agent Banana: Um framework agentic que permite edição de imagem de alta fidelidade, nativa em resolução e consciente de contexto, com capacidade de rollback e replanejamento.
• HDD-Bench (High-Definition Dialogue-based Benchmark):
  • Um novo benchmark projetado para simular fluxos de trabalho profissionais.
  • Características: Suporte a interações de múltiplos turnos com dependências lógicas, imagens nativas em 4K (~11,8 milhões de pixels) e verificação passo a passo de estados.
  • Diferencia-se de benchmarks anteriores por fornecer alvos intermediários verificáveis, permitindo diagnosticar falhas de longo prazo (acúmulo de erro, drift semântico).
• Protocolo de Avaliação: Introdução de métricas focadas na fidelidade do fundo (usando máscaras Otsu para isolar regiões não editadas) e rastreamento de transições de estado de objetos.

4. Resultados

O desempenho foi avaliado no HDD-Bench e em benchmarks padrão de edição única (ImgEdit-Bench):

• Fidelidade e Consistência: O Agent Banana alcançou o melhor desempenho em consistência multi-turno e fidelidade de fundo.
  • Image Consistency (IC): 0.871 (superior a todos os baselines).
  • SSIMOM (Similaridade Estrutural no Fundo): 0.84.
  • LPIPSOM (Percepção de Diferença no Fundo): 0.12 (menor é melhor).
• Edição Nativa em 4K: Diferente de modelos concorrentes que perdem detalhes ao fazer downsampling para 1K, o Agent Banana processa imagens em 4K nativo, preservando texturas finas e bordas.
• Segurança contra "Drift": O sistema demonstrou resistência ao Prior-Induced Editing Drift (PIED), onde regiões não editadas tendem a mudar de estilo/textura ao longo de vários turnos em outros modelos. O Agent Banana manteve a fidelidade visual constante ao longo dos turnos.
• Desempenho em Turno Único: Mesmo focado em multi-turnos, o sistema manteve desempenho competitivo ou superior em tarefas de edição única.

5. Significado e Impacto

Este trabalho representa um avanço crucial na direção de ferramentas de edição de imagem profissionais e confiáveis.

• Mudança de Paradigma: Move a edição de "tentativa e erro" para um fluxo de trabalho estruturado, baseado em estados e com capacidade de verificação.
• Viabilidade Profissional: Ao resolver os problemas de resolução e degradação acumulada, torna viável o uso de IA generativa em pipelines reais de produção (4K+).
• Avaliação Rigorosa: O HDD-Bench estabelece um novo padrão para avaliar não apenas o resultado final, mas a estabilidade e a lógica de edições sequenciais, essencial para evitar manipulação indesejada ou perda de controle criativo.
• Segurança e Ética: O artigo enfatiza a necessidade de mecanismos de auditoria e consentimento, reconhecendo que ferramentas de edição mais precisas podem ser usadas para manipulação visual, e propõe que a avaliação deve focar na detecção de falhas e acúmulo de erros.

Em resumo, o Agent Banana demonstra que a combinação de raciocínio agentic, decomposição de camadas e avaliação rigorosa em alta resolução é o caminho necessário para levar a edição de imagem generativa do estágio experimental para o uso profissional.