Resumo Técnico: PAINTBENCH

Declaração do Problema

Embora os modelos multimodais atuais demonstrem proficiência em edição visual aberta e subjetiva (ex: "deixe o céu mais azul"), eles têm dificuldade com tarefas de edição visual precisas e de resposta única. Os benchmarks existentes para edição de imagens dependem amplamente de julgamento humano, pontuação por modelos de linguagem-visão (VLM) ou métricas perceptuais (ex: SSIM, LPIPS, FID). Essas abordagens são inadequadas para tarefas com verdades fundamentais (ground truths) determinísticas, pois introduzem viés e falham em verificar a correção exata. O artigo identifica uma lacuna na avaliação de se os modelos conseguem executar operações raster precisas — como mover uma forma 50 pixels, preencher com cor (flood-fill) uma região específica ou remover uma instância específica — onde existe um único resultado correto.

Metodologia

PAINTBENCH: Um Benchmark Determinístico

Os autores introduzem o PAINTBENCH, um benchmark gerado proceduralmente projetado para avaliar 20 operações fundamentais de edição visual precisa em quatro categorias:

1. Transformação Geométrica: Translação, rotação, reflexão, escala, cisalhamento (shearing).
2. Manipulação Estrutural: Construção, remoção, cópia, borda, recorte (cropping).
3. Mudança de Cor: Repintura (recolor), preenchimento (flood fill), mistura (blending), gradiente, operações de ponto.
4. Raciocínio Simbólico: Comparação, ordenação, padrão, contagem, legenda.

Geração e Design:

• Geração Procedural: Os problemas são gerados a partir de sementes aleatórias com parâmetros configuráveis (dimensões da tela, contagem de objetos, textura de fundo, paleta de cores). Isso cria um conjunto de avaliação efetivamente infinito e resistente à contaminação.
• Verdade Fundamental Determinística: Cada problema consiste em uma imagem de entrada, uma instrução em linguagem natural e uma imagem de resposta única gerada por uma transformação determinística $A = f(I, t)$.
• Condições Visuais: Para testar a robustez, cada tarefa é avaliada sob oito condições visuais, variando um parâmetro por vez (ex: fundo listrado vs. sólido, contagem de objetos de 3 a 60, paletas de cores não padronizadas).

Protocolo de Avaliação:

• Comparação ao Nível de Pixel: A avaliação evita totalmente o uso de "modelos juízes". Em vez disso, compara a saída do modelo $\hat{A}$ contra a verdade fundamental $A$ e a entrada $I$ ao nível do pixel.
• Distância de Cor: A correção por pixel é medida usando $\Delta E^*_{76}$ (distância euclidiana no espaço CIE Lab*). Um pixel é considerado correto se a distância estiver dentro de uma tolerância $t \in \{0, \dots, 10\}$.
• Métricas:
  • IoU@t: O índice de Jaccard aplicado à correção de pixel, penalizando conjuntamente a falha em editar (pixels editados incorretamente) e a corrupção da região de preservação (pixels preservados incorretamente).
  • mIoU (Mean IoU): A principal métrica de resumo, que faz a média do IoU@t ao longo de 11 tolerâncias de cor ($t=0$ a $10$) e de todos os problemas. Isso captura o desempenho através de todo o espectro de precisão de cor.

TINYGRAFIXBENCH

Para testar a generalização além de formas sintéticas, os autores introduzem o TINYGRAFIXBENCH, um benchmark complementar para edição de visualização de dados. Ele aplica a mesma estrutura procedural e determinística a cinco tipos de gráficos (barras, dispersão, linha, mapa de calor, rede) com 600 problemas.

Principais Resultados

Desempenho Geral

Em 11 modelos avaliados (abrangendo geradores multimodais nativos, editores de difusão e editores de flow-matching), o desempenho é extremamente baixo:

• O modelo com melhor desempenho (NANO-BANANA-2) alcança apenas 17,1% de mIoU.
• O segundo melhor (GPT-IMAGE-2) pontua 16,3%.
• Modelos de pesos abertos (open-weight) geralmente pontuam mais baixo, com alguns (ex: HUNYUANIMAGE-3.0, INSTRUCTPIX2PIX) pontuando próximo a 0% em muitas tarefas.

Dificuldade da Tarefa e Especialização

• Tarefas Mais Difíceis: Transformações geométricas (especialmente cisalhamento e escala), mudanças de cor baseadas em fórmulas (gradientes, mistura) e a maioria das manipulações estruturais são consistentemente difíceis para todos os modelos.
• Tarefas Mais Fáceis: Remoção e operações de cor única (repintura, flood fill) são mais tratáveis, mas ainda longe de serem resolvidas (ex: Remoção atinge ~50% para o melhor modelo).
• Especialização de Modelos: Os modelos exibem forças distintas. Por exemplo, o GPT-IMAGE-2 destaca-se em tarefas geométricas e estruturais, enquanto o NANO-BANANA-2 lidera em mudança de cor e raciocínio simbólico. Notavelmente, o NANO-BANANA-2 pontua 47,1% em tarefas de "Legenda" comparado aos 19,4% do GPT-IMAGE-2.

Sensibilidade à Variação de Cena

Os modelos são altamente frágeis a variações de cena:

• Fundos Listrados: Causam quedas significativas no mIoU (ex: -11,1% para o NANO-BANANA-2).
• Altas Contagens de Objetos: O desempenho degrada linearmente conforme a contagem de objetos aumenta (ex: queda de -11,9% para o NANO-BANANA-2 ao passar de 3 para 60 objetos).
• Cores Não Padronizadas: Embora os scores de mIoU principais pareçam estáveis, a precisão de correspondência de pixel exata ($\Delta E^*_{76} = 0$) colapsa para paletas não padronizadas, indicando que os modelos lutam para reproduzir cores específicas e não padronizadas com precisão.
• Tamanho da Região de Edição: Os modelos editam excessivamente em relação à região alvo. Para regiões de edição pequenas (< 32² pixels), os modelos alteram de 50 a 1.400 vezes mais pixels do que o necessário, impulsionando quedas acentuadas de desempenho.

Generalização

Existe uma forte correlação linear ($R^2 = 0,91, p < 0,001$) entre os scores do PAINTBENCH e do TINYGRAFIXBENCH. Isso sugere que os benchmarks sintéticos do PAINTBENCH capturam capacidades fundamentais que se generalizam para tarefas aplicadas de edição de visualização de dados.

Significância e Alegações

O artigo afirma que o PAINTBENCH fornece uma base rigorosa e livre de vieses para medir o progresso na edição visual multimodal precisa. Ao mudar de uma avaliação subjetiva e aberta para uma verificação determinística ao nível de pixel, o benchmark revela que os modelos de estado da arte atuais são fundamentalmente incapazes de executar operações raster básicas com alta precisão.

Os autores enfatizam que:

1. Os modelos atuais não estão "resolvidos" para edição precisa: Mesmo os melhores modelos falham na maioria das tarefas, particularmente aquelas que exigem precisão geométrica ou lógica de cor complexa.
2. A avaliação deve ser específica para a tarefa: Rankings agregados escondem especializações e modos de falha significativos dos modelos (ex: imprecisão de cor vs. omissão estrutural).
3. A geração procedural é essencial: Benchmarks estáticos são propensos à contaminação; a geração dinâmica permite estudos de ablação controlados de variações de cena (fundos, contagem de objetos, cores).
4. O framework é extensível: A abordagem usada para o PAINTBENCH e TINYGRAFIXBENCH pode ser aplicada a outros domínios com saídas corretas únicas, como visualização científica, desenho de engenharia e manipulação de cenas 3D.

O artigo conclui que, embora a geração aberta tenha avançado, a capacidade de realizar edições visuais exatas e determinísticas continua sendo um desafio crítico e não resolvido na IA multimodal.