💻 computer science

TECCI: Tricky Edits of Collected and Curated Images

O artigo apresenta o TECCI, um novo e desafiador benchmark composto por 7.550 pares de edição de imagem curados, projetado para avaliar e expor sistematicamente as limitações dos atuais modelos de edição de imagem guiados por texto em termos de seguimento de instruções, minimalidade de edição e qualidade visual, particularmente para tarefas espaciais e criativas complexas.

Autores originais: Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de artistas digitais muito talentosos (modelos de IA) que são famosos por pintar quadros baseados em suas descrições. Você pede: "Desenhe um gato" e eles fazem um ótimo trabalho. Mas o que acontece quando você pede algo difícil, como "Mude o chapéu do gato para um guarda-chuva minúsculo, mas mantenha o resto do gato exatamente igual, e certifique-se de que o guarda-chuva pareça pertencer ao lugar"?

É exatamente sobre isso que este artigo, TECCI, trata. É um teste gigante e complicado projetado para ver o quão bons esses artistas digitais realmente são quando as instruções ficam complexas.

Aqui está uma análise do artigo usando analogias simples:

1. O Problema: Os Testes "Fáceis Demais"

Os autores notaram que os testes anteriores para esses artistas de IA eram como dar a um aluno uma prova de matemática com apenas problemas de adição fáceis. Os modelos de IA estavam obtendo pontuações perfeitas, mas ainda falhavam quando solicitados a fazer coisas mais difíceis, como mudar a hora em um relógio, mover um carro para um lugar diferente ou reescrever um texto em uma placa.

Os autores perceberam: "Precisamos de um teste mais difícil para ver onde esses modelos realmente quebram".

2. A Solução: Um Novo Parquinho Secreto (O Conjunto de Dados)

Para criar um teste justo, os autores construíram um parquinho novinho em folha chamado TECCI (Tricky Edits of Collected and Curated Images - Edições Complicadas de Imagens Coletadas e Curadas).

Ingredientes Frescos: Ao contrário de outros testes que usam fotos encontradas em toda a internet (que a IA pode já ter "visto" enquanto aprendia), os autores tiraram essas 1.934 fotos eles mesmos ao longo de vários anos. É como dar aos alunos um livro de receitas novo e secreto que eles nunca viram antes.
O Cardápio: As fotos cobrem 7 "sabores" diferentes: Texto, Relógios, Veículos, Prédios, Arte, Animais e Natureza.
As Instruções: Eles criaram 7.550 desafios específicos. Alguns foram escritos por humanos para serem super difíceis (como "transforme este gato em um logotipo preto e branco") e muitos foram gerados automaticamente por outra IA para cobrir diferentes tipos de truques.

3. O Desafio: Três Regras do Jogo

Quando os artistas de IA tentavam editar essas fotos, os juízes (humanos) as avaliavam com base em três regras específicas, como um crítico de arte rigoroso:

Você ouviu? (Seguimento de Instrução): A IA realmente fez o que você pediu? Se você pediu um carro dourado, ela te deu um carro dourado?
Você estragou o resto? (Minimalidade): Esta é a regra do "não toque nas outras coisas". Se você pediu para mudar a cor do carro, a IA acidentalmente mudou o céu ou a estrada também? Uma boa edição é como um cirurgião: cortes precisos, sem danos ao tecido saudável.
Parece bom? (Qualidade Visual): O resultado está borrado, estranho ou pixelado? Ou parece uma foto real e de alta qualidade?

4. Os Resultados: Os Artistas de IA Lutaram

Os autores testaram cinco dos melhores modelos de IA do mundo neste novo teste. Os resultados foram um choque de realidade:

O Placar: Mesmo o melhor modelo de IA obteve uma "nota de aprovação" em apenas cerca de 22% das tarefas. Isso significa que em quase 8 de cada 10 pedidos complicados, a IA falhou em pelo menos uma das três regras.
O Vencedor: Um modelo, chamado Nano Banana Pro, ficou no topo, mas ainda falhou mais vezes do que teve sucesso.
Os Pontos Fracos:
- Coisas Fáceis: Mudar cores ou aparências simples era a coisa mais fácil para a IA.
- Coisas Difíceis: Coisas que exigiam "pensar", como mudar a hora em um relógio, mover objetos de uma forma lógica ou editar prédios complexos e cenas de natureza, eram muito difíceis. A IA frequentemente se confundia com o layout espacial (onde as coisas estão no espaço 3D).
- O "Super-Editor": Alguns modelos eram ótimos em ouvir instruções, mas terríveis em manter o resto da imagem igual. Eles mudariam o carro para dourado, mas também transformariam o céu em roxo acidentalmente.

5. O "Juiz Robô" (Auto-Avaliador)

Como contratar humanos para avaliar milhares de imagens é lento e caro, os autores construíram um "Juiz Robô" (uma IA que avalia outras IAs).

Este Juiz Robô foi treinado para pensar como um humano.
Ele foi surpreendentemente preciso, coincidindo com as opiniões humanas cerca de 75% das vezes. Isso significa que podemos usar este Juiz Robô para testar futuros modelos de IA rapidamente, sem precisar de uma equipe enorme de humanos.

A Conclusão Principal

O artigo conclui que, embora os editores de imagem de IA estejam melhorando, eles ainda estão longe de serem perfeitos. Eles são como estudantes que são ótimos em copiar um desenho, mas têm dificuldade quando solicitados a fazer uma mudança pequena e precisa sem estragar a imagem inteira. O conjunto de dados TECCI é agora uma ferramenta pública para pesquisadores tentarem corrigir essas fraquezas específicas, garantindo que a próxima geração de artistas de IA consiga lidar com as "edições complicadas" sem quebrar a imagem.

Resumo Técnico: TECCI - Edições Complexas de Imagens Coletadas e Curadas

Declaração do Problema

Apesar dos avanços significativos nos modelos generativos, os métodos atuais de edição de imagens guiados por texto enfrentam desafios persistentes em três áreas principais: fidelidade ao seguimento de instruções, minimização de edições na imagem de origem (preservação de regiões não visadas) e manutenção de alta qualidade visual. Essas limitações são particularmente acentuadas ao lidar com edições "complexas" (tricky) que envolvem raciocínio espacial complexo, mudanças de movimento, mudanças de perspectiva, ajustes de escala e modificações criativas. Os benchmarks existentes frequentemente dependem de dados sintéticos ou imagens já presentes nos conjuntos de treinamento de modelos, falhando em testar adequadamente a generalização em imagens naturais inéditas com instruções sutis e desafiadoras.

Metodologia

Construção do Conjunto de Dados (TECCI)

Os autores introduzem o TECCI (Tricky Edits of Collected and Curated Images), um novo benchmark composto por 7.550 pares de imagens e instruções de edição derivadas de 1.934 imagens únicas.

Curadoria de Imagens: Diferente de trabalhos anteriores que utilizam conjuntos de dados existentes (ex: COCO, OpenImages) ou geração sintética, as imagens do TECCI são completamente novas, capturadas manualmente pelos autores ao longo de vários anos. Isso garante que as imagens não foram vistas durante o treinamento dos modelos atuais de estado da arte (SOTA).
Categorias: O conjunto de dados abrange sete categorias de imagens: Texto, Relógio, Veículo, Arquitetura, Arte, Animal e Natureza. Estas foram selecionadas para visar modos de falha específicos de modelos existentes (ex: renderizar texto em superfícies curvas, posicionamento lógico dos ponteiros do relógio, mudanças estruturais em edifícios).
Conjuntos de Instruções:
- TECCI-IRCS (Conjunto de Desafio de Instruções Ricas): 530 imagens com instruções desafiadoras escritas manualmente. Estas cobrem tarefas de alta precisão como modificação de texto, transferência de estilo, adição/remoção de objetos e recontextualização de assuntos.
- TECCI-GGIS (Conjunto de Instruções Gerado pelo Gemini): 1.404 imagens com instruções geradas automaticamente usando o Gemini 3 Pro. Cada imagem é pareada com cinco tipos distintos de edição (Raciocínio, Aparência do Primeiro Plano, Semântica do Primeiro Plano, Estilo da Imagem, Plano de Fundo, Criativo) adaptados à categoria específica da imagem.

Estrutura de Avaliação

O artigo emprega uma estratégia de avaliação multidimensional:

Avaliação Humana: Um subconjunto de 1.315 amostras (de ambos, IRCS e GGIS) foi avaliado por cinco avaliadores humanos independentes.
- Métricas: Os avaliadores pontuaram os resultados em uma escala Likert de 5 pontos em três dimensões:
  1. Seguimento de Instrução (IF - Instruction Following): Fidelidade ao prompt de texto.
  2. Consistência de Imagem (IC - Image Consistency): Minimalidade das edições (preservação da identidade original e regiões não visadas).
  3. Qualidade Visual (VQ - Visual Quality): Excelência estética e técnica (ausência de artefatos).
- Taxa de Sucesso: Uma edição é considerada "bem-sucedida" apenas se atender a um limiar ( $\tau=4.5$ ) em todos os três critérios simultaneamente.
- Escala: O estudo coletou 32.875 julgamentos humanos entre cinco modelos.
Avaliação Automática (Auto-rater): Para escalar a avaliação para todo o conjunto de dados, os autores construíram um auto-avaliador usando o Gemini 3 Flash.
- O modelo analisa a imagem de origem, a instrução e a imagem editada, pontuando os mesmos três critérios.
- O auto-avaliador foi calibrado em relação aos julgamentos humanos usando normalização de escore-Z e alcançou 74,7% de precisão ao corresponder às taxas de sucesso geral derivadas por humanos.

Modelos Avaliados

Cinco modelos proprietários de estado da arte (SOTA) foram testados via suas APIs oficiais:

Nano Banana Pro (Gemini 3 Pro Image Preview)
Nano Banana 2 (Gemini 3.1 Flash Image Preview)
Grok Imagine Pro
Seedream 5.0 Lite
GPT Image 1.5

Principais Resultados

Desempenho Geral

O benchmark revela uma lacuna significativa nas capacidades atuais. Nenhum modelo excedeu uma taxa de sucesso geral de 22,3% no conjunto de dados combinado.

Melhor Desempenho: O Nano Banana Pro alcançou a maior taxa de sucesso geral (22,3%), seguido pelo Grok Imagine Pro (20,0%) e Nano Banana 2 (19,7%).
Dificuldade do IRCS: O subconjunto IRCS, curado manualmente, provou ser significativamente mais difícil que o subconjunto GGIS, com o melhor modelo alcançando apenas 19,7% de sucesso no IRCS em comparação com 23,0% no GGIS.

Análise Dimensional

Seguimento de Instrução vs. Qualidade: Os modelos geralmente performaram melhor em Seguimento de Instrução (IF) do que em Consistência de Imagem (IC) ou Qualidade Visual (VQ). Por exemplo, o GPT Image 1.5 alcançou pontuações competitivas de IF (~42%), mas teve dificuldades severas com IC (9,6%), indicando uma tendência à sobre-edição.
Dificuldade por Categoria:
- Mais Fácil: As categorias de Texto e Animal geraram pontuações mais altas, provavelmente devido a assuntos isolados.
- Mais Difícil: As categorias de Arquitetura e Natureza apresentaram os maiores desafios, com mesmo os melhores modelos raramente ultrapassarem os 20% de sucesso. Estas exigem forte compreensão de layout espacial e preservação de detalhes intrincados.
Dificuldade por Tipo de Edição:
- Mais Fácil: Mudanças de cor e aparência.
- Mais Difícil: Edições de Raciocínio e Criativas (ex: tradução lógica de texto, adições criativas humorísticas) foram as mais difíceis, frequentemente estagnando em torno de 20% de sucesso.

Validação do Auto-rater

O auto-avaliador escalou com sucesso a avaliação para o par completo de 7.550 itens. Embora tenha mostrado um leve viés para pontuações mais altas de IF e VQ em comparação aos humanos, as tendências de taxa de sucesso geral alinharam-se de perto com as avaliações humanas, confirmando sua utilidade como um proxy escalável para o julgamento humano.

Significância e Alegações

O artigo posiciona o TECCI como um recurso crítico para a comunidade, alegando as seguintes contribuições:

Um Novo Benchmark: O TECCI fornece o primeiro benchmark de edição de imagem em larga escala e desafiador utilizando imagens naturais completamente inéditas, abordando o problema de contaminação de dados de trabalhos anteriores.
Análise Sistemática de Lacunas: Ao avaliar modelos através de diversas categorias e tipos de edição, os autores revelam fraquezas específicas nos modelos SOTA, particularmente em raciocínio espacial, compreensão arquitetônica e imaginação criativa.
Avaliação Escalável: O desenvolvimento de um auto-avaliador de alta precisão (correspondência de 74,7% com humanos) oferece um método prático para futuros benchmarks de larga escala sem o custo proibitivo da anotação humana.
Recurso para Pesquisas Futuras: A liberação de 1.934 imagens únicas, 7.550 instruções e legendas geradas automaticamente serve como um conjunto de dados fundamental para o avanço da pesquisa em geração de texto-para-imagem, legendagem de imagens e alinhamento imagem-texto.

Os autores concluem que, embora os modelos atuais demonstrem um seguimento de instrução robusto, eles permanecem fundamentalmente limitados na execução de edições mínimas, de alta qualidade e complexas, destacando um caminho claro para pesquisas futuras em geração controlada.